Общие сведения об интеграции Azure Databricks

В статьях, перечисленных здесь, содержатся сведения о том, как подключиться к большому ассортименту источников данных, средств бизнес-аналитики и средств разработчика, которые можно использовать с Azure Databricks. Многие из них доступны через нашу систему партнеров и наш центр Partner Connect.

Подключение партнёров

Partner Connect — это пользовательский интерфейс, который позволяет проверенным решениям быстрее интегрироваться с кластерами Databricks и хранилищами SQL.

Дополнительные сведения см. в разделе "Что такое Databricks Partner Connect?".

Источники данных

Databricks может считывать данные и записывать их в различные форматы данных, такие как CSV, Delta Lake, JSON, Parquet, XML и другие, а также взаимодействовать с поставщиками хранилищ данных, такими как Amazon S3, Google BigQuery, Cloud Storage, Snowflake и другие.

См. параметры приемаданных, подключения к источникам данных и внешним службам и параметрам формата данных.

Средства бизнес-аналитики

Databricks проверил интеграцию с любимыми инструментами бизнес-аналитики, включая Power BI, Tableau и другие, что позволяет работать с данными с помощью кластеров Databricks и хранилищ SQL во многих случаях с низким кодом и без кода.

Полный список с инструкциями по подключению см. в разделе бизнес-аналитики и визуализации.

Другие средства ETL

Помимо доступа ко всем типам источников данных, Databricks обеспечивает интеграцию с средствами ETL/ELT, такими как dbt, Prophecy и Фабрика данных Azure, а также средства оркестрации конвейеров данных, такие как Airflow и средства базы данных SQL, такие как DataGrip, DBeaver и SQL Workbench/J.

Инструкции по подключению см. в следующих руководствах.

• Средства ETL: подготовка и преобразование данных
• Airflow: Оркестрация заданий Lakeflow с Apache Airflow
• Средства базы данных SQL: соединители SQL, библиотеки, драйверы, API и средства.

IdEs и другие средства разработчика

Databricks поддерживает такие средства разработчика, как DataGrip, IntelliJ, PyCharm, Visual Studio Code и другие, которые позволяют программно получить доступ к вычислительным ресурсам Azure Databricks, включая хранилища SQL.

Полный список инструментов, поддерживающих разработчиков, см. в статье "Разработка на Databricks".

Git

Папки Databricks Git обеспечивают интеграцию на уровне репозитория с любимыми поставщиками Git, чтобы вы могли разрабатывать код в записной книжке Databricks и синхронизировать его с удаленным репозиторием Git. Ознакомьтесь с папками Azure Databricks Git.