Подключение к источникам данных из Azure Databricks

  • Статья

Эта статья содержит ссылки на все источники данных, которые можно подключать к Azure Databricks. Статьи по этим ссылкам содержат примеры, которые позволяют извлечь в кластер Azure Databricks данные из источников данных Azure (таких как хранилище больших двоичных объектов Azure, Центры событий Azure, и т. д.) и запустить задания аналитики для этих данных.

Необходимые компоненты

  • Вам потребуется рабочая область Azure Databricks и кластер Spark. Следуйте инструкциям по началу работы.

Источники данных для Azure Databricks

В следующем списке перечислены источники данных в Azure, которые можно использовать с Azure Databricks. Полный список поддерживаемых в Azure Databricks источников данных можно найти в статье Spark Data Sources (Источники данных Spark).

  • База данных SQL Azure

    Это ссылка на API DataFrame для подключения к базам данных SQL с помощью JDBC и сведения об управлении параллелизмом при операциях чтения через интерфейс JDBC. Эта статья содержит подробные примеры использования API Scala, а также краткие примеры для Python и Spark SQL (в конце).

  • Хранилище озера данных Azure

    Эта ссылка содержит примеры использования субъекта-службы Microsoft Entra ID (ранее Azure Active Directory) для проверки подлинности с помощью Azure Data Lake служба хранилища. Также в статье объясняется, как получить доступ из Azure Databricks к данным в Azure Data Lake Storage.

  • Хранилище BLOB-объектов Azure

    Здесь представлены примеры прямого доступа к хранилищу BLOB-объектов из Azure Databricks с использованием ключа доступа или SAS для заданного контейнера. Также статья содержит информацию о доступе к хранилищу BLOB-объектов из Azure Databricks с помощью RDD API.

  • Центры событий Azure

    Здесь представлены инструкции по использованию соединителя Spark для Центров событий Azure из Databricks Azure для доступа к данным в Центрах событий Azure.

  • Azure Synapse Analytics

    Эта ссылка содержит инструкции по запросу данных в Azure Synapse.

Следующие шаги

Дополнительные сведения об источниках, которые Azure Databricks поддерживает для импорта данных, см. в этой статье.