Связанные службы в Фабрике данных Azure и Azure Synapse Analytics
Область применения:
Фабрика данных Azure Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
В этой статье описывается, какие бывают связанные службы, каким образом они определяются в формате JSON, а также как они используются в конвейерах Фабрики данных Azure и Azure Synapse Analytics.
Дополнительные сведения см. в вводной статье о Фабрике данных Azure или Azure Synapse.
Обзор
Фабрика данных Azure и Azure Synapse Analytics могут иметь один или несколько конвейеров. Конвейер — это логическая группа действий, которые вместе выполняют задачу. Действия в конвейере определяют действия, выполняемые с данными. Например, вы можете использовать действие копирования, чтобы скопировать данные из SQL Server в хранилище BLOB-объектов Azure. Затем можно использовать действие Hive для запуска сценария Hive в кластере HDInsight Azure, чтобы обработать данные из хранилища BLOB-объектов для получения выходных данных. Наконец, можно использовать второе действие копирования, чтобы скопировать выходные данные в службу Azure Synapse Analytics, на основе которой созданы решения для создания отчетов бизнес-аналитики. Дополнительные сведения о конвейерах и действиях см. в статье Конвейеры и действия.
Теперь набор данных — это именованное представление данных, которое просто указывает или ссылается на данные, которые вы хотите использовать в качестве входных и выходных данных.
Перед созданием набора данных необходимо создать связанную службу, чтобы связать хранилище данных с Фабрикой данных или рабочей областью Synapse. Связанные службы во многом напоминают строки подключения, определяющие сведения о подключении, необходимые для подключения службы к внешним ресурсам. Подумайте об этом следующим образом: набор данных представляет структуру данных в связанных хранилищах данных, а связанная служба определяет подключение к источнику данных. Например, связанная служба хранилища Azure связывает учетную запись хранения со службой. Набор данных BLOB-объектов Azure представляет собой контейнер BLOB-объектов и папку в учетной записи хранения Azure, содержащую входные BLOB-объекты для обработки.
Ниже приведен пример сценария. Чтобы скопировать данные из хранилища BLOB-объектов в База данных SQL, создайте две связанные службы: служба хранилища Azure и База данных SQL Azure. Затем создайте два набора данных: набор данных больших двоичных объектов Azure (для связанной службы хранилища Azure) и набор данных таблицы SQL Azure (для связанной службы "База данных SQL Azure"). Связанные службы хранилища Azure и Базы данных SQL Azure содержат строки подключения, которые служба использует во время выполнения подключения к службе хранилища Azure и Базе данных SQL Azure соответственно. Набор данных больших двоичных объектов Azure указывает контейнер и папку больших двоичных объектов, содержащие входные большие двоичные объекты в хранилище BLOB-объектов. Набор данных таблицы SQL Azure определяет таблицу SQL в базе данных SQL, в которую будут копироваться данные.
На следующей схеме показана связь между конвейером, действием, набором данных и связанной службой в этой службе.
Создание связанной службы с помощью пользовательского интерфейса
Чтобы создать связанную службу в Фабрике данных Azure, перейдите на вкладку Управление и выберите Связанные службы. Здесь можно просмотреть все существующие связанные службы. Выберите Создать, чтобы создать связанную службу.
Выбрав "Создать", чтобы создать связанную службу, вы сможете выбрать любой из поддерживаемых соединителей и соответствующим образом настроить сведения о нем. После этого можно будет использовать связанную службу в любом создаваемом конвейере.
JSON связанной службы
Связанная служба определяется в формате JSON, как показано ниже.
{
"name": "<Name of the linked service>",
"properties": {
"type": "<Type of the linked service>",
"typeProperties": {
"<data store or compute-specific type properties>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
В следующей таблице описаны свойства приведенного выше объекта JSON.
| Свойство | Описание: | Обязательное поле |
|---|---|---|
| name | Имя связанной службы. См. Правила именования. | Да |
| type | Тип связанной службы. Например, AzureBlobStorage (хранилище данных) или AzureBatch (служба вычислений). См. описание typeProperties. | Да |
| typeProperties | Свойства типов отличаются для каждого хранилища данных или вычислительного ресурса. Сведения о поддерживаемых типах хранилищ данных и соответствующие свойства типов см. в статье с общими сведениями о соединителях. Дополнительные сведения о свойствах типов, характерных для хранилища данных, см. в статье о соединителях хранилища данных. Поддерживаемые типы вычислительных служб и соответствующие свойства типов см. в статье Вычислительные среды, поддерживаемые фабрикой данных Azure. |
Да |
| connectVia | Среда выполнения интеграции, используемая для подключения к хранилищу данных. Вы можете использовать среду выполнения интеграции Azure или локальную среду IR (если хранилище данных расположено в частной сети). Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure. | No |
Образец связанной службы
Ниже показана связанная служба хранилища BLOB-объектов Azure. Обратите внимание, что параметру type присвоено значение "Хранилище BLOB-объектов Azure". Свойства типов связанной службы хранилища BLOB-объектов Azure включают строку подключения. Служба использует эту строку подключения для соединения с хранилищем данных в среде выполнения.
{
"name": "AzureBlobStorageLinkedService",
"properties": {
"type": "AzureBlobStorage",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Создание связанных служб
Связанные службы можно создать в службе "Фабрика данных Azure" через центр управления и с помощью любых действий, наборов или потоков данных, которые ссылаются на них.
Связанные службы можно создавать с помощью таких средств и пакетов SDK: API .NET, PowerShell, REST API, шаблон Azure Resource Manager и портал Azure.
При создании связанной службы пользователю требуется соответствующая авторизация для указанной службы. Если не предоставлен достаточный доступ, пользователь не сможет просматривать доступные ресурсы и использовать параметр записи вручную.
Связанные службы хранилища данных
Список поддерживаемых хранилищ данных см. в статье Общие сведения о соединителях. Щелкните хранилище данных, чтобы узнать поддерживаемые свойства соединения.
Связанные службы вычислений
Подробные сведения о различных вычислительных средах, к которым можно подключаться из службы, а также о различных конфигурациях см. в статье Поддерживаемые вычислительные среды.
Связанный контент
Пошаговые инструкции по созданию конвейеров и наборов данных с помощью одного из указанных ниже инструментов или пакетов SDK приведены в указанных ниже руководствах.