Добавление параметров в компоненты фабрики данных

  • 7 мин

Параметризация связанных служб в Фабрике данных Azure

В Фабрике данных Azure можно параметризовать связанную службу для передачи динамических значений во время выполнения. Примером использования этой возможности может быть подключение к нескольким разным базам данных на одном сервере SQL Server. В этом случае можно параметризировать имя базы данных в определении связанной службы. Преимущество в том, что вам не придется создавать отдельную связанную службу для каждой базы данных на сервере SQL Server.

Можно параметризовать и другие свойства связанной службы, например имя пользователя.

Если вы решили параметризовать связанные службы в Фабрике данных Azure, это можно сделать в ее пользовательском интерфейсе, на портале Azure или в любом программном интерфейсе на ваш выбор.

Если вы решили создать связанную службу через пользовательский интерфейс, в фабрике данных есть встроенные возможности параметризации для некоторых соединителей:

  • Amazon Redshift
  • Azure Cosmos DB (SQL API)
  • База данных Azure для MySQL
  • База данных SQL Azure
  • Azure Synapse Analytics (ранее — Хранилище данных SQL)
  • MySQL
  • Oracle;
  • SQL Server
  • Базовый HTTP-запрос
  • Базовый протокол REST

Параметры параметризации доступны в колонке создания и изменения связанной службы.

Parameter settings in Linked Service

Если встроенная параметризация недоступна, так как вы используете другой тип соединителя, вы можете изменить данные в формате JSON через пользовательский интерфейс.

В колонке создания или изменения связанной службы разверните внизу узел Дополнительно, установите флажок Указать динамическое содержимое в формате JSON и укажите полезные данные JSON для связанной службы.

Parameter settings editing JSON through UI

Кроме того, изменить данные в формате JSON после создания связанной службы без параметризации можно так: в центре управления выберите элемент Связанные службы и найдите нужную связанную службу. Затем нажмите кнопку {} ("Код"), чтобы изменить JSON.

Глобальные параметры в Фабрике данных Azure

Задав глобальные параметры в конвейере Фабрики данных Azure, можно затем использовать эти константы в выражениях конвейера. Примером использования глобальных параметров может служить ситуация, когда имеется несколько конвейеров с идентичными именами и значениями параметров.

Если в Фабрике данных Azure применяется процесс непрерывной поставки и непрерывной интеграции (CI/CD), глобальные параметры можно при желании переопределять для каждой создаваемой среды.

Создание глобальных параметров в Фабрике данных Azure

Чтобы создать глобальный параметр, перейдите на вкладку Глобальные параметры в разделе Управление. Выберите Создать, чтобы открыть боковую панель меню.

На боковой панели меню введите имя, выберите тип данных и укажите значение параметра.

После создания глобального параметра его можно изменить, щелкнув его имя. Чтобы изменить сразу несколько параметров, выберите Изменить все.

Global parameters in Azure Data Factory set up

Использование глобальных параметров в конвейере

Глобальные параметры в конвейере Фабрики данных Azure в основном используются в выражениях конвейера. Например, если в конвейере есть ссылка на ресурс, например набор или поток данных, вы можете передать значение глобального параметра через параметр resource. Команда или ссылка на глобальные параметры в Фабрика данных Azure потоках следующим образом: pipeline().globalParameters.<parameterName>

Глобальные параметры в CI/CD

Интегрировать глобальные параметры в конвейер с помощью CI/CD в Фабрике данных Azure можно двумя способами:

  • включите глобальные параметры в шаблон Azure Resource Manager;
  • разверните глобальные параметры с помощью скрипта PowerShell.

Как правило, при использовании методик CI/CD рекомендуется включать глобальные параметры в шаблон Azure Resource Manager. Причина кроется в наличии интеграции платформенной функциональности с CI/CD, благодаря которой глобальные параметры добавляются в качестве параметра шаблона Azure Resource Manager при внесении изменений в используемые среды.

Чтобы включить глобальные параметры в шаблон Azure Resource Manager, перейдите в центр управления. Имейте в виду, что при добавлении глобальных параметров в шаблон Azure Resource Manager добавляется параметр на уровне Фабрики данных Azure, который может переопределять другие параметры, например конфигурации GIT.

Необходимость в развертывании глобальных параметров с помощью скрипта PowerShell может быть вызвана тем, что указанные выше параметры должны быть включены в среде с повышенными привилегиями, например в среде для пользовательского приемочного тестирования или рабочей среде.

Параметризация потоков данных для сопоставления

В Фабрике данных Azure можно использовать потоки данных для сопоставления, а следовательно, и параметры. Если параметры заданы в определении потока данных, их можно использовать в выражениях. Значения параметров задаются вызывающим конвейером с помощью действия Execute Data Flow.

Задавать значения в выражениях действий потока данных можно тремя способами:

  • задайте динамическое значение с помощью языка выражений для потока управления конвейером;
  • задайте динамическое значение с помощью языка выражений потока данных;
  • задайте статическое литеральное значение с помощью любого из этих двух языков выражений.

Потоки данных для сопоставления параметризуются с целью повышения их универсальности и гибкости, а также для того, чтобы их можно было использовать многократно.

Создание параметров в потоке данных

Чтобы добавить параметры в поток данных, щелкните в пустой части холста потока. Вы увидите общие свойства.

В области параметров имеется вкладка Параметр.

Чтобы создать параметр, выберите Создать. Для каждого параметра необходимо указать имя, выбрать тип и при необходимости задать значение по умолчанию.

Global Parameters in Dataflow in Azure Data Factory Settings

Назначение параметров из конвейера в потоке данных для сопоставления

Если вы создали поток данных и задали в нем параметры, его можно выполнить из конвейера с помощью действия Execute Data Flow.

После добавления этого действия на холст конвейера параметры потока данных можно найти на вкладке Параметры действия.

Присвоив значения параметрам, вы сможете использовать их в выражениях конвейера или выражениях потока данных в зависимости от типов Spark. Эти два типа параметров, то есть параметры выражений конвейера и потока данных, можно также использовать в сочетании.