Параметры конвейера и переменные в Azure Data Factory и Azure Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

• Start a Fabric бесплатная пробная версия.
• Переход с Azure Data Factory на Data Factory в Microsoft Fabric

В этой статье показано, как определить разницу между параметрами конвейера и переменными в Azure Data Factory и Azure Synapse Analytics и как использовать их для управления поведением конвейера.

Параметры конвейеров

Параметры определяются на уровне конвейера и не могут быть изменены во время его течения. Параметры конвейера можно использовать для управления поведением конвейера и его действий, например путем передачи сведений о подключении для набора данных или пути обработки файла.

Определение параметра конвейера

Чтобы определить параметр конвейера, выполните следующие действия.

• Выберите конвейер, чтобы просмотреть вкладки конфигурации.
• Перейдите на вкладку "Параметры" и нажмите кнопку "+ Создать", чтобы определить новый параметр.
• Введите имя и описание параметра и выберите его тип данных в раскрывающемся меню. Типы данных могут быть String, Int, Float, Bool, Array, Object или SecureString.
• При необходимости можно также назначить значение по умолчанию параметру.

После определения параметра конвейера можно получить доступ к его значению во время выполнения конвейера с помощью @pipeline().parameters.<parameter name> выражения в действии конвейера. Например, если вы определили параметр, называемый account_name типа String, вы можете получить доступ к его значению в действии с помощью выражения @pipeline().parameters.account_name.

Перед каждым запуском конвейера можно назначить новое значение параметру на правой панели, в противном случае конвейер использует значение по умолчанию или заданное ранее значение.

Переменные конвейера

Переменные конвейера — это значения, которые можно задать и изменить во время запуска конвейера. В отличие от параметров конвейера, которые определены на уровне конвейера и не могут быть изменены во время выполнения конвейера, переменные конвейера можно задать и изменить в конвейере с помощью действия Set Variable .

Переменные конвейера можно использовать для хранения и управления данными во время выполнения конвейера, например путем хранения результатов вычисления или текущего состояния процесса.

Note

Переменные в настоящее время имеют область действия на уровне конвейера. Это означает, что они не являются потокобезопасными и могут вызвать непредвиденное и нежелательное поведение, если доступ к ним осуществляется в рамках параллельной итерации, например, цикла foreach, особенно если значение также изменяется в этом цикле.

Чтобы определить переменную конвейера, выполните следующие действия.

• Выберите конвейер, чтобы просмотреть вкладки конфигурации.

• Перейдите на вкладку "Переменные" и нажмите кнопку "+ Создать", чтобы определить новую переменную.

• Введите имя и описание переменной и выберите его тип данных в раскрывающемся меню. Типы данных могут быть String, Bool или Array.

• При необходимости можно также назначить значение по умолчанию переменной. Это значение будет использоваться в качестве начального значения переменной в начале выполнения конвейера.

После определения переменной конвейера можно получить доступ к его значению во время выполнения конвейера с помощью @variables('<variable name>') выражения в действии конвейера. Например, если вы определили переменную, называемую флагом массива типов, можно получить доступ к его значению в действии с помощью выражения @variables('flag'). Можно также использовать действие Set Variable для изменения значения переменной в конвейере.

Связанный контент

Пошаговые инструкции по созданию конвейеров с помощью действий приведены в следующих руководствах:

• Постройка конвейера с активностью копирования
• Создание конвейера с активностью преобразования данных

Как достичь CI/CD (непрерывная интеграция и доставка) с помощью Azure Data Factory

• Непрерывная интеграция и доставка в Azure Data Factory