Параметры фабрики данных в Microsoft Fabric
В этом документе описывается использование параметров в конвейерах фабрики данных в Fabric.
В этом документе мы сосредоточимся на обучении фундаментальных концепций с различными примерами для изучения возможности создания параметризованных конвейеров данных в Фабрике данных в Fabric. Параметризация и динамические выражения могут сэкономить огромное время и обеспечить гораздо более гибкое решение Extract, Transform, Load (ETL) или Extract, Load, Transform (ELT), что значительно сократит затраты на обслуживание решения и ускорить реализацию новых функций в существующих конвейерах. Эти преимущества обусловлены тем, что параметризация уменьшает количество конкретных значений переменных и увеличивает объем повторно используемых объектов и процессов.
Параметры можно использовать для передачи внешних значений в конвейеры. Переданный в ресурс параметр потом изменить не получится. Параметризация ресурсов позволяет повторно их использовать каждый раз с разными значениями. Параметры можно использовать по отдельности или в составе выражений. Значения параметров в определении могут быть литеральными или выражениями, которые вычисляются во время выполнения.
Выражения могут отображаться в любом месте строкового значения и всегда создавать другое строковое значение. Здесь password — это параметр конвейера в выражении. Если значение параметра является выражением, текст выражения извлекается путем удаления объекта at-sign (@). Если требуется строковый литерал, начинающийся с @, его необходимо экранировать с помощью @@. В примерах ниже показано, как вычисляются выражения.
Значение параметра | Результат |
---|---|
"parameters" | Возвращаются символы в виде 'parameters'. |
"parameters[1]" | Возвращаются символы в виде 'parameters[1]'. |
"@@" | Возвращается строка из 1 символа, содержащая символ \@\. |
" @" | Возвращается строка из 2 символов, содержащая символ \@\. |
Выражения также могут содержаться внутри строк, где они заключаются в структуру @{ ... }
, при использовании интерполяции строк. Например, следующая строка включает значения параметров и литеральные строковые значения:
"Имя: @{pipeline().parameters.firstName} Фамилия: @{pipeline().parameters.lastName}"
При использовании интерполяции строки результатом всегда будет строка. Например, если вы определили myNumber
как 42
и myString
как foo
:
Значение параметра | Результат |
---|---|
"@pipeline().parameters.myString" | Возвращает foo как строку. |
@{pipeline().parameters.myString} | Возвращает foo как строку. |
"@pipeline().parameters.myNumber" | Возвращает 42 как номер. |
@{pipeline().parameters.myString} | Возвращает 42 как строку. |
"Answer is: @{pipeline().parameters.myNumber}" | Возвращает строку Answer is: 42 . |
"@concat('Answer is: ', string(pipeline().parameters.myNumber))" | Возвращает строку Answer is: 42 . |
Answer is: @{pipeline().parameters.myNumber} | Возвращает строку Answer is: @{pipeline().parameters.myNumber} . |
Чтобы создать параметры, выберите фон холста редактора конвейера, а затем вкладку "Параметры " окна свойств внизу. Нажмите кнопку +Создать, чтобы добавить новый параметр в конвейер, присвойте ему имя, тип данных и значение по умолчанию:
Затем можно использовать параметр в любом месте конвейера, где поддерживается динамическое содержимое. В этом примере параметр используется для динамического предоставления имени хранилища данных Lakehouse на вкладке "Источник " страниц свойств действия копирования.
Откроется окно "Добавление динамического содержимого", позволяющее указать любое динамическое содержимое, включая параметры, системные переменные, функции или переменные конвейера. В этом примере выбран ранее определенный параметр, а окно динамического содержимого автоматически заполняется правильным выражением для ссылки на параметр.
Приведенный ниже пример содержит сложное выражение, которое ссылается на глубоко вложенное поле в выходных данных действия. Чтобы создать ссылку на параметр конвейера, который вычисляет вложенное поле, используйте синтаксис [] вместо оператора точки (.) (как subfield1 и subfield2 в нашем примере).
@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*
Редактор динамического содержимого автоматически экранирует символы в содержимом после завершения редактирования. Например, следующее содержимое в редакторе контента представляет собой интерполяцию строк с функцией выражения:
@{toUpper('myData')}
Редактор динамического содержимого преобразует приведенное выше содержимое в следующее выражение:
MYDATA
Можно вызывать функции и использовать переменные в выражениях. В следующих разделах предоставлены сведения о функциях, которые могут использоваться в выражении.
Ссылки на эти системные переменные можно добавлять в любой части JSON конвейера.
Имя переменной | Description |
---|---|
@pipeline().DataFactory | Имя данных или рабочая область Synapse, в которой выполняется конвейер. |
@pipeline().Pipeline | Имя конвейера |
@pipeline().RunId | ИД определенного запуска конвейера |
@pipeline().TriggerId | Идентификатор триггера, который вызвал конвейер. |
@pipeline().TriggerName | Имя триггера, который вызвал конвейер. |
@pipeline().TriggerTime | Время выполнения триггера, который вызвал конвейер. Это время, когда триггер реально срабатывает для вызова выполнения конвейера и может немного отличаться от запланированного времени срабатывания. |
@pipeline().GroupId | Идентификатор группы, к которой принадлежит выполнение конвейера. |
@pipeline()?.TriggeredByPipelineName | Имя конвейера, активирующее выполнение конвейера. Применяется, когда выполнение конвейера активируется действием ExecutePipeline. При использовании в других обстоятельствах будет иметь значение NULL. Обратите внимание на вопросительный знак после @pipeline() |
@pipeline()?.TriggeredByPipelineRunId | Идентификатор выполнения конвейера, активирующий выполнение конвейера. Применяется, когда выполнение конвейера активируется действием ExecutePipeline. При использовании в других обстоятельствах будет иметь значение NULL. Обратите внимание на вопросительный знак после @pipeline() |
Примечание
Системные переменные даты и времени, связанные с триггерами (в областях конвейера и триггера), возвращают даты по Гринвичу в формате ISO 8601, например 2017-06-01T22:20:00.4061448Z
.
Для работы со строками вы можете использовать эти строковые функции, а также некоторые функции для коллекций. Строковые функции работают только со строками.
Строковая функция | Задача |
---|---|
concat | Объединяет две или более строк и возвращает объединенную строку. |
endsWith | Проверяет, заканчивается ли строка определенной подстрокой. |
guid | Создает глобально уникальный идентификатор (GUID) в виде строки. |
indexOf | Возвращает начальную позицию подстроки. |
lastIndexOf | Возвращает начальную позицию последнего вхождения подстроки. |
replace | Заменяет подстроку указанной строкой и возвращает обновленную строку. |
split | Возвращает массив, содержащий подстроки, разделенные запятыми, из большей строки, основываясь на указанном символе разделителя в исходной строке. |
startsWith | Проверяет, начинается ли строка с определенной подстроки. |
substring | Возвращает символы из строки, начиная с указанной позиции. |
toLower | Возвращает строку символов в нижнем регистре. |
toUpper | Возвращает строку символов в верхнем регистре. |
trim | Удаляет все начальные и конечные пробелы и возвращает обновленную строку. |
Для работы с коллекциями, обычно массивами, строками, а иногда и словарями, вы можете использовать следующие функции.
Функция для коллекций | Задача |
---|---|
contains | Проверяет наличие определенного элемента в коллекции. |
empty | Проверяет, является ли коллекция пустой. |
first | Возвращает первый элемент из коллекции. |
intersection | Возвращает коллекцию, которая содержит только общие элементы в указанных коллекциях. |
join | Возвращает строку, содержащую все элементы из массива, в которой каждый символ отделен разделителем. |
last | Возвращает последний элемент из коллекции. |
length | Возвращает число элементов в строке или массиве. |
skip | Удаляет элементы из начала коллекции и возвращает все другие элементы. |
take | Возвращает элементы, расположенные в начале коллекции. |
union | Возвращает коллекцию, которая содержит все элементы из указанных коллекций. |
Эти функции подходят для условий и могут использоваться для определения логики любого типа.
Функция логического сравнения | Задача |
---|---|
and | Проверяет, истинны ли все выражения. |
equals | Проверяет, эквивалентны ли оба значения. |
greater | Проверяет, является ли первое значение большим, чем второе. |
greaterOrEquals | Проверяет, является ли первое значение большим, чем второе, или равным ему. |
if | Проверьте, какое значение имеет выражение: true или false. Возвращает указанное значение на основе результата. |
less | Проверяет, является ли первое значение меньшим, чем второе. |
lessOrEquals | Проверяет, является ли первое значение меньшим, чем второе, или равным ему. |
не | Проверяет, имеет ли выражение значение false. |
or | Проверяет, является ли хотя бы одно выражение истинным. |
Эти функции используются для преобразования между собственными типами языка:
- строка
- integer
- с плавающей запятой
- boolean
- массивы
- dictionaries;
Функция преобразования | Задача |
---|---|
array. | Возвращает массив из одного экземпляра указанных входных данных. Для использования нескольких входных данных см. раздел createArray. |
base64 | Возвращает версию строки с кодировкой base64 для заданной строки. |
base64ToBinary | Возвращает двоичную версию строки с кодировкой base64. |
base64ToString | Возвращает строковую версию строки с кодировкой base64. |
binary | Возвращает двоичную версию входного значения. |
bool | Возвращает логическую версию входного значения. |
coalesce | Возвращает первое ненулевое значение из одного или нескольких параметров. |
createArray | Возвращает массив из нескольких экземпляров входных данных. |
dataUri | Возвращает URI данных входного значения. |
dataUriToBinary | Возвращает двоичную версию строки URI данных. |
dataUriToString | Возвращает строковую версию URI данных. |
decodeBase64 | Возвращает строковую версию строки с кодировкой base64. |
decodeDataUri | Возвращает двоичную версию строки URI данных. |
decodeUriComponent | Возвращает строку, которая заменяет escape-символы декодированными версиями. |
encodeUriComponent | Возвращает строку, которая заменяет символы, опасные для URL-адреса, escape-символами. |
float | Возвращает значение с плавающей запятой в качестве входного значения. |
int | Возвращает целочисленную версию строки. |
json | Возвращает значение типа JSON либо объект для строки или XML. |
string | Возвращает строковую версию входного значения. |
uriComponent | Возвращает кодированную версию URI для входного значения, заменив символы, опасные для URL-адреса, на escape-символы. |
uriComponentToBinary | Возвращает двоичную версию строки с закодированным URI. |
uriComponentToString | Возвращает строковую версию строки с закодированным URI. |
xml | Возвращает XML-версию строки. |
xpath | Проверяет XML на наличие узлов или значений, которые соответствуют выражению XPath, и возвращает соответствующие узлы или значения. |
Эти функции могут использоваться для любого типа чисел: целых чисел и чисел с плавающей запятой.
Математическая функция | Задача |
---|---|
добавление | Возвращает результат сложения двух чисел. |
div | Возвращает результат деления двух чисел. |
max | Возвращает наибольшее значение из набора чисел или массива. |
min | Возвращает наименьшее значение из набора чисел или массива. |
mod (модуль) | Возвращает остаток результата деления двух чисел. |
mul | Возвращает результат умножения двух чисел. |
rand | Возвращает случайное целое число из указанного диапазона. |
range | Возвращает массив целых чисел, который начинается с заданного целого числа. |
sub | Вычитает второе число из первого числа и возвращает результат. |
Функция даты и времени | Задача |
---|---|
addDays | Добавляет количество дней к метке времени. |
addHours | Добавляет количество часов к метке времени. |
addMinutes | Добавляет количество минут к метке времени. |
addSeconds | Добавляет количество секунд к метке времени. |
addToTime | Добавляет количество единиц времени к метке времени. См. раздел getFutureTime. |
convertFromUtc | Преобразовывает метку времени формата UTC в целевой часовой пояс. |
convertTimeZone | Преобразовывает метку времени из исходного часового пояса в целевой. |
convertToUtc | Преобразует метку времени с исходным часовым поясом в формат UTC. |
dayOfMonth | Возвращает компонент дня месяца из метки времени. |
dayOfWeek | Возвращает компонент дня недели из метки времени. |
dayOfYear | Возвращает компонент дня года из метки времени. |
formatDateTime | Возвращает метку времени в виде строки в произвольном формате. |
getFutureTime | Возвращает текущую метку времени, а также указанные единицы времени. См. раздел addToTime. |
getPastTime | Возвращает текущую метку времени, вычитая указанные единицы времени. См. раздел subtractFromTime. |
startOfDay | Возвращает начало дня для метки времени. |
startOfHour | Возвращает начало часа для метки времени. |
startOfMonth | Возвращает начало месяца для метки времени. |
subtractFromTime | Вычитает количество единиц времени из метки времени. См. раздел getPastTime. |
ticks | Возвращает значение свойства ticks для указанной метки времени. |
utcNow | Возвращает текущую метку времени в виде строки. |