Поделиться через

Использование метаданных триггера в выполнениях потока

ПРИМЕНЯЕТСЯ К: Azure Data Factory Azure Synapse Analytics

Совет

Попробуйте Data Factory в Microsoft Fabric, всё-в-одном аналитическое решение для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как метаданные триггера, такие как время начала триггера, можно использовать в ходе выполнения конвейера.

Иногда конвейеру необходимо понять и считывать метаданные из триггера, вызывающего его. Например, при запуске триггера скользящего окна, в зависимости от времени начального и конечного окна, конвейер обрабатывает различные фрагменты данных или папки. В Фабрике данных Azure мы используем параметризацию и системные переменные для передачи метаданных из триггеров в конвейеры.

Этот шаблон особенно полезен для переворачивающегося триггера, где триггер предоставляет время начала и окончания окна, а также пользовательские триггеры событий, где триггер анализирует и обрабатывает значения в настраиваемом поле данных.

Примечание.

Различные типы триггеров предоставляют разные сведения о метаданных. Дополнительные сведения см. в разделе "Системные переменные".

Пользовательский интерфейс Фабрики данных

В этом разделе показано, как передавать сведения о метаданных из триггеров в конвейеры в пользовательском интерфейсе фабрики данных.

  1. Перейдите на холст разработки и измените конвейер.

  2. Выберите пустой холст, чтобы открыть параметры конвейера. Не выбирайте какие-либо действия. Возможно, потребуется открыть панель параметров снизу холста, поскольку она может быть свернута.

  3. Выберите вкладку "Параметры" и нажмите кнопку "+ Создать ", чтобы добавить параметры.

    Снимок экрана, показывающий настройки конвейера и то, как определить параметры в конвейере.

  4. Добавьте триггеры в конвейер, выбрав +Триггер.

  5. Создайте или подключите триггер к конвейеру и нажмите кнопку "ОК".

  6. После нажатия кнопки "ОК" появится другая страница триггера со списком параметров, указанных для конвейера, как показано на следующем снимке экрана. На этой странице заполните метаданные триггера для каждого параметра. Используйте формат, определенный в системных переменных , чтобы получить сведения о триггере. Вам не нужно заполнять сведения для всех параметров. Просто заполните те, которые будут принимать значения метаданных в качестве триггеров. Например, здесь мы назначаем время parameter_1запуска триггера.

    Снимок экрана: страница

  7. Чтобы использовать значения в конвейере, используйте параметры, такие как @pipeline().parameters.parameterName, а не системные переменные, в определениях конвейера. Например, в этом случае, чтобы узнать время начала триггера, мы ссылаемся на @pipeline().parameters.parameter_1.

Схема JSON

Чтобы передать сведения о триггере в запуски конвейера, необходимо обновить как триггер, так и JSON конвейера, включая раздел parameters.

Определение конвейера

В разделе properties добавьте определения параметров в раздел parameters.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_1",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Определение триггера

Назначьте значения параметров в разделе pipelines в разделе parameters. Вам не нужно заполнять сведения для всех параметров. Просто заполните те, которые будут принимать значения метаданных в качестве триггеров.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Использование сведений о триггере в конвейере

Чтобы использовать значения в конвейере, используйте параметры, а не системные переменные, в определениях конвейера.

Связанный контент

Дополнительные сведения об триггерах см. в разделе "Выполнение конвейера" и "Триггеры".

  • Last updated on