Metadados de gatilho de referência em execuções de pipeline

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como os metadados do gatilho, como a hora de início do gatilho, podem ser usados na execução do pipeline.

Às vezes, o pipeline precisa entender e ler metadados do gatilho que o invoca. Por exemplo, com a execução do Tumbling Window Trigger, com base na hora de início e término da janela, o pipeline processará diferentes fatias de dados ou pastas. No Azure Data Factory, usamos Parametrização e Variável de Sistema para passar metadados do gatilho para o pipeline.

Esse padrão é especialmente útil para o Gatilho de Janela de Tumbling, onde o gatilho fornece a hora de início e término da janela, e o Gatilho de Evento Personalizado, onde o gatilho analisa e processa valores no campo de dados definido de forma personalizada.

Nota

Um tipo de gatilho diferente fornece informações de metadados diferentes. Para obter mais informações, consulte Variável de sistema

IU do Data Factory

Esta seção mostra como passar informações de metadados do gatilho para o pipeline, dentro da Interface do Usuário do Azure Data Factory.

1. Vá para a tela de criação e edite um pipeline

2. Selecione na tela em branco para exibir as configurações do pipeline. Não selecione nenhuma atividade. Talvez seja necessário puxar o painel de configuração da parte inferior da tela, pois ele pode ter sido recolhido

3. Selecione a seção Parâmetros e selecione + Novo para adicionar parâmetros

   

4. Adicione gatilhos ao pipeline, clicando em + Gatilho.

5. Crie ou anexe um gatilho ao pipeline e selecione OK

6. Depois de selecionar OK, outra página de gatilho Novo é apresentada com uma lista dos parâmetros especificados para o pipeline, conforme mostrado na captura de tela a seguir. Nessa página, preencha os metadados do gatilho para cada parâmetro. Use o formato definido em Variável de sistema para recuperar informações de gatilho. Você não precisa preencher as informações de todos os parâmetros, apenas aqueles que assumirão valores de metadados de gatilho. Por exemplo, aqui atribuímos a hora de início da execução do gatilho ao parameter_1.

   

7. Para usar os valores no pipeline, utilize os parâmetros @pipeline().parameters.parameterName, não a variável do sistema, nas definições do pipeline. Por exemplo, no nosso caso, para ler a hora de início do gatilho, faremos referência @pipeline().parameters.parameter_1a .

Esquema do JSON

Para passar informações de gatilho para execuções de pipeline, tanto o trigger quanto o pipeline json precisam ser atualizados com a seção de parâmetros .

Definição de pipeline

Na seção de propriedades, adicione definições de parâmetros à seção deparâmetros

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_2",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Definição do gatilho

Na seção pipelines, atribua valores de parâmetros na seção de parâmetros. Você não precisa preencher as informações de todos os parâmetros, apenas aqueles que assumirão valores de metadados de gatilho.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Usar informações de gatilho no pipeline

Para usar os valores no pipeline, utilize os parâmetros @pipeline().parameters.parameterName, não a variável do sistema, nas definições do pipeline.

Conteúdos relacionados

Para obter informações detalhadas sobre gatilhos, consulte Execução e gatilhos de pipeline.