Referenční metadata triggeru v bězích potrubí

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Návod

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Tento článek popisuje, jak se dají v běhu kanálu použít metadata triggeru, například čas spuštění triggeru.

Někdy je nezbytné, aby pipeline mohla zpracovat a číst metadata z triggeru, který ji vyvolá. Například při spuštění spouštěče klouzavého okna, které je založeno na počátečním a koncovém čase okna, potrubí zpracovává různé datové řezy nebo složky. V Azure Data Factory používáme parametrizaci a proměnné systému k předávání metadat z triggerů do kanálů.

Tento vzor je užitečný zejména pro triggery v pohyblivých oknech, kde trigger poskytuje počáteční a koncový čas okna, a pro vlastní triggery událostí, kde trigger analyzuje a zpracovává hodnoty ve vlastně definovaném datovém poli.

Poznámka:

Různé typy triggerů poskytují různé informace o metadatech. Další informace naleznete v tématu Systémové proměnné.

Uživatelské rozhraní Data Factory

V této části se dozvíte, jak předat informace o metadatech z triggerů do kanálů v uživatelském rozhraní služby Data Factory.

  1. Přejděte na Authoring Canvas a upravte pipeline.

  2. Výběrem prázdného plátna zobrazíte nastavení pipeline. Nevybírejte žádnou aktivitu. Možná budete muset vytáhnout podokno nastavení směrem nahoru z dolní části plátna, protože může být sbalené.

  3. Vyberte kartu Parametry a vyberte + Nový a přidejte parametry.

    Snímek obrazovky znázorňující nastavení kanálu znázorňující, jak definovat parametry v kanálu

  4. Přidejte do potrubí (pipeline) triggery výběrem + Trigger.

  5. Vytvořte nebo připojte trigger ke kanálu a vyberte OK.

  6. Po výběru OK se zobrazí další stránka Nová spoušť se seznamem parametrů zadaných pro kanál, jak je znázorněno na následujícím snímku obrazovky. Na této stránce vyplňte metadata triggeru pro každý parametr. K načtení informací o triggeru použijte formát definovaný v systémových proměnných . Nemusíte vyplňovat informace pro všechny parametry. Stačí vyplnit hodnoty, které budou předpokládat hodnoty metadat triggeru. Tady například přiřadíme čas spuštění triggeru k parameter_1.

    Snímek obrazovky, který ukazuje stránku Parametry spuštění spouštěče a jak předat informace o spouštěči parametrům kanálu.

  7. Pokud chcete použít hodnoty v kanálu, použijte v definicích kanálu parametry, jako @pipeline().parameters.parameterNamenapříklad , ne systémové proměnné. Například v tomto případě se pro čtení času spuštění spouštěcí události odkazujeme na @pipeline().parameters.parameter_1.

Schéma JSON

Pokud chcete předat informace o triggeru pro běhy kanálů, musí být jak aktivační událost, tak i JSON kanálu aktualizovány přidáním oddílu parameters.

Definice kanálu

V části properties přidejte definice parametrů do oddílu parameters.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_1",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Definice spouštěče

V části pipelines přiřaďte hodnoty parametrů v části parameters. Nemusíte vyplňovat informace pro všechny parametry. Stačí vyplnit hodnoty, které budou předpokládat hodnoty metadat triggeru.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Použijte informace o triggeru v pipeline

Pokud chcete použít hodnoty v kanálu, použijte v definicích kanálu parametry, jako @pipeline().parameters.parameterNamenapříklad , ne systémové proměnné.

Související obsah

Další informace o triggerách naleznete v tématu Spouštění kanálů a triggery.

  • Last updated on