Referenční metadata triggeru v bězích potrubí

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Návod

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric pokrývá všechno od pohybu dat až po vědy o datech, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak se dají v běhu kanálu použít metadata triggeru, například čas spuštění triggeru.

Někdy je nezbytné, aby pipeline mohla zpracovat a číst metadata z triggeru, který ji vyvolá. Například při spuštění spouštěče klouzavého okna, které je založeno na počátečním a koncovém čase okna, potrubí zpracovává různé datové řezy nebo složky. Ve službě Azure Data Factory používáme parametrizaci a systémové proměnné k předávání metadat z triggerů do kanálů.

Tento vzor je užitečný zejména pro triggery v pohyblivých oknech, kde trigger poskytuje počáteční a koncový čas okna, a pro vlastní triggery událostí, kde trigger analyzuje a zpracovává hodnoty ve vlastně definovaném datovém poli.

Poznámka:

Různé typy triggerů poskytují různé informace o metadatech. Další informace naleznete v tématu Systémové proměnné.

Uživatelské rozhraní Data Factory

V této části se dozvíte, jak předat informace o metadatech z triggerů do kanálů v uživatelském rozhraní služby Data Factory.

1. Přejděte na Authoring Canvas a upravte pipeline.

2. Výběrem prázdného plátna zobrazíte nastavení pipeline. Nevybírejte žádnou aktivitu. Možná budete muset vytáhnout podokno nastavení směrem nahoru z dolní části plátna, protože může být sbalené.

3. Vyberte kartu Parametry a vyberte + Nový a přidejte parametry.

   

4. Přidejte do potrubí (pipeline) triggery výběrem + Trigger.

5. Vytvořte nebo připojte trigger ke kanálu a vyberte OK.

6. Po výběru OK se zobrazí další stránka Nová spoušť se seznamem parametrů zadaných pro kanál, jak je znázorněno na následujícím snímku obrazovky. Na této stránce vyplňte metadata triggeru pro každý parametr. K načtení informací o triggeru použijte formát definovaný v systémových proměnných . Nemusíte vyplňovat informace pro všechny parametry. Stačí vyplnit hodnoty, které budou předpokládat hodnoty metadat triggeru. Tady například přiřadíme čas spuštění triggeru k parameter_1.

   

7. Pokud chcete použít hodnoty v kanálu, použijte v definicích kanálu parametry, jako @pipeline().parameters.parameterNamenapříklad , ne systémové proměnné. Například v tomto případě se pro čtení času spuštění spouštěcí události odkazujeme na @pipeline().parameters.parameter_1.

Schéma JSON

Pokud chcete předat informace o triggeru pro běhy kanálů, musí být jak aktivační událost, tak i JSON kanálu aktualizovány přidáním oddílu parameters.

Definice kanálu

V části properties přidejte definice parametrů do oddílu parameters.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_1",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Definice spouštěče

V části pipelines přiřaďte hodnoty parametrů v části parameters. Nemusíte vyplňovat informace pro všechny parametry. Stačí vyplnit hodnoty, které budou předpokládat hodnoty metadat triggeru.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Použijte informace o triggeru v pipeline

Pokud chcete použít hodnoty v kanálu, použijte v definicích kanálu parametry, jako @pipeline().parameters.parameterNamenapříklad , ne systémové proměnné.

Související obsah

Další informace o triggerách naleznete v tématu Spouštění kanálů a triggery.