Referentietriggermetagegevens in pijplijnuitvoeringen

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe metagegevens van triggers, zoals de begintijd van de trigger, kunnen worden gebruikt in een pijplijnuitvoering.

Een pijplijn moet soms metagegevens begrijpen en lezen van de trigger die deze aanroept. Wanneer een tumblingvenstertrigger bijvoorbeeld wordt uitgevoerd op basis van de begin- en eindtijd van het venster, verwerkt de pijplijn verschillende gegevenssegmenten of mappen. In Azure Data Factory gebruiken we parameterisatie en systeemvariabelen om metagegevens van triggers door te geven aan pijplijnen.

Dit patroon is vooral handig voor tumblingvenstertriggers, waarbij de trigger de begin- en eindtijd van het venster biedt, en aangepaste gebeurtenistriggers, waarbij de trigger waarden parseert en verwerkt in een aangepast gegevensveld.

Notitie

Verschillende triggertypen bieden verschillende metagegevensinformatie. Zie Systeemvariabelen voor meer informatie.

Gebruikersinterface van Data Factory

In deze sectie wordt beschreven hoe u metagegevensgegevens van triggers doorgeeft aan pijplijnen, in de gebruikersinterface (UI) van Data Factory.

1. Ga naar het ontwerpcanvas en bewerk een pijplijn.

2. Selecteer het lege canvas om pijplijninstellingen weer te geven. Selecteer geen activiteit. Mogelijk moet u het instellingsvenster onder aan het canvas ophalen, omdat het mogelijk is samengevouwen.

3. Selecteer het tabblad Parameters en selecteer + Nieuw om parameters toe te voegen.

   

4. Voeg triggers toe aan de pijplijn door + Trigger te selecteren.

5. Maak of koppel een trigger aan de pijplijn en selecteer OK.

6. Nadat u OK hebt geselecteerd, wordt een andere pagina Nieuwe trigger weergegeven met een lijst met de parameters die zijn opgegeven voor de pijplijn, zoals wordt weergegeven in de volgende schermopname. Vul op die pagina de metagegevens van de trigger voor elke parameter in. Gebruik de indeling die is gedefinieerd in systeemvariabelen om triggergegevens op te halen. U hoeft de gegevens voor alle parameters niet in te vullen. Vul alleen de waarden in die ervan uitgaan dat metagegevenswaarden worden geactiveerd. Hier wijzen we bijvoorbeeld de starttijd van de triggeruitvoering toe aan parameter_1.

   

7. Als u de waarden in de pijplijn wilt gebruiken, gebruikt u parameters, zoals @pipeline().parameters.parameterNamesysteemvariabelen, in pijplijndefinities. Als u bijvoorbeeld de begintijd van de trigger wilt lezen, verwijzen we ernaar @pipeline().parameters.parameter_1.

JSON-schema

Als u triggergegevens wilt doorgeven aan pijplijnuitvoeringen, moeten zowel de trigger als de JSON van de pijplijn worden bijgewerkt met de parameters sectie.

Pijplijndefinitie

Voeg onder de properties sectie parameterdefinities toe aan de parameters sectie.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_2",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Triggerdefinitie

Wijs in de pipelines sectie parameterwaarden toe in de parameters sectie. U hoeft de gegevens voor alle parameters niet in te vullen. Vul alleen de waarden in die ervan uitgaan dat metagegevenswaarden worden geactiveerd.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Triggergegevens gebruiken in een pijplijn

Als u de waarden in een pijplijn wilt gebruiken, gebruikt u parameters, zoals @pipeline().parameters.parameterNamesysteemvariabelen, in pijplijndefinities.

Gerelateerde inhoud

Zie Pijplijnuitvoering en triggers voor meer informatie over triggers.