Parameterisera jobb

Den här artikeln innehåller en översikt över hur du använder parametrar med jobb och uppgifter.

Följande är grundläggande begrepp för att förstå parametrar för jobb:

• Jobbparameter: Ett nyckel/värde-par som definierats på jobbnivå och push-överförts till aktiviteter. Se Konfigurera jobbparametrar.
• Aktivitetsparameter: Ett nyckel/värde-par eller en JSON-matris som definierats på aktivitetsnivå. Se Konfigurera aktivitetsparametrar.
• Referenser till dynamiskt värde: En syntax för referenser till jobbvillkor, metadata och parametrar. Se Vad är en referens för dynamiskt värde?.
• Aktivitetsvärden: En syntax för att samla in och referera till värden som genereras under aktivitetskörningar. Se Använda aktivitetsvärden för att skicka information mellan aktiviteter.

Vad kan du göra med parametrar?

Lägg till parametrar i jobb och uppgifter för avancerade användningsfall, inklusive följande:

• Lägg till utökningsbar logik i kodtillgångar.
• Villkorsstyrd körning.
• Referera till vanliga parametrar för flera aktiviteter.
• Använd information som genereras i en aktivitet i en annan aktivitet.
• Referensmetadata och tillståndsinformation i jobbkörningen.

Vad är skillnaden mellan jobb- och uppgiftsparametrar?

Jobbpar är nyckel/värde-par som definierats på jobbnivå. Du kan åsidosätta standardinställningarna för jobbparametrar när du kör nu med olika parametrar eller utlösa en jobbkörning med hjälp av REST-API:et. Jobbparametrar skickas ned till aktiviteter som använder nyckel/värde-parametrar. Andra uppgifter kan referera till jobbparametrar med hjälp av referenser för dynamiskt värde.

Aktivitetsparametrar är nyckel/värde-par med JSON-matriser som definierats på aktivitetsnivå. Varje aktivitetstyp skickar aktivitetsvärden till de konfigurerade kodtillgångarna på olika sätt. Notebook-uppgifter använder till exempel undermodulen dbutils.widgets , medan Python-skript skickar värden som argument till skriptet som om de anropades från kommandoraden. Underordnade aktiviteter kan referera till aktivitetsparametrar från överordnade aktiviteter med hjälp av referenser för dynamiskt värde.

Kommentar

Vissa aktiviteter har inget dedikerat parameterfält , men tillåter referenser till aktivitetsvärden eller dynamiska värdereferenser i andra fält. Se Exempel på parameteriserade dbt-kommandon och Lägg till förgreningslogik i ett jobb med uppgiften If/else.

Skapa arbetsflöden med dynamiska värden

Uppgiftsparametrar som anges med statiska värden kan bara åsidosättas genom att uppdatera uppgiftsdefinitionen. Att ange ett statiskt värde för en jobbparameter är bara att konfigurera ett standardvärde, som du kan åsidosätta när du kör nu med olika parametrar eller utlösa en jobbkörning med hjälp av REST-API:et.

Använd referenser för dynamiskt värde när du definierar uppgiftsparametrar för att implementera mönster, till exempel följande:

• Använd en jobbparameter som output_table för en aktivitet och för en input_table annan.
• Samla in utdata från en notebook-fråga som en lista och loopa över den i en För varje uppgift.
• Skapa förgreningslogik baserat på antalet poster som bearbetas med hjälp av en If/else-villkorsaktivitet .
• Se parametrar från andra uppgifter.

Se Vad är en referens för dynamiskt värde?.