Parameterisera jobb

Den här artikeln innehåller en översikt över hur du använder parametrar med jobb och uppgifter, med fokus på detaljerna i konfigurationen för jobb och uppgifter i användargränssnittet. Du måste också uppdatera de källkodresurser som du konfigurerar som uppgifter för att referera till parametrar. Parameterreferenser varierar beroende på språk och aktivitetstyp. Se Åtkomstparametervärden från en aktivitet.

Följande är grundläggande begrepp för att förstå parametrar för jobb:

• Jobbparameter: Ett nyckel-värdepar som definierats på jobbnivå och överförts till aktiviteter. Se Konfigurera jobbparametrar.
• Aktivitetsparameter: Ett nyckel/värde-par eller en JSON-matris som definierats på aktivitetsnivå. Se Konfigurera aktivitetsparametrar.
• Dynamiskt värde refererar till: En syntax för referenser till jobbvillkor, metadata och parametrar vid konfiguration av uppgifter. Se Vad är en referens för dynamiskt värde?.
• Aktivitetsvärden: En syntax för att samla in och referera till värden som genereras under aktivitetskörningar. Se Använda aktivitetsvärden för att skicka information mellan aktiviteter.

Vad kan du göra med parametrar?

Lägg till parametrar i jobb och uppgifter för avancerade användningsfall, inklusive följande:

• Lägg till utökningsbar logik i kodtillgångar.
• Anpassa körningar efter villkor.
• Referera till vanliga parametrar för flera aktiviteter.
• Använd information som genereras i en aktivitet i en annan aktivitet.
• Referensmetadata och körningsinformation i jobbet.

Vad är skillnaden mellan jobb- och uppgiftsparametrar?

Jobbparametrar är nyckel-värdepar som definierats på jobb-nivå. Du kan åsidosätta standardinställningarna för jobbparametrar när du kör nu med olika parametrar eller utlösa en jobbkörning med hjälp av REST-API:et. Jobbparametrar skickas ned till aktiviteter som använder nyckel/värde-parametrar. Andra uppgifter kan referera till jobbparametrar med hjälp av referenser för dynamiskt värde.

Aktivitetsparametrar är nyckel/värde-par med JSON-matriser som definierats på aktivitetsnivå. Varje aktivitetstyp skickar aktivitetsvärden till de konfigurerade kodtillgångarna på olika sätt. Notebook-uppgifter använder till exempel undermodulen dbutils.widgets , medan Python-skript skickar värden som argument till skriptet som om de anropades från kommandoraden. Underordnade aktiviteter kan referera till aktivitetsparametrar från överordnade aktiviteter med hjälp av referenser för dynamiskt värde. Se Åtkomstparametervärden från en aktivitet.

Anteckning

Vissa aktiviteter har inget dedikerat parameterfält , men tillåter referenser till aktivitetsvärden eller dynamiska värdereferenser i andra fält. Se Exempel på parameteriserade dbt-kommandon och Lägg till förgreningslogik i ett jobb med uppgiften If/else.

Skapa arbetsflöden med dynamiska värden

Uppgiftsparametrar som anges med statiska värden kan bara åsidosättas genom att uppdatera uppgiftsdefinitionen. Att ange ett statiskt värde för en jobbparameter är bara att konfigurera ett standardvärde, som du kan åsidosätta när du kör nu med olika parametrar eller utlösa en jobbkörning med hjälp av REST-API:et.

Använd referenser för dynamiskt värde när du definierar uppgiftsparametrar för att implementera mönster, till exempel följande:

• Använd en jobbparameter som output_table för en aktivitet och för en input_table annan.
• Samla in utdata från en notebook-fråga som en lista och iterera över den i en För varje-uppgift.
• Skapa förgreningslogik baserat på antal poster som bearbetas med hjälp av en om/annars-kontrolluppgift.
• Referera till parametrar från andra uppgifter.

Se Vad är en referens för dynamiskt värde?.