Använd parametrar i Lakeflow Designer

Parametrar är namngivna värden definierade för den visuella dataförberedelsen som helhet. Du kan referera till parametrar i SQL- och Python-operatorkod, i stödda operatorkonfigurationsfält och i uttryck som aktiverar eller inaktiverar operatorer. Parametrar låter dig köra samma visuella dataförberedelse mot olika miljöer, till exempel en testkatalog under utveckling och en produktionskatalog under produktion.

Definiera parametrar

För att hantera parametrar, välj Parametrar i vänstra rutan. Varje parameter har ett värde som du anger när du definierar den. När den visuella dataförberedelsen sker enligt schema eller som ett jobb kan du åsidosätta det värdet. Se Åsidosätt parametervärden i produktion.

Panelen listar operatörerna som använder varje parameter. Välj ett operatörsnamn för att markera det på arbetsytan.

Referera till en parameter från en operator

Hur du refererar till en parameter beror på var du använder den:

  • SQL-operator: Använd namngiven parametermarkörsyntax, till exempel :environment. Se Använda namngivna parametermarkörer.
  • Python operator: Anropa dbutils.widgets.get(), till exempel dbutils.widgets.get("environment"). Se Widgets-verktyget (dbutils.widgets).
  • Stödda operatörskonfigurationsfält: I operatörens konfigurationspanel, välj Parametrar uppe i högra hörnet. Välj ett fält och mata in ett uttryck som :source_table. Stödda områden inkluderar:
    • Källa: Tabell, filsökväg och filformat.
    • Utdata: Katalog, Schema, Tabell, Vy, Volym, Filnamn och Skrivläge.
    • Gräns: Gräns.
    • Kombinera: Sätt operation, Slå ihop strategi, Förena efter namn och Tillåt saknade kolumner.

När du öppnar en SQL- eller Python operator för redigering visar Lakeflow Designer ett exempel på hur du refererar till de tillgängliga parametrarna ovanför källredigeraren.

Kombinera parametrar med fast text

I ett parameteruttryck för en Source- eller Output-operator, använd :parameter_name för att ersätta ett helt värde. För att kombinera parametrar med fast text, omslut texten i enkla citattecken och använd ||. Till exempel konstruerar följande uttryck i källtabellen ett fullt kvalificerat tabellnamn:

:catalog || '.' || :schema || '.' || :table

Aktivera eller inaktivera en operatör med en parameter

Du kan använda en parameter för att aktivera eller inaktivera vilken konfigurerad operator som helst. I dess parameterpanel , välj Inaktiverad och ange ett booleskt uttryck. Till exempel :skip_operator inaktiverar operatorn när parametern är true. En inaktiverad operator genererar inga utgångsrader.

För att aktivera eller inaktivera en operatör manuellt i stället, se Byt namn på, kopiera, ta bort och inaktivera operatörer.

Överstyr parametervärden i produktion

Vid körning läser en visuell dataförberedelse sina parametrar på samma sätt oavsett om den körs interaktivt eller som ett jobb, så samma fil fungerar i alla dina miljöer utan ändringar. Ange olika värden för varje miljö enligt följande:

  • När du schemalägger ett jobb i användargränssnittet: Åsidosätt parametervärdena för varje schema. Till exempel, schemalägg samma visuella dataförberedelse så att den körs varje dag vid middagstid med en environment parameter satt till test, och igen klockan 14 med environment satt till production. Se Schemalägg som ett jobb.
  • När du distribuerar med ett paket: Ange parametervärdena via jobbets parameters, och använd paketmål för att ange olika värden per miljö. Med paketutvecklings- och produktionsmål kan du distribuera samma jobb för att separera miljöer med miljöspecifika inställningar. Se Distributionslägen för deklarativa Automation-paket och konfiguration av deklarativa Automation-paket.

Ytterligare resurser

  • Uppdaterades senast