Usa i parametri in Lakeflow Designer

I parametri sono valori nominati definiti per la preparazione dei dati visivi nel suo complesso. Puoi fare riferimento ai parametri in SQL e Python per il codice degli operatori, nei campi di configurazione degli operatori supportati e nelle espressioni che abilitano o disabilitano gli operatori. I parametri permettono di eseguire la stessa preparazione dei dati visivi su ambienti diversi, ad esempio un catalogo di test durante lo sviluppo e un catalogo di produzione in produzione.

Definisci i parametri

Per gestire i parametri, seleziona Parametri nel pannello sinistro. Ogni parametro ha un valore impostato quando viene definito. Quando la preparazione dei dati visivi viene eseguita in base a una pianificazione o come job, puoi sovrascrivere quel valore. Vedi sovrascrivere i valori dei parametri in produzione.

Fare riferimento a un parametro da un operatore

Il modo in cui si fa riferimento a un parametro dipende da dove lo si usa:

  • Operatore SQL: usare la sintassi dell'indicatore di parametro denominato, ad esempio :environment. Vedere Usare marcatori di parametro denominati.
  • operatore Python: chiamare dbutils.widgets.get(), ad esempio dbutils.widgets.get("environment"). Vedi strumento Widget (dbutils.widgets).
  • Campi di configurazione supportati per l'operatore: nel pannello di configurazione dell'operatore, seleziona Parametri nell'angolo in alto a destra. Seleziona un campo e inserisci un'espressione come :source_table. I campi supportati includono:
    • Fonte: tabella, percorso file e formato file.
    • Output: Catalogo, Schema, Tabella, Vista, Volume, Nome File e modalità Scrittura.
    • Limite: Limite.
    • Combina: Imposta operazione, Unisci strategia, Unisci per nome e Consenti colonne mancanti.

Quando si apre un operatore SQL o Python per la modifica, Lakeflow Designer mostra un esempio di come fare riferimento ai parametri disponibili sopra l'editor di origine.

Combina i parametri con testo fisso

In un'espressione di parametro per un operatore Sorgente o Output, si usa :parameter_name per sostituire un intero valore. Per combinare parametri con testo fisso, racchiudi il testo tra virgolette singole e usa ||. Ad esempio, la seguente espressione della Tabella Sorgente costruisce un nome di tabella completamente qualificato:

:catalog || '.' || :schema || '.' || :table

Abilita o disabilita un operatore con un parametro

Puoi usare un parametro per abilitare o disabilitare qualsiasi operatore configurato. Nel suo pannello Parametri , seleziona Disabilitato e inserisci un'espressione booleana. Ad esempio, :skip_operator disabilita l'operatore quando il parametro è true. Un operatore disabilitato non produce righe di output.

Per abilitare o disabilitare manualmente un operatore, consulta Rinomina, copia, elimina e disabilita gli operatori.

Sovrascrivi i valori dei parametri in produzione

In fase di esecuzione, una preparazione dei dati visiva legge i suoi parametri allo stesso modo, sia che venga eseguita in modo interattivo che come lavoro, così lo stesso file funziona su tutti gli ambienti senza modifiche. Fornisci valori diversi per ogni ambiente come segue:

  • Quando si pianifica un processo nell'interfaccia utente: eseguire l'override dei valori dei parametri per ogni pianificazione. Ad esempio, programmare la stessa preparazione dei dati visivi per essere eseguita ogni giorno a mezzogiorno con un environment parametro impostato su test, e di nuovo alle 14:00 con environment impostato su production. Visualizza Pianifica come processo.
  • Quando si distribuisce con un bundle: imposta i valori dei parametri tramite il parameters del job e usa i target del bundle per fornire valori diversi per ogni ambiente. I target bundle di sviluppo e produzione consentono di distribuire lo stesso job in ambienti separati con impostazioni specifiche per l’ambiente. Vedere Modalità di distribuzione dei bundle di automazione dichiarativa e configurazione dei bundle di automazione dichiarativa.

Risorse aggiuntive

  • Ultimo aggiornamento: