Usa i parametri in Lakeflow Designer

I parametri in Lakeflow Designer sono valori nominati definiti per la preparazione dei dati visivi nel suo complesso. Puoi fare riferimento ai parametri in SQL e Python per il codice degli operatori, nei campi di configurazione degli operatori supportati e nelle espressioni che abilitano o disabilitano gli operatori. I parametri permettono di eseguire la stessa preparazione dei dati visivi su ambienti diversi, ad esempio un catalogo di test durante lo sviluppo e un catalogo di produzione in produzione.

Requirements

• Per creare parametri o modificare le assegnazioni dei campi, devi avere il permesso di modificare Visual Data Prep.
• Per parametrizzare un gruppo, devi avere il permesso di
  • modifica la preparazione dei dati visivi
  • Esegui anteprime

Definire i parametri

Per gestire i parametri, seleziona Parametri nel pannello sinistro. Ogni parametro ha un valore impostato quando viene definito. Quando la preparazione dei dati visivi viene eseguita in base a una pianificazione o come job, puoi sovrascrivere quel valore. Vedi sovrascrivere i valori dei parametri in produzione.

Il pannello elenca gli operatori che utilizzano ciascun parametro. Seleziona il nome di un operatore per metterlo a fuoco nell'area di lavoro.

Fare riferimento a un parametro da un operatore

Il modo in cui si fa riferimento a un parametro dipende da dove lo si usa:

• Operatore SQL: Usa la sintassi dei marcatori di parametri nominati, come :environment. Vedere Usare marcatori di parametro denominati.
• Operatore Python: Chiama dbutils.widgets.get(), come dbutils.widgets.get("environment"). Vedi strumento Widget (dbutils.widgets).
• Campi di configurazione supportati per l'operatore: passa il mouse sul campo nel pannello di configurazione dell'operatore, poi seleziona (Usa un parametro). Inserisci un'espressione come :source_table, oppure seleziona un parametro esistente. I campi supportati includono:
  • Fonte: tabella, percorso file e formato file.
  • Output: Catalogo, Schema, Tabella, Vista, Volume, Nome File e modalità Scrittura.
  • Limite: Limite.
  • Filtro: Espressioni individuali di condizioni.
  • Preparazione: Campi supportati nelle singole azioni.
  • Combina: Operazione di insieme, Strategia di unione, Unione per nome e Consenti colonne mancanti.

Per definire un parametro mentre si configura un campo supportato, seleziona Crea parametro nel selezionatore di parametri. Configura il nuovo parametro nel pannello Parametri , poi usalo nel campo.

Quando si apre un operatore SQL o Python per la modifica, Lakeflow Designer mostra un esempio di come fare riferimento ai parametri disponibili sopra l'editor di origine.

Combina i parametri con testo fisso

In un'espressione di parametro per un operatore Sorgente o Output, si usa :parameter_name per sostituire un intero valore. Per combinare parametri con testo fisso, racchiudi il testo tra virgolette singole e usa ||. Ad esempio, la seguente espressione della Tabella Sorgente costruisce un nome di tabella completamente qualificato:

:catalog || '.' || :schema || '.' || :table

Abilita o disabilita un operatore con un parametro

Per controllare se un operatore configurato viene eseguito:

1. Apri il pannello di configurazione dell'operatore e seleziona (Impostazioni operatore).
2. Accanto a Disabilitato, seleziona (Usa un parametro).
3. Inserisci un'espressione booleana, come :skip_operator.

L'espressione disabilita l'operatore quando risulta True. Un operatore disabilitato non produce righe di output.

Per controllare un intero gruppo, apri Disabilita gruppo o Abilita gruppo nella barra degli strumenti del gruppo, poi seleziona (Usa un parametro) accanto a Disabilitato. Inserisci un'espressione booleana e chiudi l'editor per applicarla.

Per abilitare o disabilitare manualmente un operatore, consulta Rinomina, copia, elimina e disabilita gli operatori.

Sovrascrivere i valori dei parametri in produzione

In fase di esecuzione, una preparazione dei dati visiva legge i suoi parametri allo stesso modo, sia che venga eseguita in modo interattivo che come lavoro, così lo stesso file funziona su tutti gli ambienti senza modifiche. Fornisci valori diversi per ogni ambiente come segue:

• Quando pianifichi un lavoro nell'interfaccia: sovrascrivi i valori dei parametri per ogni programmazione. Ad esempio, programmare la stessa preparazione dei dati visivi per essere eseguita ogni giorno a mezzogiorno con un environment parametro impostato su test, e di nuovo alle 14:00 con environment impostato su production. Visualizza Pianifica come processo.
• Quando distribuisci con un bundle: imposta i valori dei parametri tramite le impostazioni del job parameters, e usa i target del bundle per fornire valori diversi per ogni ambiente. I target bundle di sviluppo e produzione consentono di distribuire lo stesso job in ambienti separati con impostazioni specifiche per l’ambiente. Vedere Modalità di distribuzione dei bundle di automazione dichiarativa e configurazione dei bundle di automazione dichiarativa.

Risorse aggiuntive

• Sposta un file di preparazione dei dati visivi in produzione
• Operatori integrati in Lakeflow Designer