Spostare un file di preparazione dei dati visivi nell'ambiente di produzione

Ogni file di preparazione dei dati visivi compilato in Lakeflow Designer è supportato dal codice pronto per la produzione e archiviato come notebook denominato <name>.designer.ipynb. È possibile spostarlo nell'ambiente di produzione con gli stessi strumenti usati per altri Azure Databricks codice: archiviarlo in Git, eseguirlo come processo e distribuirlo con bundle di automazione dichiarativa.

Questa pagina illustra come acquisire un file di preparazione dei dati visivi dal prototipo all'ambiente di produzione.

Archiviare e versione in Git

L'area di lavoro archivia i file di preparazione dei dati visivi in modo nativo. Per eseguire la versione di un file di preparazione dei dati visivi, inserirlo in una cartella Git e tenerne traccia come qualsiasi altro notebook:

1. Creare una cartella Git nell'area di lavoro.
2. Spostare il file di preparazione dei dati visivi in tale cartella Git.
3. Tenere traccia del file, eseguire il commit e gestirne le versioni come faresti con qualsiasi altro notebook in Git. In Git il file viene visualizzato come <file_name>.designer.ipynb.

Per altre informazioni sulle cartelle Git, vedere Azure Databricks cartelle Git. Per esportare o importare un file di preparazione dei dati visivi, vedere Esportare e importare un file di preparazione dei dati visivi.

Pianifica come attività pianificata

È possibile automatizzare un file di preparazione dei dati visivi pianificandolo come processo.

• Pianifica direttamente: fare clic sul pulsante Pianifica nel menu in alto per creare un processo pianificato per il file di preparazione dei dati visivi.
• Aggiungere a un processo: creare un processo Azure Databricks e aggiungere il file di preparazione dei dati visivi come attività. In questo modo è possibile combinare il file di preparazione dei dati visivi con altre attività in una pipeline più grande. Nell'elenco a discesa Tipo di attività selezionare Preparazione dati visivi e quindi selezionare il file.

Le esecuzioni pianificate mostrano ogni operatore come nodo individuale nel grafo delle attività di Processi, in modo da poter esaminare i risultati di ciascun operatore in un'esecuzione come si fa nell'area di disegno.

Per visualizzare e gestire le pianificazioni esistenti, fare di nuovo clic su Pianifica per aprire l'elenco. Fare clic su Aggiungi pianificazione per crearne un'altra oppure aprire il menu kebab di una pianificazione rappresentato dall'icona per Modifica, Esegui ora, Sospendi, Clona, Visualizza nei processi o Elimina.

Visualizzare l'output dell'operatore in un'esecuzione

Per impostazione predefinita, un'esecuzione pianificata genera l'output solo per gli operatori terminal (operatori senza connessione downstream), ad esempio un operatore Output. Per visualizzare i risultati di ogni operatore nell'esecuzione, espandere Impostazioni avanzate nella finestra di dialogo pianificazione e selezionare Visualizza output dell'operatore.

Disattivare questa opzione per le aree di disegno di grandi dimensioni per evitare di superare il limite di dimensioni dell'output di esecuzione.

Selezionare l'ambiente serverless

Quando si usa un file di preparazione dei dati visivi, è possibile selezionare l'ambiente serverless usato sia per le esecuzioni interattive che per i processi pianificati. Configurarlo Riquadro laterale dell'ambiente nella barra laterale destra, come si fa per un notebook. In Ambiente di base selezionare una versione dell'ambiente. Vedi Configurare l'ambiente serverless.

Parametrizzare tra ambienti

I parametri sono valori denominati definiti per il file di preparazione dei dati visivi nel suo complesso a cui è possibile fare riferimento dagli operatori SQL e Python. Per informazioni dettagliate sulla definizione e sul riferimento ai parametri, vedere Parametri.

I parametri consentono di eseguire lo stesso file di preparazione dei dati visivi in ambienti diversi, ad esempio un catalogo di test durante lo sviluppo e un catalogo di produzione nell'ambiente di produzione.

• Quando si pianifica un processo nell'interfaccia utente: eseguire l'override dei valori dei parametri per ogni pianificazione. Ad esempio, creare una pianificazione eseguita con un environment parametro impostato su test e un'altra che viene eseguita con esso impostata su production.
• Quando si distribuisce con un bundle: imposta i valori dei parametri tramite il parameters del job e usa i target del bundle per fornire valori diversi per ogni ambiente. I target bundle di sviluppo e produzione consentono di distribuire lo stesso job in ambienti separati con impostazioni specifiche per l’ambiente. Vedere Modalità di distribuzione dei bundle di automazione dichiarativa e configurazione dei bundle di automazione dichiarativa.

In fase di esecuzione, un file di preparazione dei dati visivi legge i relativi parametri nello stesso modo in cui viene eseguito in modo interattivo o come processo, quindi lo stesso file funziona in tutti gli ambienti senza modifiche.

Leggi da tabelle differenti per ambiente

Per leggere da una tabella di origine diversa in ogni ambiente, usare un operatore SQL con parametri anziché un operatore Source fisso. Definite i parametri catalog, schema e table, quindi fate riferimento a essi tramite la clausola IDENTIFIER() per creare il nome della tabella in modo dinamico:

SELECT * FROM IDENTIFIER(:catalog || '.' || :schema || '.' || :table)

Sovrascrivere i parametri catalog, schema o table per pianificazione o destinazione del bundle in modo che lo stesso file di preparazione visiva dei dati punti ai dati di test durante lo sviluppo e ai dati di produzione in produzione. Per altre informazioni sulla IDENTIFIER() clausola , vedere IDENTIFIER clausola .

Distribuire con pacchetti di automazione dichiarativa

I bundle di automazione dichiarativa consentono di definire e distribuire Azure Databricks risorse, ad esempio processi come file di origine, in modo da poter applicare procedure consigliate per la progettazione del software, ad esempio controllo del codice, revisione del codice, test e CI/CD nei file di preparazione dei dati visivi. Vedere Che cosa sono i bundle di automazione dichiarativa?.

Per distribuire un file di preparazione visuale dei dati con un bundle, definire un'attività del notebook e fare riferimento al percorso del file .designer.ipynb in notebook_task.notebook_path. In un bundle, un file di preparazione visiva dei dati usa la chiave notebook_task, anche se l'interfaccia utente di Jobs lo mostra come tipo di attività Preparazione visiva dei dati.

L'esempio seguente definisce un processo che esegue un file di preparazione dei dati visivi che si trova accanto al file di configurazione del bundle:

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Distribuire ed eseguire il bundle con l'interfaccia della riga di comando di Azure Databricks:

databricks bundle deploy
databricks bundle run daily_prep_job

Per il set completo di chiavi di attività del notebook, vedere Attività notebook. Per una procedura dettagliata completa sulla definizione di un processo in un bundle, vedere Sviluppare un processo con bundle di automazione dichiarativa.

Automatizzare con CI/CD

Per convalidare e distribuire automaticamente i bundle di preparazione dei dati visivi, integrarli in una pipeline CI/CD. Per un esempio di uso di GitHub Actions, vedere GitHub Actions.

Risorse aggiuntive

• Creare una preparazione visiva dei dati in Lakeflow Designer
• Che cosa sono i bundle di automazione dichiarativa?
• Attività notebook per i job