Sviluppare ed eseguire il debugging delle pipeline con un notebook (legacy)

Importante

Questa funzionalità è in Anteprima Pubblica.

Questo articolo descrive come usare un notebook nelle pipeline dichiarative di Lakeflow Spark per sviluppare ed eseguire il debug di pipeline ETL.

Annotazioni

Questa pagina descrive l'esperienza di modifica del notebook legacy. L'esperienza predefinita consigliata è l'editor delle pipeline di Lakeflow. È possibile usare l'editor di pipeline Lakeflow per modificare i notebook o i file di codice Python o SQL per una pipeline. Per altre informazioni, vedere Sviluppare ed eseguire il debug di pipeline ETL con il Lakeflow Pipelines Editor.

Per configurare l'esperienza con il notebook descritta in questa pagina, è necessario disattivare l'Editor Pipeline di Lakeflow. Vedere Abilitare l'editor delle pipeline di Lakeflow e il monitoraggio aggiornato.

Panoramica dei notebook nelle pipeline dichiarative di Lakeflow Spark

Quando si lavora in un notebook Python o SQL configurato come codice sorgente per una pipeline esistente, è possibile connettere il notebook direttamente alla pipeline. Quando il notebook è connesso alla pipeline, sono disponibili le funzionalità seguenti:

• Avviare e convalidare la pipeline dal notebook.
• Visualizza il grafico del flusso di dati e il registro eventi della pipeline per l'ultimo aggiornamento nel notebook.
• Visualizzare la diagnostica della pipeline nell'editor del notebook.
• Visualizza lo stato del cluster della pipeline nel notebook.
• Accedere all'interfaccia utente di Lakeflow Spark Declarative Pipelines dal notebook.

Prerequisiti

• È necessario disporre di una pipeline esistente con un notebook Python o SQL configurato come codice sorgente.
• È necessario essere il proprietario della pipeline o avere il privilegio CAN_MANAGE.

Limitazioni

• Le funzionalità descritte in questo articolo sono disponibili solo nei notebook di Azure Databricks. I file dell'area di lavoro non sono supportati.
• Il terminale Web non è disponibile quando è collegato a una pipeline. Di conseguenza, non viene visualizzata come scheda nel pannello inferiore.

Connettere un notebook a una pipeline

All'interno del notebook fare clic sul menu a discesa usato per selezionare calcolo. Il menu a discesa mostra tutte le pipeline dichiarative di Lakeflow Spark in cui questo notebook funge da codice sorgente. Per connettere il notebook a una pipeline, selezionarlo dall'elenco.

Visualizza lo stato del cluster della pipeline

Per comprendere facilmente lo stato del cluster della pipeline, il relativo stato viene visualizzato nel menu a discesa di calcolo con un colore verde per indicare che il cluster è in esecuzione.

Validare il codice della pipeline

È possibile convalidare la pipeline per verificare la presenza di errori di sintassi nel codice sorgente senza elaborare dati.

Per convalidare una pipeline, eseguire una delle operazioni seguenti:

• Nell'angolo superiore destro del notebook fare clic su Convalida.
• Premere Shift+Enter in qualsiasi cella del notebook.
• Nel menu a discesa di una cella fare clic su Convalida pipeline.

Annotazioni

Se si tenta di convalidare la pipeline mentre è già in esecuzione un aggiornamento esistente, viene visualizzata una finestra di dialogo che chiede se si vuole terminare l'aggiornamento esistente. Se si fa clic su Sì, l'aggiornamento esistente viene arrestato e viene avviato automaticamente un aggiornamento convalidato .

Avviare un aggiornamento della pipeline

Per avviare un aggiornamento della pipeline, fare clic sul pulsante Start nell'angolo in alto a destra del notebook. Vedere Eseguire un aggiornamento della pipeline.

Visualizzare lo stato di un aggiornamento

Il pannello superiore del notebook visualizza se un aggiornamento della pipeline è:

• Starting
• Validazione
• Interruzione

Visualizza errori e diagnostiche

Dopo aver avviato un aggiornamento o una convalida della pipeline, gli eventuali errori vengono visualizzati inline con una sottolineatura rossa. Passare il puntatore del mouse su un errore per visualizzare altre informazioni.

Visualizzare gli eventi della pipeline

Quando è collegata a una pipeline, nella parte inferiore del notebook è presente una scheda del registro eventi di Lakeflow Spark Declarative Pipelines.

Visualizzare il grafico del flusso di dati della pipeline

Per visualizzare il grafico del flusso di dati di una pipeline, usare la scheda del grafico Lakeflow Spark Declarative Pipelines nella parte inferiore del notebook. Se si seleziona un nodo nel grafico, lo schema viene visualizzato nel pannello destro.

Come accedere all'interfaccia utente delle pipeline dichiarative di Lakeflow Spark dal notebook

Per passare facilmente all'interfaccia utente delle pipeline dichiarative di Lakeflow Spark, usare il menu nell'angolo in alto a destra del notebook.

Accedere ai log dei driver e all'interfaccia utente di Spark dal notebook

È possibile accedere facilmente ai log dei driver e all'interfaccia utente spark associata alla pipeline in fase di sviluppo dal menu Visualizza del notebook.