Monitorare i processi Spark all'interno di un notebook

Il notebook di Microsoft Fabric è una superficie interattiva basata sul Web per lo sviluppo di processi Apache Spark e l'esecuzione di esperimenti di Machine Learning. Questo articolo illustra come monitorare lo stato dei processi Spark, accedere ai log di Spark, ricevere consigli all'interno del notebook e passare alla visualizzazione dei dettagli dell'applicazione Spark o all'interfaccia utente di Spark per informazioni di monitoraggio più complete per l'intero notebook.

Monitorare lo stato del processo Spark

Un indicatore di stato del processo Spark viene fornito con una barra di stato in tempo reale che consente di monitorare lo stato di esecuzione del processo per ogni cella del notebook. È possibile visualizzare lo stato e lo stato di avanzamento delle attività nei processi e nelle fasi di Spark.

Monitorare l'utilizzo delle risorse

Il grafico di utilizzo dell'executor visualizza visivamente l'allocazione di executor del processo Spark e l'utilizzo delle risorse. Attualmente, solo le informazioni di runtime di Spark 3.4 e versioni successive visualizzeranno questa funzionalità. Fare clic sulla scheda Risorse . Verrà visualizzato il grafico a linee per l'utilizzo delle risorse della cella di codice.

Visualizzare le raccomandazioni di Spark Advisor

Un advisor Spark predefinito analizza il codice del notebook e le esecuzioni di Spark in tempo reale per ottimizzare le prestazioni in esecuzione del notebook e facilitare il debug degli errori. Esistono tre tipi di consigli predefiniti: Info, Avviso e Errore. Le icone con numeri indicano il rispettivo conteggio di consigli in ogni categoria (Info, Avviso e Errore) generato da Spark Advisor per una determinata cella del notebook.

Per visualizzare i consigli, fare clic sulla freccia all'inizio per espandere e visualizzare i dettagli.

Dopo aver espanso la sezione advisor, uno o più consigli diventano visibili.

Rilevamento asimmetria di Spark Advisor

L'asimmetria dei dati è un problema comune che gli utenti spesso riscontrano. Spark Advisor supporta il rilevamento delle asimmetrie e, se viene rilevata un'asimmetria, di seguito viene visualizzata un'analisi corrispondente.

Accedere ai log in tempo reale di Spark

I log di Spark sono essenziali per individuare le eccezioni e diagnosticare le prestazioni o gli errori. La funzionalità di monitoraggio contestuale nel notebook consente di visualizzare direttamente i log per la cella specifica in esecuzione. È possibile cercare i log o filtrarli in base a errori e avvisi.

Passare ai dettagli del monitoraggio spark e all'interfaccia utente di Spark

Per accedere ad altre informazioni sull'esecuzione di Spark a livello di notebook, è possibile passare alla pagina dei dettagli dell'applicazione Spark o all'interfaccia utente spark tramite le opzioni disponibili nel menu di scelta rapida.

Contenuto correlato

• Informazioni su Spark Advisor
• Monitoraggio dei dettagli dell'applicazione Apache Spark
• Usare il server cronologia Spark esteso per eseguire il debug delle app