Panoramica del monitoraggio di Apache Spark

  • Articolo

Il monitoraggio di Microsoft Fabric Spark è progettato per offrire un'esperienza basata sull'interfaccia utente Web con funzionalità avanzate predefinite per monitorare lo stato e lo stato delle applicazioni Spark in corso, esplorare le attività precedenti di Spark, analizzare e ottimizzare le prestazioni e facilitare la risoluzione degli errori. Sono disponibili più punti di ingresso per l'esplorazione, il monitoraggio e la visualizzazione dei dettagli dell'applicazione Spark.

Hub di monitoraggio

L'hub di monitoraggio funge da portale centralizzato per l'esplorazione delle attività Spark tra gli elementi. A colpo d'occhio, è possibile visualizzare le applicazioni Spark in corso attivate dai notebook, dalle definizioni dei processi Spark e dalle pipeline. È anche possibile cercare e filtrare le applicazioni Spark in base a criteri diversi ed eseguire il drill-down per visualizzare altri dettagli di esecuzione Spark di un'applicazione Spark.

Esecuzioni recenti degli elementi

Quando si lavora su elementi specifici, la funzionalità Esecuzioni recenti consente di esplorare le attività correnti e recenti dell'elemento e di ottenere informazioni dettagliate sul mittente, lo stato, la durata e altre informazioni per le attività inviate dall'utente o da altri utenti.

Monitoraggio contestuale del notebook

Il monitoraggio contestuale dei notebook offre la funzionalità di creazione, monitoraggio e debug di processi Spark in un'unica posizione. È possibile monitorare lo stato del processo Spark, visualizzare le attività di esecuzione di Spark e gli executor e accedere ai log di Spark all'interno di un notebook a livello di cella del notebook. Spark Advisor è integrato anche in Notebook per offrire consigli in tempo reale sull'esecuzione di codice e celle spark ed eseguire l'analisi degli errori.

Monitoraggio inline della definizione del processo Spark

La funzionalità monitoraggio inline della definizione del processo Spark consente di visualizzare l'invio della definizione del processo Spark e lo stato di esecuzione in tempo reale, nonché visualizzare le esecuzioni e le configurazioni precedenti della definizione del processo Spark. È possibile passare alla pagina dei dettagli dell'applicazione Spark per visualizzare altri dettagli.

Monitoraggio inline dell'attività Spark della pipeline

Per il monitoraggio inline dell'attività Spark della pipeline, i collegamenti diretti sono stati integrati nelle attività di definizione del processo Notebook e Spark all'interno della pipeline. È possibile visualizzare i dettagli di esecuzione dell'applicazione Spark, il rispettivo snapshot di definizione del notebook e del processo Spark e accedere ai log di Spark per la risoluzione dei problemi. Se le attività Spark hanno esito negativo, il messaggio di errore inline è disponibile anche nelle attività di Pipeline Spark.

Contenuto correlato