Monitoraggio dei dettagli dell'applicazione Apache Spark

Con Microsoft Fabric è possibile usare Apache Spark per eseguire notebook, processi e altri tipi di applicazioni nell'area di lavoro. Questo articolo illustra come monitorare l'applicazione Apache Spark, consentendo di tenere d'occhio lo stato di esecuzione, i problemi e lo stato di avanzamento dei processi recenti.

Visualizzare le applicazioni Apache Spark

È possibile visualizzare tutte le applicazioni Apache Spark dalla definizione del processo Spark o dal menu di scelta rapida delle voci del notebook che mostra l'opzione di esecuzione recente ->Esecuzioni recenti.

È possibile selezionare il nome dell'applicazione da visualizzare nell'elenco delle applicazioni, nella pagina dei dettagli dell'applicazione è possibile visualizzare i dettagli dell'applicazione.

Monitorare lo stato dell'applicazione Apache Spark

Aprire la pagina Esecuzioni recenti della definizione del notebook o del processo Spark. È possibile visualizzare lo stato dell'applicazione Apache.

• Riuscita

• In coda

• Arrestato

• Annullati

• Convalida non superata

Processi

Aprire un processo dell'applicazione Apache Spark dal menu di scelta rapida della definizione del processo Spark o della voce del notebook mostra l'opzione Esecuzione recente ->Esecuzioni recenti:> selezionare un processo nella pagina esecuzioni recenti.

Nella pagina dei dettagli di monitoraggio delle applicazioni Apache Spark l'elenco delle esecuzioni dei processi viene visualizzato nella scheda Processi. È possibile visualizzare i dettagli di ogni processo, tra cui ID processo, Descrizione, Stato, Fasi, Attività, Durata, Elaborazione, Lettura dati, Dati scritti e frammenti di codice.

• Facendo clic su ID processo è possibile espandere/comprimere il processo.
• Fare clic sulla descrizione del processo. È possibile passare alla pagina del processo o della fase nell'interfaccia utente spark.
• Fare clic sul frammento di codice del processo, è possibile controllare e copiare il codice correlato a questo processo.

Risorse (anteprima)

Il grafico di utilizzo dell'executor visualizza visivamente l'allocazione di executor del processo Spark e l'utilizzo delle risorse. Attualmente, solo le informazioni di runtime di Spark 3.4 e versioni successive visualizzeranno questa funzionalità. Selezionare Risorse (anteprima), quindi vengono bozzate quattro curve di tipi sull'utilizzo dell'executor, tra cui Running, Idled, Allocate, Maximum instances (Istanze massime allocate).

• Per Allocate, si riferisce alla situazione principale allocata durante l'esecuzione dell'applicazione Spark.

• Per Numero massimo di istanze, fa riferimento al numero massimo di core allocati all'applicazione Spark.

• Per In esecuzione, fa riferimento al numero effettivo di core usati dall'applicazione Spark quando è in esecuzione. Fare clic in un momento specifico durante l'esecuzione dell'applicazione Spark. È possibile visualizzare i dettagli dell'allocazione di core executor in esecuzione nella parte inferiore del grafico.

  

• Per Idled, è il numero di core inutilizzati durante l'esecuzione dell'applicazione Spark.

In alcuni casi, in un certo momento il numero di attività potrebbe superare la capacità dei core dell'executor (ad esempio, numeri > di attività totali core executor / spark.task.cpus). Questo è come previsto, perché esiste un intervallo di tempo tra un'attività contrassegnata come in esecuzione ed è effettivamente in esecuzione in un core executor. Alcune attività potrebbero quindi essere visualizzate come in esecuzione, ma non vengono eseguite in alcun core.

Selezionare l'icona del colore per selezionare o deselezionare il contenuto corrispondente in tutto il grafico.

Pannello riepilogo

Nella pagina di monitoraggio dell'applicazione Apache Spark fare clic sul pulsante Proprietà per aprire/comprimere il pannello di riepilogo. È possibile visualizzare i dettagli per questa applicazione in Dettagli.

• Stato per questa applicazione Spark.
• ID dell'applicazione Spark.
• Durata totale.
• Durata di esecuzione per questa applicazione Spark.
• Durata in coda per questa applicazione Spark.
• ID Livy
• Inviatore per questa applicazione Spark.
• Invia ora per questa applicazione Spark.
• Numero di executor.

Registri

Per la scheda Log è possibile visualizzare il log completo di Livy, Prelaunch, Driver log con opzioni diverse selezionate nel pannello sinistro. È anche possibile recuperare direttamente le informazioni di log necessarie cercando parole chiave e visualizzare i log filtrando lo stato del log. Fare clic su Download Log (Scarica log) per scaricare le informazioni di log nell'area locale.

In alcuni casi non sono disponibili log, ad esempio lo stato del processo viene accodato e la creazione del cluster non è riuscita.

I log live sono disponibili solo quando l'invio dell'app ha esito negativo e vengono forniti anche i log dei driver.

Dati

Per la scheda Dati , è possibile copiare l'elenco dei dati negli Appunti, scaricare l'elenco dei dati e i dati singoli e controllare le proprietà per ogni dati.

• Il pannello sinistro può essere espanso o compresso.
• Il nome, il formato di lettura, le dimensioni, l'origine e il percorso dei file di input e output verranno visualizzati in questo elenco.
• È possibile scaricare i file in input e output, copiare il percorso e visualizzare le proprietà.

Elementi correlati

La scheda Elementi correlati consente di esplorare e visualizzare gli elementi associati all'applicazione Apache Spark, inclusi notebook, definizione del processo Spark e/o pipeline. Nella pagina elementi correlati viene visualizzato lo snapshot del codice e dei valori dei parametri al momento dell'esecuzione per notebook. Mostra anche lo snapshot di tutte le impostazioni e i parametri al momento dell'invio per le definizioni dei processi Spark. Se l'applicazione Apache Spark è associata a una pipeline, la pagina dell'elemento correlato presenta anche la pipeline corrispondente e l'attività Spark.

Nella schermata Elementi correlati è possibile:

• Esplorare e esplorare gli elementi correlati nell'albero gerarchico.
• Fare clic sull'icona con i puntini di sospensione "Elenco di altre azioni" per ogni elemento per eseguire azioni diverse.
• Fare clic sull'elemento snapshot per visualizzarne il contenuto.
• Visualizzare la barra di navigazione per visualizzare il percorso dall'elemento selezionato alla radice.

Diagnostica

Il pannello di diagnostica fornisce agli utenti raccomandazioni e analisi degli errori in tempo reale, generati da Spark Advisor tramite un'analisi del codice dell'utente. Con i modelli predefiniti, Apache Spark Advisor consente agli utenti di evitare errori comuni e di analizzare gli errori per identificare la causa radice.

Contenuto correlato

Il passaggio successivo dopo aver visualizzato i dettagli di un'applicazione Apache Spark consiste nel visualizzare lo stato del processo Spark sotto la cella Notebook. È possibile fare riferimento a:

• Monitoraggio e debug contestuali dei notebook