Condividi tramite

Usare il Server cronologia Apache Spark esteso per il debug e la diagnosi di applicazioni Apache Spark

  • Articolo

Questo articolo fornisce indicazioni su come usare il server di cronologia Apache Spark esteso per eseguire il debug e la diagnosi delle applicazioni Apache Spark completate ed eseguite.

Accedere al server della cronologia di Apache Spark

Il server cronologia Apache Spark è l'interfaccia utente Web per le applicazioni Spark completate ed in esecuzione. È possibile aprire l'interfaccia utente Web di Apache Spark dal notebook dell'indicatore di stato o dalla pagina dei dettagli dell'applicazione Apache Spark.

Aprire l'interfaccia utente Web Spark dal notebook indicatore di stato

Quando viene attivato un processo Apache Spark, il pulsante per aprire l'interfaccia utente Web Spark si trova nell'opzione Altre azioni nell'indicatore di stato. Selezionare Spark Web UI (Interfaccia utente Web Spark) e attendere alcuni secondi, quindi viene visualizzata la pagina dell'interfaccia utente spark.

Screenshot che mostra l'apertura dell'interfaccia utente Web Spark dal notebook indicatore di stato.

Aprire l'interfaccia utente Web Spark dalla pagina dei dettagli dell'applicazione Apache Spark

L'interfaccia utente Web Spark può essere aperta anche tramite la pagina dei dettagli dell'applicazione Apache Spark. Selezionare Hub di monitoraggio sul lato sinistro della pagina e quindi selezionare un'applicazione Apache Spark. Viene visualizzata la pagina dei dettagli dell'applicazione.

Screenshot che mostra l'apertura dell'interfaccia utente Web Spark dalla pagina dei dettagli dell'applicazione Apache Spark.

Per un'applicazione Apache Spark il cui stato è in esecuzione, il pulsante mostra l'interfaccia utente di Spark. Selezionare Spark UI (Interfaccia utente Spark) e viene visualizzata la pagina Spark UI (Interfaccia utente Spark).

Screenshot che mostra il pulsante che mostra l'interfaccia utente spark nello stato in esecuzione.

Per un'applicazione Apache Spark il cui stato è terminato, lo stato terminato può essere Arrestato, Non riuscito, Annullato o Completato. Il pulsante mostra il server cronologia Spark. Selezionare Server cronologia Spark e viene visualizzata la pagina dell'interfaccia utente spark.

Screenshot che mostra il pulsante che mostra l'interfaccia utente spark nello stato terminato.

Scheda del grafo nel server cronologia Apache Spark

Selezionare l'ID del processo da visualizzare. Successivamente, selezionare Grafico nel menu degli strumenti per passare alla visualizzazione grafici.

Panoramica

È possibile visualizzare una panoramica del processo nel grafico del processo generato. Per impostazione predefinita, il grafico mostra tutti i processi. È possibile filtrare questa visualizzazione in base all'ID processo.

Screenshot che mostra l'ID processo grafico dell'applicazione Spark e del processo.

Schermo

Per impostazione predefinita, la visualizzazione Stato è selezionata. È possibile esaminare il flusso di dati selezionando Lettura o Dati scritti nell'elenco a discesa Visualizza.

Screenshot che mostra la visualizzazione dell'applicazione Spark e del grafico del processo.

Il nodo del grafico visualizza i colori visualizzati nella legenda della mappa termica.

Screenshot che mostra l'applicazione Spark e la mappa termica del grafico del processo.

Riproduzione

Per riprodurre il processo, selezionare Riproduzione. È possibile selezionare Arresta in qualsiasi momento per interrompere. I colori delle attività mostrano stati differenti durante la riproduzione:

Colore Significato
Verde Esito positivo: il processo è stato completato correttamente.
Orange Nuovo tentativo: istanze di attività non riuscite, ma non influiscono sul risultato finale del processo. Per queste attività sono presenti istanze duplicate o nuovi tentativi che potrebbero riuscire in un secondo momento.
Blu In esecuzione: l'attività è in esecuzione.
Bianco Processo in attesa o ignorato: l'attività è in attesa di esecuzione o la fase è stata ignorata.
Rosso Operazione non riuscita: impossibile caricare l'attività.

L'immagine seguente mostra i colori di stato verde, arancione e blu.

Screenshot che mostra l'esempio di colore dell'applicazione Spark e del grafico del processo, in esecuzione.

L'immagine seguente mostra i colori di stato verde e bianco.

Screenshot che mostra l'esempio di colore dell'applicazione Spark e del grafico del processo, ignorare.

L'immagine seguente mostra i colori di stato rosso e verde.

Screenshot che mostra l'esempio di colore dell'applicazione Spark e del grafico del processo, non riuscito.

Nota

Il server di cronologia Apache Spark consente la riproduzione per ogni processo completato (ma non consente la riproduzione per processi incompleti).

Zoom

Usare il pulsante di scorrimento del mouse per ingrandire e ridurre il grafico del processo, oppure selezionare Esegui zoom e adatta per adattarlo allo schermo.

Screenshot che mostra lo zoom dell'applicazione Spark e del grafico del processo per adattarsi.

Descrizioni comandi

Passare il puntatore sul nodo del grafico per visualizzare la descrizione comando quando sono presenti attività non riuscite e selezionare una fase per aprire la pagina relativa.

Screenshot che mostra la descrizione comando dell'applicazione Spark e del grafico del processo.

Nella scheda relativa al grafico del processo, per le fasi sono visualizzate una descrizione comando e una piccola icona se sono presenti attività che soddisfano le condizioni seguenti:

Condizione Descrizione
Asimmetria dei dati Dimensioni medie di lettura dei dati delle dimensioni > medie dei dati di tutte le attività all'interno di questa fase * 2 e dimensioni > di lettura dei dati 10 MB.
Sfasamento dell'ora > Tempo medio di esecuzione di tutte le attività all'interno di questa fase * 2 e tempo > di esecuzione 2 minuti.

Screenshot che mostra l'icona asimmetria dell'applicazione Spark e del grafico del processo.

Descrizione del nodo del grafo

Il nodo del grafico del processo visualizza le informazioni seguenti per ogni fase:

  • ID
  • Nome o descrizione
  • Numero totale attività
  • Dati letti: la somma delle dimensioni di input e delle dimensioni dei dati casuali letti
  • Scrittura di dati: la somma delle dimensioni di output e delle scritture casuali
  • Tempo di esecuzione: ora di inizio del primo tentativo e ora di completamento dell'ultimo tentativo
  • Conteggio righe: somma di record di input, record di output, record di lettura casuale e record di scrittura casuale
  • Avanzamento

Nota

Per impostazione predefinita, il nodo del grafico del processo visualizza le informazioni sull’ultimo tentativo di ogni fase (ad eccezione del tempo di esecuzione della fase). Tuttavia, durante la riproduzione, il nodo del grafo mostra le informazioni su ogni tentativo.

Le dimensioni dei dati di lettura e scrittura sono pari a 1 MB = 1000 KB = 1000 * 1000 byte.

Inviare commenti

Per inviare feedback relativi ai problemi, fare clic su Invia feedback.

Screenshot che mostra il feedback dell'applicazione Spark e del grafico del processo.

Esplorare la scheda Diagnosi nel server cronologia Apache Spark

Per accedere alla scheda Diagnosi, selezionare un ID processo. Selezionare quindi Diagnosi nel menu degli strumenti per andare alla vista Diagnosi del processo. La scheda relativa alla diagnosi include Asimmetria dei dati, Sfasamento dell'ora e Executor Usage Analysis (Analisi utilizzo executor).

Esaminare i valori di Asimmetria dei dati, Sfasamento dell'ora e Executor Usage Analysis (Analisi utilizzo executor) selezionando le rispettive schede.

Screenshot che mostra di nuovo la scheda di asimmetria dei dati della diagnosi sparkUI.

Asimmetria dei dati

Quando si seleziona la scheda Asimmetria dei dati, sono visualizzate le attività asimmetriche corrispondenti in base ai parametri specificati.

  • Specificare i parametri - La prima sezione visualizza i parametri usati per rilevare l'asimmetria dei dati. La regola predefinita è: i dati delle attività letti sono maggiori di tre volte della lettura media dei dati delle attività e i dati delle attività letti sono superiori a 10 MB. Se si desidera definire una regola personalizzata per le attività asimmetriche, è possibile scegliere i parametri. Le sezioni Fase asimmetrica e Char asimmetrico vengono aggiornate di conseguenza.

  • Fase asimmetrica: nella seconda sezione vengono visualizzate le fasi con attività asimmetrice che soddisfano i criteri specificati in precedenza. Se in una fase sono presenti più attività asimmetrice, la tabella delle fasi asimmetrica visualizza solo l'attività più asimmetrica, ad esempio i dati più grandi per l'asimmetria dei dati.

    Screenshot che mostra la scheda di sfasamento dei dati della diagnosi dell'interfaccia utente Spark.

  • Grafico asimmetria: quando viene selezionata una riga nella tabella delle fasi di asimmetria, il grafico asimmetria visualizza più dettagli sulla distribuzione delle attività in base al tempo di lettura e esecuzione dei dati. Le attività asimmetriche sono contrassegnate in rosso e le attività normali sono contrassegnate in blu. Il grafico visualizza fino a 100 attività di esempio e i dettagli dell'attività vengono visualizzati nel pannello inferiore destro.

    Screenshot che mostra il grafico asimmetria dell'interfaccia utente spark per la fase 10.

Sfasamento dell'ora

La scheda Sfasamento dell'ora visualizza le attività asimmetriche in base al tempo di esecuzione.

  • Specifica parametri : nella prima sezione vengono visualizzati i parametri usati per rilevare l'asimmetria temporale. I criteri predefiniti per il rilevamento dello sfasamento dell'ora sono: il tempo di esecuzione dell'attività è maggiore di tre volte rispetto al tempo medio di esecuzione e il tempo di esecuzione dell'attività è maggiore di 30 secondi. È possibile modificare i parametri in base alle esigenze. La fase asimmetrica e il grafico asimmetria visualizzano le fasi e le attività corrispondenti esattamente come la scheda Asimmetria dei dati descritta in precedenza.

  • Selezionare Asimmetria dell'ora e i risultati filtrati verranno visualizzati nella sezione Fase asimmetrica in base ai parametri impostati nella sezione Specificare i parametri. Selezionare un elemento nella sezione Fase asimmetrica, quindi il grafico corrispondente viene disegnato nella sezione 3 e i dettagli dell'attività vengono visualizzati nel pannello in basso a destra.

    Screenshot che mostra la sezione spark ui diagnosi dell'asimmetria temporale.

Analisi dell'utilizzo dell'executor

Questa funzionalità è stata deprecata in Fabric ora. Se si vuole comunque usarlo come soluzione alternativa, accedere alla pagina aggiungendo in modo esplicito "/executorusage" dietro il percorso "/diagnostic" nell'URL, come illustrato di seguito:

Screenshot che mostra la modifica dell'URL.

Contenuto correlato