Identificazione di una lettura costosa nel DAG di Spark

Arrivare al DAG

Supponendo che si stia esaminando un lavoro costoso, è necessario prima di tutto l'ID della fase che esegue la lettura. Qui possiamo vedere che l'ID della fase è 194:

Ora è necessario accedere al DAG SQL. Vai verso l'alto fino alla parte superiore della pagina dell'attività e fai clic sulla query SQL associata:.

Ora dovresti vedere il DAG. In caso contrario, scorrere un po' intorno e dovrebbe essere visualizzato:

In alcuni casi, è possibile seguire il DAG e vedere da dove provengono i dati. In altri casi, cerca l'ID della fase che hai notato:

È quindi necessario cercare il nodo "Analisi". In questo caso è piuttosto semplice dire che si sta leggendo una tabella denominata transactions:

DAG

In alcuni casi potrebbe essere necessario fare clic o eseguire il rollover del nodo per ottenere la posizione dei dati letti.