Informazioni dettagliate sulle prestazioni delle query

Quando le tue query vengono eseguite, Azure Databricks restituisce insight sulle prestazioni delle query che segnalano opportunità di miglioramento delle prestazioni e riportano ottimizzazioni già applicate. Ogni intuizione include una raccomandazione su cui puoi agire, come compattare piccoli file, raccogliere statistiche o ridimensionare un magazzino.

Trova insight e raccomandazioni per la tua domanda

Le informazioni dettagliate vengono visualizzate nella cronologia delle query e nel profilo di query. Il pannello dei dettagli della query mostra un riepilogo delle informazioni dettagliate, classificate in base al relativo effetto stimato sulla durata totale dell'attività. La scheda Informazioni dettagliate prestazioni nel profilo di query mostra i dettagli completi per ogni informazione.

Ottimizza con Genie Code

Quando una query dispone di informazioni dettagliate su cui è possibile eseguire azioni, selezionare Ottimizza per aprire Codice Genie. Per informazioni dettagliate che richiedono una modifica della query, Genie Code riscrive la query e presenta le modifiche per l'approvazione. Per informazioni dettagliate che coinvolgono modifiche di tabella o calcolo, Genie Code riepiloga le azioni consigliate come testo in linguaggio normale.

Per altre informazioni sull'uso di Genie Code, vedere Genie Code.

Insight sull'ottimizzazione delle query

COVERAGE_FILTER_KEYS_CLUSTERING

La tabella è raggruppata da una o più chiavi non usate nei filtri durante l'analisi della tabella.

Raccomandazione: Aggiungi filtri sulle chiavi di clustering per ridurre i byte letti.

COVERAGE_FILTER_KEYS_PARTITIONING

La tabella è partizionata da una o più chiavi non usate nei filtri durante l'analisi della tabella.

Raccomandazione: Aggiungi filtri sulle chiavi di partizionamento per ridurre i byte letti.

COVERAGE_PHOTON

Photon non può accelerare questa operazione, quindi la query utilizza il motore di esecuzione standard.

Raccomandazione: Esaminare i limiti di Photon e modificare la query per utilizzare un percorso di esecuzione supportato.

EXPLODING_JOIN

Il join produce molte più righe rispetto a quelle lette.

Raccomandazione: Determina quale sottoinsieme di risultati ti servono, quindi aggiorna la condizione di join oppure riduci il numero di righe di input da entrambe le relazioni.

FLOW_FULL_RECOMPUTE

Il flusso viene eseguito come ricompilazione completa.

Raccomandazione: Riscrivere la query per un supporto incrementale e ridurre i byte letti.

REDUNDANT_AGGREGATION

Un'operazione di aggregazione non ha modificato il risultato della query.

Raccomandazione: Rimuovere i vincoli di aggregato o applicare i vincoli di chiave primaria e esterna.

REDUNDANT_JOIN

Una giunzione esterna non ha modificato il numero di righe del lato esterno e non vengono utilizzate colonne della tabella giunta.

Raccomandazione: Rimuovi la join oppure applica vincoli di chiave primaria o unici.

SELECTIVE_JOIN

Il join produce un numero significativo di righe di quelle lette.

Raccomandazione: Determina quale sottoinsieme di risultati ti servono, quindi aggiungi filtri prima della join per ridurre le righe di input.

WIDE_PROJECTION

La query proietta tutte le colonne della tabella.

Raccomandazione: Project solo le colonne di cui hai bisogno per ridurre i byte letti.

Informazioni sul layout dei dati

CONCURRENT_WRITE

Le scritture simultanee nella tabella causano conflitti che vengono risolti automaticamente o hanno esito negativo.

Raccomandazione: Esaminare la cronologia Delta per identificare le scritture concorrenti e modificare la pianificazione per evitare conflitti.

COVERAGE_STATS_DELTA

Le statistiche di salto dei dati Delta sono mancanti o incomplete per i filtri del file di scansione della tabella, quindi la query utilizza il filtraggio interno al file.

Lo stato delle statistiche per ogni filtro può essere uno dei seguenti:

  • Completa: Le statistiche sono disponibili per tutti i filtri.
  • Parziale: Le statistiche sono disponibili per un sottoinsieme di filtri.
  • Non disponibile: Le statistiche non sono disponibili per nessun filtro.
  • Non utilizzato: Le statistiche non possono essere utilizzate perché il filtro converte il tipo di dato.

Raccomandazione:Raccogli statistiche Delta per ridurre i byte letti.

COVERAGE_STATS_OPTIMIZER

Le statistiche degli ottimizzatori basati sui costi sono mancanti o incomplete, quindi il piano di query utilizza euristiche standard.

Raccomandazione:Raccogli statistiche per consentire all'ottimizzatore di produrre un piano migliore.

DATA_FILE_SIZE

La scansione della tabella legge molti piccoli file, aumentando il tempo di scansione.

Recommendations:

DATA_SKEW

I dati vengono distribuiti in modo non uniforme tra le risorse di calcolo.

Raccomandazione: Rivedere la distribuzione dei dati, quindi utilizzare la salatura delle chiavi o la pre-aggregazione per bilanciare il carico di lavoro.

MANUAL_DATA_LAYOUT

La tabella è ottimizzata manualmente e può beneficiare dell'Automatic Liquid Clustering.

Recommendations:

  • Converti la tabella da esterna a gestita per migliori prestazioni e manutenzione automatica.
  • Abilitare Ottimizzazione predittiva nella tabella per le operazioni di manutenzione automatica.
  • Abilitare il clustering automatico nella tabella per ridurre la lettura dei byte.

Analisi di calcolo e risorse

COMPUTE_SIZE

Un lavoro o una pipeline su calcolo serverless raggiungeva il limite di velocità del suo oggetto di calcolo, quindi l'autoscaler non aggiungeva esecutori Spark oltre la dimensione dell'oggetto di calcolo.

Raccomandazione: Esegui il lavoro o la pipeline su un oggetto di calcolo serverless di dimensioni maggiori. Se non hai accesso a uno, chiedi l'accesso a un amministratore dell'area di lavoro oppure chiedi di aumentare la dimensione dell'oggetto di calcolo corrente.

DATA_SPILL

Dati eseguiti su disco durante l'esecuzione della query perché i dati non sono stati inseriti nella memoria.

Raccomandazione: Aumenta la dimensione del magazzino per aggiungere memoria. Ridurre il numero di righe, colonne o dimensioni di colonne di grandi dimensioni (stringhe, matrici, mappe, struct) per ridurre l'utilizzo della memoria.

EXCESSIVE_QUEUE_TIME

La query è stata attesa nella coda del magazzino .

Raccomandazione: Aumentare il numero massimo di cluster nel magazzino per ridurre il tempo di coda.

IO_THROTTLING

Una richiesta di archiviazione cloud è stata limitata dal provider di servizi cloud.

Raccomandazione: Contatta il tuo amministratore per richiedere un aumento dei limiti di richiesta di storage al tuo provider cloud.

Accelerazioni applicate

Questi insight descrivono ottimizzazioni che Azure Databricks ha già applicato durante l'esecuzione della query. Appaiono nella scheda Performance Insights con un'etichetta Accelerata e non richiedono azione.

AUTO_LIQUID_CLUSTERING

Questa query riguardava meno dati perché le sue tabelle utilizzano il clustering automatico dei liquidi. Azure Databricks raggruppa continuamente ogni tabella in base alle chiavi che apprende dal tuo carico di lavoro, quindi le scansioni saltano file che non possono corrispondere ai tuoi filtri. Non è richiesta accordatura o partizionamento manuale.

HISTORY_BASED_JOIN_STRATEGY

Azure Databricks ha ottimizzato la join di questa query utilizzando misurazioni da precedenti run di query simili. Ha scelto una broadcast join invece di mescolare i dati attraverso il cluster, basandosi sulla cronologia del carico di lavoro. Non è richiesta alcuna modifica della query.

METRIC_VIEW_MATERIALIZATION_MATCH

Questa query è stata restituita più rapidamente perché Azure Databricks serviva i risultati di una materializzazione precalcolata invece di ricalcolarli dalle tabelle sorgente live della vista metrica. Quando viene definita una materializzazione per una vista metrica, l'ottimizzatore abbina automaticamente le query in arrivo con essa e fornisce risultati preaggregati quando possibile.

SHORT_QUERY_PRIORITIZATION

Anche se il cluster era al completo, Azure Databricks prevedeva che questa query sarebbe stata breve e l'ha eseguita immediatamente attraverso un percorso veloce invece di tenerla in coda dietro query più pesanti. Questo mantiene i carichi di lavoro interattivi reattivi sotto carico.

Risorse aggiuntive

Per una panoramica più ampia delle procedure consigliate per le prestazioni, vedere la Guida completa per ottimizzare i carichi di lavoro di Databricks, Spark e Delta Lake.