Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Quando le tue query vengono eseguite, Azure Databricks restituisce insight sulle prestazioni delle query che segnalano opportunità di miglioramento delle prestazioni e riportano ottimizzazioni già applicate. Ogni intuizione include una raccomandazione su cui puoi agire, come compattare piccoli file, raccogliere statistiche o ridimensionare un magazzino.
Trova insight e raccomandazioni per la tua domanda
Le informazioni dettagliate vengono visualizzate nella cronologia delle query e nel profilo di query. Il pannello dei dettagli della query mostra un riepilogo delle informazioni dettagliate, classificate in base al relativo effetto stimato sulla durata totale dell'attività. La scheda Informazioni dettagliate prestazioni nel profilo di query mostra i dettagli completi per ogni informazione.
Ottimizza con Genie Code
Quando una query dispone di informazioni dettagliate su cui è possibile eseguire azioni, selezionare Ottimizza per aprire Codice Genie. Per informazioni dettagliate che richiedono una modifica della query, Genie Code riscrive la query e presenta le modifiche per l'approvazione. Per informazioni dettagliate che coinvolgono modifiche di tabella o calcolo, Genie Code riepiloga le azioni consigliate come testo in linguaggio normale.
Per altre informazioni sull'uso di Genie Code, vedere Genie Code.
Insight sull'ottimizzazione delle query
COVERAGE_FILTER_KEYS_CLUSTERING
La tabella è raggruppata da una o più chiavi non usate nei filtri durante l'analisi della tabella.
Raccomandazione: Aggiungi filtri sulle chiavi di clustering per ridurre i byte letti.
COVERAGE_FILTER_KEYS_PARTITIONING
La tabella è partizionata da una o più chiavi non usate nei filtri durante l'analisi della tabella.
Raccomandazione: Aggiungi filtri sulle chiavi di partizionamento per ridurre i byte letti.
COVERAGE_PHOTON
Photon non può accelerare questa operazione, quindi la query utilizza il motore di esecuzione standard.
Raccomandazione: Esaminare i limiti di Photon e modificare la query per utilizzare un percorso di esecuzione supportato.
EXPLODING_JOIN
Il join produce molte più righe rispetto a quelle lette.
Raccomandazione: Determina quale sottoinsieme di risultati ti servono, quindi aggiorna la condizione di join oppure riduci il numero di righe di input da entrambe le relazioni.
FLOW_FULL_RECOMPUTE
Il flusso viene eseguito come ricompilazione completa.
Raccomandazione: Riscrivere la query per un supporto incrementale e ridurre i byte letti.
REDUNDANT_AGGREGATION
Un'operazione di aggregazione non ha modificato il risultato della query.
Raccomandazione: Rimuovere i vincoli di aggregato o applicare i vincoli di chiave primaria e esterna.
REDUNDANT_JOIN
Una giunzione esterna non ha modificato il numero di righe del lato esterno e non vengono utilizzate colonne della tabella giunta.
Raccomandazione: Rimuovi la join oppure applica vincoli di chiave primaria o unici.
SELECTIVE_JOIN
Il join produce un numero significativo di righe di quelle lette.
Raccomandazione: Determina quale sottoinsieme di risultati ti servono, quindi aggiungi filtri prima della join per ridurre le righe di input.
WIDE_PROJECTION
La query proietta tutte le colonne della tabella.
Raccomandazione: Project solo le colonne di cui hai bisogno per ridurre i byte letti.
Informazioni sul layout dei dati
CONCURRENT_WRITE
Le scritture simultanee nella tabella causano conflitti che vengono risolti automaticamente o hanno esito negativo.
Raccomandazione: Esaminare la cronologia Delta per identificare le scritture concorrenti e modificare la pianificazione per evitare conflitti.
COVERAGE_STATS_DELTA
Le statistiche di salto dei dati Delta sono mancanti o incomplete per i filtri del file di scansione della tabella, quindi la query utilizza il filtraggio interno al file.
Lo stato delle statistiche per ogni filtro può essere uno dei seguenti:
- Completa: Le statistiche sono disponibili per tutti i filtri.
- Parziale: Le statistiche sono disponibili per un sottoinsieme di filtri.
- Non disponibile: Le statistiche non sono disponibili per nessun filtro.
- Non utilizzato: Le statistiche non possono essere utilizzate perché il filtro converte il tipo di dato.
Raccomandazione:Raccogli statistiche Delta per ridurre i byte letti.
COVERAGE_STATS_OPTIMIZER
Le statistiche degli ottimizzatori basati sui costi sono mancanti o incomplete, quindi il piano di query utilizza euristiche standard.
Raccomandazione:Raccogli statistiche per consentire all'ottimizzatore di produrre un piano migliore.
DATA_FILE_SIZE
La scansione della tabella legge molti piccoli file, aumentando il tempo di scansione.
Recommendations:
- Abilita l'Ottimizzazione Predittiva sulla tabella per ottimizzare automaticamente le dimensioni dei file.
- Esegui OPTIMIZE i file compatti e piccoli.
- Passa al cluster liquido per le tabelle partizionate , perché l'ottimizzazione predittiva non può compattare file piccoli tra le partizioni.
DATA_SKEW
I dati vengono distribuiti in modo non uniforme tra le risorse di calcolo.
Raccomandazione: Rivedere la distribuzione dei dati, quindi utilizzare la salatura delle chiavi o la pre-aggregazione per bilanciare il carico di lavoro.
MANUAL_DATA_LAYOUT
La tabella è ottimizzata manualmente e può beneficiare dell'Automatic Liquid Clustering.
Recommendations:
- Converti la tabella da esterna a gestita per migliori prestazioni e manutenzione automatica.
- Abilitare Ottimizzazione predittiva nella tabella per le operazioni di manutenzione automatica.
- Abilitare il clustering automatico nella tabella per ridurre la lettura dei byte.
Analisi di calcolo e risorse
COMPUTE_SIZE
Un lavoro o una pipeline su calcolo serverless raggiungeva il limite di velocità del suo oggetto di calcolo, quindi l'autoscaler non aggiungeva esecutori Spark oltre la dimensione dell'oggetto di calcolo.
Raccomandazione: Esegui il lavoro o la pipeline su un oggetto di calcolo serverless di dimensioni maggiori. Se non hai accesso a uno, chiedi l'accesso a un amministratore dell'area di lavoro oppure chiedi di aumentare la dimensione dell'oggetto di calcolo corrente.
DATA_SPILL
Dati eseguiti su disco durante l'esecuzione della query perché i dati non sono stati inseriti nella memoria.
Raccomandazione: Aumenta la dimensione del magazzino per aggiungere memoria. Ridurre il numero di righe, colonne o dimensioni di colonne di grandi dimensioni (stringhe, matrici, mappe, struct) per ridurre l'utilizzo della memoria.
EXCESSIVE_QUEUE_TIME
La query è stata attesa nella coda del magazzino .
Raccomandazione: Aumentare il numero massimo di cluster nel magazzino per ridurre il tempo di coda.
IO_THROTTLING
Una richiesta di archiviazione cloud è stata limitata dal provider di servizi cloud.
Raccomandazione: Contatta il tuo amministratore per richiedere un aumento dei limiti di richiesta di storage al tuo provider cloud.
Accelerazioni applicate
Questi insight descrivono ottimizzazioni che Azure Databricks ha già applicato durante l'esecuzione della query. Appaiono nella scheda Performance Insights con un'etichetta Accelerata e non richiedono azione.
AUTO_LIQUID_CLUSTERING
Questa query riguardava meno dati perché le sue tabelle utilizzano il clustering automatico dei liquidi. Azure Databricks raggruppa continuamente ogni tabella in base alle chiavi che apprende dal tuo carico di lavoro, quindi le scansioni saltano file che non possono corrispondere ai tuoi filtri. Non è richiesta accordatura o partizionamento manuale.
HISTORY_BASED_JOIN_STRATEGY
Azure Databricks ha ottimizzato la join di questa query utilizzando misurazioni da precedenti run di query simili. Ha scelto una broadcast join invece di mescolare i dati attraverso il cluster, basandosi sulla cronologia del carico di lavoro. Non è richiesta alcuna modifica della query.
METRIC_VIEW_MATERIALIZATION_MATCH
Questa query è stata restituita più rapidamente perché Azure Databricks serviva i risultati di una materializzazione precalcolata invece di ricalcolarli dalle tabelle sorgente live della vista metrica. Quando viene definita una materializzazione per una vista metrica, l'ottimizzatore abbina automaticamente le query in arrivo con essa e fornisce risultati preaggregati quando possibile.
SHORT_QUERY_PRIORITIZATION
Anche se il cluster era al completo, Azure Databricks prevedeva che questa query sarebbe stata breve e l'ha eseguita immediatamente attraverso un percorso veloce invece di tenerla in coda dietro query più pesanti. Questo mantiene i carichi di lavoro interattivi reattivi sotto carico.
Risorse aggiuntive
Per una panoramica più ampia delle procedure consigliate per le prestazioni, vedere la Guida completa per ottimizzare i carichi di lavoro di Databricks, Spark e Delta Lake.