Statistik zur Abfrageleistung

Von Bedeutung

Dieses Feature befindet sich in Privater Vorschau. Wenden Sie sich an Ihren Azure Databricks-Kontakt, um es zu testen.

Wenn Abfragen ausgeführt werden, gibt Databricks möglicherweise Einblicke zurück, die Möglichkeiten zur Verbesserung der Leistung identifizieren. Auf dieser Seite werden die unterstützten Erkenntnisse und ihre Bedeutung aufgeführt.

Eine umfassendere Übersicht über bewährte Methoden zur Leistung finden Sie im umfassenden Leitfaden zum Optimieren von Databricks- und Spark- und Delta Lake-Workloads.

GLEICHZEITIGES_SCHREIBEN

• Gleichzeitige Schreibvorgänge in der Tabelle führen zu Konflikten , die automatisch aufgelöst oder fehlschlagen.
• Empfehlung: Überprüfen Sie den Deltaverlauf , um gleichzeitige Schreibvorgänge zu identifizieren und unterschiedliche Planungen zu berücksichtigen, um Konflikte zu vermeiden.

COVERAGE_FILTER_KEYS_CLUSTERING

• Die Tabelle wird nach einem oder mehreren Schlüsseln gruppiert , die beim Filtern während des Tabellenscans nicht verwendet werden.
• Empfehlung: Bestimmen Sie, welche Datenuntermenge Sie für das gewünschte Ergebnis benötigen, und fügen Sie dann Filter nach übereinstimmenden Clusteringschlüsseln hinzu, um das Lesen von Bytes zu reduzieren.

ABDECKUNGS_FILTIER_SCHLÜSSEL_PARTITIONIERUNG

• Die Tabelle wird durch einen oder mehrere Schlüssel partitioniert , die beim Filtern während der Tabellenüberprüfung nicht verwendet werden.
• Empfehlung: Bestimmen Sie, welche Datenuntermenge Sie für das gewünschte Ergebnis benötigen, und fügen Sie dann Filter nach übereinstimmenden Partitionierungsschlüsseln hinzu, um den Lesevorgang von Bytes zu reduzieren.

COVERAGE_PHOTON

• Photon kann den Betrieb nicht beschleunigen, daher wurde die Standard-Runtime-Engine verwendet.
• Empfehlung: Überprüfen Sie Photon-Einschränkungen, und berücksichtigen Sie die Anpassung der Abfrage, um eine unterstützte Ausführungsstrategie für eine schnellere Laufzeit zu verwenden.

COVERAGE_STATS_DELTA

• Delta-Datenübersprung-Statistiken fehlen oder sind für die Tabellen-Scan-Dateifilter unvollständig, sodass die Abfrage dateiinterne Filter verwendet. Die folgenden Statistikstatus sind möglich:
  • Vollständig: Statistiken sind für alle Filter verfügbar.
  • Teilweise: Statistiken sind für eine Auswahl von Filtern verfügbar.
  • Nicht verfügbar: Statistiken sind für keinen Filter verfügbar.
  • Nicht verwendet: Statistiken konnten nicht für einen Filter verwendet werden, der den Datentyp konvertiert.
• Empfehlung: Sammeln Sie Delta-Statistiken , um die Anzahl der Gelesenen von Bytes zu reduzieren.

ABDECKUNGS_STATISTIKEN_OPTIMIERER

• Kostenbasierte Optimiererstatistiken fehlen oder unvollständig, sodass Standard heuristiken verwendet wurden, um den Abfrageplan zu generieren.
• Empfehlung: Sammeln Sie Statistiken , damit der Optimierer einen besseren Plan erstellen kann.

DATA_SKEW

• Daten werden durch verfügbare Computerressourcen ungleichmäßig verarbeitet .
• Empfehlung: Überprüfen Sie die Verteilung der Daten, und wenden Sie dann Salzfunktionen an oder aggregieren Sie die Daten vor.

DATA_SPILL

• Datenüberlauf auf den Datenträger beim Ausführen eines Operators, da die Datengröße nicht in den Arbeitsspeicher passte.
• Empfehlung: Erhöhen Sie die Lagergröße , um den verfügbaren Speicher zu erhöhen. Verringern Sie die Anzahl der Zeilen, die Anzahl der Spalten oder die Größe großer Spalten (Zeichenfolgen, Arrays, Zuordnungen, Strukturen), um die Speicherauslastung zu verringern.

EXCESSIVE_QUEUE_TIME

• Die Abfrage war in der Warteschleife im Lager.
• Empfehlung: Erhöhen Sie die maximale Anzahl von Clustern im Lager, um die Warteschlangenzeit zu reduzieren.

EXPLODING_JOIN

• Verknüpfunggeneriert deutlich mehr Zeilen als gelesen.
• Empfehlung: Bestimmen Sie, welche Ergebnisuntermenge erforderlich ist, aktualisieren Sie dann die Verknüpfung, oder verringern Sie die Anzahl der Eingabezeilen aus beiden Beziehungen.

FLOW_FULL_RECOMPUTE

• Der Ablauf wurde als vollständige Neukompilierung geplant.
• Empfehlung: Schreiben Sie die Abfrage neu, um die inkrementelle Unterstützung zu unterstützen, um die Anzahl der Gelesenen von Bytes zu verringern.

IO_THROTTLING

• Die Cloudspeicheranforderung wurde von Ihrem Cloudanbieter gedrosselt.
• Empfehlung: Wenden Sie sich an Ihren Administrator, um Ihre Grenzwerte für Cloudspeicheranforderungen mit Ihrem Cloudanbieter zu erhöhen.

REDUNDANT_AGGREGATION

• Aggregat hat das Abfrageergebnis nicht geändert.
• Empfehlung: Entfernen Sie das Aggregat, oder wenden Sie Primär- und Fremdschlüsseleinschränkungen an.

SELECTIVE_JOIN

• Verknüpfung generiert deutlich weniger Zeilen als gelesen.
• Empfehlung: Bestimmen Sie, welche Ergebnisuntermenge erforderlich ist, und fügen Sie dann Filter vor der Verknüpfung hinzu, um die Anzahl der Eingabezeilen zu verringern.

WIDE_PROJECTION

• Projizieren aller Spalten in der Tabelle.
• Empfehlung: Ermitteln Sie, welche Ergebnisuntermenge erforderlich ist, und projizieren Sie dann nur diese Spalten, um die Anzahl der gelesenen Bytes zu verringern.