Optimieren der Verknüpfungsleistung in Azure Databricks

Mit Azure Databricks können Sie Verknüpfungen in Ihren Batch- oder Streamingtabellen erstellen. Einige Joins können teuer sein. Das Folgende hilft Ihnen, Ihre Verknüpfungen zu optimieren.

Weitere Informationen zu Verknüpfungen finden Sie unter Arbeiten mit Verknüpfungen in Azure Databricks.

Compute mit aktiviertem Photon wählt immer den besten Verknüpfungstyp aus. Siehe Was ist Photon?. Die Verwendung einer aktuellen Databricks Runtime-Version mit aktiviertem Photon bietet in der Regel eine gute Verknüpfungsleistung, aber Sie sollten auch die folgenden Empfehlungen berücksichtigen:

• Kreuzverknüpfungen sind sehr teuer. Entfernen Sie Kreuzverknüpfungen aus Workloads und Abfragen, die eine niedrige Latenz oder häufige Neukompilierung erfordern.

• Die Reihenfolge der Verknüpfungen ist wichtig. Wenn Sie mehrere Verknüpfungen ausführen, verknüpfen Sie ihre kleinsten Tabellen immer zuerst, und verknüpfen Sie das Ergebnis dann mit größeren Tabellen.

• Der Optimierer kann bei Abfragen mit vielen Verknüpfungen und Aggregationen Schwierigkeiten haben. Das Speichern von Zwischenergebnissen kann die Abfrageplanung und das Berechnen von Ergebnissen beschleunigen.

• Halten Sie Statistiken auf dem neusten Stand, um die Leistung zu verbessern. Predictive Optimization aktualisiert und verwaltet Statistiken automatisch. Siehe Prädiktive Optimierung für verwaltete Unity Catalog-Tabellen.

  Sie können die Abfrage ANALYZE TABLE table_name COMPUTE STATISTICS auch ausführen, um Statistiken im Abfrageplaner zu aktualisieren.

Hinweis

In Databricks Runtime 14.3 LTS und höher können Sie die Spalten ändern, zu denen Delta Lake Statistiken sammelt, überspringen und dann vorhandene Statistiken im Delta-Protokoll neu kompensieren. Weitere Informationen finden Sie unter Angeben von Delta-Statistikspalten.