Freigeben über

Prädiktive Optimierung für verwaltete Unity Catalog-Tabellen

Hinweis

Databricks ermöglicht standardmäßig eine predictive Optimierung für alle Konten, die nach dem 11. November 2024 erstellt wurden. Ab dem 7. Mai 2025 aktiviert Databricks standardmäßig die predictive Optimierung für alle vorhandenen Databricks-Konten. Dies wird schrittweise basierend auf Ihrer Region eingeführt und wird bis zum 1. Juli 2025 abgeschlossen. Sie können überprüfen, ob die Vorhersageoptimierung für Ihr Konto aktiviert ist.

Durch die prädiktive Optimierung entfällt die Notwendigkeit, Wartungsvorgänge für verwaltete Unity Catalog-Tabellen in Azure Databricks manuell zu verwalten.

Mit aktivierter Vorhersageoptimierung führt Azure Databricks automatisch die folgenden Aktionen aus:

  • Identifiziert Tabellen, die von Wartungsvorgängen profitieren würden, und stellt diese Vorgänge zur Ausführung in die Warteschlange.
  • Erfasst Statistiken, wenn Daten in eine verwaltete Tabelle geschrieben werden.

Wartungsvorgänge werden nach Bedarf ausgeführt, wodurch sowohl unnötige Wartungsvorgänge als auch die Belastung durch Überwachung und Fehlersuche entfällt.

Databricks empfiehlt die Verwendung der prädiktiven Optimierung für alle verwalteten Unity-Katalogtabellen. Beispielsweise verfügt die automatische Flüssigkeitsclusterung über eine intelligente Optimierung des Datenlayouts basierend auf Ihren Datennutzungsmustern. Siehe Verwenden von Flüssigclustering für Tabellen.

Wichtig

Die Predictive Optimization wird nur in verwalteten Tabellen des Unity-Katalogs ausgeführt.

Die prädiktive Optimierung ist nicht in allen Regionen verfügbar. Siehe Features mit eingeschränkter regionaler Verfügbarkeit.

Welche Vorgänge werden von der prädiktiven Optimierung ausgeführt?

Die prädiktive Optimierung führt die folgenden Vorgänge automatisch für aktivierte Tabellen aus:

Vorgang Beschreibung
OPTIMIZE (1) Löst das inkrementelle Clustering für aktivierte Tabellen aus. Siehe Verwenden von Flüssigclustering für Tabellen.
Verbessert die Abfrageleistung durch Optimieren der Dateigrößen. Siehe Optimieren Sie das Layout der Datendatei.
VACUUM Reduziert die Speicherkosten durch Löschen von Datendateien, auf die nicht mehr in der Tabelle verwiesen wird. Siehe Entfernen nicht verwendeter Datendateien mit Vakuum.
ANALYZE Startet die inkrementelle Aktualisierung von Statistiken zur Verbesserung der Abfrageleistung. Siehe ANALYZE TABLE.

(1)OPTIMIZE führt ZORDER bei der Ausführung mit prädiktiver Optimierung nicht aus. In Tabellen, die Z-Reihenfolge verwenden, ignoriert die Vorhersageoptimierung die Z-sortierten Dateien.

Wenn die automatische Flüssigkeitsclustering aktiviert ist, kann die predictive Optimierung vor dem Clustering von Daten neue Clusteringschlüssel auswählen. Siehe Automatische Flüssigkeitsclusterung.

Warnung

Der Aufbewahrungszeitraum für den VACUUM-Befehl wird durch die Tabelleneigenschaft delta.deletedFileRetentionDuration bestimmt, die standardmäßig auf sieben Tage festgelegt ist. Dies bedeutet, dass VACUUM Datendateien entfernt, auf die in den letzten sieben Tagen nicht mehr von einer Deltatabellenversion verwiesen wurde. Wenn Sie Daten länger aufbewahren möchten (z. B. die Unterstützung von Zeitreisen für längere Dauer), müssen Sie diese Tabelleneigenschaft entsprechend festlegen, bevor Sie die Vorhersageoptimierung aktivieren, wie im folgenden Beispiel gezeigt:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Wenn Sie delta.deletedFileRetentionDuration unterhalb der Standardeinstellung von 7 Tagen konfigurieren, wird die Predictive Optimization mit einer Aufbewahrungsdauer von 7 Tagen ausgeführt VACUUM.

Wo läuft die prädiktive Optimierung?

Die prädiktive Optimierung identifiziert Tabellen, die von ANALYZE-, OPTIMIZE- und VACUUM-Vorgängen profitieren würden und reiht diese zur Ausführung mit serverlosem Computing in die Warteschlange ein. Ihr Konto wird für Compute berechnet, die diesen Workloads zugeordnet ist, indem eine serverlose Auftrags-SKU verwendet wird.

Siehe Preise für von Databricks verwaltete Dienste. Siehe Verwenden von Systemtabellen zum Nachverfolgen der Vorhersageoptimierung.

Voraussetzungen für die prädiktive Optimierung

Um die prädiktive Optimierung aktivieren zu können, müssen Sie die folgenden Anforderungen erfüllen:

  • Ihr Azure Databricks-Arbeitsbereich muss sich im Premium-Plan in einer Region befinden, die die Vorhersageoptimierung unterstützt. Siehe Features mit eingeschränkter regionaler Verfügbarkeit.
  • Sie müssen SQL-Warehouses oder Databricks Runtime 12.2 LTS oder höher verwenden, wenn Sie die Vorhersageoptimierung aktivieren.
  • Es werden nur verwaltete Unity Catalog-Tabellen unterstützt.

Aktivieren der Vorhersageoptimierung

Sie können eine prädiktive Optimierung für ein Konto, einen Katalog oder ein Schema aktivieren. Alle verwalteten Unity Catalog-Tabellen erben standardmäßig den Kontowert. Sie können die Standardeinstellungen des Kontos für einen Katalog oder ein Schema überschreiben, um die Vorhersageoptimierung auf dieser Ebene zu aktivieren oder zu deaktivieren.

Hinweis

Wenn Ihr Konto nach dem 11. November 2024 erstellt wurde, ist die predictive Optimierung standardmäßig aktiviert. Ab dem 7. Mai 2025 ist die Predictive Optimization für alle vorhandenen Konten standardmäßig aktiviert. Dies wird schrittweise basierend auf Ihrer Region eingeführt und wird bis zum 1. Juli 2025 abgeschlossen.

Sie müssen über die folgenden Berechtigungen verfügen, um die prädiktive Optimierung auf der angegebenen Ebene zu aktivieren oder zu deaktivieren:

Unity Catalog-Objekt Privileg
Konto Kontoadministrator
Katalog Katalogbesitzer
Schema Schemabesitzer

Aktivieren oder Deaktivieren der prädiktiven Optimierung für Ihr Konto

Ein Kontoadministrator kann die folgenden Schritte ausführen, um die predictive Optimierung für alle Metastores in einem Konto zu aktivieren. Objekte im Konto erben diese Einstellung standardmäßig (die Einstellung kann jedoch auf Katalog- oder Schemaebene überschrieben werden):

  1. Greifen Sie auf die Kontokonsole zu.
  2. Navigieren Sie zu "Einstellungen" und dann zur Featureaktivierung.
  3. Wählen Sie die Zu verwendende Option (z. B. Aktiviert) neben der Predictive Optimization aus.

Hinweis

  • Metastores in Regionen, die keine predictive Optimierung unterstützen, sind nicht aktiviert.
  • Das Deaktivieren der prädiktiven Optimierung auf Kontoebene deaktiviert sie nicht für Kataloge oder Schemas, die sie speziell aktiviert haben.

Aktivieren oder Deaktivieren der prädiktiven Optimierung für einen Katalog oder ein Schema

Die prädiktive Optimierung verwendet ein Vererbungsmodell. Wenn sie für einen Katalog aktiviert wird, erben Schemas die Eigenschaft. Tabellen innerhalb eines aktivierten Schemas erben die prädiktive Optimierung. Um dieses Vererbungsverhalten außer Kraft zu setzen, können Sie die prädiktive Optimierung für einen Katalog oder ein Schema explizit aktivieren oder deaktivieren.

Hinweis

Sie können die Vorhersageoptimierung auf Katalog- oder Schemaebene deaktivieren, bevor Sie sie auf Kontoebene aktivieren. Wenn die Vorhersageoptimierung später für das Konto aktiviert ist, wird sie für Tabellen in diesen Objekten blockiert.

Verwenden Sie die folgende Syntax, um die prädiktive Optimierung zu aktivieren oder zu deaktivieren, oder um zum Standard zurückzukehren, der vom übergeordneten Objekt geerbt wird:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Überprüfen, ob die Predictive Optimization aktiviert ist

Das Feld Predictive Optimization ist eine Unity Catalog-Eigenschaft, die angibt, ob die prädiktive Optimierung aktiviert ist. Wenn die prädiktive Optimierung von einem übergeordneten Objekt geerbt wird, ist dies im Feldwert angegeben.

Verwenden Sie die folgende Syntax, um zu überprüfen, ob die prädiktive Optimierung aktiviert ist:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Verwenden von Systemtabellen zum Nachverfolgen der prädiktiven Optimierung

Azure Databricks bietet die Systemtabelle system.storage.predictive_optimization_operations_history für die Überwachbarkeit von prädiktiven Optimierungsoperationen, Kosten und Auswirkungen. Weitere Informationen finden Sie unter Predictive optimization system table reference (Referenz zur Systemtabelle für die prädiktive Optimierung).

Wenn die Systemtabelle Vorgänge mit FAILED: PRIVATE_LINK_SETUP_ERROR als fehlgeschlagen markiert, haben Sie die private Verbindung für serverloses Computing womöglich nicht richtig konfiguriert. Siehe Konfigurieren der privaten Konnektivität mit Azure-Ressourcen.

Begrenzungen

Die prädiktive Optimierung ist nicht in allen Regionen verfügbar. Siehe Features mit eingeschränkter regionaler Verfügbarkeit.

Bei Tabellen mit gelöschter Dateiaufbewahrungsdauer (delta.deletedFileRetentionDuration) die unter dem Standardwert von 7 Tagen konfiguriert ist, wird die predictive Optimierung mit Aufbewahrungsdauer als 7 Tage ausgeführt VACUUM . Siehe Konfigurieren der Datenaufbewahrung für Zeitreiseabfragen.

Die prädiktive Optimierung führt keine Wartungsvorgänge für die folgenden Tabellen durch:

  • Tabellen, die als Delta Sharing-Empfänger in einen Arbeitsbereich geladen wurden.
  • Externe Tabellen.