Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Automatische Upgrades für vorhandene Schemas befinden sich in der öffentlichen Vorschau. Um sich zu registrieren, füllen Sie dieses Formular mit Ihrer Konto-ID aus. Nach der Registrierung sind keine Codeänderungen oder zusätzliche Konfigurationen erforderlich.
Automatische Upgrades für neue Schemas sind allgemein verfügbar.
Bei verwalteten Tabellen im Unity-Katalog aktualisiert Databricks diese automatisch auf die Verwendung allgemein verfügbarer empfohlener Features, ohne dass Codeänderungen oder manuelle ALTER TABLE Anweisungen erforderlich sind. Automatische Upgrades stellen außerdem sicher, dass Clients kompatibel sind, bevor sie neue Features aktivieren.
Automatische Upgrades bieten die folgenden Vorteile:
- Verringern Sie den verwaltungstechnischen Aufwand, der erforderlich ist, um individuelle Kompatibilitätsanforderungen für jede Tabelle und Featurekombination in Ihren Arbeitsbereichen zu überprüfen. Dies ist besonders hilfreich, wenn Sie Kataloge mit Tausenden von Tabellen haben.
- Erhalten Sie automatisch die neuesten Leistungs- und Zuverlässigkeitsverbesserungen in Ihren verwalteten Tabellen.
- Tabellen sicher aktualisieren. Automatische Upgrades aktivieren nur Features nach der Überprüfung der Workloadkompatibilität.
Funktionsweise von automatischen Upgrades
Automatische Upgrades überwachen Zugriffsmuster des Unity-Katalogs auf Tabellen- und Schemaebenen und verwenden ein Beobachtungsfenster, um zu überprüfen, ob Zugriffsmuster kompatibel sind, bevor Sie ein Feature aktivieren. Das Beobachtungsfenster beträgt 50 Tage für Features in der öffentlichen Vorschau und 100 Tage für allgemein verfügbare Features.
Automatische Upgrades verwenden serverlose Compute, um Tabellen im Hintergrund zu aktualisieren.
Schemata und Tabellen
Das Verhalten automatischer Upgrades hängt davon ab, ob Schemas und Tabellen vorhanden sind, bevor Sie automatische Upgrades aktiviert haben. Die folgende Tabelle enthält weitere Details:
| Schema | Tabelle | Behavior |
|---|---|---|
| Neu | Neu | Automatische Upgrades legen die Standardeinstellungen auf Schemaebene zur Erstellungszeit fest, sodass Tabellen sofort alle unterstützten Features ohne Beobachtungszeitraum erben. |
| Vorhanden | Neu | Automatische Upgrades aktivieren ein Feature, wenn nur überprüfte Workloads auf die Tabelle im Beobachtungsfenster zugegriffen haben. Andernfalls ignorieren automatische Upgrades die Tabelle, wenn eine einzelne nicht verifizierte Workload auf die Tabelle zugegriffen hat. Siehe überprüfte Workloads. |
| Vorhanden | Vorhanden | Automatische Upgrades aktivieren ein Feature, wenn alle folgenden Bedingungen erfüllt sind:
|
Überprüfte Workloads
Eine Workload wird für ein bestimmtes Feature als überprüft betrachtet, wenn auf die Tabelle aus einem Databricks-Cluster mit einer Databricks-Runtime-Version bei oder über der mindestens erforderlichen Version des Features zugegriffen wird.
Automatische Upgrades berücksichtigen die folgenden nicht überprüften Workloads:
- Externe Clients und Drittanbieterdienste wie Flink oder Presto. Siehe Unity-Katalogintegrationen.
- Azure Databricks Dienste mit direktem oder kernelbasiertem Tabellenzugriff, z. B. Zerobus, die standardmäßige Databricks-Runtime-Zugriffsmuster umgehen. Siehe Zerobus Ingest Connector Overview.
Wenn eine Tabelle in einem Schema innerhalb des Beobachtungsfensters von einer Databricks-Runtime-Version unter der mindestens erforderlichen Version des Features oder von einem externen Client zugegriffen wurde, aktivieren automatische Upgrades die entsprechende Funktion in keiner Tabelle in diesem Schema.
Unterstützte Funktionen
Automatische Upgrades aktivieren automatisch allgemein verfügbare Funktionen. Upgrades aktivieren jedoch keine Features in der öffentlichen Vorschau, es sei denn, Sie registrieren sich bei der Vorschau.
Automatische Upgrades unterstützen die folgenden Features:
| Funktion | Was es bewirkt | Freigabestatus | Mindestens kompatible Databricks-Runtime-Version |
|---|---|---|---|
| Zeilennachverfolgung | Verwaltet ausgeblendete Zeilen-IDs für die inkrementelle Verarbeitung mit Änderungsdatenfeed. | Allgemein verfügbar für neue Tabellen in neuen Schemas. Öffentliche Vorschau für alle Tabellen in vorhandenen Schemas. | 14,1 |
| Prüfpunkt V2 | Ermöglicht Delta Lake, mehr gleichzeitige Autoren zu unterstützen und reduziert Schreibkonflikte in großen oder häufig aktualisierten Tabellen. | Allgemein verfügbar für neue Tabellen in neuen Schemas. Öffentliche Vorschau für alle Tabellen in vorhandenen Schemas. | 13.3 |
| Automatische Flüssigkeitsclusterung | Organisiert Tabellendaten automatisch basierend auf häufig abgefragten Spalten, um die Abfrageleistung ohne manuelle Partitionierung zu verbessern. | Allgemein verfügbar für neue Tabellen in neuen Schemas. Öffentliche Vorschau für neue Tabellen in vorhandenen Schemas. Automatische Upgrades für dieses Feature ignorieren vorhandene Tabellen. | 13.3 |
| Katalog-Commits | Zentralisiert Commits in Unity Catalog, um Transaktionen mit mehreren Tabellen zu ermöglichen, die Interoperabilität für externe Schreibvorgänge zu verbessern und Governance-Richtlinien über Engines hinweg zu ermöglichen. | Öffentliche Vorschau für alle Tabellen in allen Schemas. | 16.4 |
| Spaltenzuordnung | Ermöglicht das Umbenennen und Ablegen von Spalten, ohne Daten neu zu schreiben. | Öffentliche Vorschau für alle Tabellen in allen Schemas. | 15,3 |
Die Verfügbarkeit von Features kann sich je nach Region unterscheiden.
Requirements
- Serverlose Berechnung muss in Ihrer Region verfügbar sein.
- Tabellen müssen verwaltete Tabellen im Unity-Katalog in Delta Lake- oder Apache Iceberg-Formaten sein.
Beobachten aktivierter Features
Um zu überprüfen, ob automatische Upgrades ein Feature für eine Tabelle aktiviert haben, suchen Sie im Catalog Explorer auf der Registerkarte Verlauf nach einem Vorgang vom Typ SET TBLPROPERTIES, oder verwenden Sie DESCRIBE HISTORY <table_name>. Wenn automatische Upgrades den Vorgang durchgeführt haben, wird im Feld Benutzername anstelle eines Benutzernamens ein Hashwert angezeigt, z. B. 4d137f29-62. Sehen Sie sich den Katalog-Explorer an? und zeigen Sie den Tabellenverlauf an.
Nachdem durch automatische Upgrades Funktionen für Tabellen in einem neuen Schema aktiviert wurden, können Sie die Standardeinstellungen des Schemas auf der Registerkarte Eigenschaften im Katalog-Explorer anzeigen. Ein Schema mit aktivierter Zeilenverfolgung zeigt z. B. eine Eigenschaft wie catalog.schema.enableRowTracking: "true". Vorhandene Schemas verfügen nicht über die Observability-Eigenschaften für automatische Upgrades.
Verwalten empfohlener Features
Administratoren können das Verhalten und die Vorgänge von Upgrades mit verschiedenen Steuerelementen verwalten.
Wiederherstellen von Änderungen
Verwenden Sie diese Option RESTORE , um die Daten und Metadaten einer Tabelle auf eine Version zurückzuverwenden, bevor das Feature aktiviert wurde:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Weitere Informationen zum Tabellenverlauf und zur Wiederherstellung finden Sie unter "Wiederherstellen einer Tabelle in einem früheren Zustand ".
Deaktivieren von Features für Tabellen
So deaktivieren Sie ein Feature in einer einzelnen Tabelle:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
Automatische Upgrades aktivieren ein Feature nicht erneut, nachdem Sie es manuell deaktiviert haben.
Einschränkungen
- Von Delta Lake Sharing freigegebene Tabellen, sowohl Databricks-to-Open- als auch Databricks-to-Databricks-Tabellen, sind von automatischen Upgrades ausgenommen. Weitere Informationen finden Sie unter Was ist Delta Sharing?.
- Automatische Upgrades verfügen nicht über einen Mechanismus für ein Batch-Rollback, um eine Funktion über alle Tabellen in einem Konto hinweg zu deaktivieren. Weitere Informationen finden Sie unter Verwalten von empfohlenen Features für automatische Upgrades.
- Materialisierte Ansichten und Streamingtabellen werden nicht unterstützt.
- Workloads, die Unity Catalog umgehen und direkt über den Pfad auf Tabellen zugreifen, werden von automatischen Upgrades nicht erfasst. Wenn Ihre Workloads pfadbasierten Zugriff verwenden, wenden Sie sich an Ihr Kontoteam, um die Kompatibilität zu besprechen.
- Auf externe Tabellen wird in der Regel über den Dateipfad zugegriffen, der Unity-Katalog umgangen und nicht überprüfte Workloads von externen Clients verwendet. Der Unity-Katalog kann diese Zugriffsmuster nicht zuverlässig nachverfolgen, sodass externe Tabellen von automatischen Upgrades ausgeschlossen werden. Weitere Informationen finden Sie unter Arbeiten mit externen Tabellen.