Aktualisieren eines Azure Databricks-Arbeitsbereichs auf den Unity-Katalog

Auf dieser Seite finden Sie eine Übersicht über das Upgrade eines Nicht-Unity-Katalogarbeitsbereichs auf den Unity-Katalog. Außerdem erhalten Sie Anweisungen zum Migrieren aus dem Legacy-Metaspeicher "Workspace-local Hive".

Übersicht über Upgradeschritte

Um auf den Unity-Katalog zu aktualisieren, müssen Sie:

1. Stellen Sie Identitäten (Benutzer, Gruppen und Dienstprinzipale) direkt in Ihrem Azure Databricks-Konto bereit, wenn Sie dies noch nicht tun. Deaktivieren Sie die Identitätsbereitstellung auf Arbeitsbereichsebene.
2. Konvertieren Sie alle arbeitsbereichslokalen Gruppen in Gruppen auf Kontoebene. Unity Catalog zentralisiert die Identitätsverwaltung auf Kontoebene.
3. Fügen Sie den Arbeitsbereich an einen Unity-Katalogmetaspeicher an. Wenn kein Metastore für Ihre Arbeitsbereichsregion vorhanden ist, muss ein Kontoadministrator einen erstellen.
4. Aktualisieren Von Tabellen und Ansichten, die im Hive-Metastore verwaltet werden, auf den Unity-Katalog.
5. Gewähren Sie Benutzern, Gruppen oder Dienstprinzipalen Zugriff auf die aktualisierten Tabellen auf Kontoebene.
6. Aktualisieren von Abfragen und Aufträgen, sodass sie nicht mehr auf die alten Hive-Metastore-Tabellen verweisen, sondern auf Unity Catalog-Tabellen.
7. Deaktivieren Sie den Hive-Metaspeicher. Siehe Deaktivieren des Zugriffs auf den Hive-Metastore, der von Ihrem Azure Databricks-Arbeitsbereich verwendet wird.

UCX (ein Databricks Labs-Projekt) bietet Tools, mit denen Sie Ihren Unity Catalog-fremden Arbeitsbereich auf Unity Catalog upgraden können. UCX ist eine gute Wahl für größere Migrationen. Siehe Verwenden der UCX-Hilfsprogramme zum Upgrade Ihres Arbeitsbereichs auf Unity Catalog.

Vorbemerkungen

Bevor Sie beginnen, sollten Sie sich mit den grundlegenden Unity-Catalog-Konzepten, einschließlich Metastores und verwaltetem Speicher, vertraut machen. Siehe Was ist Unity Catalog?.

Sie sollten auch bestätigen, dass Sie die folgenden Anforderungen erfüllen:

• Für die meisten Setupschritte müssen Sie ein Azure Databricks-Kontoadministrator sein. Für alle aufgabenspezifischen Aufgaben, für die weitere Berechtigungsanforderungen gelten, werden sie in der aufgabenspezifischen Dokumentation aufgeführt.

  Der erste Azure Databricks-Kontoadministrator muss ein globaler Microsoft Entra ID-Administrator sein, wenn er sich zum ersten Mal bei der Azure Databricks-Kontokonsole anmeldet. Bei der ersten Anmeldung wird dieser Benutzer zu einem Azure Databricks-Kontoadministrator und benötigt nicht mehr die Rolle „Globaler Microsoft Entra ID-Administrator“, um auf das Azure Databricks-Konto zuzugreifen. Der erste Kontoadministrator kann Benutzer im Azure Active Directory-Mandanten als zusätzliche Kontoadministratoren zuweisen (die ihrerseits weitere Kontoadministratoren zuweisen können). Für zusätzliche Kontoadministratoren sind keine speziellen Rollen in Microsoft Entra ID erforderlich.

• Die Arbeitsbereiche, die Sie dem Metastore anfügen, müssen sich im Azure Databricks Premium-Tarif befinden.

Upgrade auf Unity-Katalog-Demos

Sehen Sie sich die folgenden kurzen geführten Demos an, um wichtige Upgradeaufgaben in Aktion zu sehen. Jede Demo befasst sich mit einem bestimmten Schritt und Links zu detaillierten Dokumentationen, sofern zutreffend.

• Konvertieren von arbeitsbereich-lokalen Gruppen in Gruppen auf Kontoebene
• Aktualisieren von Tabellen in Ihrem Hive-Metaspeicher auf Unity-Katalogtabellen
  • Aktualisieren externer Tabellen mithilfe von SYNC.
  • Aktualisieren von verwalteten Tabellen mithilfe von SYNC.
  • Aktualisieren von verwalteten Tabellen mithilfe von verwalteten Tabellen CREATE TABLE AS SELECT
• Aktualisieren der Compute für Unity-Katalog
  • Allzweckbasierte Berechnung
  • SQL-Lagerhäuser
• Aktualisieren von Abfragen und Aufträgen für die Arbeit mit ihren aktualisierten Tabellen

Alternativ können Sie der Demo "UCX verwenden" folgen, um auf den Unity-Katalog zu aktualisieren.

Bereitstellung von Benutzern, Gruppen und Dienstprinzipalen für Ihr Konto

Unity Catalog verweist auf Identitäten auf Kontoebene. Bevor Sie einen Metaspeicher an Ihren Arbeitsbereich anfügen, sollten Sie die folgenden Schritte ausführen:

• Wenn Sie SCIM verwenden, um Benutzer, Gruppen und Dienstprinzipale von Ihrem IdP in Ihren Arbeitsbereich bereitzustellen, deaktivieren Sie es, und richten Sie stattdessen die Bereitstellung für Ihr Azure Databricks-Konto ein. Siehe „Synchronisieren Sie Identitäten Ihres Identitätsanbieters“ und „Identitäten“.

• Aktualisieren Sie alle Automatisierungen, die zur Verwaltung von Benutzern, Gruppen und Dienstprinzipalen konfiguriert wurde (z. B. SCIM-Bereitstellungsconnectors und Terraform-Automatisierungen), damit sie auf Kontoendpunkte anstelle von Arbeitsbereichsendpunkten verweisen. Siehe SCIM-Bereitstellung auf Konto- und Arbeitsbereichsebene.

Arbeitsbereich-lokale Gruppen in Gruppen auf Kontoebene umwandeln

Siehe Migrieren arbeitsbereichslokaler Gruppen zu Kontogruppen.

Verbinden Ihres Arbeitsbereichs mit einem Metastore

Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert (an einen Metastore angefügt) ist, hängt der nächste Schritt davon ab, ob Sie bereits einen Unity-Catalog-Metastore für Ihre Arbeitsbereichsregion definiert haben:

• Wenn Ihr Konto bereits einen Unity-Catalog-Metastore für Ihre Arbeitsbereichsregion definiert hat, können Sie Ihren Arbeitsbereich einfach an den vorhandenen Metastore anfügen. Wechseln Sie zu "Arbeitsbereich aktivieren" für den Unity-Katalog.
• Wenn kein Unity-Katalogmetastore für die Region Ihres Arbeitsbereichs definiert ist, müssen Sie einen Metaspeicher erstellen und dann den Arbeitsbereich anfügen. Gehen Sie zu Erstellen eines Unity Catalog-Metaspeichers.

Aktualisieren von Tabellen in Ihrem Hive-Metastore auf Unity Catalog-Tabellen

Wenn Sich Ihr Arbeitsbereich vor der Aktivierung für den Unity-Katalog in Dienst befand, verfügt er über einen Hive-Metaspeicher, der wahrscheinlich Daten enthält, die Sie weiterhin verwenden möchten. Databricks empfiehlt, die vom Hive-Metastore verwalteten Tabellen auf den Unity-Katalog-Metastore zu aktualisieren.

Sie können schrittweise ein Upgrade durchführen, indem Sie den Hive-Metaspeicher verbinden. Siehe nächster Abschnitt.

Sie können Tabellen direkt mithilfe der Anweisungen in Upgrade hive tables and views to Unity Catalog aktualisieren.You can upgrade tables directly using the instructions in Upgrade Hive tables and views to Unity Catalog.

(Optional) Führen Sie eine Föderation Ihres Hive-Metaspeichers durch, um weiterhin damit zu arbeiten.

Wenn Ihr Arbeitsbereich über einen Hive-Metaspeicher verfügt, der Daten enthält, die Sie weiterhin verwenden möchten, und Sie die Empfehlung nicht befolgen, alle vom Hive-Metastore verwalteten Tabellen auf den Unity Catalog-Metastore zu aktualisieren, können Sie weiterhin mit Daten im Hive-Metaspeicher arbeiten, indem Sie ihn als Fremdkatalog im Unity-Katalog verbinden. Siehe Hive-Metastore-Föderation: Aktivieren Sie den Unity-Katalog, um Tabellen zu verwalten, die in einem Hive-Metaspeicher registriert sind.

Gewähren des Zugriffs auf aktualisierte oder Verbundtabellen

Gewähren Sie Benutzern, Gruppen oder Dienstprinzipalen Zugriff auf die neuen Tabellen auf Kontoebene. Weitere Informationen finden Sie unter Verwalten von Berechtigungen in Unity Catalog.

Aktualisieren von Abfragen und Aufträgen für die Arbeit mit aktualisierten Tabellen und Pfaden zu Daten

Während Sie vom metastore "workspace-local Hive" zum Unity-Katalog wechseln, können Sie weiterhin Abfragen und Aufträge verwenden, die auf die im Hive-Metaspeicher registrierten Daten verweisen, indem Sie den Hive-Metastore-Partnerverbund verwenden (empfohlen) oder die unter "Arbeiten mit dem Legacy-Hive-Metastore" beschriebene Syntax zusammen mit Dem Unity-Katalog. Schließlich sollten Sie jedoch alle Abfragen und Aufträge aktualisieren, um Unity Catalog-Tabellen und -Syntax zu verwenden.

Aktualisieren Sie ebenso Abfragen und Aufträge, die den pfadbasierten Zugriff auf Dateien verwenden, um stattdessen Unity-Katalogvolumes zu verwenden.

Ausführliche Empfehlungen finden Sie unter Aktualisieren von Aufträgen, wenn Sie legacy-Arbeitsbereiche auf den Unity-Katalog aktualisieren.