Verwaltete und externe Ressourcen im Unity-Katalog

Jedes sicherungsfähige Objekt , das Sie im Unity-Katalog registrieren, wird zentral gesteuert. Dies bedeutet, dass Unity Catalog die Metadaten des Objekts verwaltet, sodass es alle Aspekte der Governance steuern kann, einschließlich Zugriff, Überwachung und Lineage.

Bei Datenressourcen wie Tabellen und Volumes kann Unity Catalog jedoch auch den Speicherort und den Lebenszyklus der zugrunde liegenden Datendateien in Ihrem Cloudkonto steuern, einschließlich der Organisation, Optimierung und dem Löschen. Dieser Unterschied trennt verwaltete von externen Datenressourcen.

• Verwaltete Ressourcen: Unity-Katalog steuert die Governance (Zugriffssteuerung, Überwachung, Lineage) und den zugrunde liegenden Dateispeicherlebenszyklus (Dateioptimierung, Organisation und Löschung).
• Externe Ressourcen: Der Unity Catalog verwaltet nur die Governance. Der zugrunde liegende Dateispeicherlebenszyklus wird von Ihnen oder einem externen System gesteuert.

Wenn Sie ein verwaltetes Objekt im Unity-Katalog registrieren, behalten Sie den vollständigen Besitz Ihrer Daten bei. Die Datendateien verbleiben immer in Ihrem Cloudkonto. Der Unity-Katalog bestimmt, wo sie in Ihrem Konto gespeichert sind, sie aber nicht an Azure Databricks übertragen oder besitzen.

Der Unterschied zwischen verwaltet und extern gilt nur für Tabellen und Volumes. Andere sicherungsfähige Unity-Katalog-Objekte, z. B. Ansichten, Modelle und Funktionen, verfügen nicht über verwaltete und externe Varianten.

Zusammenfassung der Unterschiede

In der folgenden Tabelle sind die Unterschiede zwischen verwalteten und externen Ressourcen im Unity-Katalog zusammengefasst:

Eigentum	Verwaltete Tabelle oder Volume des Unity-Katalogs	Externe Tabelle oder externes Volumen
Speicherort	Durch Unity-Katalog festgelegt (in Ihrem Cloudkonto)	Von Ihnen festgelegt
Verwaltung des Dateilebenszyklus	Verwaltet durch Unity-Katalog (Optimierung, Organisation, Löschung)	Von Ihnen verwaltet
Drop-Verhalten	Datendateien werden nach einem 8-tägigen Aufbewahrungszeitraum endgültig gelöscht.	Datendateien bleiben vorhanden
Datenbesitz	Ja	Ja

Verwendung des Worts "verwalten" im Unity-Katalog

Das Wort verwalten hat mehrere Verwendungsmöglichkeiten im Unity-Katalog. In diesem Abschnitt wird die Bedeutung der Verwaltung in verschiedenen Kontexten zusammengefasst.

Wenn Personen sagen, dass ein Objekt vom Unity-Katalog verwaltet wird, bedeutet dies in der Regel, dass Unity-Katalog den Zugriff darauf steuert. Dies gilt für alle registrierten Unity-Katalogobjekte, einschließlich externer Tabellen und Volumes.

In dem Ausdruck "verwaltete Tabelle" oder "verwaltetes Volume" hat das Wort verwaltet eine präzisere Bedeutung: Der Unity Catalog legt fest, wo in Ihrem Cloud-Konto die zugrunde liegenden Datendateien gespeichert werden, und steuert den Dateilebenszyklus (Optimierung, Organisation und Löschung). Dies wird als verwalteter Speicherort bezeichnet. Ihre Daten verbleiben jederzeit in Ihrem Cloudkonto. Azure Databricks besitzt oder hält Ihre Daten nicht.

Das Wort MANAGE wird auch als Berechtigung angezeigt, die Sie Unity Catalog-Objekten zuweisen können. Im Allgemeinen ermöglicht es einem Benutzer, MANAGE Berechtigungen zuzuweisen oder zu widerrufen, den Besitz zu übertragen und ein Objekt zu löschen, ohne der Besitzer zu sein. Siehe VERWALTEN.

In der folgenden Tabelle sind die folgenden allgemeinen Verwendungsmöglichkeiten für die Verwaltung zusammengefasst:

Begriff	Bedeutung	Gilt für:
"Verwaltet von Unity-Katalog"	Der Unity-Katalog steuert den Zugriff, die Überwachung und die Lineage für das Objekt.	Alle registrierten Unity Catalog-Objekte, einschließlich externer Tabellen und Volumen.
Verwaltete Tabelle oder verwaltetes Volume	Unity Catalog steuert auch den zugrunde liegenden Speicherort (verwalteter Speicherort) und den Datenlebenszyklus innerhalb Ihres Cloudkontos.	Nur Tabellen und Volumen
Verwalteter Speicherort	Ein festgelegter Pfad in Ihrem Cloudkonto, in dem Unity Catalog Datendateien für verwaltete Tabellen und Volumes speichert. Sie können einen verwalteten Speicherort auf Metastore-, Katalog- oder Schemaebene konfigurieren. Weitere Informationen finden Sie unter Angeben eines verwalteten Speicherorts in Unity Catalog.	Nur Tabellen und Volumen
MANAGE Berechtigung	Ein Privileg, das es einem Benutzer ermöglicht, Berechtigungen zu widerrufen, den Besitz eines Objekts zu übertragen und es zu löschen, ohne der Besitzer zu sein. Siehe VERWALTEN.	Alle absicherbaren Objekte des Unity-Katalogs

Verwaltete und externe Tabellen

Eine verwaltete Unity-Katalog-Tabelle ist eine Tabelle, in der Unity Catalog den Speicherort für die zugrunde liegenden Datendateien bestimmt. Der Unity-Katalog speichert verwaltete Tabellen im verwalteten Speicherort, der für das enthaltende Schema, den Katalog oder den Metaspeicher definiert ist. Wenn Sie eine verwaltete Tabelle ablegen, löscht Unity Catalog die zugrunde liegenden Datendateien. Verwaltete Tabellen verwenden das Delta- oder Apache Iceberg-Format.

Eine externe Tabelle ist eine Tabelle, in der Sie den Speicherort für die zugrunde liegenden Datendateien angeben. Wenn Sie eine externe Tabelle ablegen, entfernt Unity Catalog die Tabellenmetadaten aus dem Metastore, aber die zugrunde liegenden Datendateien bleiben vorhanden. Externe Tabellen unterstützen mehrere Formate, einschließlich Delta, CSV, JSON, Avro, Parkett und ORC.

Weitere Informationen zu Tabellentypen finden Sie unter "Databricks Unity Catalog"-Tabellentypen.

Sowohl verwaltete als auch externe Tabellen unterstützen Lese-, Schreib- und Erstellen des Zugriffs von externen Engines über offene APIs, einschließlich der Unity-REST-API und des Iceberg-REST-Katalogs (IRC). Dies bedeutet, dass verwaltete Tabellen keine Anbietersperre verursachen. Jedes Modul, das diese APIs unterstützt, kann auf verwaltete Tabellen zugreifen. Siehe Zugriff auf Databricks-Daten mithilfe externer Systeme.

Verwaltete und externe Volumes

Ein verwaltetes Volume des Unity-Katalogs ist ein Volume, in dem Unity Catalog den Speicherort bestimmt. Unity Catalog speichert verwaltete Volumes automatisch am verwalteten Speicherort des enthaltenden Schemas in Ihrem Cloudkonto. Wie bei verwalteten Tabellen behalten Sie den vollständigen Besitz der zugrunde liegenden Daten bei. Wenn Sie ein verwaltetes Volume ablegen, löscht Unity Catalog die zugrunde liegenden Datendateien.

Ein externes Volume ist ein Volume, in dem Sie den Speicherort angeben. Der Speicherort muss ein Pfad sein, der von einem externen Speicherort im Unity-Katalog umfasst wird. Wenn Sie ein externes Volume ablegen, entfernt Unity Catalog die Volumedefinition, aber die zugrunde liegenden Datendateien bleiben vorhanden.

Weitere Informationen zu Volumes finden Sie unter Was sind Unity Catalog-Volumes?.