Angeben eines verwalteten Speicherorts in Unity Catalog
Ein verwalteter Speicherort gibt einen Speicherort im Cloudobjektspeicher zum Speichern von Daten für verwaltete Tabellen und verwaltete Volumes an.
Sie können einen verwalteten Speicherort einem Metastore, einem Katalog oder einem Schema zuordnen. Verwaltete Speicherorte auf niedrigeren Ebenen in der Hierarchie überschreiben Speicherorte, die auf höheren Ebenen definiert sind, wenn verwaltete Tabellen oder verwaltete Volumes erstellt werden.
Wenn ein Kontoadministrator einen Metastore erstellt, kann er einen Speicherort in einem Azure Data Lake Storage Gen2-Container oder Cloudflare R2-Bucket in Ihrem Cloudanbieterkonto zuordnen, der als verwalteter Speicherort verwendet werden kann. Verwaltete Speicherorte auf Katalog- und Schemaebene sind optional. Databricks empfiehlt jedoch, verwaltete Speicherorte auf Katalogebene für die logische Datenisolation zuzuweisen. Siehe Bausteine für Daten-Governance und Datenisolierung.
Wichtig
Wenn Ihr Arbeitsbereich für Unity Catalog automatisch aktiviert wurde, wurde der Unity-Katalog-Metastore ohne verwalteten Speicherort auf Metastoreebene erstellt. Sie sollten einen verwalteten Speicherort auf Katalog- oder Schemaebene zuweisen. Siehe Automatische Aktivierung von Unity Catalog und Daten-Governance- sowie Datenisolierungsbausteinen.
Was ist ein verwalteter Speicherort?
Verwaltete Speicherorte weisen die folgenden Eigenschaften auf:
- Verwaltete Tabellen und verwaltete Volumes speichern Daten und Metadatendateien im verwalteten Speicherort.
- Verwaltete Speicherorte können nicht mit externen Tabellen oder externen Volumes überlappen.
In der folgenden Tabelle wird beschrieben, wie ein verwalteter Speicherort deklariert und Unity Catalog-Objekten zugeordnet wird:
| Zugeordnetes Unity Catalog-Objekt | Festlegung | Beziehung zu externen Speicherorten |
|---|---|---|
| Metastore | Wird vom Kontoadministrator während der Erstellung des Metastores konfiguriert. | Kann externe Speicherorte nicht überlappen. |
| Katalog | Wird während der Katalogerstellung mithilfe des Schlüsselworts MANAGED LOCATION angegeben. |
Muss sich an einem externen Speicherort befinden. |
| Schema | Wird während der Schemaerstellung mithilfe des Schlüsselworts MANAGED LOCATION angegeben. |
Muss sich an einem externen Speicherort befinden. |
Der verwaltete Speicherort, der Daten und Metadaten für verwaltete Tabellen und verwaltete Volumes speichert, verwendet die folgenden Regeln:
- Wenn das umfassende Schema über einen verwalteten Speicherort verfügt, werden die Daten am verwalteten Speicherort des Schemas gespeichert.
- Wenn das umfassende Schema keinen verwalteten Speicherort hat, aber der Katalog über einen verwalteten Speicherort verfügt, werden die Daten im verwalteten Speicherort des Katalogs gespeichert.
- Verfügen weder das umfassende Schema noch der enthaltende Katalog über einen verwalteten Speicherort, dann werden die Daten im verwalteten Speicherort des Metastore gespeichert.
Unity-Katalog verhindert überlappende Standortgovernance. Siehe Wie funktionieren Pfade für Daten, die vom Unity Catalog verwaltet werden?.
Verwalteter Speicherort, Speicherstamm und Speicherort
Wenn Sie MANAGED LOCATION für einen Katalog oder ein Schema angeben, wird der angegebene Speicherort als Speicherstamm im Unity Catalog nachverfolgt. Um sicherzustellen, dass alle verwalteten Entitäten über einen eindeutigen Speicherort verfügen, fügt Unity Catalog dem angegebenen Speicherort Hash-Unterverzeichnisse hinzu, wobei das folgende Format verwendet wird:
| Object | Pfad |
|---|---|
| Schema | <storage-root>/__unitystorage/schemas/00000000-0000-0000-0000-000000000000 |
| Katalog | <storage-root>/__unitystorage/catalogs/00000000-0000-0000-0000-000000000000 |
Der vollqualifizierte Pfad für den verwalteten Speicherort wird als Speicherort im Unity Catalog nachverfolgt.
Sie können denselben verwalteten Speicherort für mehrere Schemas und Kataloge angeben.
Erforderliche Rechte
Benutzer, die über die CREATE MANAGED STORAGE-Berechtigung für einen externen Speicherort verfügen, können verwaltete Speicherorte während der Katalog- oder Schemaerstellung konfigurieren.
Verwaltete Speicherorte, die auf Metastore-Ebene festgelegt sind, müssen von Kontoadministratoren während der Metastoreerstellung konfiguriert werden.
Festlegen eines verwalteten Speicherorts für einen Katalog
Legen Sie einen verwalteten Speicherort für einen Katalog mithilfe des Schlüsselworts MANAGED LOCATION während der Katalogerstellung fest, wie im folgenden Beispiel gezeigt:
CREATE CATALOG <catalog-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Festlegen eines verwalteten Speicherorts für ein Schema
Legen Sie einen verwalteten Speicherort für ein Schema mithilfe des Schlüsselworts MANAGED LOCATION während der Schemaerstellung fest, wie im folgenden Beispiel gezeigt:
CREATE CATALOG <catalog>.<schema-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Nächste Schritte
Verwalten von Speicherorten werden zum Erstellen von verwalteten Tabellen und verwalteten Volumes verwendet. Siehe Erstellen von Tabellen in Unity Catalog und Erstellen und Verwenden von Volumes.