Spécifier un emplacement de stockage managé dans Unity Catalog
Un emplacement de stockage managé spécifie un emplacement dans le stockage d’objets cloud pour stocker des données pour les tables managées et les volumes managés.
Vous pouvez associer un emplacement de stockage managé à un metastore, un catalogue ou un schéma. Les emplacements de stockage managés à des niveaux inférieurs dans la hiérarchie remplacent les emplacements de stockage définis à des niveaux supérieurs lorsque des tables managées ou des volumes managés sont créés.
Lorsqu’un administrateur de compte crée un metastore, il peut associer un emplacement de stockage dans un conteneur Azure Data Lake Storage Gen2 ou un compartiment Cloudflare R2 dans votre compte de fournisseur de cloud à utiliser comme emplacement de stockage managé. Les emplacements de stockage managés au niveau du catalogue et du schéma sont facultatifs, mais Databricks recommande d’attribuer des emplacements de stockage managés au niveau du catalogue pour l’isolement logique des données. Consultez Blocs de construction de la gouvernance des données et de l’isolement des données.
Important
Si votre espace de travail a été activé automatiquement pour Unity Catalog, le metastore Unity Catalog a été créé sans emplacement de stockage managé au niveau du metastore. Vous devez attribuer un emplacement de stockage managé au niveau du catalogue ou du schéma. Consultez Activation automatique de Unity Catalog et Blocs de construction de la gouvernance des données et de l’isolement des données.
Qu’est-ce qu’un emplacement de stockage managé ?
Les emplacements de stockage managés ont les propriétés suivantes :
- Les tables managées et les volumes managés stockent les fichiers de données et de métadonnées dans les emplacements de stockage managés.
- Les emplacements de stockage managés ne peuvent pas chevaucher des tables externes ou des volumes externes.
Le tableau suivant décrit comment un emplacement de stockage managé est déclaré et associé à des objets Unity Catalog :
| Objet Unity Catalog associé | Définition | Relation avec les emplacements externes |
|---|---|---|
| Metastore | Configuré par l’administrateur de compte lors de la création du metastore. | Impossible de chevaucher un emplacement externe. |
| Catalogue | Spécifié lors de la création du catalogue avec le mot clé MANAGED LOCATION. |
Doit être contenu dans un emplacement externe. |
| schéma | Spécifié lors de la création du schéma avec le mot clé MANAGED LOCATION. |
Doit être contenu dans un emplacement externe. |
L’emplacement de stockage managé utilisé pour stocker les données et les métadonnées des tables managées et des volumes managés utilise les règles suivantes :
- Si le schéma contenant a un emplacement managé, les données sont stockées dans l’emplacement managé par le schéma.
- Si le schéma contenant n’a pas d’emplacement managé, mais que le catalogue a un emplacement managé, les données sont stockées dans l’emplacement managé par le catalogue.
- Si ni le schéma conteneur ni le catalogue conteneur n’ont d’emplacement managé, les données sont stockées dans l’emplacement managé du metastore.
Unity Catalog empêche le chevauchement de la gouvernance des emplacements. Consultez Comment fonctionnent les chemins pour les données gérées par Unity Catalog ?.
Emplacement de stockage managé, racine de stockage et emplacement de stockage
Lorsque vous spécifiez un MANAGED LOCATION pour un catalogue ou un schéma, l’emplacement fourni est suivi comme racine de stockage dans Unity Catalog. Pour vous assurer que toutes les entités managées ont un emplacement unique, Unity Catalog ajoute des sous-répertoires hachés à l’emplacement spécifié, au format suivant :
| Object | Chemin d’accès |
|---|---|
| schéma | <storage-root>/__unitystorage/schemas/00000000-0000-0000-0000-000000000000 |
| Catalogue | <storage-root>/__unitystorage/catalogs/00000000-0000-0000-0000-000000000000 |
Le chemin d’accès complet de l’emplacement de stockage managé est suivi comme emplacement de stockage dans Unity Catalog.
Vous pouvez spécifier le même emplacement de stockage managé pour plusieurs schémas et catalogues.
Privilèges requis
Les utilisateurs disposant du privilège CREATE MANAGED STORAGE sur un emplacement externe peuvent configurer des emplacements de stockage managés lors de la création du catalogue ou du schéma.
Les emplacements de stockage managés définis au niveau du metastore doivent être configurés par les administrateurs de compte lors de la création du metastore.
Définir un emplacement de stockage managé pour un catalogue
Définissez un emplacement de stockage managé pour un catalogue à l’aide du mot clé MANAGED LOCATION lors de la création du catalogue, comme dans l’exemple suivant :
CREATE CATALOG <catalog-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Définir un emplacement de stockage managé pour un schéma
Définissez un emplacement de stockage managé pour un schéma à l’aide du mot clé MANAGED LOCATION lors de la création du schéma, comme dans l’exemple suivant :
CREATE CATALOG <catalog>.<schema-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Étapes suivantes
Les emplacements de stockage managés sont utilisés pour créer des tables managées et des volumes managés. Consultez Créer des tables dans Unity Catalog et Créer et utiliser des volumes.