Especificar um local de armazenamento gerenciado no Catálogo do Unity
Um local de armazenamento gerenciado especifica um local no armazenamento de objetos de nuvem para armazenar dados para tabelas gerenciadas e volumes gerenciados.
Você pode associar um local de armazenamento gerenciado a um metastore, catálogo ou esquema. Locais de armazenamento gerenciado em níveis inferiores na hierarquia substituem locais de armazenamento definidos em níveis mais altos quando tabelas gerenciadas ou volumes gerenciados são criados.
Quando um administrador de conta cria um metastore, ele pode associar um local de armazenamento em um contêiner do Azure Data Lake Storage Gen2 ou em um bucket do Cloudflare R2 na sua conta de provedor de nuvem para usar como um local de armazenamento gerenciado. Os locais de armazenamento gerenciado nos níveis de catálogo e esquema são opcionais, mas o Databricks recomenda atribuir locais de armazenamento gerenciado no nível do catálogo para isolamento de dados lógicos. Consulte Blocos de criação de governança de dados e isolamento de dados.
Importante
Se o workspace tiver sido habilitado automaticamente para o Catálogo do Unity, o metastore do Catálogo do Unity foi criado sem um local de armazenamento gerenciado no nível do metastore. Você deve atribuir um local de armazenamento gerenciado no nível de catálogo ou esquema. Consulte Habilitação automática do Catálogo do Unity e Blocos de criação de governança e isolamento de dados.
O que é um local de armazenamento gerenciado?
Os locais de armazenamento gerenciado têm as seguintes propriedades:
- Tabelas gerenciadas e volumes gerenciados armazenam dados e arquivos de metadados em locais de armazenamento gerenciado.
- Os locais de armazenamento gerenciado não podem se sobrepor a tabelas externas ou volumes externos.
A tabela a seguir descreve como um local de armazenamento gerenciado é declarado e associado a objetos do Catálogo do Unity:
| Objeto Catálogo do Unity associado | Como definir | Relação com locais externos |
|---|---|---|
| Metastore | Configurado pelo administrador da conta durante a criação do metastore. | Não é possível sobrepor um local externo. |
| Catálogo | Especificado durante a criação do catálogo usando MANAGED LOCATION palavra-chave. |
Deve estar contido em um local externo. |
| Esquema | Especificado durante a criação do esquema usando MANAGED LOCATION palavra-chave. |
Deve estar contido em um local externo. |
O local de armazenamento gerenciado que armazena dados e metadados para tabelas gerenciadas e volumes gerenciados usa as seguintes regras:
- Se o esquema que contém tiver um local gerenciado, os dados serão armazenados no local gerenciado pelo esquema.
- Se o esquema que contém não tiver um local gerenciado, mas o catálogo tiver um local gerenciado, os dados serão armazenados no local gerenciado do catálogo.
- Se o esquema que contém nem o catálogo que contém tiver um local gerenciado, os dados serão armazenados no local gerenciado do metastore.
O Catálogo do Unity impede a sobreposição da governança de localização. Confira Como os caminhos funcionam para os dados gerenciados pelo Catálogo do Unity?.
Local de armazenamento gerenciado, raiz de armazenamento e local de armazenamento
Quando você especifica um MANAGED LOCATION para um catálogo ou esquema, o local fornecido é rastreado como a Raiz de armazenamento no Catálogo do Unity. Para garantir que todas as entidades gerenciadas tenham um local exclusivo, o Catálogo do Unity adiciona subdiretórios hash ao local especificado, usando o seguinte formato:
| Objeto | Caminho |
|---|---|
| Esquema | <storage-root>/__unitystorage/schemas/00000000-0000-0000-0000-000000000000 |
| Catálogo | <storage-root>/__unitystorage/catalogs/00000000-0000-0000-0000-000000000000 |
O caminho totalmente qualificado para o local de armazenamento gerenciado é rastreado como o Local de armazenamento no Catálogo do Unity.
Você pode especificar o mesmo local de armazenamento gerenciado para vários esquemas e catálogos.
Privilégios necessários
Os usuários que têm o privilégio CREATE MANAGED STORAGE em um local externo podem configurar locais de armazenamento gerenciado durante a criação de catálogo ou esquema.
Os locais de armazenamento gerenciado definidos no nível do metastore devem ser configurados por administradores de conta durante a criação do metastore.
Definir um local de armazenamento gerenciado para um catálogo
Defina um local de armazenamento gerenciado para um catálogo usando a palavra-chave MANAGED LOCATION durante a criação do catálogo, como no exemplo a seguir:
CREATE CATALOG <catalog-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Definir um local de armazenamento gerenciado para um esquema
Defina um local de armazenamento gerenciado para um esquema usando a palavra-chave MANAGED LOCATION durante a criação do esquema, como no exemplo a seguir:
CREATE CATALOG <catalog>.<schema-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Próximas etapas
Locais de armazenamento gerenciados são usados para criar tabelas gerenciadas e volumes gerenciados. Confira Criar tabelas no Catálogo do Unity e Criar e trabalhar com volumes.