Guia de configuração do Catálogo do Unity

Esta página aborda a configuração inicial do Unity Catalog para administradores do workspace em um novo workspace do Azure Databricks, incluindo:

  • Confirmando se seu workspace está habilitado para usar o Unity Catalog
  • Gerenciar o acesso e as identidades do espaço de trabalho
  • Criando recursos de computação compatíveis com o Catálogo do Unity
  • Criando um catálogo e um esquema para seus dados
  • Concedendo aos usuários os privilégios necessários

Antes de começar

Antes de começar, familiarize-se com os seguintes conceitos do Catálogo do Unity:

  • Metastore: o contêiner de nível superior do Unity Catalog, limitado a uma única região de nuvem. Ele contém todos os objetos protegíveis: catálogos, credenciais de armazenamento, locais externos e muito mais. Consulte Metastore.
  • Catálogo: o objeto de contêiner de dados de nível mais alto em um metastore. Os catálogos contêm esquemas, que, por sua vez, contêm tabelas, exibições, volumes e funções. Consulte Catálogo.
  • Funções de administrador: o Catálogo do Unity tem três funções de administrador principais, administrador de conta, administrador de workspace e administrador de metastore, cada uma com um escopo e responsabilidades diferentes. Confira Privilégios de administrador no Unity Catalog.

Também são necessários:

Etapa 1: Confirmar se o espaço de trabalho está habilitado para usar o Unity Catalog

Use um dos métodos a seguir para confirmar se o espaço de trabalho está vinculado a um metastore do Unity Catalog.

Usar o console de conta

Esse método requer privilégios de administrador de conta.

  1. Como administrador de conta Azure Databricks, faça logon no console da conta.
  2. Clique no ícone Workspaces.Workspaces.
  3. Localize o seu workspace e verifique a coluna Metastore. Se houver um nome do metastore, seu espaço de trabalho estará habilitado para usar o Unity Catalog.

Executar uma consulta SQL

Esse método não requer privilégios de administrador, mas requer um recurso de computação compatível com o Catálogo do Unity. Etapa 3: Criar computação compatível com o Catálogo do Unity orienta você por meio da criação de recursos de computação compatíveis com UC.

Execute o seguinte comando no editor de consultas SQL ou em um notebook anexado a um recurso de computação:

SELECT CURRENT_METASTORE();

Se a consulta retornar um ID do metastore, seu espaço de trabalho está habilitado para o Unity Catalog.

Saída do metastore atual

Se o workspace não estiver habilitado para o Unity Catalog, consulte Atualizar um workspace do Azure Databricks para o Unity Catalog.

Etapa 2: Gerenciar o acesso e as identidades do workspace

Os administradores do workspace podem adicionar usuários e grupos, atribuir funções de administrador e gerenciar entidades de serviço.

Adicionar usuários

Adicione usuários individuais que precisam de acesso a esse workspace. Para obter instruções, consulte Gerenciar usuários.

Organizar usuários em grupos

O Databricks recomenda gerenciar o acesso por meio de grupos em vez de usuários individuais. Conceder privilégios a um grupo aplica-os a todos os membros, o que reduz a sobrecarga administrativa à medida que sua equipe cresce.

  • Se sua organização já tiver grupos em um provedor de identidade (IdP): sincronize-os para Azure Databricks usando o gerenciamento automático de identidade ou o provisionamento SCIM para que a associação ao grupo permaneça sincronizada automaticamente. Consulte o gerenciamento automático de identidade.
  • Se você ainda não tiver grupos: como administrador do workspace, crie grupos no nível da conta navegando até Configurações>Identidade e acesso>Gerenciar ao lado de Grupos. Confira Gerenciar grupos.

Atribuir funções de administrador

Os administradores do workspace podem executar a maioria das tarefas administrativas diárias: adicionar e remover usuários, gerenciar computação, definir configurações de workspace e conceder acesso aos dados. Essa função é apropriada para membros de uma plataforma de dados central ou equipe de TI que são responsáveis por manter o workspace. Seja seletivo sobre quem recebe essa função. Os administradores do workspace têm amplo acesso a recursos e configurações do workspace.

Normalmente, a função de administrador do workspace é a única função de administrador que você precisa atribuir. Opcionalmente, você pode atribuir administradores metastore para casos de uso especiais. Por exemplo, você pode atribuir essa função a uma equipe de governança de dados dedicada ou a um pequeno grupo de engenheiros de plataforma sênior se precisar:

  • Delegar a criação de catálogo a administradores que não são do workspace.
  • Gerencie o script de inicialização e a lista de permissões JAR.
  • Receber dados compartilhados por meio de Compartilhamento Delta.
  • Transferir a propriedade do objeto quando um membro da equipe sair.

Para obter instruções sobre como atribuir essas funções, consulte privilégios de administrador no Catálogo do Unity.

Etapa 3: Criar computação compatível com o catálogo do Unity

Para executar cargas de trabalho do Catálogo do Unity, os recursos de computação devem atender aos requisitos de segurança do Catálogo do Unity. A tabela a seguir mostra quais tipos de computação estão em conformidade:

Tipo de computação Compatível com UC
SQL Warehouse Yes
Computação sem servidor (notebooks, tarefas, pipelines) Yes
Cluster – Modo de acesso único do usuário Yes
Cluster – Modo de acesso compartilhado Yes
Cluster — modo de acesso compartilhado sem isolamento No

Para criar uma computação compatível com UC:

Como administrador do workspace, você pode restringir a criação de cluster apenas para administradores ou usar políticas de cluster para permitir que os usuários criem seus próprios clusters compatíveis com o Catálogo do Unity. Confira Permissões de computação e Criar e gerenciar políticas de computação.

Etapa 4: Criar catálogos e esquemas

Os catálogos são a unidade primária de isolamento de dados no Catálogo do Unity. Todos os esquemas, tabelas, volumes, exibições e funções residem em catálogos.

Quando criar um novo catálogo

Novos espaços de trabalho são provisionados automaticamente com um catálogo do espaço de trabalho — por padrão, esse catálogo recebe o nome do seu espaço de trabalho. Para verificar se você tem um catálogo de workspaces, clique no ícone Dados.Cataloge na barra lateral e procure um catálogo que corresponda ao nome do workspace. Se existir, talvez você não precise criar catálogos adicionais imediatamente.

Com o tempo, considere a criação de novos catálogos à medida que seu uso cresce, organizado em torno de limites lógicos, como:

  • Equipes ou unidades de negócios: catálogos separados para engenharia, finanças e marketing
  • Ambientes: catálogos separados dev, staging e prod para isolar os dados de desenvolvimento dos dados de produção
  • Projetos: um catálogo dedicado por produto ou iniciativa de dados principais

Se os limites de dados da sua organização já estiverem bem definidos, você poderá criar catálogos agora.

Criar um catálogo

Para criar um catálogo, execute o SQL a seguir.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Observação

Os dados gerenciados neste catálogo são armazenados no local de armazenamento gerenciado padrão do metastore. Para usar um local diferente, especifique um MANAGED LOCATION. Consulte Conectar-se ao armazenamento de objetos de nuvem usando o Catálogo do Unity.

Em seguida, crie um esquema para organizar suas tabelas e outros objetos de dados:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Para obter instruções detalhadas e como usar o Catalog Explorer, consulte Criar catálogos e criar esquemas.

Etapa 5: Conceder privilégios aos usuários

No Catálogo do Unity, os usuários não têm acesso aos dados por padrão. Os administradores do workspace podem conceder privilégios a objetos protegíveis em todo o workspace. O Databricks recomenda conceder privilégios a grupos em vez de usuários individuais. Isso facilita o gerenciamento do acesso à medida que sua equipe cresce.

Habilitar a descoberta de dados

Azure Databricks recomenda conceder o privilégio BROWSE em todos os catálogos ao grupo All account users. BROWSE permite que os usuários vejam que os objetos existem e exibam seus metadados no Gerenciador de Catálogos sem conceder acesso aos dados subjacentes. Isso permite que os usuários descubram dados e solicitem acesso sem exigir que os administradores concedam permissões preventivamente.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Conceder acesso a dados

Para acessar dados no Catálogo do Unity, os usuários normalmente precisam do privilégio específico para a operação (como SELECT ler uma tabela) e os privilégios de uso apropriados (como USE CATALOG no catálogo pai e USE SCHEMA no esquema pai). Consulte os conceitos do modelo de permissões do Unity Catalog.

Conceda esses privilégios somente aos usuários e grupos que precisam de acesso a catálogos e esquemas específicos. Por exemplo, para conceder acesso somente leitura a um esquema, use o seguinte SQL:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Para acesso de leitura e gravação:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Os padrões de acesso mudam ao longo do tempo. Use as seguintes páginas como referência ao gerenciar privilégios no Catálogo do Unity:

Lista de verificação de configuração

Se você concluiu todas as cinco etapas, o Catálogo do Unity será configurado em seu workspace e seus usuários poderão começar a trabalhar com dados. Use a seguinte lista de verificação para confirmar se tudo está em vigor:

Próximas Etapas 

Com o Catálogo do Unity configurado, você pode começar a aplicar recursos de governança mais avançados ao seu workspace.

Controle de acesso baseado em atributo

O ABAC (controle de acesso baseado em atributo) permite definir políticas de acesso dinâmicas e refinadas com base nos atributos dos dados e no usuário que os acessa. Em vez de gerenciar permissões tabela por tabela, você escreve políticas que impõem automaticamente filtragem em nível de linha e mascaramento em nível de coluna. Por exemplo, você pode ocultar colunas confidenciais de usuários fora de uma região específica ou mascarar PII para funções sem privilégios.

Mascaramento de coluna ABAC em ação

Classificação de dados

A classificação de dados usa um agente de IA para verificar automaticamente seu catálogo e marcar dados confidenciais, como PII, informações financeiras e credenciais. Após a classificação, as tags podem se integrar diretamente às políticas ABAC, permitindo que você aplique controles de governança com base no que os dados realmente contêm, em vez de gerenciar o acesso objeto por objeto.

Resultados da classificação de dados

Monitoramento de qualidade de dados

O monitoramento de qualidade de dados fornece detecção de anomalias em todas as tabelas em um esquema e criação de perfil de dados no nível da tabela. A detecção de anomalias monitora automaticamente a atualidade e a completude usando padrões de dados históricos, destacando problemas sem necessidade de configuração manual. A criação de perfil de dados captura distribuições estatísticas ao longo do tempo, permitindo que você acompanhe a integridade dos dados e defina alertas para alterações inesperadas.

Painel de monitoramento de qualidade de dados

Governança de IA com o Gateway de IA do Unity

Unity AI Gateway estende a governança do Unity Catalog à IA. Ele fornece governança corporativa para endpoints de LLM, agentes e servidores MCP, permitindo que você implemente controle de acesso, registros de auditoria e observabilidade em todas as interações de IA em uma interface unificada.

  • Last updated on