Guia de configuração do Unity Catalog

Esta página aborda a configuração inicial do Catálogo Unity para administradores de espaços de trabalho num novo espaço de trabalho do Azure Databricks, incluindo:

  • Confirmar que o seu espaço de trabalho está ativado para o Unity Catalog
  • Gerir o acesso e identidades ao espaço de trabalho
  • Criação de recursos computacionais compatíveis com o Unity Catalog
  • Criar um catálogo e esquema para os seus dados
  • Conceder aos utilizadores os privilégios de que necessitam

Antes de começar

Antes de começar, familiarize-se com os seguintes conceitos do Catálogo Unity:

  • Metastore: O contentor de nível superior do Unity Catalog, limitado a uma única região da cloud. Contém todos os objetos protegidos: catálogos, credenciais de armazenamento, localizações externas e mais. Consulte Metastore.
  • Catálogo: O objeto contentor de dados de mais alto nível dentro de uma metastore. Os catálogos contêm esquemas, que por sua vez contêm tabelas, vistas, volumes e funções. Ver Catálogo.
  • Funções de administrador: O Unity Catalog tem três funções principais de administrador: administrador de contas, administrador de espaços de trabalho e administrador da metastore, cada uma com um âmbito e responsabilidades diferentes. Consulte Privilégios de Administrador no Unity Catalog.

Você também precisa do seguinte:

Passo 1: Confirme que o seu espaço de trabalho está ativado para o Unity Catalog

Use um dos seguintes métodos para confirmar que o seu espaço de trabalho está ligado a uma metastore do Unity Catalog.

Utilize o painel da conta

Este método requer privilégios de administrador da conta.

  1. Como administrador de conta do Azure Databricks, faça logon no console da conta.
  2. Clique no ícone Espaços de trabalho.Espaços de trabalho.
  3. Encontre seu espaço de trabalho e verifique a coluna Metastore . Se houver um nome metastore, o seu espaço de trabalho está ativado para o Unity Catalog.

Executar uma consulta SQL

Este método não requer privilégios de administrador, mas requer um recurso de computação compatível com o Unity Catalog. Passo 3: Criar recursos de computação compatíveis com o Unity Catalog orienta-o na criação de recursos de computação compatíveis com o Unity Catalog.

Execute o seguinte comando no editor de consultas SQL ou num caderno associado a um recurso de computação:

SELECT CURRENT_METASTORE();

Se a consulta devolver um ID metastore, o seu espaço de trabalho está ativado para o Unity Catalog.

Saída atual do metastore

Se o seu espaço de trabalho não estiver ativado para o Unity Catalog, veja Atualize um espaço de trabalho Azure Databricks para o Unity Catalog.

Passo 2: Gerir o acesso e identidades ao espaço de trabalho

Os administradores de espaços de trabalho podem adicionar utilizadores e grupos, atribuir funções administrativas e gerir os principais de serviço.

Adicionar utilizadores

Adicione utilizadores individuais que precisem de acesso a este espaço de trabalho. Para instruções, consulte Gerir utilizadores.

Organizar os utilizadores em grupos

A Databricks recomenda gerir o acesso através de grupos em vez de utilizadores individuais. Conceder privilégios a um grupo aplica-os a todos os membros, o que reduz a carga administrativa à medida que a sua equipa cresce.

  • Se a sua organização já tem grupos num fornecedor de identidade (IdP): Sincronize-os para Azure Databricks usando gestão automática de identidade ou provisão SCIM para que a pertença ao grupo se mantenha sincronizada automaticamente. Veja Gestão automática de identidades.
  • Se ainda não tiver grupos: Como administrador do espaço de trabalho, crie grupos ao nível da conta navegando até Definições>Identidade e acesso>Gerir junto de Grupos. Consulte Gerir grupos.

Atribuir funções de administrador

Os administradores de espaços de trabalho podem realizar a maioria das tarefas administrativas do dia a dia: adicionar e remover utilizadores, gerir computação, configurar definições do espaço de trabalho e conceder acesso a dados. Esta função é adequada para membros de uma plataforma central de dados ou equipa de TI que são responsáveis pela manutenção do espaço de trabalho. Seja seletivo quanto a quem recebe este cargo. Os administradores de espaços de trabalho têm acesso amplo a recursos e definições do espaço.

Normalmente, o papel de administrador do espaço de trabalho é o único que precisa de atribuir. Opcionalmente, podes atribuir administradores da metastore para casos de uso especiais. Por exemplo, pode atribuir esta função a uma equipa dedicada de governação de dados ou a um pequeno grupo de engenheiros séniores de plataforma, caso precise:

  • Delegue a criação de catálogos a administradores que não sejam do workspace.
  • Gerir o script de init e a lista de permissões do JAR.
  • Receba dados compartilhados por meio do Delta Sharing.
  • Transfira a propriedade do objeto quando um membro da equipa sai.

Para instruções sobre como atribuir estes papéis, consulte Privilégios de Administrador no Catálogo Unity.

Passo 3: Criar computação compatível com o Unity Catalog

Para executar cargas de trabalho do Unity Catalog, os recursos de computação devem cumprir os requisitos de segurança do Unity Catalog. A tabela seguinte mostra quais os tipos de computação compatíveis:

Tipo de computação Compatível com UC
Armazém SQL Yes
Computação sem servidor (cadernos, tarefas, pipelines) Yes
Cluster — Modo de acesso de utilizador único Yes
Cluster — Modo de acesso partilhado Yes
Cluster — Modo de acesso partilhado sem isolamento No

Para criar computação compatível com UC:

Como administrador de espaço de trabalho, pode restringir a criação de clusters apenas a administradores, ou usar políticas de cluster para permitir que os utilizadores criem os seus próprios clusters compatíveis com o Unity Catalog. Consulte Permissões de computação e Criar e gerenciar políticas de computação.

Passo 4: Criar catálogos e esquemas

Os catálogos são a principal unidade de isolamento de dados no Unity Catalog. Todos os esquemas, tabelas, volumes, vistas e funções estão presentes em catálogos.

Quando criar um novo catálogo

Os novos espaços de trabalho são criados automaticamente com um catálogo do espaço de trabalho — por predefinição, este catálogo recebe o nome do seu espaço de trabalho. Para verificar se tem um catálogo de espaços de trabalho, clique no ícone de Dados.Cataloga na barra lateral e procura um catálogo que corresponda ao nome do teu espaço de trabalho. Se existir, pode não precisar de criar catálogos adicionais imediatamente.

Com o tempo, considere criar novos catálogos à medida que a sua utilização cresce, organizados em torno de limites lógicos como:

  • Equipas ou unidades de negócio: catálogos separados para engenharia, finanças e marketing
  • Ambientes: catálogos dev, staging e prod distintos para separar os dados de desenvolvimento dos de produção
  • Projetos: um catálogo dedicado por cada produto ou iniciativa de dados principal

Se os limites de dados da sua organização já estiverem bem definidos, pode criar catálogos agora.

Criar um catálogo

Para criar um catálogo, execute o seguinte SQL.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Note

Os dados geridos neste catálogo são armazenados na localização padrão de armazenamento gerido da metastore. Para usar uma localização diferente, especifique um MANAGED LOCATION. Consulte Conectar-se ao armazenamento de objetos na nuvem usando o Unity Catalog.

Depois, crie um esquema para organizar as suas tabelas e outros objetos de dados:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Para instruções detalhadas e como usar o Explorador de Catálogos, consulte Criar catálogos e Criar esquemas.

Passo 5: Conceder privilégios aos utilizadores

No Unity Catalog, os utilizadores não têm acesso aos dados por defeito. Os administradores do espaço de trabalho podem conceder privilégios a objetos seguros em todo o espaço de trabalho. A Databricks recomenda conceder privilégios a grupos em vez de utilizadores individuais. Isto facilita a gestão do acesso à medida que a sua equipa cresce.

Habilitar a descoberta de dados

Azure Databricks recomenda conceder o privilégio BROWSE em todos os catálogos ao grupo All account users. BROWSE permite aos utilizadores ver que existem objetos e visualizar os seus metadados no Explorador de Catálogos sem conceder acesso aos dados subjacentes. Isto permite que os seus utilizadores descubram dados e solicitem acesso sem que os administradores concedam permissões preventivamente.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Concessão de acesso a dados

Para aceder a dados no Unity Catalog, os utilizadores normalmente precisam do privilégio específico para a operação (como SELECT ler uma tabela) e dos privilégios de utilização apropriados (como USE CATALOG no catálogo pai e USE SCHEMA no esquema pai). Ver conceitos de modelos de permissões do Unity Catalog.

Conceda estes privilégios apenas aos utilizadores e grupos que necessitem de acesso a catálogos e esquemas específicos. Por exemplo, para conceder acesso apenas de leitura a um esquema, use o seguinte SQL:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Para acesso de leitura e escrita:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Os padrões de acesso mudam ao longo do tempo. Use as seguintes páginas como referência ao gerir privilégios no Unity Catalog:

Lista de verificação da configuração

Se tiver completado os cinco passos, o Unity Catalog está configurado no seu espaço de trabalho e os seus utilizadores podem começar a trabalhar com dados. Use a seguinte lista de verificação para confirmar que está tudo no lugar:

Passos seguintes

Com o Unity Catalog configurado, pode começar a aplicar capacidades de governação mais avançadas ao seu espaço de trabalho.

Controle de acesso baseado em atributos

O controlo de acesso baseado em atributos (ABAC) permite-lhe definir políticas de acesso dinâmicas e detalhadas com base nos atributos dos dados e no utilizador que os acede. Em vez de gerir permissões tabela a tabela, escreve políticas que aplicam automaticamente filtragem ao nível da linha e mascaramento ao nível das colunas. Por exemplo, pode esconder colunas sensíveis de utilizadores fora de uma região específica ou mascarar PII para funções não privilegiadas.

Mascaramento de colunas ABAC em ação

Classificação dos dados

A classificação de dados utiliza um agente de IA para escanear automaticamente o seu catálogo e etiquetar dados sensíveis, como PII, informações financeiras e credenciais. Após a classificação, as etiquetas podem integrar-se diretamente com as políticas ABAC, permitindo-lhe aplicar controlos de governação com base no que os dados realmente contêm, em vez de gerir o acesso objeto a objeto.

Resultados da classificação de dados

Monitorização da qualidade dos dados

A monitorização da qualidade dos dados proporciona deteção de anomalias em todas as tabelas num esquema e perfis de dados ao nível da tabela. A deteção de anomalias monitoriza automaticamente a atualidade e a integridade com base em padrões históricos dos dados, assinalando problemas sem necessidade de configuração manual. O perfil de dados capta distribuições estatísticas ao longo do tempo, permitindo-lhe acompanhar a integridade dos dados e definir alertas para alterações inesperadas.

Painel de monitorização da qualidade dos dados

Governação da IA com o Unity AI Gateway

O Unity AI Gateway estende a governação do Unity Catalog à IA. Fornece governação empresarial para endpoints LLM, agentes e servidores MCP, permitindo-lhe implementar controlo de acesso, registo de auditoria e observabilidade em todas as interações de IA numa interface unificada.

  • Last updated on