Classificadores personalizados

Importante

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Visualizações . Ver Gerir as pré-visualizações de Azure Databricks.

Esta página descreve como criar e gerir classificadores personalizados para a Classificação de Dados Databricks no Unity Catalog. Classificadores personalizados estendem o sistema de classificação incorporado para que possa detetar dados sensíveis específicos da sua organização, como IDs internos de funcionários, códigos proprietários de produtos, identificadores de fornecedores ou números de conta de parceiros.

Para criar um classificador personalizado, primeiro selecionas uma etiqueta governada. Depois, descreve os dados a detetar, fornece colunas de exemplo que contenham valores representativos, ou ambos. O Azure Databricks gera uma pré-visualização do que o classificador deteta para que a possa rever antes de a guardar. A Classificação de Dados deteta então este classificador durante as suas varreduras regulares.

Note

Classificadores personalizados detetam dados sensíveis ao nível das colunas durante varreduras de classificação. Para atribuir etiquetas governadas a tabelas e volumes inteiros, como um nível de sensibilidade ao nível da tabela, automatize a atribuição de etiquetas (beta).

Usando classificadores personalizados, podes:

  • Marque dados específicos da organização: Detete e configure a auto-etiquetagem para tipos de dados únicos da sua organização, como IDs de funcionários, códigos de parceiros ou números de conta interna.
  • Alargar os controlos de governação: Aplicar máscaras ABAC ao nível das colunas a dados sensíveis.

Note

A configuração personalizada de classificador e os metadados de deteção que o Azure Databricks gera a partir das suas colunas de amostra são encriptados em repouso. Pode usar uma chave gerida pelo cliente (CMK) no catálogo do seu sistema para gerir a chave de encriptação. Configurar um CMK no catálogo do sistema encripta todos os dados do catálogo do sistema, não apenas os dados do classificador personalizado.

Configure uma chave gerida pelo cliente no catálogo do sistema no Explorador de Catálogos.

Requirements

  • A Classificação de Dados deve estar ativada em pelo menos um catálogo na metastore. Ver Utilizar a classificação de dados.
  • O seu espaço de trabalho deve ter computação serverless disponível (ativada por padrão nos espaços de trabalho com o Unity Catalog).
  • Para criar, editar ou eliminar um classificador personalizado, tens de ser administrador da metastore.
  • Para criar ou editar um classificador personalizado, deve ter ASSIGN privilégios sobre a etiqueta governada que o classificador utiliza. Consulte Gerenciar permissões em tags controladas.
  • Para selecionar uma coluna de exemplo para o classificador, deve ter SELECT na tabela que a contém. Azure Databricks amostra a coluna para gerar a pré-visualização.

Crie um classificador personalizado

  1. Na página de resultados de Classificação de Dados, clique em Gerir classificadores personalizados.

    Botão para gerir classificadores personalizados na página de resultados de classificação de dados.

  2. No painel lateral de classificadores personalizados , clique em Adicionar classificador.

  3. Selecione uma etiqueta. Escolha uma etiqueta controlada existente ou crie uma nova etiqueta para a definir no local. Se a etiqueta tiver valores permitidos, escolhe o valor específico que queres detetar.

    O assistente Adicionar classificador personalizado com a etapa Selecionar uma etiqueta ativa, mostrando o seletor de etiquetas geridas acima das etapas contraídas Definir o classificador e Gerar o classificador.

  4. Defina o classificador. Forneça uma descrição, colunas de exemplo ou ambos para que o Azure Databricks aprenda o que deve analisar:

    • Em Descrever como classificar, descreva os dados a detetar em linguagem simples, como Columns that store a person's contact details.
    • Em Selecionar colunas de dados de exemplo, navegue pela árvore de catálogo e selecione até 10 colunas que contenham valores representativos para a classe.

    Para saber como escrever uma descrição eficaz e escolher boas colunas de exemplo, veja Definir o classificador.

    O passo Define o classificador do assistente Adicionar classificador personalizado, mostrando o campo Descrever como classificar texto acima do navegador de catálogo Selecionar colunas de dados de exemplo com duas colunas selecionadas.

  5. Gera o classificador. O Azure Databricks gera uma pré-visualização do que o classificador deteta. Para ajustar o resultado, edite a descrição ou as colunas de exemplo e a pré-visualização regenera-se. Ver pré-visualização do classificador.

    O passo Gerar o classificador do assistente Adicionar classificador personalizado, mostrando a pré-visualização do classificador gerado com um resumo em linguagem simples e cartões de coluna de exemplo que listam nomes de colunas e valores de exemplo.

  6. Clique em Criar. Este botão mantém-se desativado até ser gerada uma pré-visualização.

As deteções do classificador personalizado normalmente aparecem na página de resultados em poucas horas.

Defina o classificador

Defines um classificador personalizado com uma descrição, colunas de exemplo, ou ambos.

A tua descrição explica o que os dados representam e afeta diretamente como o Azure Databricks gera o classificador. Pode utilizar a descrição para ensinar o Azure Databricks a incluir ou excluir correspondências (por exemplo, "números de telefone que pertencem a clientes particulares, não a linhas públicas de apoio ou de vendas").

As colunas de exemplo ajudam o Azure Databricks a aprender a forma dos dados a amostrar. Precisas do SELECT privilégio numa tabela para usar as suas colunas como exemplos.

Um classificador personalizado aplica-se a todos os catálogos na metastore que tenham a Classificação de Dados ativada. A delimitação ao nível do catálogo ou do esquema não é suportada.

Pré-visualização do classificador

Antes de guardar um classificador personalizado, o Azure Databricks gera uma pré-visualização para que possa verificar as suas regras de deteção. A pré-visualização descreve o que o classificador deteta em linguagem simples e mostra nomes e valores das colunas correspondentes das amostras.

As colunas e valores na pré-visualização são exemplos gerados por IA, não dados reais de tabelas. Se a pré-visualização não corresponder ao que queres detetar, edita a descrição ou as colunas de exemplo para gerar uma nova pré-visualização.

Gerir classificadores personalizados

O painel lateral de classificadores personalizados lista todos os classificadores personalizados configurados para a metastore. Neste painel, pode pesquisar por nome da etiqueta, editar um classificador existente ou eliminar um classificador.

Lista de classificadores personalizados no painel lateral de classificadores personalizados.

Editar um classificador personalizado

Para atualizar um classificador personalizado existente:

  1. No painel lateral de classificadores personalizados , seleciona o classificador personalizado que queres editar. A vista de edição mostra a descrição guardada do classificador, colunas de exemplo e pré-visualização.
  2. Edita a descrição, ou adiciona ou remove colunas de exemplo. O Azure Databricks regenera automaticamente a pré-visualização.
  3. Se a pré-visualização estiver correta, clique em Atualizar.

As deteções existentes da configuração anterior mantêm-se em funcionamento.

A etiqueta governada e o valor da etiqueta não podem ser alterados depois de ser criado um classificador personalizado. Para mudar para uma etiqueta diferente, apaga o classificador personalizado e cria um novo.

Eliminar um classificador personalizado

  1. No painel lateral de classificadores personalizados, seleciona o classificador personalizado que queres eliminar.
  2. Clique em Eliminar.
  3. Confirme a exclusão.

Quando apagas um classificador personalizado:

  • Não são produzidas novas deteções para esse classificador.
  • As deteções existentes são removidas da página de resultados de Classificação de Dados.
  • Etiquetas que já foram aplicadas automaticamente às colunas não são removidas automaticamente.

Ver deteções personalizadas de classificadores

Para visualizar deteções de classificadores personalizados, siga os mesmos passos que para classificações integradas. Consulte os resultados da classificação.

Limitações

  • Pode criar até 50 classificadores personalizados por metastore.
  • Cada classificador personalizado deve ter uma descrição, colunas de exemplo, ou ambos. Pode consultar um máximo de 10 colunas de exemplo.
  • A nomeação regulada das etiquetas está sujeita às regras da Política de Etiquetas.
  • Classificadores personalizados aplicam-se a todos os catálogos habilitados para Classificação de Dados na metastore. A delimitação ao nível do catálogo ou do esquema não é suportada.
  • A etiqueta governada usada por um classificador personalizado não pode ser alterada após a criação. Para usar uma etiqueta diferente, apague e recrie o classificador personalizado.
  • Classificadores personalizados novos e atualizados aplicam-se apenas a varreduras subsequentes de Classificação de Dados. Os resultados de análise existentes não são automaticamente reclassificados, pelo que as deteções de dados previamente digitalizados surgem após a conclusão da próxima análise.
  • Todas as limitações de Classificação de Dados aplicam-se também a classificadores personalizados, incluindo tipos de tabela suportados. Consulte Limitações.

Troubleshooting

Os tópicos seguintes ajudam-no a resolver problemas comuns com classificadores personalizados.

Um classificador personalizado é suspenso

Se um classificador personalizado já não conseguir produzir deteções, o Azure Databricks suspende-o e mostra um aviso na página de resultados de Classificação de Dados. O aviso indica a razão. Um classificador personalizado suspenso não produz novas deteções.

Aviso a indicar que um ou mais classificadores personalizados estão suspensos.

Azure Databricks suspende um classificador personalizado pelas seguintes razões:

  • A etiqueta governada já não é válida. A etiqueta ou valor regulado foi eliminado, ou a etiqueta está em falta de um valor exigido. Restaure a etiqueta ou valor, ou apague o classificador personalizado e crie um novo com uma etiqueta válida. Editar a descrição ou colunas de exemplo não resolve esta suspensão.
  • O Azure Databricks não pode gerar uma regra de deteção a partir das colunas de descrição e exemplo que forneceste. Edita o classificador personalizado para refinar a descrição ou substitui colunas de exemplo que são inacessíveis ou não representativas, depois guarda para regenerar o classificador.

Permissão negada ao criar ou listar classificadores personalizados

Tem de ser administrador do metastore. Criar ou editar um classificador personalizado requer, além disso, privilégios ASSIGN na tag governada. Consulte Requisitos.

Não é possível selecionar uma coluna de exemplo

Tem de haver SELECT na tabela que contém a coluna. Se não tiver SELECT na tabela, peça ao proprietário da tabela que lhe conceda essa permissão ou escolha uma coluna diferente.

Recursos adicionais

  • Last updated on