Conectar-se e gerenciar o Snowflake no Microsoft Purview

  • Artigo

Este artigo descreve como registrar o Snowflake e como autenticar e interagir com Snowflake no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Extração de metadados Verificação Completa Verificação Incremental Verificação em escopo Classificação Rotulamento Política de Acesso Linhagem Compartilhamento de dados Exibição ao vivo
Sim Sim Não Sim Sim Não Não Sim Não Não

Ao examinar a origem do Snowflake, o Microsoft Purview dá suporte a:

  • Extração de metadados técnicos, incluindo:

    • Servidor
    • Bancos de dados
    • Esquemas
    • Tabelas incluindo as colunas, chaves estrangeiras e restrições exclusivas
    • Exibições incluindo as colunas
    • Procedimentos armazenados, incluindo o conjunto de dados de parâmetro e o conjunto de resultados
    • Funções que incluem o conjunto de dados de parâmetro
    • Tubos
    • Estágios
    • Fluxos incluindo as colunas
    • Tarefas
    • Sequences

  • Buscando linhagem estática nas relações de ativos entre tabelas, exibições, fluxos e procedimentos armazenados.

Para procedimentos armazenados, você pode escolher o nível de detalhes a serem extraídos nas configurações de verificação. Há suporte para linhagem de procedimento armazenado para linguagens SQL (Script de Floco de Neve) e JavaScript e gerada com base na definição do procedimento.

Ao configurar a verificação, você pode optar por examinar um ou mais bancos de dados snowflake inteiramente com base nos padrões de nome ou nome fornecidos ou escopo adicional da verificação para um subconjunto de esquemas que correspondam aos padrões de nome ou nome fornecidos.

Limitações conhecidas

  • Quando o objeto é excluído da fonte de dados, atualmente, a verificação subsequente não removerá automaticamente o ativo correspondente no Microsoft Purview.
  • Não há suporte para a linhagem de procedimento armazenado para os seguintes padrões:
    • Procedimento armazenado definido nos idiomas Java, Python e Scala.
    • Procedimento armazenado usando SQL EXECUTE IMMEDIATE com consulta SQL estática como variável.

Pré-requisitos

Observação

Se o armazenamento de dados não estiver acessível publicamente (se o armazenamento de dados limitar o acesso de rede local, rede privada ou IPs específicos, etc.), você precisará configurar um runtime de integração auto-hospedado para se conectar a ele.

  • Se o armazenamento de dados não estiver acessível publicamente, configure o runtime de integração auto-hospedado mais recente. Para obter mais informações, confira o guia criar e configurar um runtime de integração auto-hospedado.
    • Verifique se o JDK 11 está instalado no computador em que o runtime de integração auto-hospedado está instalado. Reinicie o computador depois de instalar o JDK recentemente para que ele entre em vigor.
    • Verifique se Pacote Redistribuível do Visual C++ (versão Visual Studio 2012 Atualização 4 ou mais recente) está instalada no computador de runtime de integração auto-hospedada. Se você não tiver essa atualização instalada, poderá baixá-la aqui.

Permissões necessárias para verificação

O Microsoft Purview dá suporte à autenticação básica (nome de usuário e senha) para a verificação do Snowflake. A função padrão do usuário determinado será usada para executar a verificação. O usuário snowflake deve ter direitos de uso em um warehouse e os bancos de dados para serem verificados e ler o acesso às tabelas do sistema para acessar metadados avançados.

Aqui está um passo a passo de exemplo para criar um usuário especificamente para a verificação do Microsoft Purview e configurar as permissões. Se você optar por usar um usuário existente, verifique se ele tem direitos adequados para os objetos warehouse e banco de dados.

  1. Configure uma purview_reader função. Você precisa de direitos ACCOUNTADMIN para fazer isso.

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Crie um warehouse para o Microsoft Purview usar e conceder direitos.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Crie um usuário purview para a verificação do Microsoft Purview.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Conceda direitos de leitor aos objetos de banco de dados.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrar

Esta seção descreve como registrar o Snowflake no Microsoft Purview usando o portal de governança do Microsoft Purview.

Etapas para se registrar

Para registrar uma nova fonte snowflake em seu catálogo de dados, siga estas etapas:

  1. Navegue até sua conta do Microsoft Purview no portal de governança do Microsoft Purview.
  2. Selecione Mapa de Dados na navegação à esquerda.
  3. Selecionar Registrar
  4. Em Registrar fontes, selecione Snowflake. Selecione Continuar.

Na tela Registrar fontes (Snowflake), siga estas etapas:

  1. Insira um Nome que a fonte de dados será listada no Catálogo.

  2. Insira a URL do servidor usada para se conectar à conta snowflake na forma de <account_identifier>.snowflakecomputing.com, por exemplo, orgname-accountname.snowflakecomputing.com. Saiba mais sobre o identificador de conta do Snowflake.

  3. Selecione uma coleção ou crie uma nova (Opcional)

  4. Conclua para registrar a fonte de dados.

    opções de fontes de registro

Examinar

Siga as etapas abaixo para verificar Snowflake para identificar automaticamente os ativos. Para obter mais informações sobre a verificação em geral, consulte nossa introdução a exames e ingestão.

Autenticação para uma verificação

O tipo de autenticação com suporte para uma fonte snowflake é autenticação básica.

Criar e executar a verificação

Para criar e executar uma nova verificação, siga estas etapas:

  1. Se o servidor estiver acessível publicamente, pule para a etapa dois. Caso contrário, você precisará garantir que o runtime de integração auto-hospedado esteja configurado:

    1. No portal de governança do Microsoft Purview, acesse o Centro de Gerenciamento e selecione Runtimes de integração.
    2. Verifique se um runtime de integração auto-hospedado está disponível. Se um não estiver configurado, use as etapas mencionadas aqui para configurar um runtime de integração auto-hospedado.

  2. No portal de governança do Microsoft Purview, navegue até Fontes.

  3. Selecione a fonte snowflake registrada.

  4. Selecione + Nova verificação.

  5. Forneça os detalhes a seguir:

    1. Nome: o nome da verificação

    2. Conecte-se por meio do runtime de integração: selecione o runtime de integração resolvido automaticamente do Azure se o servidor estiver acessível publicamente ou o runtime de integração auto-hospedado configurado se ele não estiver disponível publicamente.

    3. Credencial: selecione a credencial para se conectar à fonte de dados. Certifique-se de:

      • Selecione Autenticação Básica ao criar uma credencial.
      • Forneça o nome de usuário usado para se conectar ao Snowflake no campo de entrada Nome de usuário.
      • Armazene a senha do usuário usada para se conectar ao Snowflake na chave secreta.

    4. Warehouse: especifique o nome da instância do warehouse usada para capacitar a verificação em maiúsculas e minúsculas. A função padrão atribuída ao usuário especificado na credencial deve ter direitos DE USO neste depósito.

    5. Bancos de dados: especifique um ou mais nomes de instância de banco de dados para importar em maiúsculas e minúsculas. Separe os nomes na lista com um ponto semiautônomos (;). Por exemplo, db1;db2. A função padrão atribuída ao usuário especificado na credencial deve ter direitos adequados nos objetos de banco de dados.

      Padrões de nome de banco de dados aceitáveis usando a sintaxe de expressões SQL LIKE incluem o uso de %. Por exemplo: : A%;%B;%C%;D

      • Iniciar com A ou
      • Terminar com B ou
      • Conter C ou
      • Igual a D

    6. Esquema: listar subconjunto de esquemas a serem importados expressos como uma lista separada de ponto e vírgula. Por exemplo, schema1;schema2. Todos os esquemas de usuário serão importados se essa lista estiver vazia. Todos os esquemas e objetos do sistema são ignorados por padrão.

      Padrões de nome de esquema aceitáveis usando a sintaxe de expressões SQL LIKE incluem o uso de %. Por exemplo: : A%;%B;%C%;D

      • Iniciar com A ou
      • Terminar com B ou
      • Conter C ou
      • Igual a D

      O uso de CARACTERES NÃO e especiais não são aceitáveis.

    7. Detalhes do procedimento armazenado: controla o número de detalhes importados de procedimentos armazenados:

      • Assinatura (padrão): o nome e os parâmetros dos procedimentos armazenados.
      • Código, assinatura: o nome, os parâmetros e o código dos procedimentos armazenados.
      • Linhagem, código, assinatura: o nome, os parâmetros e o código dos procedimentos armazenados e a linhagem de dados derivada do código.
      • Nenhum: os detalhes do procedimento armazenado não estão incluídos.

      Observação

      Se você usar o Integration Runtime auto-hospedado para verificação, a configuração personalizada diferente da Assinatura padrão terá suporte desde a versão 5.30.8541.1. As versões anteriores sempre extraem o nome e os parâmetros dos procedimentos armazenados.

    8. Memória máxima disponível (aplicável ao usar o runtime de integração auto-hospedada): memória máxima (em GB) disponível na VM do cliente a ser usada pela verificação de processos. Depende do tamanho da fonte snowflake a ser examinada.

      Observação

      Como regra geral, forneça memória de 1 GB para cada 1000 tabelas.

      scan Snowflake

  6. Selecione Testar conexão para validar as configurações (disponíveis ao usar o Azure Integration Runtime).

  7. Selecione Continuar.

  8. Selecione um conjunto de regras de verificação para classificação. Você pode escolher entre o padrão do sistema, os conjuntos de regras personalizados existentes ou criar um novo conjunto de regras embutido. Verifique o artigo Classificação para saber mais.

    Observação

    Se você estiver usando o runtime auto-hospedado, precisará atualizar para a versão 5.26.404.1 ou superior para usar a classificação snowflake. Você pode encontrar a versão mais recente do runtime do Microsoft Integration aqui.

  9. Escolha o gatilho de verificação. Você pode configurar uma agenda ou executar a verificação uma vez.

  10. Examine a verificação e selecione Salvar e Executar.

Exibir suas verificações e verificar execuções

Para exibir as verificações existentes:

  1. Acesse o portal de governança do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou exibir todas as verificações na guia Verificações .
  3. Selecione a verificação que tem resultados que você deseja exibir. O painel mostra todas as execuções de verificação anteriores, juntamente com as status e métricas para cada execução de verificação.
  4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas verificações

Para editar, cancelar ou excluir uma verificação:

  1. Acesse o portal de governança do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou exibir todas as verificações na guia Verificações .

  3. Selecione a verificação que você deseja gerenciar. Você poderá:

    • Edite a verificação selecionando Editar verificação.
    • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
    • Exclua sua verificação selecionando Excluir verificação.

Observação

  • A exclusão da verificação não exclui os ativos de catálogo criados de verificações anteriores.
  • O ativo não será mais atualizado com alterações de esquema se sua tabela de origem tiver sido alterada e você examinar novamente a tabela de origem depois de editar a descrição na guia Esquema do Microsoft Purview.

Linhagem

Depois de examinar sua fonte do Snowflake, você pode procurar o catálogo de dados ou o catálogo de dados de pesquisa para exibir os detalhes do ativo.

Vá para a guia ativo –> linhagem, você pode ver a relação de ativos quando aplicável. Consulte a seção recursos com suporte nos cenários de linhagem snowflake com suporte. Para obter mais informações sobre linhagem em geral, consulte guia de usuário de linhagem e linhagem de dados.

Exibição de linhagem snowflake

Observação

Se uma exibição foi criada por tabelas de bancos de dados diferentes, examine todos os bancos de dados simultaneamente usando os nomes no ponto e vírgula (;) Lista.

Dicas de solução de problemas

  • Verifique o identificador de sua conta na etapa de registro de origem. Não inclua https:// parte na frente.
  • Verifique se o nome do warehouse e o nome do banco de dados estão em maiúsculas e minúsculas na página de configuração de verificação.
  • Verifique seu cofre de chaves. Verifique se não há erros de digitação na senha.
  • Verifique a credencial que você configurou no Microsoft Purview. O usuário especificado deve ter uma função padrão com os direitos de acesso necessários para o warehouse e o banco de dados que você está tentando examinar. Consulte Permissões necessárias para verificação. USE DESCRIBE USER; para verificar a função padrão do usuário especificado para o Microsoft Purview.
  • Use o Histórico de Consultas no Snowflake para ver se alguma atividade está sendo atravessada.
    • Se houver um problema com a identifer da conta ou senha, você não verá nenhuma atividade.
    • Se houver um problema com a função padrão, você deverá pelo menos ver uma USE WAREHOUSE . . . instrução.
    • Você pode usar a função de tabela QUERY_HISTORY_BY_USER para identificar qual função está sendo usada pela conexão. A configuração de um usuário dedicado do Microsoft Purview facilitará a solução de problemas.

Próximas etapas

Agora que você registrou sua origem, siga os guias a seguir para saber mais sobre o Microsoft Purview e seus dados.