Conectar-se e gerenciar projetos do Google BigQuery no Microsoft Purview

Este artigo descreve como registrar projetos do Google BigQuery e como autenticar e interagir com o Google BigQuery no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Extração de metadados	Verificação Completa	Verificação Incremental	Verificação em escopo	Classificação	Rotulamento	Política de Acesso	Linhagem	Compartilhamento de dados	Exibição ao vivo
Sim	Sim	Não	Sim	Não	Não	Não	Sim	Não	Não

Ao examinar a fonte do Google BigQuery, o Microsoft Purview dá suporte a:

• Extração de metadados técnicos, incluindo:

  • Projects
  • Conjuntos de dados
  • Tabelas incluindo as colunas
  • Exibições incluindo as colunas

• Buscando linhagem estática nas relações de ativos entre tabelas e exibições.

Ao configurar a verificação, você pode optar por examinar um projeto inteiro do Google BigQuery ou escopo da verificação para um subconjunto de conjuntos de dados que correspondem aos nomes ou padrões de nome fornecidos.

Limitações conhecidas

• Atualmente, o Microsoft Purview só dá suporte à verificação de conjuntos de dados do Google BigQuery em locais multi-regionais dos EUA. Se o conjunto de dados especificado estiver em outro local, por exemplo, us-east1 ou UE, você observará a verificação concluída, mas nenhum ativo exibido no Microsoft Purview.
• Quando o objeto é excluído da fonte de dados, atualmente, a verificação subsequente não removerá automaticamente o ativo correspondente no Microsoft Purview.

Pré-requisitos

• Uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.

• Uma conta ativa do Microsoft Purview.

• Você precisa de permissões de Administrador de Fonte de Dados e Leitor de Dados para registrar uma fonte e gerenciá-la no portal de governança do Microsoft Purview. Para obter mais informações sobre permissões, consulte Controle de acesso no Microsoft Purview.

• Configure o runtime de integração auto-hospedado mais recente. Para obter mais informações, confira o guia criar e configurar um runtime de integração auto-hospedado.

  • Verifique se o JDK 11 está instalado no computador em que o runtime de integração auto-hospedado está instalado. Reinicie o computador depois de instalar o JDK recentemente para que ele entre em vigor.

  • Verifique se Pacote Redistribuível do Visual C++ (versão Visual Studio 2012 Atualização 4 ou mais recente) está instalada no computador de runtime de integração auto-hospedada. Se você não tiver essa atualização instalada, poderá baixá-la aqui.

  • Baixe e descompacte o driver JDBC do BigQuery no computador em que o runtime de integração auto-hospedado está em execução. Observe o caminho da pasta que você usará para configurar a verificação.

    Observação

    O driver deve estar acessível pelo runtime de integração auto-hospedado. Por padrão, o runtime de integração auto-hospedada usa a conta de serviço local "NT SERVICE\DIAHostService". Verifique se ele tem permissão "Ler e executar" e "Listar conteúdo de pasta" para a pasta driver.

Registrar

Esta seção descreve como registrar um projeto do Google BigQuery no Microsoft Purview usando o portal de governança do Microsoft Purview.

Etapas para se registrar

1. Abra o portal de governança do Microsoft Purview por:

   • Navegando diretamente para https://web.purview.azure.com e selecionando sua conta do Microsoft Purview.
   • Abrindo o portal do Azure, pesquisando e selecionando a conta do Microsoft Purview. Selecionando o botão portal de governança do Microsoft Purview .

2. Selecione Mapa de Dados na navegação à esquerda.

3. Selecione Registrar.

4. Em Registrar fontes, selecione Google BigQuery . Selecione Continuar.

   

Na tela Registrar fontes (Google BigQuery), faça o seguinte:

1. Insira um Nome que a fonte de dados será listada no Catálogo.

2. Insira o ProjectID. Essa deve ser uma ID de projeto totalmente qualificada. Por exemplo, mydomain.com:myProject

3. Selecione uma coleção ou crie uma nova (Opcional)

4. Selecione Registrar.

   

Examinar

Siga as etapas abaixo para examinar um projeto do Google BigQuery para identificar automaticamente ativos. Para obter mais informações sobre a verificação em geral, consulte nossa introdução a exames e ingestão.

Criar e executar a verificação

1. No Centro de Gerenciamento, selecione Runtimes de integração. Verifique se um runtime de integração auto-hospedado está configurado. Se ele não estiver configurado, use as etapas mencionadas aqui.

2. Navegue até Fontes.

3. Selecione o projeto BigQuery registrado.

4. Selecione + Nova verificação.

5. Forneça os detalhes a seguir:

   1. Nome: o nome da verificação

   2. Conectar por meio do runtime de integração: selecione o runtime de integração auto-hospedado configurado

   3. Credencial: ao configurar a credencial BigQuery, certifique-se de:

      • Selecione Autenticação Básica como o método autenticação
      • Forneça a ID de email da conta de serviço no campo Nome de usuário. Por exemplo, xyz\@developer.gserviceaccount.com
      • Siga as etapas abaixo para gerar a chave privada, copie todo o arquivo de chave JSON e armazene-o como o valor de um segredo Key Vault.

      Para criar uma nova chave privada da plataforma de nuvem do Google:

      1. No menu de navegação, selecione IAM & Administração –> Contas de Serviço –> Selecionar um projeto –>
      2. Selecione o endereço de email da conta de serviço para a qual você deseja criar uma chave.
      3. Selecione a guia Chaves .
      4. Selecione o menu suspenso Adicionar chave e selecione Criar nova chave.
      5. Escolha formato JSON.

      Observação

      O conteúdo da chave privada é salvo em um arquivo temporário na VM quando os processos de verificação estão em execução. Esse arquivo temporário é excluído depois que as verificações são concluídas com êxito. No caso de uma falha de verificação, o sistema continuará a tentar novamente até o sucesso. Verifique se o acesso está devidamente restrito na VM em que o SHIR está em execução.

      Para entender mais sobre credenciais, consulte o link aqui.

   4. Localização do driver: especifique o caminho para o local do driver JDBC em seu computador em que o runtime de integração de auto-host está em execução, por exemplo. . D:\Drivers\GoogleBigQuery É o caminho para o local da pasta JAR válido. Verifique se o driver está acessível pelo runtime de integração auto-hospedado, saiba mais na seção pré-requisitos.

   5. Conjunto de dados: especifique uma lista de conjuntos de dados bigquery a serem importados. Por exemplo, conjunto de dados1; conjunto de dados2. Quando a lista está vazia, todos os conjuntos de dados disponíveis são importados. Padrões de nome de conjunto de dados aceitáveis usando a sintaxe de expressões SQL LIKE incluem o uso de %.

      Exemplo: A%; %B; %C%; D

      • Iniciar com A ou
      • terminar com B ou
      • conter C ou
      • igual a D

      O uso de CARACTERES NÃO e especiais não são aceitáveis.

   6. Memória máxima disponível: memória máxima (em GB) disponível em sua VM a ser usada pela verificação de processos. Isso depende do tamanho do projeto do Google BigQuery a ser verificado.

      

6. Selecione Testar conexão.

7. Selecione Continuar.

8. Escolha o gatilho de verificação. Você pode configurar uma agenda ou executar a verificação uma vez.

9. Examine a verificação e selecione Salvar e Executar.

Exibir suas verificações e verificar execuções

Para exibir as verificações existentes:

1. Acesse o portal de governança do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou exibir todas as verificações na guia Verificações .
3. Selecione a verificação que tem resultados que você deseja exibir. O painel mostra todas as execuções de verificação anteriores, juntamente com as status e métricas para cada execução de verificação.
4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas verificações

Para editar, cancelar ou excluir uma verificação:

1. Acesse o portal de governança do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou exibir todas as verificações na guia Verificações .

3. Selecione a verificação que você deseja gerenciar. Você poderá:

   • Edite a verificação selecionando Editar verificação.
   • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
   • Exclua sua verificação selecionando Excluir verificação.

Observação

• A exclusão da verificação não exclui os ativos de catálogo criados de verificações anteriores.
• O ativo não será mais atualizado com alterações de esquema se sua tabela de origem tiver sido alterada e você examinar novamente a tabela de origem depois de editar a descrição na guia Esquema do Microsoft Purview.

Linhagem

Depois de examinar sua fonte do Google BigQuery, você pode procurar o catálogo de dados ou o catálogo de dados de pesquisa para exibir os detalhes do ativo.

Vá para a guia ativo –> linhagem, você pode ver a relação de ativos quando aplicável. Consulte a seção recursos com suporte nos cenários de linhagem do Google BigQuery com suporte. Para obter mais informações sobre linhagem em geral, consulte guia de usuário de linhagem e linhagem de dados.

Próximas etapas

Agora que você registrou sua origem, siga os guias a seguir para saber mais sobre o Microsoft Purview e seus dados.

• Insights do Data Estate no Microsoft Purview
• Linhagem no Microsoft Purview
• Pesquisar Catálogo de Dados