Monitorar a população de mapa de dados no Microsoft Purview

  • Artigo

No Microsoft Purview, você pode examinar vários tipos de fontes de dados e exibir a verificação status ao longo do tempo; você também pode conectar outros serviços com o Microsoft Purview e exibir as tendências dos ativos/relacionamento ingeridos. Este artigo descreve como monitorar e obter uma visão panorâmica da população do mapa de dados.

Monitorar execuções de verificação

  1. Abra o portal de governança do Microsoft Purview por:

  2. Abra sua conta do Microsoft Purview e selecione Mapa de dados ->Monitoramento. Você precisa ter a função de administrador de fonte de dados em qualquer coleção para acessar esta página. E você verá as execuções de verificação que pertencem às coleções nas quais você tem privilégio de administrador de fonte de dados.

  3. Os KPIs de alto nível mostram execuções totais de verificação em um período. O período de tempo é padrão nos últimos 30 dias, você também pode optar por selecionar os últimos sete dias. Com base no filtro de tempo selecionado, você pode ver a distribuição de execuções de verificação bem-sucedidas, com falha, cancelada e em andamento por semana ou por dia no grafo.

    Exibir execuções de verificação ao longo do tempo

  4. Na parte inferior do grafo, há um link Exibir mais para você explorar mais. O link abre a página Verificar status. Aqui você pode ver um nome de verificação e o número de vezes que ele foi bem-sucedido, falhou ou foi cancelado no período de tempo. Você também pode filtrar a lista por tipos de origem.

    Exibir status de verificação em detalhes

  5. Você pode explorar mais uma verificação específica selecionando o nome da verificação. Ele conecta você à página histórico de verificação, na qual você pode encontrar a lista de IDs de execução com mais detalhes de execução.

    Exibir histórico de verificação para uma determinada verificação

  6. Você pode clicar na ID de execução para marcar mais sobre os detalhes da execução da verificação.

Limitações conhecidas:

Atualmente, essa experiência de monitoramento não inclui as informações a seguir. Você pode marcar os detalhes de execução de verificação correspondentes.

  • O status e a duração incluem apenas a fase de verificação (descoberta da origem), mas não a fase de ingestão. Você pode ver discrepância em comparação com o painel de detalhes de execução de verificação.
  • As execuções de verificação de extração de linhagem para SQL do Azure Banco de Dados não estão cobertas.
  • Para verificações do workspace do Azure Synapse Analytics, da assinatura/grupo de recursos do Azure e da conta do AWS, ele captura apenas a status/contagem da execução de verificação pai, mas não as execuções de verificação filho por recurso.

Examinar detalhes da execução

Você pode navegar para verificar o histórico de execução de uma determinada verificação de diferentes lugares:

  • Acesse Mapa de dados ->Monitoramento , conforme descrito na seção Monitorar execuções de verificação .
  • Acesse Mapa de dados ->Fontes -> selecione a fonte de dados desejada -> consulte Verificações, verificações recentes ou verificações com falha recente.
  • Acesse Mapa de dados ->Coleções -> selecione a coleção desejada ->Scans -> selecione o nome de verificação que você deseja exibir mais.

A retenção do histórico de execução de verificação é de 90 dias.

Você pode clicar na ID de execução para marcar mais sobre os detalhes da execução da verificação:

Captura de tela dos detalhes da execução da execução da verificação de exibição.

  • ID de execução: o GUID usado para identificar a execução de verificação determinada.

  • Tipo de execução: verificação completa ou incremental.

  • A seção Verificação resume as métricas para a fase de descoberta que o Purview conecta à origem, extrai os metadados/linhagem e classifica os dados.

    • Examinar status:

      Status Descrição
      Concluído A fase de verificação é bem-sucedida.
      Falhou A fase de verificação falha. Você pode marcar os detalhes do erro clicando no link "Mais informações" ao lado dele.
      Cancelado A execução de verificação é cancelada pelo usuário.
      Em andamento A verificação está em andamento.
      Na fila A execução de verificação está aguardando o recurso de runtime de integração disponível.
      Se você usar o runtime de integração auto-hospedada, observe que cada nó pode executar uma série de verificações simultâneas ao mesmo tempo, dependendo da especificação do computador (CPU e memória). Mais verificações estão na fila status.
      Estrangulado A execução de verificação está sendo limitada. Isso significa que essa conta do Microsoft Purview no momento tem mais execuções de verificação contínuas do que a contagem máxima de simultaneidade permitida. Saiba mais sobre o limite aqui. Essa execução de verificação em particular está aguardando e será executada assim que suas outras verificações em andamento forem concluídas.

      A execução de verificação não é cobrada durante o status "Limitado" ou "Enfileirado".

    • Tipo de verificação: verificação manual ou agendada.

    • Ativos descobertos: o número de ativos enumerados da origem. Para verificações completas e incrementais, ele inclui todos os ativos no escopo configurado, independentemente de serem ativos existentes ou ativos recém-criados/atualizados desde a última execução de verificação. Enquanto para verificação incremental, metadados detalhados são extraídos apenas para ativos recém-criados ou atualizados adicionalmente.

    • Ativos classificados: o número de ativos amostrados para classificar os dados, independentemente de os ativos terem qualquer classificação correspondente ou não. É um subconjunto dos ativos descobertos com base no mecanismo de amostragem. Para verificação incremental, somente ativos recém-criados ou atualizados podem ser selecionados para classificação.

    • Duração: a duração da fase de verificação e a hora de início/término.

  • A seção ingestão de dados resume as métricas para a fase de ingestão que o Purview preenche o mapa de dados com os metadados e a relação identificados.

    • Status de ingestão:

      Status Descrição
      Concluído Todos os ativos e relações são ingeridos no mapa de dados com êxito.
      Concluído com exceções (anterior "Parcialmente concluído") Parte dos ativos e relações são ingeridas no mapa de dados com êxito, enquanto alguns falham.
      Falhou A fase de ingestão falha.
      Cancelado A execução de verificação é cancelada pelo usuário, portanto, a ingestão é cancelada junto.
      Em andamento A ingestão está em andamento.
      Na fila A ingestão está aguardando o recurso de serviço disponível ou aguardando a verificação para descobrir metadados.

    • Ativos ingeridos: o número de ativos ingeridos no mapa de dados. Para verificação incremental, ele inclui apenas os ativos recém-criados ou atualizados, nesse caso pode ser menor do que a contagem de "ativos descobertos". Ao examinar a origem baseada em arquivo, é a contagem de ativos brutos antes da agregação do conjunto de recursos.

    • Relações ingeridas: o número de relações ingeridas no mapa de dados. Inclui linhagem e outras relações, como relações de chave estrangeira.

    • Duração: a duração da ingestão e a hora de início/término.

Exibir o log de exceção (Versão prévia)

Quando alguns ativos ou relação não forem ingeridos no mapa de dados durante a verificação, por exemplo, a ingestão status acaba como concluída com exceções, você pode ver um botão "Baixar log" no painel de detalhes de execução de verificação. Ele fornece arquivos de log de exceção que capturam os detalhes das falhas.

A tabela a seguir mostra o esquema de um arquivo de log.

Coluna Descrição
TimeStamp O carimbo de data/hora UTC quando a operação de ingestão acontece.
ErrorCode Código de erro da exceção.
OperationItem Identificador para o ativo/relacionamento com falha, geralmente usando o nome totalmente qualificado.
Mensagem Mais informações sobre qual ativo/relação não foi ingerido devido a qual motivo. Se houver falha de ingestão para conjunto de recursos, ela poderá se aplicar a vários ativos que correspondem ao mesmo padrão de nomenclatura e a mensagem inclui a contagem afetada.

Atualmente, o log de exceção não inclui falhas ocorridas durante a fase de verificação (descoberta de metadados). Ele será adicionado mais tarde.

Você pode conectar outros serviços ao Microsoft Purview para estabelecer um "link", que disponibilizará os metadados e a linhagem dos ativos desse serviço ao Microsoft Purview. Atualmente, há suporte para link para Azure Data Factory e Azure Synapse Analytics.

Para monitorar os ativos e a relação ingeridos nos links:

  1. Acesse sua conta do Microsoft Purview –> abra o portal de governança do Microsoft Purview -Mapa de>dados ->Monitoramento ->Links. Você precisa ter a função de administrador de fonte de dados em qualquer coleção para acessar a guia Monitoramento. E você verá os resultados que pertencem às coleções nas quais você tem privilégio de administrador de fonte de dados. A permissão na coleção raiz é necessária para monitorar links Azure Data Factory e Azure Synapse Analytics.

  2. Você pode ver os KPIs de alto nível, incluindo o número total de fontes, o número de ativos ingeridos e a relação (linhagem), seguidos por gráficos de tendências ao longo do tempo. Você pode aplicar filtros adicionais no seguinte para restringir os resultados:

    • Tipo de origem
    • Nome da origem
    • Intervalo de datas: o padrão é de 30 dias. Você também pode escolher os últimos sete dias ou um intervalo de datas personalizado. A retenção é de 45 dias.

    As métricas são relatadas até a hora da data mostrada no canto superior direito. E a agregação acontecerá por hora.

    Captura de tela dos resultados do link de exibição.

  3. Na parte inferior do grafo, há um link Exibir mais para você explorar mais. Na página Link status, você pode ver uma lista de nomes de origem junto com o tipo de origem, os ativos ingeridos, a relação ingerida e a última data de execução. Os filtros na página anterior serão carregados e você poderá filtrar ainda mais a lista por tipo de origem, nome de origem e intervalo de datas.

    Captura de tela dos resultados do link de exibição por origem.

  4. Você pode detalhar cada fonte para ver os próximos detalhes do nível clicando no nome da origem. Por exemplo, para Azure Data Factory, ele mostra como cada atividade de pipeline relata os ativos e a relação com o Microsoft Purview, com o nome no formato de <pipeline_name>/<activity_name>.

    Captura de tela dos resultados do link de exibição pelos sub-artefatos da origem.

Limitações conhecidas

  • Para Azure Data Factory e Azure Synapse Analytics, atualmente esse monitoramento de link captura os ativos e a relação geradas a partir da atividade de cópia, mas não do fluxo de dados e das atividades do SSIS.
  • A agregação e o filtro de data estão em tempo UTC.

As verificações não são mais executadas

Se a verificação do Microsoft Purview usada para ser executada com êxito, mas agora estiver falhando, marcar estas coisas:

  1. Verifique a mensagem de erro primeiro para ver os detalhes da falha.
  2. As credenciais do recurso foram alteradas ou giradas? Nesse caso, você precisará atualizar para fazer a verificação usar as credenciais corretas.
  3. Um Azure Policy está impedindo atualizações em contas de armazenamento? Se assim for, siga o guia de marca de exceção do Microsoft Purview para criar uma exceção para contas do Microsoft Purview.
  4. Você está usando um runtime de integração auto-hospedado? Verifique se ele está atualizado com o software mais recente e se ele está conectado à sua rede.

Próximas etapas