Eventos
Aceite o Desafio do Microsoft Learn
19 de nov., 23 - 10 de jan., 23
Ignite Edition - Desenvolva habilidades em produtos de segurança da Microsoft e ganhe um selo digital até 10 de janeiro!
Registrar agoraNão há mais suporte para esse navegador.
Atualize o Microsoft Edge para aproveitar os recursos, o suporte técnico e as atualizações de segurança mais recentes.
Este artigo fornece uma visão geral da linhagem de dados no Catálogo de Dados do Microsoft Purview. Ele também detalha como os sistemas de dados podem se integrar ao catálogo para capturar a linhagem de dados. O Microsoft Purview pode capturar a linhagem de dados em diferentes partes do patrimônio de dados da sua organização e em diferentes níveis de preparação, incluindo:
A linhagem de dados é amplamente compreendida como o ciclo de vida que abrange a origem dos dados e para onde ele se move ao longo do tempo no conjunto de dados. Ele é usado para diferentes tipos de cenários de aparência retrógrada, como solução de problemas, rastreamento da causa raiz em pipelines de dados e depuração. A linhagem também é usada para análise de qualidade de dados, conformidade e cenários "e se" geralmente chamados de análise de impacto. A linhagem é representada visualmente para mostrar dados que se movem de origem para destino, incluindo como os dados foram transformados. Dada a complexidade da maioria dos ambientes de dados corporativos, essas exibições podem ser difíceis de entender sem fazer alguma consolidação ou mascaramento de pontos de dados periféricos.
Catálogo de Dados do Microsoft Purview se conectará com outros sistemas de processamento, armazenamento e análise de dados para extrair informações de linhagem. As informações são combinadas para representar uma experiência de linhagem genérica e específica do cenário no catálogo.
Seu patrimônio de dados pode incluir sistemas que fazem extração de dados, transformação (sistemas ETL/ELT), análise e sistemas de visualização. Cada um dos sistemas captura metadados estáticos e operacionais avançados que descrevem o estado e a qualidade dos dados dentro do limite de sistemas. O objetivo da linhagem em um catálogo de dados é extrair a movimentação, a transformação e os metadados operacionais de cada sistema de dados no menor grão possível.
O exemplo a seguir é um caso de uso típico de dados que se movem entre vários sistemas, em que o Catálogo de Dados se conectaria a cada um dos sistemas para linhagem.
A seção a seguir aborda os detalhes sobre a granularidade da qual as informações de linhagem são coletadas pelo Microsoft Purview. Essa granularidade pode variar com base nos sistemas de dados com suporte no Microsoft Purview.
Identifique atributos de uma entidade de origem usada para criar ou derivar atributos na entidade de destino. O nome do atributo de origem pode ser retido ou renomeado em um destino. Sistemas como o ADF podem fazer uma cópia única do ambiente local para a nuvem. Por exemplo: Table1/ColumnA -> Table2/ColumnA
.
Para dar suporte a cenários de análise de causa raiz e qualidade de dados, capturamos a status de execução dos trabalhos em sistemas de processamento de dados. Esse requisito não tem nada a ver com a substituição dos recursos de monitoramento de outros sistemas de processamento de dados, nem o objetivo é substituí-los.
A linhagem é um recurso crítico do Catálogo de Dados do Microsoft Purview para dar suporte a cenários de qualidade, confiança e auditoria. O objetivo de um catálogo de dados é criar uma estrutura robusta em que todos os sistemas de dados em seu ambiente possam se conectar naturalmente e relatar linhagem. Depois que os metadados estiverem disponíveis, o catálogo de dados poderá reunir os metadados fornecidos pelos sistemas de dados para alimentar casos de uso de governança de dados.
Eventos
Aceite o Desafio do Microsoft Learn
19 de nov., 23 - 10 de jan., 23
Ignite Edition - Desenvolva habilidades em produtos de segurança da Microsoft e ganhe um selo digital até 10 de janeiro!
Registrar agora