Normas relativas aos metadados

O Gerenciamento de Metadados desempenha um papel crucial na arquitetura de dados. Metadados são dados sobre outros dados. Ele descreve os dados, fornecendo uma referência que ajuda você a localizar, proteger e controlar dados. Os metadados também associam os dados. Ele pode ser usado para validar a integridade e a qualidade dos dados, rotear ou replicar dados para um novo local, transformar dados e conhecer os significados dos dados. Os metadados também são essenciais na democratização dos dados por meio de portais de autoatendimento.

Uma boa estratégia de gerenciamento de metadados cresce organicamente. Começa simples e pequeno, identificando primeiro as áreas mais importantes. Uma boa estratégia de gestão de metadados também é suportada com serviços e processos claros. Para começar, é bom estar ciente das diferentes categorias de metadados:

• Os metadados de negócios descrevem todos os aspetos usados para governança, localizando e entendendo dados. Alguns exemplos bem conhecidos incluem termos e definições comerciais e informações sobre propriedade, uso e originação de dados.
• Os metadados técnicos descrevem os aspetos estruturais dos dados em tempo de projeto. Alguns exemplos bem conhecidos incluem informações de esquema, formato de dados e informações de protocolo, e chaves de criptografia e descriptografia.
• Os metadados operacionais descrevem os aspetos de processamento de dados em tempo de execução. Alguns exemplos bem conhecidos incluem informações de processo, tempo de execução, informações de falha de processo e IDs de trabalho.
• Os metadados sociais descrevem a perspetiva do utilizador dos dados dos seus consumidores. Alguns exemplos bem conhecidos incluem informações de uso e rastreamento de usuários, dados de resultados de pesquisa, filtros e cliques, tempo de visualização, acessos ao perfil e comentários.

Na arquitetura de dados descentralizada, o gerenciamento de metadados é um desafio organizacional que requer encontrar um equilíbrio entre metadados gerenciados centralmente e metadados gerenciados federados. É importante que compreenda as equipas e as funções para análise à escala da nuvem no Azure à medida que planeia a gestão de metadados. O uso de uma prática colaborativa de gerenciamento de dados melhora a comunicação, a integração e a automação do fluxo de dados entre suas equipes. Você pode abordar parte da complexidade do gerenciamento de metadados encontrando o equilíbrio certo entre governança central e propriedade do domínio.

Ao decidir quais metadados gerenciar centralmente ou federar para seus domínios de dados e começar sua implementação, pergunte-se:

• Quais metadados de negócios são críticos?
• Que metadados técnicos são necessários para a interoperabilidade?
• Quais processos e fluxos capturam os dados?
• Onde os modelos ou esquemas são criados e mantidos?
• Que informações as equipes precisam fornecer centralmente para permitir que o departamento de governança de dados faça seu trabalho corretamente?

Usando suas respostas a essas perguntas, mapeie o ciclo de vida do conteúdo para cada um dos seus fluxos de metadados e determine todas as dependências. Em seguida, você tem um modelo de metadados que pode conectar domínios de negócios, processos, tecnologia e dados.

Depois de saber quais metadados você precisa, você deve escolher um local para armazená-los e processá-los. Você pode fazer isso usando o Azure Purview.

Use o Azure Purview para gerenciar seu patrimônio de dados em geral

O Azure Purview é uma solução unificada de governança de dados que ajuda você a gerenciar e controlar seus dados locais, multicloud e de software como serviço (SaaS). Ele faz gerenciamento de metadados em escala, porque é um serviço totalmente automatizado que executa de forma inteligente a descoberta de dados, a verificação de dados e o gerenciamento de acesso. Ele também fornece um mapa holístico de muitos insights sobre sua arquitetura de malha de dados.

Ao implementar o Azure Purview, não introduza muitas alterações e complexidade rapidamente. Os metadados técnicos são a base do Azure Purview. Você precisa coletar e organizar seus metadados antes de poder compreendê-los.

Depois de ter seus metadados, comece com o básico:

• Termos de negócio
• Listas de fontes de dados autorizadas
• Listas de bases de dados
• Informações do esquema
• Propriedade dos dados
• Gestão de dados
• Segurança

Em seguida, dimensione lentamente envolvendo mais proprietários de domínio e administradores de dados e adicionando mais classificações e rótulos de sensibilidade. Estas adições melhoram a experiência de pesquisa e permitem uma melhor gestão do acesso aos dados.

Para seus atributos de metadados personalizados, como listas de domínios e metadados de aplicativos, considere a criação de definições de tipo adicionais no Azure Purview.

Para sua arquitetura orientada a domínio, alinhe suas coleções e glossários do Azure Purview com seus domínios de dados. As Coleções do Azure Purview organizam ativos e fontes. Você pode usar uma Coleção como um limite para seus ativos e fontes e alinhá-la com um domínio específico. Pode fazer o mesmo com o seu Glossário. Crie estruturas hierárquicas no seu Glossário e alinhe-as com os seus domínios. Peça aos seus domínios para se apropriarem da criação de relações entre os termos do glossário e os atributos da coleção. Isso cria transparência de propriedade de dados e melhora a semântica dos dados.

Usar o Azure Cosmos DB para criar o Gráfico de Conhecimento da organização

Há uma tendência crescente no setor de aproximar os insights de dados de analistas de dados e cientistas usando portais que usam metadados mais intensamente. Esta tendência é conhecida como observabilidade dos dados. A observabilidade de dados usa conceitos como lago de metadados, gráficos de conhecimento ou gráficos de metadados para descrever plataformas onde os metadados são centralizados. Essa é uma boa maneira de criar uma visão unificada de como os dados são usados e originados em toda a organização ao usar uma malha de dados distribuída.

Uma solução de insight de dados deve descrever como os dados são usados e as relações entre entidades, como dados de origem e produtos de dados, e entre produtos de dados de um domínio e produtos dependentes de outro domínio. Você pode usar um banco de dados gráfico ou uma interface de usuário personalizada para modelar essas relações.

Para criar uma vista unificada dos dados da sua organização com uma experiência de utilizador personalizada, consulte o Azure Cosmos DB. O Azure Cosmos DB é um serviço de banco de dados multimodelo distribuído globalmente com pontos de extremidade NoSQL. Ele fornece um serviço de banco de dados de gráficos por meio do Azure Cosmos DB para Apache Gremlin armazenar gráficos massivos com bilhões de vértices e arestas.

O resultado final da arquitetura do Azure Cosmos DB é um gráfico em toda a organização que fornece uma exibição unificada de todos os dados em sua organização usando o contexto de ponta a ponta. O lago de metadados não se limita ao armazenamento de informações. Ele também organiza ativamente seus metadados como um gráfico, conectando-os com outros serviços e ferramentas. Este gráfico organizado permite correlacionar várias áreas temáticas, incluindo:

• Domínios
• Qualidade de dados
• Utilização de dados
• Recursos de negócios
• Funções da aplicação
• Informações técnicas sobre arquitetura
• Eventos operacionais
• Metadados organizacionais
• Metadados de propriedade do aplicativo
• Informações de localização
• Informações de gerenciamento do ciclo de vida do aplicativo

Próximos passos

• Análise segura em escala de nuvem no Azure