O que é o Catálogo de Dados do Azure?

  • Artigo

Importante

O Catálogo de Dados do Azure será desativado em 15 de maio de 2024.

Novas contas do Catálogo de Dados do Azure não podem mais ser criadas.

Para recursos de catálogo de dados, use o serviço Microsoft Purview, que oferece governança de dados unificada para todo o seu conjunto de dados.

Se você já estiver usando o Catálogo de Dados do Azure, precisará criar um plano de migração para que sua organização mude para o Microsoft Purview até 15 de maio de 2024.

O Catálogo de Dados do Azure é um serviço de nuvem totalmente gerenciado que permite que os usuários descubram as fontes de dados de que precisam e entendam as fontes de dados encontradas. Ao mesmo tempo, o Catálogo de Dados ajuda as organizações a obter mais valor dos investimentos existentes.

Com o Catálogo de Dados, qualquer usuário (analista, cientista de dados ou desenvolvedor) pode descobrir, entender e consumir fontes de dados em seu cenário de dados. O Catálogo de Dados inclui um modelo de crowdsourcing de metadados e anotações, para que todos possam contribuir para tornar os dados detetáveis e utilizáveis. É um lugar único e central para todos os usuários de uma organização contribuírem com seu conhecimento e construírem uma comunidade e cultura de dados.

Desafios de deteção para os consumidores de dados

Tradicionalmente, detetar origens de dados empresariais era um processo orgânico com base em conhecimento tribal. Para as empresas que desejam obter o máximo valor de seus ativos de informação, essa abordagem apresenta muitos desafios:

  • Os usuários podem não saber que uma fonte de dados existe, a menos que entrem em contato com ela como parte de outro processo. Não há um local central onde as fontes de dados são registradas.
  • A menos que os usuários saibam o local de uma fonte de dados, eles não podem se conectar aos dados usando um aplicativo cliente. As experiências de consumo de dados requerem que os utilizadores saibam qual é o caminho ou cadeia de ligação.
  • A menos que os usuários saibam a localização da documentação de uma fonte de dados, eles não podem entender os usos pretendidos dos dados. As fontes de dados e a documentação podem viver em vários lugares e ser consumidas através de várias experiências.
  • Se os utilizadores tiverem perguntas sobre um recurso de informações, têm de localizar o especialista ou equipa responsável pelos dados e contactá-lo offline. Não há uma conexão explícita entre os dados e os especialistas que têm perspetivas sobre seu uso.
  • A menos que os usuários entendam o processo para solicitar acesso à fonte de dados, descobrir a fonte de dados e sua documentação ainda não os ajuda a acessar os dados.

Desafios de deteção para os produtores de dados

Embora os consumidores de dados enfrentem os desafios que apresentámos, os utilizadores responsáveis pela produção e manutenção dos recursos de informações enfrentam os seus próprios desafios:

  • Anotar origens de dados com metadados descritivos é, geralmente, um desperdício de esforço. As aplicações cliente tendem a ignorar descrições armazenadas na origem de dados.
  • Criar documentação para origens de dados é, geralmente, um desperdício de esforço. Manter a documentação sincronizada com as fontes de dados é uma responsabilidade contínua. Os usuários podem não confiar na documentação que é percebida como desatualizada.
  • Criar e manter documentação para origens de dados é complexo e moroso. Assegurar a disponibilidade imediata dessa documentação para todos os utilizadores da origem de dados é ainda mais complexo.
  • Restringir o acesso às origens de dados e garantir que os consumidores de dados sabem como pedir acesso é um desafio contínuo.

Quando estes desafios se sobrepõem, apresentam um barreira significativa para as empresas que querem encorajar e promover a utilização e a compreensão dos dados empresariais.

O Catálogo de Dados do Azure pode ajudar

O Catálogo de Dados foi concebido para resolver estes problemas e para ajudar as empresas a obter o máximo valor dos recursos de informações existentes. O Catálogo de Dados torna os dados facilmente detetáveis e compreensíveis pelos utilizadores que gerem os dados.

O Catálogo de Dados fornece um serviço baseado na cloud, no qual uma origem de dados pode ser registada. Os dados permanecem na localização existente, mas uma cópia dos respetivos metadados é adicionada ao Catálogo de Dados, juntamente com uma referência à localização da origem de dados. Os metadados também são indexados para tornar cada origem de dados facilmente detetável através da pesquisa e compreensível para os utilizadores que a detetarem.

Depois que uma fonte de dados é registrada, seus metadados podem ser enriquecidos. Os metadados podem ser adicionados pelo usuário que os registrou ou por outros usuários na empresa. Qualquer utilizador pode anotar uma origem de dados, fornecendo as descrições, etiquetas ou outros metadados, como a documentação e os processos para pedir acesso à origem de dados. Estes metadados descritivos complementam os metadados estruturais (como nomes de colunas e tipos de dados) registados a partir da origem de dados.

Detetar e compreender origens de dados e a sua utilização são o objetivo principal de registar as origens. Os utilizadores empresariais poderão precisar de dados para business intelligence, programação de aplicações, ciência de dados ou para qualquer outra tarefa em que sejam necessários os dados certos. Podem utilizar a experiência de deteção do Catálogo de Dados para encontrar rapidamente os dados que satisfaçam as suas necessidades, compreender os dados para avaliar a adequação dos mesmos ao objetivo em questão e consumir os dados ao abrir a origem de dados na ferramenta que preferirem.

Ao mesmo tempo, os utilizadores podem contribuir para o catálogo ao identificar, documentar e anotar origens de dados que já tenham sido registadas. Também podem registar novas origens de dados que a comunidade de utilizadores do catálogo pode, desta forma, detetar, compreender e consumir.

Capacidades do Catálogo de Dados

Saiba mais sobre o Catálogo de Dados

Para saber mais sobre as funcionalidades do Catálogo de Dados, veja:

Próximos passos