Registrar fontes de dados no Catálogo de Dados do Azure

Importante

O Catálogo de Dados do Azure foi desativado em 15 de maio de 2024.

Para recursos de catálogo de dados, use o serviço Microsoft Purview, que oferece governança de dados unificada para todo o seu conjunto de dados.

Introdução

O Catálogo de Dados do Azure é um serviço de nuvem totalmente gerenciado que serve como um sistema de registro e descoberta para fontes de dados corporativas. Em outras palavras, o Catálogo de Dados ajuda as pessoas a descobrir, entender e usar fontes de dados e ajuda as organizações a obter mais valor de seus dados existentes. A primeira etapa para tornar uma fonte de dados detetável por meio do Catálogo de Dados é registrar essa fonte de dados.

Registar origens de dados

O registro é o processo de extrair metadados da fonte de dados e copiar esses dados para o serviço Catálogo de Dados. Os dados permanecem no local onde residem atualmente e continuam sob o controlo dos administradores e das políticas do sistema atual.

Para registrar uma fonte de dados, siga estas etapas:

1. No portal do Catálogo de Dados do Azure, inicie a ferramenta de registro da fonte de dados do Catálogo de Dados.
2. Entre com sua conta corporativa ou de estudante com as mesmas credenciais do Microsoft Entra que você usa para entrar no portal.
3. Selecione a fonte de dados que deseja registrar.

Depois de registrar a fonte de dados, o catálogo rastreia sua localização e indexa seus metadados. Os usuários podem pesquisar, navegar e descobrir a fonte de dados e, em seguida, usar seu local para se conectar a ela usando o aplicativo ou ferramenta de sua escolha.

Supported data sources (Origens de dados suportadas)

Para obter uma lista das fontes de dados atualmente suportadas, consulte DSR do catálogo de dados.

Metadados estruturais

Quando você registra uma fonte de dados, a ferramenta de registro extrai informações sobre a estrutura dos objetos selecionados. Essas informações são chamadas de metadados estruturais.

Para todos os objetos, esses metadados estruturais incluem o local do objeto, para que os usuários que descobrem os dados possam usar essas informações para se conectar ao objeto nas ferramentas de cliente de sua escolha. Outros metadados estruturais incluem nome e tipo de objeto, nome de atributo/coluna e tipo de dados.

Metadados descritivos

Além dos metadados estruturais principais extraídos da fonte de dados, a ferramenta de registro da fonte de dados extrai metadados descritivos. Para o SQL Server Analysis Services e o SQL Server Reporting Services, esses metadados são extraídos das propriedades Description expostas por esses serviços. Para o SQL Server, os valores fornecidos usando a propriedade ms_description estendida são extraídos. Para o Oracle Database, a ferramenta de registro da fonte de dados extrai a coluna COMMENTS da visualização ALL_TAB_COMMENTS.

Além dos metadados descritivos extraídos da fonte de dados, os usuários podem inserir metadados descritivos usando a ferramenta de registro da fonte de dados. Os usuários podem adicionar tags e identificar especialistas para os objetos que estão sendo registrados. Todos esses metadados descritivos são copiados para o serviço Catálogo de Dados junto com os metadados estruturais.

Incluir pré-visualizações

Por padrão, apenas os metadados são extraídos de fontes de dados e copiados para o serviço Catálogo de Dados, mas a compreensão de uma fonte de dados geralmente é facilitada quando você pode exibir uma amostra dos dados que ela contém.

Você pode incluir uma visualização instantânea dos dados em cada tabela e exibição registrada, usando a ferramenta de registro da fonte de dados do Catálogo de Dados. Se optar por incluir pré-visualizações durante o registo, a ferramenta de registo inclui até 20 registos de cada tabela e vista. Esse instantâneo é então copiado para o catálogo junto com os metadados estruturais e descritivos.

Nota

Tabelas amplas com um grande número de colunas podem ter menos de 20 registros incluídos em sua visualização.

Incluir perfis de dados

Assim como incluir visualizações pode fornecer um contexto valioso para os usuários que pesquisam fontes de dados no Catálogo de Dados, incluir um perfil de dados pode facilitar a compreensão das fontes de dados descobertas.

Usando a ferramenta de registro de fonte de dados do Catálogo de Dados, você pode incluir um perfil de dados para cada tabela e exibição registrada. Se optar por incluir um perfil de dados durante o registo, a ferramenta de registo inclui estatísticas agregadas sobre os dados em cada tabela e vista, incluindo:

• O número de linhas e o tamanho dos dados no objeto.
• A data para a atualização mais recente dos dados e do esquema de objeto.
• O número de registros nulos e valores distintos para colunas.
• Os valores mínimo, máximo, médio e desvio padrão para colunas.

Essas estatísticas são então copiadas para o catálogo juntamente com os metadados estruturais e descritivos.

Nota

As colunas de texto e data não incluem estatísticas de média ou desvio padrão em seu perfil de dados.

Atualizar registos

O registro de uma fonte de dados a torna detetável no Catálogo de Dados quando você usa os metadados e a visualização opcional extraídos durante o registro. Se a fonte de dados precisar ser atualizada no catálogo (por exemplo, se o esquema de um objeto tiver sido alterado, as tabelas originalmente excluídas deverão ser incluídas ou se você quiser atualizar os dados incluídos nas visualizações), a ferramenta de registro da fonte de dados poderá ser executada novamente.

O novo registro de uma fonte de dados já registrada executa uma operação de mesclagem "upsert": objetos existentes são atualizados e novos objetos são criados. Todos os metadados fornecidos pelos usuários por meio do portal do Catálogo de Dados são mantidos.

Resumo

Como ele copia metadados estruturais e descritivos de uma fonte de dados para o serviço de catálogo, registrar a fonte de dados no Catálogo de Dados torna os dados mais fáceis de descobrir e entender. Depois de registrar a fonte de dados, você pode anotar, gerenciar e descobri-la usando o portal do Catálogo de Dados.