Governança de dados com o Profisee e o Microsoft Purview

Os sistemas empresariais podem ter diversas fontes de dados mestres, os dados comuns que são compartilhados entre sistemas. Esse fato pode se tornar evidente quando você cataloga fontes de dados. Exemplos de dados mestre incluem dados de clientes, produtos, locais, ativos e fornecedores. Quando você usa o Profisee para mesclar, validar e corrigir seus dados mestre, você pode tornar esses dados eficazes. Especificamente, você pode usá-lo para criar uma plataforma confiável e comum para análise e melhoria operacional. Usando as definições de governança, insights e experiência que são detalhados no Microsoft Purview, você pode criar sua plataforma de forma eficaz.

Esta arquitetura de referência apresenta uma solução de governança e gerenciamento de dados que conta com o Microsoft Purview e a plataforma de gerenciamento de dados mestres (MDM) Profisee. Esses serviços trabalham juntos para fornecer uma base de dados confiáveis de alta qualidade que maximiza o valor comercial dos dados no Azure. Para assistir a um breve vídeo sobre essa solução, consulte O poder do gerenciamento de dados mestre totalmente integrado no Azure.

Arquitetura

O diagrama a seguir mostra as etapas que você executa ao desenvolver e operar sua solução de dados mestre. Pense nessas etapas como altamente iterativas. À medida que sua solução evolui, você pode repetir essas etapas e fases, às vezes automaticamente e às vezes manualmente. O uso de etapas automáticas ou manuais depende das alterações que sua solução de dados mestres, metadados e dados sofrem.

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

Os metadados e os fluxo de dados incluem as seguintes etapas, que são mostradas na figura anterior:

1. Os conectores pré-criados do Microsoft Purview são usados para criar um catálogo de dados a partir dos aplicativos de negócios de origem. Os conectores verificam fontes de dados e preenchem o Catálogo de Dados do Microsoft Purview.

2. O modelo de dados mestre é publicado no Microsoft Purview. As entidades de dados mestre criadas no Profisee MDM são publicadas perfeitamente no Microsoft Purview. Esta etapa preenche ainda mais o Catálogo de Dados do Microsoft Purview e garante que haja um registro dessa fonte crítica de dados no Microsoft Purview.

3. Os padrões e políticas de governança para administração de dados são usados para aprimorar as definições de entidade de dados mestre. Os dados são aprimorados no Microsoft Purview com informações de dicionário de dados e glossário, dados de propriedade e classificações de dados confidenciais. Quaisquer definições e metadados disponíveis no Microsoft Purview são visíveis em tempo real no Profisee como orientação para os administradores de dados MDM.

4. Os dados mestre dos sistemas de origem são carregados no Profisee MDM. Um conjunto de ferramentas de integração de dados, como o Azure Data Factory, extrai dados dos sistemas de origem usando qualquer um dos mais de 100 conectores pré-criados ou um gateway REST. Vários fluxos de dados mestre são carregados no Profisee MDM.

5. Os dados mestre são padronizados, combinados, mesclados, aprimorados e validados de acordo com as regras de governança. Outros sistemas, como o Microsoft Purview, podem definir regras de qualidade e governança de dados. Mas o Profisee MDM é o sistema que impõe essas regras. Os registros de origem são combinados e mesclados dentro e entre os sistemas de origem para criar o registro mais completo e correto possível. As regras de qualidade de dados verificam cada registro quanto à conformidade com os requisitos técnicos e comerciais. Qualquer registro que falhe na validação ou que retorne uma pontuação de probabilidade baixa está sujeito a correção. Para corrigir validações com falha, um processo de fluxo de trabalho atribui registros que exigem revisão a administradores de dados que são especialistas em seu domínio de dados corporativos. Depois que um registro é verificado ou corrigido, ele está pronto para ser usado como um registro mestre.

6. Os dados transacionais são carregados em uma solução de análise downstream. Um conjunto de ferramentas de integração de dados, como o Data Factory, extrai dados dos sistemas de origem usando qualquer um dos mais de 100 conectores pré-criados ou um gateway REST. O conjunto de ferramentas carrega os dados diretamente em uma plataforma de dados de análise como o Azure Synapse Analytics. A análise dessas informações brutas sem os dados mestre adequados pode não ser precisa, porque sobreposições de dados, incompatibilidades e conflitos ainda não foram resolvidos.

7. Os conectores do Power BI fornecem acesso direto aos dados mestre selecionados. Os usuários do Power BI podem usar os dados mestre diretamente em relatórios. Um conector dedicado do Power BI reconhece e aplica a segurança baseada em função. Ele também oculta vários campos do sistema para simplificar o uso.

8. Dados mestre curados e de alta qualidade são publicados em uma solução de análise downstream. Se os registros de dados mestre tiverem sido mesclados em um único registro mestre, os links pai-filho para os registros originais serão preservados.

9. A plataforma de análise tem um conjunto de dados que é certificado no sentido de que é completo, consistente e preciso. Esses dados incluem dados mestre adequadamente curados e dados transacionais associados. Essa combinação forma uma base sólida de dados confiáveis que estão disponíveis para análise posterior.

10. Os dados mestre de alta qualidade são visualizados e analisados, e os modelos de aprendizado de máquina são aplicados. O sistema fornece insights sólidos para impulsionar os negócios.

Componentes

• O Microsoft Purview é uma solução de governança de dados que oferece ampla visibilidade dos patrimônios de dados locais e na nuvem. O Microsoft Purview oferece uma combinação de descoberta e classificação de dados, linhagem, pesquisa e descoberta de metadados e insights de uso. Todos esses recursos ajudam você a gerenciar e entender os dados em todo o cenário de dados da empresa.

• O Profisee MDM é uma plataforma de MDM rápida e escalável que se integra perfeitamente às tecnologias da Microsoft e ao ecossistema de gerenciamento de dados do Azure.

• O Data Factory é um serviço híbrido de integração de dados. Você pode usar o Data Factory para criar, agendar e orquestrar fluxos de trabalho de extração, transformação e carregamento (ETL) e extração, carregamento e transformação (ELT). O Data Factory também oferece mais de 100 conectores pré-criados e um gateway REST que você pode usar para extrair dados de sistemas de origem.

• O Azure Synapse Analytics é um data warehouse em nuvem rápido, flexível e confiável que usa uma arquitetura de processamento paralelo intenso. Você pode usar o Azure Synapse Analytics para dimensionar, computar e armazenar dados de forma elástica e independente.

• O Power BI é um conjunto de ferramentas de análise de negócios que fornece insights em toda sua organização. Você pode usar o Power BI para se conectar a centenas de fontes de dados, simplificar a preparação de dados e impulsionar a análise improvisada. Você também pode gerar belos relatórios e publicá-los para que sua organização consuma na Web e em dispositivos móveis.

Alternativas

Se não tiver um aplicativo MDM dedicado, você poderá encontrar alguns dos recursos técnicos necessários para criar uma solução MDM no Azure:

• Qualidade dos dados. Ao carregar dados em uma plataforma de análise, você pode incorporar qualidade de dados em processos de integração. Por exemplo, é possível usar scripts codificados para aplicar transformações de qualidade de dados em um pipeline do Data Factory.
• Padronização e aprimoramento de dados. O Azure Maps pode fornecer verificação e padronização de dados para dados de endereço. Você pode usar os dados padronizados no Azure Functions e no Data Factory. Para padronizar outros dados, talvez seja necessário desenvolver scripts embutidos em código.
• Gerenciamento de dados duplicado. Você pode usar o Data Factory para eliminar a duplicação de linhas se houver identificadores suficientes disponíveis para uma correspondência exata. Você provavelmente precisa de scripts codificados personalizados para implementar a lógica necessária para mesclar linhas correspondentes enquanto aplica técnicas apropriadas de sobrevivência de dados.
• Administração de dados. Você pode usar o Power Apps para desenvolver rapidamente soluções básicas de gerenciamento de dados para gerenciar dados no Azure. Você também pode desenvolver interfaces de usuário apropriadas para revisões, fluxos de trabalho, alertas e validações.

Em ambientes centrados na Microsoft, o Azure Synapse Analytics geralmente é preferido como um serviço de análise. Mas você pode usar qualquer banco de dados de análise. Escolhas comuns são Snowflake e Databricks.

Detalhes do cenário

À medida que a quantidade de dados carregados no Azure aumenta, cresce a necessidade de governá-los e gerenciá-los adequadamente em todos os consumidores de dados e em todas as fontes de dados. Frequentemente, os dados que parecem adequados no sistema de origem são considerados deficientes quando são compartilhados. Pode haver informações ausentes ou incompletas, ou duplicações e conflitos. A qualidade geral pode ser ruim. O que é necessário são dados completos, consistentes e precisos.

Sem dados de alta qualidade em seu patrimônio de dados do Azure, o valor comercial do Azure é prejudicado, talvez de maneira crítica. A solução é criar uma base para a governança e o gerenciamento de dados que possa produzir e fornecer uma fonte de verdade para dados confiáveis e de alta qualidade. O Microsoft Purview e o Profisee MDM trabalham juntos para formar essa plataforma corporativa.

O Microsoft Purview cataloga todas as suas fontes de dados e identifica informações sensíveis e linhagens. Ele dá ao arquiteto de dados um local para considerar os padrões de dados apropriados para impor em todos os dados. O Microsoft Purview concentra-se na governança para encontrar, classificar e definir políticas e padrões. As tarefas de impor políticas e padrões, catalogar fontes de dados e remediar dados deficientes recaem sobre tecnologias como sistemas MDM.

O Profisee MDM foi projetado para aceitar dados mestre de qualquer fonte. O Profisee MDM então combina, mescla, padroniza, verifica, corrige e sincroniza os dados entre sistemas. Esse processo garante que os dados possam ser integrados adequadamente e que atendam às necessidades de sistemas downstream, como aplicativos de business intelligence (BI) e aprendizado de máquina. A plataforma integrativa Profisee impõe padrões de governança em vários silos de dados.

Melhor juntos

O Microsoft Purview e o Profisee MDM funcionam melhor juntos. Quando integrados, eles simplificam as tarefas de gerenciamento de dados e garantem que todos os sistemas funcionem para aplicar os mesmos padrões. O Profisee MDM publica o modelo de dados mestre no Microsoft Purview, onde ele pode participar da governança. Em seguida, o Microsoft Purview compartilha a saída da governança, como um catálogo de dados e informações de glossário. O Profisee pode revisar a saída e aplicar padrões. Ao trabalhar em conjunto, o Microsoft Purview e o Profisee criam uma sinergia natural e melhor combinada que vai mais fundo do que cada oferta independente.

Por exemplo, depois de catalogar fontes de dados corporativas, você pode determinar que os dados mestre estão presentes em vários sistemas. Dados mestre são os dados que definem uma entidade de domínio. Entre os exemplos de dados mestre estão dados de clientes, produtos, ativos, locais, fornecedores, pacientes, domicílios, itens de menu e ingredientes. Resolver definições diferentes e combinar e mesclar esses dados entre sistemas é crítico para a capacidade de usar esses dados de maneira significativa. Para aumentar a eficácia, você deve mesclar, validar e corrigir dados mestre no Profisee MDM por meio de definições de governança, insights e conhecimentos detalhados que estão no Microsoft Purview. Dessa forma, o Microsoft Purview e o Profisee MDM formam uma base para a governança e o gerenciamento de dados e maximizam o valor comercial dos dados no Azure.

A alternativa é usar qualquer informação que você conseguir. Mas quando adota essa abordagem, você corre o risco de gerar resultados enganosos que podem prejudicar o seu negócio. Ao usar dados mestre de alta qualidade, você elimina problemas comuns de qualidade de dados. Em seguida, seu sistema fornece insights sólidos que você pode usar para impulsionar seus negócios, independentemente das ferramentas que você usa para análise, aprendizado de máquina e visualização. Dados mestre bem selecionados são um aspecto fundamental da construção de uma base de dados sólida e confiável.

Ao usar o Profisee MDM com o Microsoft Purview, você desfruta dos seguintes benefícios:

• Uma base técnica comum. O Profisee originou-se nas tecnologias Microsoft. O Profisee e a Microsoft usam ferramentas, bancos de dados e infraestrutura comuns, o que torna a solução Profisee familiar para qualquer pessoa que trabalhe com tecnologias Microsoft. Na verdade, por muitos anos, o Profisee MDM foi criado com base no Microsoft Master Data Services. Agora, o Master Data Services está chegando ao fim de seu ciclo de vida, e o Profisee é a principal solução de upgrade e substituição.
• Colaboração de desenvolvedores e desenvolvimento conjunto. Os desenvolvedores do Profisee e do Microsoft Purview colaboram extensivamente para garantir um bom ajuste complementar entre suas respectivas soluções. Essa colaboração oferece uma integração perfeita que atende às necessidades do cliente.
• Vendas e implantações conjuntas. O Profisee tem mais implantações de MDM no Azure e em conjunto com o Microsoft Purview do que qualquer outro fornecedor de MDM. Você pode adquirir o Profisee no Azure Marketplace. No ano fiscal de 2023, a Profisee é o único fornecedor de MDM com uma certificação de parceiro Microsoft de nível superior que tem uma oferta de infraestrutura como serviço (IaaS), contêineres como serviço (CaaS) ou software como serviço (SaaS) no Azure Marketplace.
• Implantação rápida e confiável. Um recurso crítico de todo software corporativo é a implantação rápida e confiável. De acordo com a plataforma Gartner Peer Insights, o Profisee tem mais implementações que levam menos de 90 dias para serem concluídas do que qualquer outro fornecedor de MDM.
• Vários domínios. O Profisee oferece uma abordagem ao MDM que inerentemente usa vários domínios. Não há limitações no número de domínios de dados mestre que você pode criar. Esse design alinha-se bem com os clientes que planejam modernizar suas propriedades de dados. Um cliente pode começar com um número limitado de domínios, mas, em última análise, se beneficia da maximização de sua cobertura de domínio em toda a sua propriedade de dados. Essa cobertura de domínio é compatível com a cobertura de governança de dados.
• Engenharia que é projetada para o Azure. O Profisee foi projetado para ser nativo da nuvem com opções para SaaS e implantações gerenciadas de IaaS ou CaaS no Azure.

Possíveis casos de uso

Para obter uma lista detalhada dos casos de uso do MDM desta solução, consulte Casos de uso do MDM posteriormente neste artigo. Os principais casos de uso do MDM incluem os seguintes exemplos de varejo e manufatura:

• Consolidação de dados do cliente para análise.
• Ter uma visão de 360 graus dos dados dos seus produtos, de maneira consistente e acessível, como o nome, a descrição e as características de cada produto.
• Estabelecer dados de referência para aumentar consistentemente as descrições de dados mestre. Por exemplo, os dados de referência incluem listas de países/regiões, moedas, cores, tamanhos e unidades de medida.

Essas soluções de MDM também ajudam as organizações financeiras que dependem muito de dados para atividades críticas, como relatórios oportunos.

Integração de MDM com o Microsoft Purview

O diagrama a seguir ilustra em detalhes a integração do Profisee MDM no Microsoft Purview. Para dar suporte a essa integração, o subsistema de governança do Profisee oferece a integração bidirecional com o Microsoft Purview, que consiste nos dois seguintes fluxos distintos:

• A publicação de metadados da solução ocorre quando os modeladores de dados fazem alterações no modelo de dados mestre, nas estratégias de correspondência e em seus subartefatos relacionados. Essas alterações são publicadas perfeitamente no Microsoft Purview à medida que ocorrem. A publicação dessas alterações sincroniza os metadados relacionados ao modelo e à solução de dados mestre. Como resultado, o Catálogo de Dados do Microsoft Purview é preenchido e o Microsoft Purview tem um registro dessa fonte de dados crítica.
• Os detalhes de governança são retornados e fornecidos aos administradores de dados e usuários corporativos. Esses detalhes estão disponíveis à medida que os usuários visualizam dados, aprimoram dados e corrigem problemas de qualidade de dados usando o portal Profisee FastApp.

Recursos de integração do Microsoft Purview

O catálogo e o glossário do Microsoft Purview podem ajudar você a maximizar a integração.

Design do modelo de dados mestre

Um dos desafios ao preparar uma solução de MDM é determinar o que constitui esses dados mestre e quais fontes serão usadas para usar quando preencher o modelo de dados mestre. Você pode usar o Microsoft Purview para ajudar com isso. Você pode aproveitar a capacidade de verificar suas fontes de dados críticas e pode envolver seus administradores de dados e especialistas no assunto (PMEs). Dessa forma, é possível aprimorar o Catálogo de Dados do Microsoft Purview com informações que os administradores podem usar acessar para alinhar o modelo com seus sistemas de linha de negócios. Você pode reconciliar terminologias conflitantes. Esse processo produz um modelo de dados mestre que reflete de forma ideal a terminologia e as definições que você deseja padronizar para sua empresa. Também evita terminologia ultrapassada e enganosa.

O trecho a seguir do diagrama mais amplo ilustra esse caso de uso de integração. Primeiro, use as funções de exame do sistema do Microsoft Purview para ingerir metadados de seus sistemas de linha de negócios. Em seguida, seus administradores de dados e PMEs preparam um catálogo sólido e contatos. Em seguida, os modeladores de dados que trabalham com os serviços de modelagem do Profisee MDM podem preparar e evoluir seu modelo de dados mestre. Esse trabalho alinha-se com os padrões que você define no Microsoft Purview.

À medida que os administradores aprimoram o modelo, os serviços de modelagem na plataforma do Profisee MDM publicam as alterações que os serviços de governança do Profisee MDM recebem. Por sua vez, o Profisee MDM prepara e encaminha essas alterações ao Microsoft Purview, para inclusão no catálogo de dados atualizado. Essas adições ao catálogo garantem que suas definições de dados mestre sejam incluídas na propriedade de dados mais ampla e possam ser governadas e controladas da mesma maneira que os metadados do sistema de linha de negócios. Ao garantir que essas informações sejam catalogadas juntas, você está em uma posição melhor para gerenciar as relações entre os dados mestre e os dados do sistema de linha de negócios.

Administração de dados

Grandes empresas que têm propriedades de dados extensas e complexas podem apresentar desafios aos administradores de dados, que são responsáveis por gerenciar e corrigir os problemas que surgem. Os principais domínios de dados podem ser complexos, com muitos atributos obscuros que somente os funcionários efetivos que têm conhecimento institucional considerável entendem. Por meio da integração do Profisee MDM com o Microsoft Purview, você pode capturar esse conhecimento institucional dentro do Microsoft Purview e disponibilizá-lo para uso dentro do Profisee MDM. Como resultado, você alivia uma grande necessidade de conhecimento de dados corporativos ao gerenciar informações críticas e de urgência.

A figura a seguir ilustra o fluxo de informações do Microsoft Purview para os administradores de dados, que estão trabalhando no portal FastApp do Profisee. O serviço de dados de governança integra-se ao Microsoft Purview e ao Microsoft Entra ID. Este serviço fornece funcionalidade de pesquisa. Os usuários do portal FastApp podem usar essa funcionalidade para recuperar dados de governança aprimorados sobre as entidades e os atributos com os quais trabalham.

Os serviços de governança também resolvem os contatos que são recebidos do Microsoft Purview para os respectivos detalhes completos de perfil, que estão disponíveis no Microsoft Entra ID. Com detalhes completos do perfil, os administradores podem colaborar efetivamente com os proprietários de dados e os especialistas, a fim de aprimorar a qualidade dos dados mestre.

A caixa de diálogo Governança do Profisee MDM é a interface do usuário por meio da qual os administradores de dados e os usuários interagem com os detalhes no nível da governança. Essa interface do usuário renderiza informações obtidas do Microsoft Purview para os usuários. Usando essas informações, os usuários podem revisar os detalhes por trás dos dados a partir dos quais a caixa de diálogo foi iniciada. Se as informações fornecidas na caixa de diálogo Governança forem insuficientes, os usuários poderão ir diretamente para a experiência do usuário do Microsoft Purview.

Os administradores de dados e usuários de negócios podem acessar três tipos de ativos de dados do Profisee MDM por meio do portal FastApp:

• Instância do Profisee, que fornece as propriedades de infraestrutura da instância específica da plataforma do Profisee MDM que o usuário está exibindo
• Entidade do Profisee, que fornece as propriedades da entidade de dados mestre (a tabela) que o administrador ou usuário está exibindo no momento
• Atributo do Profisee, que fornece as propriedades do atributo (como o campo ou a coluna) de interesse do usuário

A figura a seguir ilustra onde os usuários que trabalham no portal FastApp podem exibir detalhes de governança para cada um dos respectivos tipos de ativos descritos acima Os detalhes de nível da instância podem ser encontrados no menu Ajuda. Você pode acessar detalhes da entidade no cabeçalho da zona da página, que contém uma grade de entidade. Para obter detalhes de atributo, vá para o formulário associado à grade de entidade. Acesse os detalhes dos rótulos associados ao atributo.

Para ver informações resumidas, passe o cursor do mouse sobre o ícone de governança, como Microsoft Purview. Clique no ícone para exibir a caixa de diálogo de governança completa:

Para acessar a experiência de usuário completa do Microsoft Purview, clique no ícone de governança no cabeçalho da caixa de diálogo. Selecionar o ícone leva você ao Microsoft Purview no contexto do ativo que você está visualizando no momento. Em seguida, você pode navegar facilmente pelo Microsoft Purview com base em suas necessidades de descoberta.

Processamento de MDM

O poder de uma solução de MDM está nos detalhes.

Modelagem de dados

A base da solução de MDM é o modelo de dados subjacente. Ele representa a definição de dados mestre em sua empresa. O desenvolvimento de um modelo de dados mestre envolve as seguintes tarefas:

• Identificar, em todo o cenário de seus sistemas, os elementos de dados de origem críticos para as operações de sua empresa e centrais para a análise do desempenho.
• Enriquecer o modelo com elementos que você obtém de outras fontes de terceiros que tornam os dados mais úteis, precisos e confiáveis.
• Estabeleça propriedade e permissões claras relacionadas aos elementos do seu modelo de dados. Essa prática ajuda a garantir que você considere a visibilidade e o gerenciamento de alterações no design do modelo.

A governança de dados fornece uma base crítica de suporte:

• Seu catálogo de dados de governança, dicionário, glossário e recursos de suporte são fontes inestimáveis de informações para seus administradores de dados de governança. Esses recursos ajudam os administradores a determinar o que incluir em seu modelo de dados mestre. Eles também ajudam a determinar a propriedade e as classificações de dados confidenciais no Microsoft Purview. Você pode reforçar a terminologia em seu modelo. Com essa prática, você pode estabelecer um léxico oficial para o seu negócio. Ao integrar a terminologia, seu modelo de dados mestre também pode traduzir qualquer termo inadequado, que esteja em uso em vários sistemas de origem, para o idioma de negócios aprovado.
• Geralmente, os sistemas de terceiros são uma fonte de dados mestre separada de seus sistemas de linha de negócios. É fundamental incluir elementos no modelo para capturar as informações que esses sistemas adicionam aos dados e refletir essas fontes de informações novamente no catálogo de dados.
• Você pode usar propriedade e acesso aos dados, conforme identificado no catálogo de governança, a propriedade e o acesso aos dados podem ser usados para impor permissões de acesso e gerenciamento de alterações na solução de MDM. Dessa forma, suas políticas e necessidades corporativas são alinhadas às ferramentas que você usa para gerenciar e administrar seus dados mestre.

Carga de dados de origem

Idealmente, seus diferentes sistemas de linha de negócios carregam dados em seu modelo de dados mestre com pouca ou nenhuma alteração ou transformação. O objetivo é ter uma versão centralizada dos dados como eles existem no sistema de origem. Deve haver a menor perda de fidelidade possível entre o sistema de origem e seu repositório de dados mestre. Ao limitar a complexidade do processo de carregamento, você simplifica a linhagem. E quando você usa tecnologia como pipelines do Data Factory, sua solução de governança pode inspecionar o fluxo. Em seguida, sua solução pode identificar as relações entre o sistema de origem e o modelo de dados mestre. Especificamente, sua solução pode extrair dados de sistemas de origem usando qualquer um dos mais de 100 conectores pré-criados e um gateway REST.

Enriquecimento e padronização de dados

Depois de carregar os dados de origem no modelo, é possível estendê-los explorando fontes avançadas de dados de terceiros. Você pode usar esses sistemas para melhorar os dados obtidos de seus sistemas de linha de negócios. Você também pode usar esses sistemas para aumentar os dados de origem com informações que aprimoram seu uso para outros consumidores downstream. Por exemplo:

• Você pode usar serviços de verificação de endereço, como o Bing, para corrigir e melhorar os endereços do sistema de origem. Esses serviços podem padronizar e adicionar informações ausentes que são cruciais para a geolocalização e a entrega de correspondência.
• Serviços de informações de terceiros, como Dun & Bradstreet, podem fornecer dados de uso geral ou específicos do setor. Você pode usar esses dados para estender o valor do seu registro mestre. Especificamente, você pode adicionar informações que não estavam disponíveis ou em conflito em seus sistemas de linha de negócios diferentes.

A infraestrutura de publicação/assinatura do Profisee facilita a integração de suas próprias fontes de terceiros em sua solução, conforme necessário.

A capacidade de entender as fontes e o significado por trás desses dados é tão importante para os dados de terceiros quanto para seus sistemas de linha de negócios internos. Ao integrar seu modelo de dados mestre ao catálogo de dados de governança, você pode gerenciar as relações entre fontes de dados internas e externas e, ao mesmo tempo, enriquecer seu modelo com detalhes de governança.

Validação e administração da qualidade dos dados

Depois de carregar e aprimorar seus dados, é importante verificar a qualidade e a aderência deles aos padrões estabelecidos por meio dos processos de governança. O Microsoft Purview pode novamente ser uma rica fonte de informações sobre padrões. Você pode usar o Microsoft Purview para conduzir as regras de qualidade de dados que sua solução MDM impõe. O Profisee MDM também pode publicar regras de qualidade de dados como ativos em seu catálogo de governança. Elas podem estar sujeitas à revisão e à aprovação, o que ajuda a fornecer uma supervisão completa dos padrões de qualidade associados aos dados mestre. Suas regras são vinculadas a entidades e atributos de dados mestres, e esses atributos podem ser rastreados até o sistema de origem. Por esses motivos, você pode estabelecer a causa raiz da baixa qualidade dos dados originada de seus sistemas de linha de negócios.

Os administradores de dados são especialistas em seu domínio de negócios. À medida que os administradores resolvem problemas que sua solução de dados mestre revela, eles podem usar o catálogo de governança de dados do Microsoft Purview. O catálogo ajuda os administradores a entender e resolver problemas de qualidade à medida que eles surgem. Apoiados pelo suporte de proprietários de dados e especialistas, os administradores estão preparados para resolver problemas de qualidade de dados com rapidez e precisão.

Correspondência e sobrevivência

Com dados de origem enriquecidos e de alta qualidade, você está posicionado para produzir um registro mestre que representa as informações mais precisas em seus diferentes sistemas de linha de negócios. A figura a seguir ilustra como todas as etapas culminam em dados de alta qualidade que estão prontos para uso na análise de negócios. A qualquer momento, você pode sincronizar esses dados em todo a sua propriedade de dados.

O mecanismo de correspondência do Profisee MDM produz um registro mestre como parte do processo de sobrevivência. As regras de sobrevivência preenchem seletivamente o registro mestre com informações que você escolheu em todos os seus sistemas de origem.

O histórico do Profisee MDM e o subsistema de controle de auditoria rastreiam as alterações feitas pelos usuários. Esse subsistema também rastreia as mudanças que os processos do sistema, como a sobrevivência, fazem. A correspondência e a sobrevivência permitem rastrear o fluxo de informações, dos registros de origem até o mestre. O Profisee MDM tem um registro do sistema de origem que é responsável por um registro de origem específico. Você também sabe como registros de origem díspares preenchem o registro mestre. Como resultado, você pode obter a linhagem de dados de suas análises de volta para os dados de origem aos quais seus relatórios fazem referência.

Casos de uso do MDM

Embora haja diversos casos de uso para o MDM, alguns deles abrangem a maioria das implementações reais do MDM. Esses casos de uso concentram-se em um único domínio, mas é improvável que sejam criados somente com base nele. Mesmo esses casos de uso focados provavelmente envolvem vários domínios. Em cada caso de uso, o MDM atende ao objetivo de fornecer uma visão de 360 graus, ou unificada, dos tipos de dados essenciais.

Dados do cliente

A consolidação e padronização de dados do cliente para análise BI é o caso de uso mais comum do MDM. As organizações capturam dados de clientes em um número crescente de sistemas e aplicativos. Resultado de registros de dados de clientes duplicados. Essas duplicatas estão localizadas dentro e entre aplicativos e contêm inconsistências e discrepâncias. A baixa qualidade dos dados do cliente limita o valor das soluções de análise modernas. Os sintomas incluem os seguintes desafios:

• É difícil responder a perguntas de negócios básicas, como "Quem são nossos principais clientes?" e "Quantos novos clientes temos?", pois elas exigem um esforço manual significativo.
• Há informações de clientes ausentes e imprecisas, o que dificulta o acúmulo ou o detalhamento dos dados.
• Não é possível identificar ou verificar exclusivamente um cliente através dos limites organizacionais e do sistema. Como resultado, você não consegue analisar os dados de seus clientes em sistemas ou unidades de negócios.
• Você recebe insights de baixa qualidade da IA e do aprendizado de máquina, devido à baixa qualidade dos dados de entrada.

Dados do produto

Os dados do produto geralmente estão espalhados por vários aplicativos corporativos, como planejamento de recursos corporativos (ERP), gerenciamento do ciclo de vida do produto (PLM) ou aplicativos de comércio eletrônico. Como resultado, é um desafio para entender o catálogo total de produtos que têm definições inconsistentes para propriedades, como o nome, a descrição e as características do produto. Diferentes definições de dados de referência complicam esta situação. Os sintomas incluem os seguintes desafios:

• Você não pode oferecer suporte a diferentes caminhos hierárquicos alternativos de roll-up e detalhamento para análise de produtos.
• Com o estoque de produtos acabados ou materiais, você tem dificuldade em avaliar o estoque de produtos e fornecedores estabelecidos. Você também tem produtos duplicados, o que leva ao excesso de estoque.
• É difícil racionalizar produtos devido a definições conflitantes. Essa situação leva a informações ausentes ou imprecisas nas análises.

Dados de referência

No contexto da análise, os dados de referência existem como inúmeras listas de dados. Essas listas geralmente são usadas para descrever outros conjuntos de dados mestre. Por exemplo, os dados de referência incluem listas de países/regiões, moedas, cores, tamanhos e unidades de medida. Dados de referência inconsistentes levam a erros óbvios na análise downstream. Os sintomas são os seguintes:

• Diversas representações do mesmo valor. Por exemplo, o estado da Geórgia está listado como GA e Georgia, o que dificulta a agregação e o detalhamento constantes dos dados.
• Dificuldade em simplificar dados entre sistemas devido à incapacidade de cruzar ou mapear valores de dados de referência entre sistemas. Por exemplo, a cor vermelha é representada por R no sistema ERP e Vermelho no sistema PLM.
• Dificuldade de vincular números em diferentes organizações devido a diferenças nos valores dos dados de referência estabelecidos que são usados para a categorização de dados.

Dados financeiros

As organizações financeiras dependem muito de dados para atividades críticas, como relatórios mensais, trimestrais e anuais. Organizações que têm diversos sistemas financeiros e contábeis geralmente têm dados financeiros em vários livros de contabilidade, que precisam ser consolidados para produzir relatórios financeiros. O MDM pode fornecer um hub para mapear e gerenciar contas, centros de custo, entidades comerciais e outros conjuntos de dados financeiros. Por meio do hub centralizado, o MDM fornece uma visão consolidada desses conjuntos de dados. Os sintomas incluem os seguintes desafios:

• Dificuldade em agregar dados financeiros em diversos sistemas em uma visão consolidada
• Falta de processo para adicionar e mapear novos elementos de dados em sistemas financeiros
• Atrasos na produção de relatórios financeiros de fim de período

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.

Considere esses fatores ao escolher uma solução de gerenciamento de dados para sua organização.

Confiabilidade

A confiabilidade garante que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, confira Visão geral do pilar de confiabilidade.

O Profisee é executado nativamente no Serviço de Kubernetes do Azure (AKS) e no Banco de Dados SQL do Azure. Ambos os serviços oferecem recursos prontos para uso para oferecer suporte à alta disponibilidade.

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.

O Profisee autentica usuários com OpenID Connect, que implementa um fluxo de autenticação OAuth 2.0. A maioria das organizações configura o Profisee MDM para autenticar usuários no Microsoft Entra ID, o que garante que seja possível aplicar e impor suas políticas corporativas para a autenticação.

Otimização de custo

A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.

Os custos de execução consistem em uma licença de software e no consumo do Azure. Para saber mais, entre em contato com a equipe do Profisee.

Eficiência de desempenho

A eficiência do desempenho é a capacidade de dimensionar sua carga de trabalho para atender às demandas colocadas por usuários de maneira eficiente. Para saber mais, confira Visão geral do pilar de eficiência de desempenho.

O Profisee MDM é executado nativamente no AKS e no Banco de Dados SQL. Você pode configurar o AKS para escalar o Profisee MDM para cima, para baixo e em todas as suas funções de negócios. Você pode implantar o Banco de Dados SQL do Azure em diversas configurações para equilibrar desempenho, escalabilidade e custos.

O dimensionamento dinâmico é inerente à arquitetura nativa da nuvem do Profisee, que usa microsserviços e contêineres. Se você executar o Profisee em seu locatário de nuvem via Kubernetes, poderá aumentar e reduzir dinamicamente a escala com base em sua carga. Com o serviço SaaS Profisee que é executado no AKS, você pode configurar grandes pools de nós para seus pods. Esses pools são dimensionados dinamicamente com base na carga no sistema em toda a infraestrutura multilocatário.

Para obter informações detalhadas sobre como implantar o Profisee e o Microsoft Purview no AKS, consulte Microsoft Purview - Integração do Profisee MDM.

Implantar este cenário

O Profisee MDM é um serviço Kubernetes empacotado. Você pode implantar o Profisee MDM como uma PaaS em seu locatário do Azure, em qualquer outro locatário de nuvem ou local. Você também pode implantar o Profisee MDM como um SaaS que o Profisee hospeda e gerencia.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi escrito originalmente pelos colaboradores a seguir.

Autor principal:

• Gaurav Malhotra | Gerente de PM do Grupo Principal

Para ver perfis não públicos do LinkedIn, entre no LinkedIn.

Próximas etapas

• Entender os recursos do Conector de cópia REST no Data Factory.
• Saiba mais sobre o Profisee em execução nativa no Azure.
• Aprenda como implantar o Profisee no Azure usando um Modelo do Azure Resource Manager (modelo ARM).
• Conferir os modelos do Data Factory para o Profisee.

Recursos relacionados

Guias de arquitetura:

• ETL (extração, transformação e carregamento)
• Escolher uma tecnologia de processamento em lotes no Azure

Arquiteturas de referência:

• Gerenciamento de dados mestre com o Profisee e o Azure Data Factory
• Análises de ponta a ponta com o Azure Synapse
• Arquitetura de análise moderna com o Azure Databricks
• Análise de Big Data com segurança de nível empresarial usando o Azure Synapse
• BI corporativo automatizado
• Otimização de marketing com o aprendizado de máquina
• Business Intelligence empresarial