Microsoft Purview – Integração do MDM do Profisee

Artigo
08/23/2023

O MDM (gerenciamento de dados mestre) é um pilar fundamental de qualquer solução unificada de governança de dados. O Microsoft Purview dá suporte master gerenciamento de dados com nosso parceiro Profisee. Este tutorial compila materiais de implantação de referência e integração em um só lugar; primeiro para colocar o Microsoft Purview Unified Data Governance e o MDM no contexto de um patrimônio de dados do Azure; e, mais importante, para começar sua jornada de MDM com o Microsoft Purview por meio de nossa integração com o Profisee.

Por que a Governança de Dados e o MDM (Master Gerenciamento de Dados) são essenciais para o Data Estate moderno?

Todas as organizações têm várias fontes de dados e, quanto maior a organização, maior o número de fontes de dados. Normalmente, haverá ERPs, CRMs, aplicativos Herdados, versões regionais de cada um deles, feeds de dados externos e assim por diante. A maioria dessas empresas movimenta grandes quantidades de dados entre aplicativos, sistemas de armazenamento, sistemas de análise e entre departamentos em sua organização. Durante esses movimentos e, com o tempo, os dados podem ser duplicados ou fragmentados e ficar obsoletos ou desatualizados. Portanto, a precisão se torna uma preocupação ao usar esses dados para gerar insights sobre seus negócios.

Inevitavelmente, os dados criados em diferentes 'silos' com diferentes (ou não) padrões de governança para atender às necessidades de seus respectivos aplicativos sempre terão problemas. Ao examinar os dados extraídos de cada um desses aplicativos, você verá que ele é inconsistente em termos de padronização de dados. Muitas vezes, há inúmeras inconsistências em termos dos próprios valores e, na maioria das vezes, os registros individuais estão incompletos. Na verdade, seria surpreendente se essas inconsistências não fossem o caso – mas isso apresenta um problema. O que é necessário são dados completos, consistentes e precisos.

Para proteger a qualidade dos dados em uma organização, master MDM (gerenciamento de dados) surgiu como uma disciplina que cria uma fonte de verdade para dados corporativos para que uma organização possa marcar e validar seus principais ativos. Esses ativos-chave, ou master ativos de dados, são registros críticos que fornecem contexto para uma empresa. Por exemplo, master dados podem incluir informações sobre produtos específicos, funcionários, clientes, estruturas financeiras, fornecedores ou locais. O gerenciamento de dados mestre garante a qualidade dos dados em toda uma organização, mantendo um conjunto de duplicados consolidado autoritativo do master registros de dados e garantindo que os dados permaneçam consistentes no conjunto de dados completo da sua organização.

Como exemplo, pode ser difícil para uma empresa ter uma visão clara e única de seus clientes. Os dados do cliente podem diferir entre sistemas, pode haver registros duplicados devido à entrada incorreta ou o envio e os sistemas de serviço ao cliente podem variar devido ao nome, endereço ou outros atributos. O gerenciamento de dados mestre consolida e padroniza todas essas informações diferentes sobre o cliente. Esse processo de padronização pode envolver regras, validações e verificações automáticas ou definidas pelo usuário. É trabalho do sistema MDM garantir que seus dados permaneçam consistentes na estrutura dessas regras ao longo do tempo. Isso não só melhora a qualidade dos dados eliminando dados incompatíveis entre departamentos, mas garante que os dados analisados para BI (business intelligence) e outros aplicativos sejam confiáveis e atualizados, reduza a carga de dados removendo registros duplicados em toda a organização e agilize as comunicações entre sistemas comerciais.

A capacidade de consolidar dados de vários sistemas diferentes é fundamental se quisermos usar os dados para gerar insights de negócios e eficiência operacional – ou qualquer forma de "transformação digital". O que precisamos nesse caso são dados confiáveis e de alta qualidade prontos para uso, sejam eles consumidos em métricas corporativas básicas ou algoritmos avançados de IA. Fazer a ponte dessa lacuna é o trabalho de Governança de Dados e MDM e, no mundo do Azure, isso significa Microsoft Purview e Profisee MDM.

Embora os sistemas de governança possam definir padrões de dados, o MDM é onde eles são aplicados. Os dados de sistemas diferentes podem ser correspondidos e mesclados, validados em relação aos padrões de qualidade e governança de dados e corrigidos quando necessário. Em seguida, os novos dados "master" corrigidos e validados podem ser compartilhados para sistemas de análise downstream e, em seguida, voltar para sistemas de origem para impulsionar melhorias operacionais. Ao criar e manter adequadamente os dados de master empresarial, garantimos que os dados não sejam mais uma responsabilidade e motivo de preocupação, mas um ativo da empresa que permite uma melhor operação e inovação.

Mais detalhes sobre os Conceitos de MDM do Profisee e Profisee-Purview e Arquitetura do Azure.

Microsoft Purview & Profisee MDM – Melhores juntos!

O Microsoft Purview e o Profisee MDM são frequentemente discutidos como sendo uma proposta de valor "Melhores Juntos" devido à natureza complementar das soluções. O Microsoft Purview se destaca na catalogação de fontes de dados e na definição de padrões de dados, enquanto o Profisee MDM impõe esses padrões em master dados extraídos de várias fontes siloed. Está claro não apenas que qualquer sistema tem valor independente a oferecer, mas também que cada um reforça o outro para uma sinergia natural "Better Together" que vai mais fundo do que as ofertas independentes.

Base técnica comum – o Profisee nasceu de tecnologias da Microsoft usando ferramentas comuns, infraestrutura de bancos & de dados para que qualquer 'microsoft shop' encontre a solução Profisee familiar. Na verdade, por muitos anos o MDM do Profisee foi criado no Microsoft Master Data Services (MDS) e agora que o MDS está se aproximando do fim da vida útil, o Profisee é a principal solução de atualização/substituição para MDS.
Colaboração do desenvolvedor e desenvolvimento conjunto – os desenvolvedores do Profisee e do Microsoft Purview colaboraram extensivamente para garantir um bom ajuste complementar entre suas respectivas soluções para fornecer uma integração perfeita que atenda às necessidades de seus clientes.
Vendas e implantações conjuntas – o Profisee tem mais implantações de MDM no Azure e, em conjunto com o Microsoft Purview, do que qualquer outro fornecedor de MDM e pode ser comprado por meio de Azure Marketplace. No FY2023 o Profisee é o único fornecedor de MDM com uma certificação de parceiro microsoft de nível superior disponível como uma oferta IaaS/CaaS ou SaaS por meio de Azure Marketplace.
Implantação rápida e confiável – a implantação rápida e confiável é fundamental para qualquer software corporativo e o Gartner aponta que o Profisee tem mais implementações levando menos de 90 dias do que qualquer outro fornecedor de MDM.
Inerentemente multi domínio – o Profisee oferece uma abordagem de vários domínios ao MDM em que não há limitações para o número de especificidade de domínios de dados master. Esse design se alinha bem com os clientes que procuram modernizar seu patrimônio de dados que podem começar com um número limitado de domínios, mas, em última análise, se beneficiarão da maximização da cobertura de domínio (correspondente à cobertura de governança de dados) em todo o seu conjunto de dados.
Projetado para o Azure – o Profisee foi projetado para ser nativo de nuvem com opções para saaS e implantações gerenciadas de IaaS/CaaS no Azure (confira a próxima seção)

Dica

Aproveitar o Utilitário de Migração de MDS do Profisee para atualizar do Microsoft MDS (Master Data Services) em um único clique

MDM do Profisee: flexibilidade de implantação – experiência saas turnkey ou flexibilidade IaaS/CaaS

O MDM do Profisee foi projetado para uma experiência nativa de nuvem e pode ser implantado no Azure de duas maneiras – SaaS e IaaS do Azure/CaaS/Cluster kubernetes.

Experiência saaS turnkey

Uma instância totalmente gerenciada do MDM do Profisee hospedada pelo Profisee na nuvem do Azure. Serviço de chave de turno completo para a implantação de MDM mais fácil e rápida. O Profisee MDM SaaS pode ser comprado no Azure Marketplace Profisee MDM – SaaS.

Plataforma e Gerenciamento em um – use uma plataforma SaaS verdadeira de ponta a ponta com um contrato e nenhum terceiro.
Serviço de nuvem líder do setor – hospedado no Azure para escalabilidade e disponibilidade líderes do setor.
O caminho mais rápido para Dados Confiáveis – Implantar em minutos com o mínimo de conhecimento técnico. Deixe a rede, firewalls e armazenamento para nós para que você possa implantar em minutos.

Flexibilidade de IaaS/CaaS final

Conclua a flexibilidade e o controle de implantação, usando a opção mais eficiente e de baixa manutenção no Serviço de Kubernetes do Microsoft Azure , funcionando como uma implantação de IaaS/CaaS totalmente gerenciada pelo cliente (contêiner como serviço). A seção abaixo sobre "Implantação de integração do Microsoft Purview – Profisee em Serviço de Kubernetes do Azure (AKS)" descreve essa rota de implantação em detalhes.

Arquitetura de Nuvem Moderna – Plataforma disponível como um serviço de Kubernetes em contêiner.
Flexibilidade Completa & Autonomia – Disponível no Azure, no AWS, no Google Cloud ou no local.
Rápido para Implantar, Fácil de Manter – a configuração 100% conteinerizada simplifica patches e atualizações.

Mais detalhes sobre os benefícios do MDM do Profisee na arquitetura de nuvem moderna, o MDM do Profisee no Azure e por que ele se encaixa melhor com as implantações do Microsoft Azure !

Microsoft Purview – Arquitetura de Referência do Profisee

A arquitetura de referência mostra como o Microsoft Purview e o MDM do Profisee trabalham juntos para fornecer uma base de dados confiáveis e de alta qualidade para o patrimônio de dados do Azure. Ele também está disponível como um pequeno vídeo passo a passo.

Vídeo: Arquitetura de Referência do Profisee: MDM e Governança do Azure

Examine & classificar metadados de sistemas LOB – usa conectores do Microsoft Purview pré-criados para examinar fontes de dados e preencher o Catálogo de Dados do Microsoft Purview
Publicar master modelo de dados no Microsoft Purview – todas as entidades de dados master criadas no MDM do Profisee são publicadas perfeitamente no Microsoft Purview para preencher ainda mais o Catálogo de Dados do Microsoft Purview e garantir que o Microsoft Purview esteja "ciente" dessa fonte crítica de dados
Enriquecer master modelo de dados com detalhes de governança – Os Administradores de Dados de Governança podem enriquecer master definições de entidade de dados com informações de dicionário de dados e glossário, bem como classificações de dados confidenciais e propriedade, etc. no Microsoft Purview
Aplique dados de governança enriquecidos para a administração de dados – todas as definições e metadados disponíveis no Microsoft Purview são visíveis em tempo real no Profisee como diretrizes para os Administradores de Dados do MDM
Carregar dados de origem de aplicativos empresariais – Azure Data Factory extrai dados de sistemas de origem com mais de 100 conectores pré-criados e/ou gateway REST
Dados transacionais e não estruturados são carregados para a solução de análise downstream – todos os dados de origem 'brutos' podem ser carregados no banco de dados de análise, como o Synapse (o Synapse geralmente é o banco de dados analítico preferencial, mas outros, como Snowflake, também são comuns). A análise dessas informações brutas sem dados adequados de master ('golden') estará sujeita à imprecisão à medida que os dados se sobrepõem, incompatibilidades e conflitos ainda não foram resolvidos.
Os dados mestres dos sistemas de origem são carregados no aplicativo MDM do Profisee – vários fluxos de dados 'master' são carregados no MDM do Profisee. Os dados mestres são os dados que definem uma entidade de domínio como cliente, produto, ativo, localização, fornecedor, paciente, domicílio, item de menu, ingrediente e assim por diante. Normalmente, esses dados estão presentes em vários sistemas e resolver definições diferentes e corresponder e mesclar esses dados entre sistemas é fundamental para a capacidade de usar quaisquer dados entre sistemas de forma significativa.
Os dados mestres são padronizados, correspondidos, mesclados, enriquecidos e validados de acordo com as regras de governança – embora as regras de qualidade e governança de dados possam ser definidas em outros sistemas (como o Microsoft Purview), o MDM do Profisee é onde eles são aplicados. Os registros de origem são correspondidos e mesclados dentro e entre sistemas de origem para criar o registro mais completo e correto possível. Regras de qualidade de dados marcar cada registro para conformidade com os requisitos comerciais e técnicos.
Administração de dados extra para examinar e confirmar problemas de correspondência, qualidade de dados e validação de dados, conforme necessário – qualquer validação de falha de registro ou correspondência com apenas uma pontuação de baixa probabilidade está sujeita à correção. Para corrigir validações com falha, um processo de fluxo de trabalho atribui registros que exigem revisão aos Administradores de Dados que são especialistas em seu domínio de dados comerciais. Depois que os registros forem verificados ou corrigidos, eles estarão prontos para usar como um "registro de ouro" master.
Acesso direto a dados master curados, incluindo acesso seguro a dados para relatórios no Power BI – os usuários do Power BI podem relatar diretamente sobre master dados por meio de um Conector dedicado do Power BI que reconhece e impõe a segurança baseada em função e oculta vários campos do sistema para simplificar.
Dados de master de alta qualidade e curadoria publicados na solução de análise downstream – dados master verificados podem ser publicados em qualquer sistema de destino usando Azure Data Factory. Dados mestres, incluindo a linhagem pai-filho de registros mesclados publicados em Azure Synapse (ou onde quer que os dados transacionais de origem 'brutos' foram carregados). Com essa combinação de dados master devidamente curados e dados transacionais, temos uma base sólida de dados confiáveis para análise adicional.
Visualização e análise com dados de master de alta qualidade elimina problemas comuns de qualidade de dados e fornece insights aprimorados – independentemente das ferramentas usadas para análise, incluindo machine learning e visualização, master dados bem curados formam uma base de dados melhor e mais confiável. A alternativa é usar qualquer informação que você possa obter – e arriscar resultados enganosos que possam prejudicar os negócios.

Guias de arquitetura de referência/documentos de referência

Microsoft Purview – Implantação de integração do Profisee em Serviço de Kubernetes do Azure (AKS)

Obtenha o arquivo de licença do Profisee levantando um tíquete de suporte em https://support.profisee.com/. O único pré-requisito para esta etapa é a necessidade de determinar previamente a URL resolvida pelo DNS na configuração do Profisee no Azure. Em outras palavras, mantenha o NOME DO HOST DNS do balanceador de carga usado na implantação. Será algo como "[profisee_name]. [region].cloudapp.azure.com". Por exemplo, DNSHOSTNAME="purviewprofisee.southcentralus.cloudapp.azure.com". Forneça esse suporte do DNSHOSTNAME ao Profisee quando você levantar o tíquete de suporte e o Profisee reverter com o arquivo de licença. Você precisará fornecer esse arquivo durante as próximas etapas de configuração abaixo.
Crie uma identidade gerenciada atribuída pelo usuário no Azure. Você deve ter uma identidade gerenciada criada para executar a implantação. Depois que a implantação for concluída, a identidade gerenciada poderá ser excluída. Com base em suas opções de modelo do ARM, você precisará de algumas ou todas as seguintes funções e permissões atribuídas à sua identidade gerenciada:
- Função de colaborador para o grupo de recursos em que o AKS será implantado. Ele pode ser atribuído diretamente ao grupo de recursos OU no nível da assinatura e para baixo.
- Função de Colaborador de Zona DNS para a zona DNS específica em que a entrada será criada função de colaborador OR para o grupo de recursos da Zona DNS. Essa função DNS só será necessária se atualizar o DNS hospedado no Azure.
- Função de Administrador de Aplicativo no Azure Active Directory para que as permissões necessárias necessárias para o registro do aplicativo possam ser atribuídas.
- Colaborador de Identidade Gerenciada e Administrador de Acesso do Usuário no nível da assinatura. Necessário para que a identidade gerenciada do modelo arm possa criar uma Key Vault identidade gerenciada específica que será usada pelo Profisee para extrair os valores armazenados no Key Vault.
Crie um registro de aplicativo que atuará como a identidade de logon depois que o Profisee for instalado. Ele precisa fazer parte do Azure Active Directory que será usado para entrar no Profisee. Salve a ID do aplicativo (cliente) para uso posterior.
- Defina a autenticação para corresponder às configurações abaixo:
  - Suporte a tokens de ID (usados para fluxos implícitos e híbridos)
  - Defina a URL de redirecionamento como: https://< your-deployment-url>/profisee/auth/signin-microsoft
    - Sua URL de implantação é a URL que você fornecerá ao Profisee na etapa 1
Crie uma entidade de serviço que o Microsoft Purview usará para executar algumas ações por conta própria durante esta implantação do Profisee. Para criar uma entidade de serviço, crie um aplicativo como você fez na etapa anterior e crie um segredo do aplicativo. Salve a ID do Objeto para o aplicativo e o Valor do segredo que você criou para uso posterior.
- Forneça a essa entidade de serviço (usando o nome ou a ID do objeto para localizá-la) permissões do Curador de Dados na coleção raiz da sua conta do Microsoft Purview.
https://github.com/Profisee/kubernetes Acesse e selecione Microsoft Purview Azure ARM.
- O modelo arm implantará o Profisee em uma infraestrutura aks balanceada de carga (Serviço de Kubernetes do Azure) usando um controlador de entrada.
- O readme inclui etapas de solução de problemas.
- Leia todas as etapas e a página wiki de solução de problemas cuidadosamente.
Selecione "Implantar no Azure"
- O assistente de configurador pedirá as entradas conforme descrito aqui – Implantando o Cluster do AKS usando o modelo ARM
- Certifique-se de fornecer exatamente o mesmo RG (Grupo de Recursos) na implantação que você deu permissões à identidade gerenciada na Etapa1.
Depois que a implantação for concluída, selecione Microsoft Purview "Ir para Grupo de Recursos" e abra o Cluster DO AKS do Profisee.

Estágios de uma execução de implantação típica do Microsoft Purview – Profisee

Na página de noções básicas, selecione a identidade gerenciada atribuída pelo usuário que você criou anteriormente para implantar os recursos.
Para sua configuração do Profisee, você pode ter suas informações armazenadas em Key Vault ou fornecer os detalhes durante a implantação.
1. Escolha sua versão do Profisee e forneça sua conta de usuário administrador e sua licença.
2. Selecione para configurar usando o Microsoft Purview.
3. Para a ID do Cliente de Registro de Aplicativo, forneça a ID do aplicativo (cliente) para o registro de aplicativo que você criou anteriormente.
4. Selecione sua conta do Microsoft Purview.
5. Adicione a ID do objeto para a entidade de serviço que você criou anteriormente.
6. Adicione o valor do segredo que você criou para essa entidade de serviço.
7. Dê um nome ao aplicativo Web.
Na página Kubernetes, você pode escolher uma versão mais antiga do Kubernetes, se necessário, mas deixar o campo em branco para implantar a versão mais recente .

Dica

Na maioria dos casos, deixar o campo de versão em branco é suficiente, a menos que haja uma razão para você precisar implantar usando uma versão mais antiga do Kubernetes AKS especificamente.
Na página de configuração do SQL, você pode optar por implantar um novo servidor SQL do Azure ou usar um servidor SQL do Azure existente. Você fornecerá detalhes de logon e um nome de banco de dados a ser usado para essa implantação.
Na página de configuração de armazenamento, você pode optar por criar uma nova conta de armazenamento ou usar uma existente. Você precisará fornecer uma chave de acesso e o nome de um compartilhamento de arquivo existente se escolher uma conta existente.
Na página de configuração de rede, você optará por usar o DNS padrão do Azure ou fornecer seu próprio nome de host DNS.

Dica

Sim, use o DNS padrão do Azure é a configuração recomendada. Escolhendo Sim, o implantador cria automaticamente um certificado Let's Encrypt para HTTP/TLS. Se você escolher Não , precisará fornecer vários parâmetros de configuração de rede e seu próprio certificado HTTPS/TLS.

Aviso

A URL DNS padrão do Azure (por exemplo, URL="https://purviewprofisee.southcentralus.cloudapp.azure.com/profisee") será coletado pelo assistente de implantação de modelo do ARM do thr do arquivo de licença fornecido a você pelo Profisee. Se você pretende fazer alterações e não usar o DNS padrão do Azure, comunique o DNS completo e a URL totalmente qualificada do DNS do Profisee para a equipe de suporte do Profisee para que eles possam gerar novamente e fornecer o arquivo de licença atualizado. A falha em fazer isso resultará em uma instalação incorreta do Profisee.
Na página revisar + criar, examine seus detalhes para garantir que eles estejam corretos enquanto o assistente valida sua configuração. Depois que a validação for aprovada, selecione Criar.
Levará cerca de 45 a 50 minutos para a implantação concluir a instalação do Profisee. Durante a implantação, você verá os aspectos que estão em andamento e poderá atualizar a página para revisar o progresso. A implantação será exibida como concluída quando tudo estiver concluído. A conclusão do estágio "InstallProfiseePlatform" também indica que a implantação está concluída!
Depois que a implantação for concluída, abra o grupo de recursos em que você implantou sua integração.
Em saídas, busque a URL de implantação final. O WEBURL final é o que você precisa colar na barra de endereços do navegador e começar a desfrutar Profisee-Purview integração! Essa URL será a mesma que você teria fornecido ao Suporte do Profisee durante a obtenção do arquivo de licença. A menos que você tenha escolhido alterar o formato de URL, ele será semelhante a " https://[profisee_name]. [region].cloudapp.azure.com/profisee/
Popular e hidratar dados para o ambiente do Profisee recém-instalado instalando o FastApp. Acesse a URL de implantação do Profisee e selecione /Profisee/api/client. Deve parecer algo como - "https://[profisee_name]. [region].cloudapp.azure.com/profisee/api/client". Selecione o utilitário Downloads para "Profisee FastApp Studio" e "Ferramentas de Plataforma do Profisee". Instale essas duas ferramentas no computador cliente local.
Faça logon no FastApp Studio e execute o restante do gerenciamento de configuração e administração de MDM para Profisee. Depois de fazer logon com o endereço de email do administrador fornecido durante a instalação; você deve ser capaz de ver o menu de administração no painel esquerdo do Profisee FastApp Studio. Navegue até esses menus e execute o restante da jornada do MDM usando a ferramenta FastApp. Ser capaz de ver o menu de administração, conforme visto na imagem abaixo, confirma a instalação bem-sucedida do Profisee na Plataforma do Azure.
Como etapa final de validação para garantir a instalação bem-sucedida e verificar se o Profisee foi conectado com êxito à instância do Microsoft Purview, acesse /Profisee/api/governance/health Ele deve se parecer com algo como - "https://[profisee_name]. [region].cloudapp.azure.com//Profisee/api/governance/health". A resposta de saída indicará as palavras "Status": "Saudável" em todos os subsistemas do Microsoft Purview.

{
  "OverallStatus": "Healthy",
  "TotalCheckDuration": "0:XXXXXXX",
  "DependencyHealthChecks": {
    "purview_service_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": "Successfully connected to Purview."
    },
    "governance_service_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": "Purview cache loaded successfully. 
      Total assets: NNN; Instances: 1; Entities: NNN; Attributes: NNN; Relationships: NNN; Hierarchies: NNN"
    },
    "messaging_db_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": null
    },
    "logging_db_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": null
    }
  }
}

Uma resposta de saída semelhante à que o acima confirma a instalação bem-sucedida, conclui todas as etapas de implantação; e valida se o Profisee foi conectado com êxito ao Microsoft Purview e indica que os dois sistemas são capazes de se comunicar corretamente.

Próximas etapas

Por meio deste guia, aprendemos sobre a importância do MDM na condução e suporte à Governança de Dados no contexto do patrimônio de dados do Azure e como configurar e implantar uma integração do Microsoft Purview-Profisee. Para obter mais detalhes de uso no MDM do Profisee, registre-se para treinamentos agendados, demonstração de produtos ao vivo e Q&A em Tutoriais e Demonstrações do Profisee Academy!