Editar

Share via

Migrar o Master Data Services para o Azure com o CluedIn e o Azure Purview

Microsoft Purview
Fábrica de dados do Azure
Banco de Dados SQL do Azure
Azure Synapse Analytics

A arquitetura encapsula muitos pilares do MDM (Gerenciamento de Dados Mestre) em uma solução de MDM coerente, consistente e de ponta a ponta. O CluedIn introduziu uma abordagem de MDM de modelagem zero que foi comprovada a acelerar projetos de MDM e aumentar as taxas de sucesso das iniciativas de MDM.

Arquitetura

O diagrama a seguir demonstra a estrutura arquitetônica e o fluxo de dados do CluedIn.

Diagram showing CluedIn architectural structure.

Baixe um Arquivo Visio dessa arquitetura.

Workflow

O CluedIn usa a VPN (rede virtual privada) do Azure para permitir que você se conecte para migrar instâncias locais do MDS ou conectar-se diretamente a uma VM SQL hospedada na nuvem com uma instância do MDS hospedada. Tudo o que o CluedIn precisa é apontar para o serviço WCF (Windows Communication Foundation) do MDS e automatizará o processo de migrar dados, regras, fluxos de trabalho e tudo mais no CluedIn ou no respectivo serviço da Microsoft.

Com a integração nativa ao Gerenciamento de Custos e Cobrança do Azure, você pode prever facilmente suas cargas de trabalho do MDM do CluedIn à medida que você migra do MDS para o CluedIn. O CluedIn utiliza o recurso de Dimensionamento Automático do Azure para escalar e reduzir verticalmente o ambiente. O CluedIn também se integra nativamente aos orçamentos no Azure, para que você possa controlar facilmente seus gastos na nuvem. Essa integração elimina a necessidade de previsão e orçamento demorados, pois os custos se tornarão claros na plataforma do Azure.

Os pacotes SSIS podem ser migrados para o Azure Data Factory para migrar todos os pipelines de ETL para uma solução nativa de nuvem.

Componentes

O CluedIn fornece integração nativa a 27 serviços do Azure, incluindo os seguintes componentes:

Alternativas

Você também pode estender a plataforma para cenários alternativos para os principais recursos do CluedIn.

Nesta versão do CluedIn, estender a plataforma é feito usando os serviços nativos do Azure. Todos os eventos são expostos no Hub de Eventos para que os desenvolvedores interajam com eles da maneira que desejarem. O Azure Data Factory pode ser usado para enviar dados por push para o CluedIn, que oferece suporte para trazer dados em todos os diferentes Serviços do Azure para o CluedIn. O Azure Functions pode ser usado para assinar os Hubs de Eventos, nos quais você pode criar suas personalizações em qualquer um dos idiomas com suporte no Azure Functions.

Detalhes do cenário

Os dados mestre receberam a tarefa de resolver a qualidade dos dados, a governança de dados e o domínio dos dados comerciais mais importantes em uma empresa. Se você estiver usando atualmente instâncias de MDS (Master Data Services) do SQL hospedadas na nuvem ou local, o cenário a seguir simplificará a experiência de migrar para uma solução de gerenciamento de dados mestre do Azure nativa pelo CluedIn.

O CluedIn fornece uma paridade de recursos lado a lado para o SQL MDS que fornece familiaridade do usuário para administradores de dados e equipes de MDM migrarem facilmente as cargas de trabalho diárias do MDS para o CluedIn. Além disso, o CluedIn fornece muitas funcionalidades mais valiosas do mestre de dados, incluindo uma base de dados prontos para insight em sua empresa.

Recursos do CluedIn

O Master Data Services tradicionalmente contém a seguinte funcionalidade principal:

  • Suporte para controle de versão de modelo
  • Regras de negócios
  • Serviços de qualidade de dados
  • Workflow
  • Hierarquias
  • Plug-in do Excel

O CluedIn fornece funcionalidade para todas as opções acima. Além disso, os seguintes casos de uso também estão habilitados:

  • As hierarquias agora podem ser visualizadas nativamente no Power BI.
  • Os fluxos de trabalho são migrados e podem ser criados e estendidos diretamente no Power Automate.
  • As regras de negócio e os serviços de qualidade de dados são migrados nativamente para o mecanismo de Regras do CluedIn.
  • O CluedIn fornece enriquecimento de dados integrado para seus registros MDS, para corrigir e validar automaticamente endereços, informações da empresa e muito mais.
  • Gerencie o consentimento e execute solicitações de acesso de titular dos dados.
  • Faça write-back para a instância do MDS, se necessário.

O CluedIn também dá suporte à migração do histórico de alterações de dados e pode compilar automaticamente o histórico de qualidade de dados das suas instâncias de MDS. Você também poderá executar uma solução MDS e o CluedIn em sincronia, se não quiser desativar suas instâncias de MDS assim que o processo de migração for concluído.

O CluedIn dá suporte nativo ao Common Data Model/Dataverse. Em outras palavras, o Power Apps, o Power Automate, o Power BI, os chatbots virtuais e os usuários do Microsoft Dynamics podem utilizar nativamente dados do CluedIn, sem a necessidade de nenhuma configuração ou integração extra.

O CluedIn integra-se nativamente ao Azure Purview

O Azure Purview traz funcionalidades de governança de dados para a nuvem do Microsoft Azure e o CluedIn fornece integração nativa à essa funcionalidade.

  • O Glossário do Azure Purview está disponível diretamente no CluedIn e vice-versa.
  • O CluedIn pode ingerir ativos que foram registrados no Purview.
  • O CluedIn examina as informações pessoais do Azure Purview e pode identificar o nível de registro em que os dados pessoais estão. Ele também adiciona suporte para informações pessoais em dados não estruturados e semiestruturados, não apenas em dados estruturados.
  • O CluedIn usará o esquema definido no Purview para mapear automaticamente os conjuntos de dados no CluedIn.
  • O CluedIn estende a Linhagem do Purview com logs de processamento detalhados.
  • O CluedIn pode iniciar Verificações do Purview para que uma nova ingestão de dados seja agendada.

A imagem a seguir demonstra o conjunto de recursos da Linhagem.

Screenshot showing the CluedIn Lineage feature set.

Suporte do Azure Data Factory

O ADF (Azure Data Factory) oferece suporte de conexão a mais de 100 serviços. Esses dados podem ser entregues diretamente no CluedIn usando transmissões ao vivo de dados por push do ADF. O CluedIn não só permite que você se conecte às instâncias do MDS (Master Data Services), mas também se conecta a centenas de fontes de dados em SAAS, bancos de dados, data lakes e muito mais.

Veja os principais recursos de suporte do ADF abaixo:

  • Você pode configurá-lo para escutar eventos do Hub de Eventos e alimentar os dados novamente no CluedIn.
  • O suporte nativo está disponível diretamente no CluedIn para configurar pontos de extremidade específicos do ADF.
  • Você pode utilizar facilmente pipelines do ADF existentes com um novo coletor de destino.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.

Modelagem

O CluedIn usa um processo de modelagem automática, portanto, não é necessário migrar nem recriar modelos de dados do MDS (Master Data Services) ou de outras fontes de dados, como o Microsoft Dynamics. Esse recurso utiliza um banco de dados de grafo para criar automaticamente um modelo com base nos dados enviados ao sistema. Se você passar de um modelo com base relacional tradicional para um grafo, aumentará muito o valor e a flexibilidade das suas iniciativas de dados mestres. A abordagem de grafo não é tão diferente de um estilo relacional de modelagem.

O aspecto mais importante dessa modelagem é que um estilo relacional fornecerá a você e sua equipe uma forma flexível de representar seus modelos de dados mestres, em todas as formas e tamanhos diferentes. Esse estilo resulta em uma imensa flexibilidade, quando sua empresa exige que seu modelo de dados mestres se estenda para se adequar a diferentes casos de uso e requisitos de negócios. O CluedIn utiliza uma abordagem sem esquema inicial para a ingestão de dados. Seus dados não precisam se encaixar em um esquema rígido e imutável ao migrarem para a plataforma. No entanto, um esquema rígido e imutável pode ser aplicado na saída dos dados do CluedIn, quando eles são usados em diferentes casos de uso que estão aplicando os dados da plataforma CluedIn.

A imagem a seguir mostra o conjunto de recursos Relações.

Screenshot showing the CluedIn Relations feature set.

Disponibilidade

Essa solução é hospedada como uma oferta de aplicativo gerenciado e pode ser aplicada no seu locatário, no qual o fornecedor vai gerenciar atualizações, manutenção, backups e muito mais em seu nome.

O CluedIn integra-se nativamente à Integridade do Serviço do Azure e à manutenção agendada do Azure, para que os upgrades e patches sejam como anúncios nativos do Azure. Em combinação com a alta robustez no ambiente do Azure, o CluedIn pode atender aos requisitos de SLA (contrato de nível de serviço) mais altos.

Eficiência de desempenho

A eficiência do desempenho é a capacidade de dimensionar sua carga de trabalho para atender às demandas colocadas por usuários de maneira eficiente. Para saber mais, confira Visão geral do pilar de eficiência de desempenho.

O CluedIn separa o armazenamento da computação, portanto, o processamento de dados é completamente sem estado. Como ele é apoiado por um barramento de serviço de streaming, isso significa que o CluedIn pode escalar e reduzir verticalmente, o quanto você precisar, dependendo de suas cargas de trabalho. O CluedIn dá suporte aos recursos de dimensionamento automático do Azure no AKS (Serviço de Kubernetes do Azure) para que a escala possa ser automatizada. Para aumentar o desempenho no processamento de dados, basta alocar mais pods de processamento para o cluster do Kubernetes, que pode ser totalmente automatizado.

Escalabilidade

O CluedIn dá suporte à integração de quantas instâncias de MDS você precisar. Por exemplo, você pode ingerir e gerenciar 50 instâncias de MDS no CluedIn. Você pode executá-los em multilocatários ou misturados na mesma conta. Depois que a solução MDS for migrada para o CluedIn, há muitas maneiras de integrar novos sistemas e dados mestres, com opções diferentes de como carregar os dados.

O CluedIn é executado em contêineres do Docker e usa o Kubernetes para hospedar e orquestrar as diferentes partes do aplicativo. Essa arquitetura significa que o CluedIn funciona bem em ambientes elásticos e pode ser dimensionado automaticamente para atender às necessidades de tamanho e infraestrutura.

Com suporte nativo para dimensionamento automático, o CluedIn usa a capacidade do Azure para fornecer um ambiente escalonável para as maiores cargas de trabalho de dados. Não é incomum que as contas do CluedIn tenham dezenas de milhões ou centenas de milhões de registros na plataforma.

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.

A segurança do CluedIn concede permissões e controles de acesso a diferentes serviços por meio do RBAC do Azure, com o controle de chave de segurança do Azure Key Vault e o rastreamento de acesso e registro em log do Azure Monitor. Além das contas de usuário autenticadas, o CluedIn também dá suporte a SSO (logon único) e estruturas de identidade. As solicitações para o aplicativo CluedIn usam tokens de acesso criptografados que não têm correlação com a identidade do usuário. Com o suporte nativo ao Microsoft Entra ID, basta inserir suas informações de SAML 2.0 no CluedIn e elas podem ser usadas imediatamente para gerenciar o acesso de usuários e funções à sua nova solução MDM.

Resiliência

O CluedIn é executado em um modo de alta disponibilidade no nível do armazenamento de dados e do aplicativo. Devido à separação de armazenamento e processamento, o CluedIn tem resistência interna e tolerância a falhas. Diferentes partes do aplicativo CluedIn podem ser escaladas e reduzidas verticalmente de modo independente para atender a uma matriz diversificada de cargas de trabalho.

Excelência operacional

O CluedIn usa os pipelines de CI/CD (integração contínua e entrega contínua) do Azure Pipelines para gerenciar implantações e atualizações sem interrupção no ambiente do AKS. Os clientes também podem utilizar essa infraestrutura para implantar as próprias personalizações no próprio CluedIn.

Otimização de custo

A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.

Os custos do CluedIn começam baixos e, de acordo com o seu uso, são escalados verticalmente. Os orçamentos podem ser definidos diretamente no portal do Azure para que você possa manter o controle dos custos operacionais.

Dimensionamento do Azure e início de avaliação

Você pode iniciar uma avaliação do CluedIn no site, o que também pode ajudar a definir o escopo dos custos de hospedagem do Azure com estimativas predefinidas do Azure para ambientes de diferentes tamanhos.

Implantar este cenário

Para implantar o CluedIn para fins de desenvolvimento e avaliação usando o Docker, consulte Guia de instalação local.

Para instalar o CluedIn em produção, as instâncias do CluedIn podem ser instaladas diretamente do Azure Marketplace no próprio locatário do Azure.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Para ver perfis não públicos do LinkedIn, entre no LinkedIn.

Próximas etapas