Modifica

Eseguire la migrazione dei servizi dati master in Azure con CluedIn e Azure Purview

Microsoft Purview
Azure Data Factory
database SQL di Azure
Azure Synapse Analytics

L'architettura incapsula molti pilastri della gestione dei dati master (MDM) in una soluzione MDM coerente, coerente e end-to-end. CluedIn ha introdotto un approccio MDM a modellazione zero che è stato dimostrato di accelerare i progetti MDM e aumentare i tassi di successo delle iniziative MDM.

Architettura

Il diagramma seguente illustra la struttura architetturale di CluedIn e il flusso di dati.

Diagram showing CluedIn architectural structure.

Scaricare un file di Visio di questa architettura.

Workflow

CluedIn usa la rete privata virtuale di Azure (VPN) per consentire la connessione per eseguire la migrazione di istanze MDS locali o per connettersi direttamente a una macchina virtuale SQL ospitata nel cloud con un'istanza di MDS ospitata. Tutte le esigenze di CluedIn puntano al servizio Windows Communication Foundation (WCF) di MDS e automatizzano il processo di spostamento di dati, regole, flussi di lavoro e tutto il resto in CluedIn o nel rispettivo servizio Microsoft.

Grazie all'integrazione nativa con Gestione costi e fatturazione di Azure, è possibile prevedere facilmente i carichi di lavoro MDM CluedIn, man mano che si passa da MDS a CluedIn. CluedIn usa la funzionalità di scalabilità automatica di Azure per poter aumentare e ridurre l'ambiente. CluedIn si integra anche in modo nativo nei budget in Azure, in modo da poter controllare facilmente la spesa nel cloud. Questa integrazione elimina la necessità di prevedere e budget dispendioso in termini di tempo, perché i costi diventeranno evidenti all'interno della piattaforma Azure.

È possibile eseguire la migrazione di pacchetti SSIS ad Azure Data Factory per spostare tutte le pipeline ETL in una soluzione nativa del cloud.

Componenti

CluedIn offre l'integrazione nativa a 27 servizi di Azure, inclusi i componenti seguenti:

Alternative

È anche possibile estendere la piattaforma a scenari alternativi alle funzionalità di base di CluedIn.

In questa versione di CluedIn, l'estensione della piattaforma viene eseguita con i servizi nativi di Azure. Tutti gli eventi vengono esposti nell'hub eventi, in modo che gli sviluppatori possano interagire con loro in qualsiasi modo. Azure Data Factory può essere usato per eseguire il push dei dati in CluedIn, che offre il supporto per l'inserimento di dati in tutti i diversi servizi di Azure in CluedIn. Funzioni di Azure può essere usato per sottoscrivere Hub eventi, in cui è possibile creare le personalizzazioni in una delle lingue supportate in Funzioni di Azure.

Dettagli dello scenario

Ai dati master è stato assegnato il compito di risolvere la qualità dei dati, la governance dei dati e la gestione dei dati aziendali più importanti all'interno di un'azienda. Se si usa attualmente un'istanza o istanze di MASTER Data Services (MDS) locali o ospitate nel cloud, lo scenario seguente semplifica l'esperienza di passaggio a una soluzione nativa di gestione dei dati master di Azure di CluedIn.

CluedIn offre una parità di funzionalità affiancata a SQL MDS che fornisce familiarità con l'utente per gli amministratori dei dati e i team MDM per eseguire facilmente la migrazione dei carichi di lavoro giornalieri da MDS a CluedIn. Inoltre, CluedIn offre molte funzionalità di master dati più importanti, tra cui una base di dati pronti per l'approfondimento nell'azienda.

Funzionalità di CluedIn

I servizi dati master in genere contengono le funzionalità principali seguenti:

  • Supporto per il controllo delle versioni del modello
  • Regole di business
  • Servizi data quality
  • Workflow
  • Gerarchie
  • Plug-in excel

CluedIn offre funzionalità per tutte le operazioni precedenti. Inoltre, sono abilitati anche i casi d'uso seguenti:

  • Le gerarchie possono ora essere visualizzate in modo nativo in Power BI.
  • I flussi di lavoro vengono migrati e possono essere compilati ed estesi direttamente in Power Automate.
  • Le regole business e i servizi data quality vengono migrati in modo nativo nel motore delle regole CluedIn.
  • CluedIn fornisce l'arricchimento dei dati predefinito per i record MDS, per correggere e convalidare automaticamente gli indirizzi, le informazioni aziendali e altro ancora.
  • Gestire il consenso ed eseguire richieste di accesso degli interessati.
  • Se necessario, eseguire il writeback nell'istanza di MDS.

CluedIn supporta anche la migrazione della cronologia delle modifiche dei dati e può creare automaticamente la cronologia della qualità dei dati dalle istanze di MDS. È anche possibile eseguire una soluzione MDS e CluedIn in-sync, se non si desidera disattivare le istanze MDS non appena il processo di migrazione è terminato.

CluedIn supporta in modo nativo Common Data Model/Dataverse. In altre parole, Power Apps, Power Automate, Power BI, chatbot virtuali e utenti di Microsoft Dynamics possono usare in modo nativo i dati di CluedIn, senza la necessità di alcuna configurazione o integrazione aggiuntiva.

CluedIn si integra in modo nativo con Azure Purview

Azure Purview offre funzionalità di governance dei dati nel cloud di Microsoft Azure e CluedIn offre l'integrazione nativa alla relativa funzionalità.

  • Il glossario di Azure Purview è disponibile direttamente in CluedIn e viceversa.
  • CluedIn può inserire asset registrati in Purview.
  • CluedIn analizza le informazioni personali da Azure Purview e può individuare un livello di record in cui si trovano i dati personali. Aggiunge inoltre il supporto per le informazioni personali in dati non strutturati e semistrutturati, non solo strutturati.
  • CluedIn userà il set di schemi in Purview per eseguire automaticamente il mapping dei set di dati in CluedIn.
  • CluedIn estende la derivazione purview con log di elaborazione dettagliati.
  • CluedIn può avviare analisi purview prima che venga pianificato un nuovo inserimento dati.

L'immagine seguente illustra il set di funzionalità derivazione.

Screenshot showing the CluedIn Lineage feature set.

Supporto di Azure Data Factory

Azure Data Factory (ADF) offre il supporto per la connessione a oltre 100 servizi. Questi dati possono essere recapitati direttamente in CluedIn usando flussi live di dati push da ADF. CluedIn non solo consente di connettersi alle istanze di Master Data Service (MDS), ma si connette anche a centinaia di origini dati da SAAS, database, data lake e altro ancora.

Di seguito sono riportate le principali funzionalità di supporto di Azure Data Factory:

  • È possibile configurarlo per ascoltare gli eventi dall'hub eventi e quindi è possibile inserire i dati direttamente in CluedIn.
  • Il supporto nativo è disponibile direttamente all'interno di CluedIn per configurare endpoint specifici di Azure Data Factory.
  • È possibile usare facilmente le pipeline di Azure Data Factory esistenti con un nuovo sink di destinazione.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Framework ben progettato di Microsoft Azure.

Modellazione

CluedIn usa un processo di modellazione automatica, pertanto non è necessario eseguire la migrazione o ricreare modelli di dati da master data services (MDS) o altre origini dati, ad esempio Microsoft Dynamics. Questa funzionalità usa un database a grafo per compilare automaticamente un modello in base ai dati inviati al sistema. Se si passa da un modello relazionale tradizionale a un grafo, si ottiene un notevole valore e flessibilità nelle iniziative di dati master. L'approccio del grafo non è diverso da uno stile relazionale di modellazione.

L'aspetto più importante di questa modellazione è che uno stile relazionale ti darà un modo flessibile per rappresentare i modelli di dati master, in tutte le diverse forme e dimensioni. Questo stile porta a un'enorme flessibilità, quando l'azienda richiede che il modello di dati master si adatti ai diversi casi d'uso e ai requisiti aziendali. CluedIn usa un approccio senza schema iniziale all'inserimento dei dati. I dati non devono essere inseriti in uno schema stretto e rigido all'ingresso nella piattaforma. Tuttavia, è possibile applicare uno schema stretto e rigido all'uscita dei dati da CluedIn, quando viene usato nei diversi casi d'uso che applicano i dati dalla piattaforma CluedIn.

L'immagine seguente mostra il set di funzionalità Relazioni.

Screenshot showing the CluedIn Relations feature set.

Disponibilità

Questa soluzione è ospitata come offerta di applicazione gestita e può essere applicata nel proprio tenant, in cui il fornitore gestirà gli aggiornamenti, la manutenzione, i backup e altro ancora per conto dell'utente.

CluedIn si integra in modo nativo nell'integrità dei servizi di Azure e nella manutenzione pianificata di Azure, in modo che gli aggiornamenti e le patch siano simili agli annunci nativi di Azure. In combinazione con l'elevata affidabilità nell'ambiente Azure, CluedIn può soddisfare i requisiti più elevati del contratto di servizio.

Efficienza prestazionale

L'efficienza delle prestazioni è la capacità di dimensionare il carico di lavoro per soddisfare in modo efficiente le richieste poste dagli utenti. Per altre informazioni, vedere Panoramica dell'efficienza delle prestazioni.

CluedIn separa l'archiviazione dal calcolo, quindi l'elaborazione dei dati è completamente senza stato. Poiché è supportato da un bus di servizio di streaming, questo significa che CluedIn può aumentare e ridurre le prestazioni, tanto quanto meno necessario, a seconda dei carichi di lavoro. CluedIn supporta le funzionalità di scalabilità automatica di Azure all'interno di servizio Azure Kubernetes (servizio Azure Kubernetes), in modo che il ridimensionamento possa essere automatizzato. Per migliorare le prestazioni nell'elaborazione dei dati, è sufficiente allocare più pod di elaborazione al cluster Kubernetes, che può essere tutto automatizzato.

Scalabilità

CluedIn supporta l'integrazione di tutte le istanze MDS necessarie. Ad esempio, è possibile inserire e gestire 50 istanze MDS in CluedIn. È possibile eseguirli multi-tenant o tutti uniti nello stesso account. Dopo aver eseguito la migrazione della soluzione MDS a CluedIn, esistono molti modi per eseguire l'onboarding di nuovi sistemi e dati master, con diverse opzioni per caricare i dati.

CluedIn viene eseguito nei contenitori Docker e usa Kubernetes per ospitare e orchestrare le diverse parti dell'applicazione. Questa architettura significa che CluedIn funziona bene negli ambienti elastici e può essere ridimensionata automaticamente in base alle dimensioni e all'infrastruttura necessarie.

Con il supporto nativo per la scalabilità automatica, CluedIn usa la potenza di Azure per offrire un ambiente scalabile per i carichi di lavoro di dati più grandi. Non è comune per gli account CluedIn avere decine di milioni o centinaia di milioni di record nella piattaforma.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.

La sicurezza CluedIn concede autorizzazioni e controlla l'accesso a servizi diversi tramite il controllo degli accessi in base al ruolo di Azure, con il controllo delle chiavi di sicurezza di Azure e il rilevamento e la registrazione degli accessi in Monitoraggio di Azure. Oltre agli account utente autenticati, CluedIn supporta anche l'accesso Single Sign-On (SSO) e i framework di gestione delle identità. Le richieste all'applicazione CluedIn usano token di accesso crittografati che non hanno alcuna correlazione con l'identità utente. Con il supporto native di Microsoft Entra ID, è sufficiente collegare le informazioni SAML 2.0 in CluedIn e può essere usato immediatamente per gestire l'accesso utente e ruolo alla nuova soluzione MDM.

Resilienza

CluedIn viene eseguito in modalità a disponibilità elevata a livello di archivio dati e applicazione. A causa della separazione dell'archiviazione e dell'elaborazione, CluedIn ha resistenza incorporata e tolleranza di errore. Diverse parti dell'applicazione CluedIn possono essere ridimensionate in modo indipendente, in modo da soddisfare un'ampia gamma di carichi di lavoro.

Eccellenza operativa

CluedIn usa le pipeline di integrazione continua e recapito continuo (CI/CD) di Azure Pipelines per gestire le distribuzioni e gli aggiornamenti in sequenza nell'ambiente del servizio Azure Kubernetes. I clienti possono anche usare questa infrastruttura per distribuire personalizzazioni personalizzate in CluedIn stesso.

Ottimizzazione dei costi

L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.

I costi di CluedIn iniziano a ridurre e, in base all'utilizzo, aumentano i prezzi in base all'utilizzo. I budget possono essere impostati direttamente all'interno del portale di Azure in modo da poter mantenere il controllo dei costi operativi.

Ridimensionamento di Azure e avvio di una versione di valutazione

È possibile avviare una versione di valutazione di CluedIn nel relativo sito Web, che consente anche di definire l'ambito dei costi di hosting di Azure con stime predefinite di Azure per ambienti di dimensioni diverse.

Distribuire lo scenario

Per distribuire CluedIn per scopi di sviluppo e valutazione con Docker, vedere Guida all'installazione locale.

Per installare CluedIn nell'ambiente di produzione, le istanze di CluedIn possono essere installate direttamente da Azure Marketplace nel proprio tenant di Azure.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi