Bearbeiten

Freigeben über

Migrieren von Masterdatendiensten zu Azure mit CluedIn und Azure Purview

Microsoft Purview
Azure Data Factory
Azure SQL-Datenbank
Azure Synapse Analytics

Die Architektur kapselt viele Säulen der Masterdatenverwaltung (Master Data Management, MDM) in einer kohärenten und konsistenten End-to-End-MDM-Lösung. CluedIn hat einen MDM-Ansatz ohne Modellierung (zero-modeling) eingeführt, der nachweislich MDM-Projekte beschleunigt und die Erfolgsraten der MDM-Initiativen erhöht.

Architektur

Das folgende Diagramm veranschaulicht die CluedIn-Architekturstruktur und den Datenfluss.

Diagramm der Architektur und des Datenflusses von CluedIn.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Workflow

CluedIn verwendet das virtuelle private Netzwerk (VPN) von Azure, um Ihnen eine Verbindung mit migrierten lokalen MDS-Instanzen zu gestatten, oder um eine direkte Verbindung mit einer in der Cloud gehosteten SQL-VM mit einer gehosteten MDS-Instanz herzustellen. CluedIn muss nur auf den WCF-Dienst (Windows Communication Foundation) von MDS verweisen, und der Prozess des Verschiebens der Daten, Regeln, Workflows und von allem anderen in CluedIn oder den jeweiligen Microsoft-Dienst wird automatisiert.

Mit der nativen Integration in Microsoft Cost Management können Sie ganz einfach Ihre CluedIn-MDM-Workloads vorhersagen, wenn Sie von MDS zu CluedIn wechseln. CluedIn nutzt das Autoskalierungsfeature von Azure, um die Umgebung hoch- und herunterskalieren zu können. CluedIn lässt sich auch nativ in Budgets in Azure integrieren, sodass Sie Ihre Ausgaben in der Cloud problemlos kontrollieren können. Durch diese Integration entfällt die Notwendigkeit zeitaufwändiger Vorhersagen und Budgetierungen, da die Kosten innerhalb der Azure-Plattform offensichtlich werden.

SSIS-Pakete können zu Azure Data Factory migriert werden, um alle Ihre ETL-Pipelines (Extrahieren, Transformieren, Laden) in eine cloudnative Lösung zu verschieben.

Komponenten

CluedIn bietet native Integration in 27 Azure-Dienste, einschließlich der folgenden Komponenten:

Alternativen

Sie können die Plattform auch auf alternative Szenarien zu den Kernfunktionen von CluedIn erweitern.

In dieser Version von CluedIn erfolgt die Erweiterung der Plattform vollständig mit nativen Azure-Diensten. Alle Ereignisse werden auf dem Event Hub verfügbar gemacht, damit Ihre Entwickler auf beliebige Weise mit ihnen interagieren können. Azure Data Factory kann verwendet werden, um Daten an CluedIn zu pushen. Dieses bietet Unterstützung, um Daten über alle verschiedenen Azure-Dienste in CluedIn zu übertragen. Azure Functions kann verwendet werden, um die Event Hubs zu abonnieren, in denen Sie Ihre Anpassungen in einer der in Azure Functions unterstützten Sprachen erstellen können.

Szenariodetails

Master Data (Masterdaten) hat die Aufgabe, die Datenqualität und Data Governance zu lösen sowie die wichtigsten Geschäftsdaten innerhalb eines Unternehmens zu handhaben. Wenn Sie derzeit eine oder mehrere lokale oder in der Cloud gehostete SQL Master Data Services-Instanzen (MDS) verwenden, vereinfacht das folgende Szenario die Umstellung auf eine native Azure-Masterdatenverwaltungs-Lösung von CluedIn.

CluedIn bietet parallele Featureparität mit SQL MDS, die Data Stewards und MDM-Teams eine vertraute Umgebung bietet, um ihre täglichen Workloads problemlos von MDS zu CluedIn zu migrieren. Darüber hinaus bietet CluedIn viele weitere wertvolle Datenmasterfunktionen, einschließlich einer Grundlage für erkenntnisfähige Daten Ihres Unternehmens.

CluedIn-Features

Master Data Services enthalten in der Regel die folgenden Hauptfunktionen:

  • Unterstützung für Modellversionsverwaltung
  • Geschäftsregeln
  • Data Quality Services
  • Workflow
  • Hierarchien
  • Excel-Plug-In

CluedIn bietet Funktionen für alles oben genannte. Darüber hinaus sind die folgenden Anwendungsfälle ebenfalls möglich:

  • Hierarchien können jetzt nativ in Power BI visualisiert werden.
  • Workflows werden migriert und können direkt in Power Automate erstellt und erweitert werden.
  • Geschäftsregeln und Data Quality Services werden nativ in die CluedIn-Regel-Engine migriert.
  • CluedIn bietet integrierte Datenanreicherung für Ihre MDS-Datensätze, um Adressen, Unternehmensinformationen und mehr automatisch zu korrigieren und zu überprüfen.
  • Verwalten der Einwilligung und Ausführen von Zugriffsanträge von betroffenen Personen („Datensubjekte“).
  • Zurückschreiben in die MDS-Instanz bei Bedarf.

CluedIn unterstützt auch die Migration des Datenänderungsverlaufs und kann automatisch einen Data Quality-Verlauf aus Ihren MDS-Instanzen erstellen. Sie können auch eine MDS-Lösung und CluedIn synchron ausführen, wenn Sie Ihre MDS-Instanzen nicht deaktivieren möchten, sobald der Migrationsprozess abgeschlossen ist.

CluedIn unterstützt nativ das Common Data Model/Dataverse. Anders ausgedrückt: Benutzer von Power Apps, Power Automate, Power BI, virtuellen Chatbots und Microsoft Dynamics können alle Daten von CluedIn nativ nutzen, ohne dass zusätzliche Einrichtungen oder Integrationen erforderlich sind.

CluedIn integriert sich nativ in Azure Purview

Azure Purview führt Data Governance-Funktionen in die Microsoft Azure Cloud ein, und CluedIn bietet native Integration in seine Funktionalität.

  • Das Azure Purview-Glossar ist direkt in CluedIn verfügbar und umgekehrt.
  • CluedIn kann Ressourcen erfassen, die in Purview registriert wurden.
  • CluedIn überprüft die personenbezogenen Informationen aus Azure Purview und kann bis auf Datensatzebene genau ermitteln, wo sich die personenbezogenen Daten befinden. Außerdem wird Unterstützung für personenbezogene Informationen in unstrukturierten und teilweise strukturierten Daten hinzugefügt, nicht nur in strukturierten Daten.
  • CluedIn verwendet das in Purview festgelegte Schema, um Datasets automatisch in CluedIn zuzuordnen.
  • CluedIn erweitert die Purview-Datenherkunft um detaillierte Verarbeitungsprotokolle.
  • CluedIn kann Purview-Überprüfungen initiieren, bevor eine neue Datenerfassung geplant wird.

Die folgende Abbildung zeigt den Datenherkunfts-Featuresatz (Lineage).

Screenshot des CluedIn-Datenherkunfts-Featuresatzes (Lineage).

Azure Data Factory-Unterstützung

Azure Data Factory (ADF) bietet Unterstützung für Verbindungen mit mehr als 100 Diensten. Diese Daten können mithilfe von Livestreams aus Pushdaten aus ADF direkt an CluedIn übermittelt werden. CluedIn ermöglicht Ihnen nicht nur die Verbindung mit Ihren Master Data Service-Instanzen (MDS), sondern auch die Verbindung mit Hunderten von Datenquellen aus Software-as-a-Service (SaaS), Datenbanken, Data Lakes und mehr.

Im Folgenden finden Sie die wichtigsten ADF-Unterstützungsfunktionen:

  • Sie können sie so einrichten, dass sie auf Ereignisse von Event Hub lauscht, um die Daten anschließend direkt wieder zurück an CluedIn zu übertragen.
  • Native Unterstützung ist direkt in CluedIn verfügbar, um ADF-spezifische Endpunkte einzurichten.
  • Sie können vorhandene ADF-Pipelines problemlos mit einer neuen Zielsenke verwenden.

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Modellierung

CluedIn verwendet einen automatischen Modellierungsprozess, sodass keine Notwendigkeit besteht, Datenmodelle aus Masterdatendiensten (MDS) oder anderen Datenquellen wie Microsoft Dynamics zu migrieren oder neu zu erstellen. Dieses Feature verwendet eine Graphdatenbank, um automatisch ein Modell basierend auf den Daten zu erstellen, die an das System gesendet werden. Wenn Sie von einem herkömmlichen relationalen Modell auf einen Graphen umstellen, steigern Sie den Wert und die Flexibilität in Ihren Masterdateninitiativen enorm. Der Graphansatz unterscheidet sich nicht so sehr von einem relationalen Modellierungsstil.

Der wichtigste Aspekt dieser Modellierung ist, dass ein relationaler Stil Ihnen und Ihrem Team eine flexible Möglichkeit bietet, Ihre Masterdatenmodelle in allen verschiedenen Formen und Größen darzustellen. Dieser Stil führt zu enormer Flexibilität, wenn Ihr Unternehmen erfordert, dass sich Ihr Masterdatenmodell an verschiedene Anwendungsfälle und Geschäftsanforderungen anpasst. CluedIn verwendet einen schemafreien Ansatz für die Datenerfassung im Vorfeld. Ihre Daten müssen beim Einstieg in die Plattform nicht in ein enges und festes Schema passen. Allerdings kann ein enges und festes Schema auf den Ausgabeweg der Daten aus CluedIn heraus angewendet werden, wenn es in den verschiedenen Anwendungsfällen verwendet wird, die für die Daten von der CluedIn-Plattform gelten.

Die folgende Abbildung zeigt den Beziehungen-Featuresatz (Relations).

Screenshot des CluedIn-Beziehungen-Featuresatzes (Relations).

Verfügbarkeit

Diese Lösung wird als Angebot für verwaltete Anwendungen gehostet und kann in Ihrem eigenen Mandanten angewendet werden, wo der Anbieter Upgrades, Wartung, Sicherungen und mehr in Ihrem Auftrag verwaltet.

CluedIn lässt sich nativ in Azure Service Health und die geplante Wartung in Azure integrieren, sodass Upgrades und Patches wie native Azure-Ankündigungen aussehen. In Kombination mit der hohen Robustheit der Azure-Umgebung kann CluedIn die höchsten SLA-Anforderungen (Service Level Agreement, Vereinbarung zum Servicelevel) erfüllen.

Effiziente Leistung

Leistungseffizienz ist die Fähigkeit Ihrer Workload, auf effiziente Weise eine den Anforderungen der Benutzer entsprechende Skalierung auszuführen. Weitere Informationen finden Sie unter Übersicht über die Säule „Leistungseffizienz“.

CluedIn trennt Speicher von Compute-Ressourcen, sodass die Verarbeitung von Daten vollständig zustandslos erfolgt. Da sie von einem Streaming-Service Bus unterstützt wird, bedeutet dies, dass CluedIn je nach Ihren Workloads ganz nach Ihren Anforderungen hoch- und herunterskaliert werden kann. CluedIn unterstützt die Autoskalierungsfunktion von Azure innerhalb von Azure Kubernetes Service (AKS), sodass sich die Skalierung automatisieren lässt. Um die Leistung bei der Verarbeitung von Daten zu erhöhen, ordnen Sie Ihrem Kubernetes-Cluster einfach mehr Verarbeitungspods zu, die alle automatisiert werden können.

Skalierbarkeit

CluedIn unterstützt die Integration von so vielen MDS-Instanzen, wie Sie benötigen. Beispielsweise können Sie 50 MDS-Instanzen in CluedIn erfassen und verwalten. Sie können sie entweder mehrinstanzenfähig oder alle im selben Konto kombiniert ausführen. Nachdem Ihre MDS-Lösung zu CluedIn migriert wurde, gibt es viele Möglichkeiten für das Onboarding neuer Systeme und Masterdaten mit unterschiedlichen Optionen, wie die Daten geladen werden.

CluedIn wird in Docker-Containern ausgeführt und verwendet Kubernetes für das Hosten und Orchestrieren der verschiedenen Teile der Anwendung. Dank dieser Architektur funktioniert CluedIn gut in elastischen Umgebungen und kann automatisch auf die benötigte Größe und Infrastruktur skalieren.

Dank der nativen Unterstützung für die automatische Skalierung nutzt CluedIn die Leistungsfähigkeit von Azure, um eine skalierbare Umgebung für die größten Datenworkloads bereitzustellen. Es ist nicht unüblich, dass CluedIn-Konten dutzende Millionen oder Hunderte Millionen von Datensätzen auf der Plattform haben.

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Übersicht über die Säule „Sicherheit“.

Die CluedIn-Sicherheit erteilt Berechtigungen und steuert den Zugriff auf verschiedene Dienste über die rollenbasierte Zugriffssteuerung in Azure (RBAC) sowie mithilfe der Steuerung durch Sicherheitsschlüssel in Azure Key Vault und der Zugriffsüberwachung und -protokollierung von Azure Monitor. Neben authentifizierten Benutzerkonten unterstützt CluedIn auch das einmalige Anmelden (Single Sign-On, SSO) und Identitätsframeworks. Für Anforderungen an die CluedIn-Anwendung werden verschlüsselte Zugriffstoken verwendet, die in keiner Beziehung zur Benutzeridentität stehen. Mit nativer Microsoft Entra ID-Unterstützung können Sie Ihre SAML 2.0-Informationen (Security Assertion Markup Language) einfach in CluedIn einfügen und sofort zum Verwalten des Benutzer- und Rollenzugriffs auf Ihre neue MDM-Lösung verwenden.

Resilienz

CluedIn wird in einem Hochverfügbarkeitsmodus auf Datenspeicher- und Anwendungsebene ausgeführt. Aufgrund der Trennung von Speicher und Verarbeitung verfügt CluedIn über integrierte Widerstandsfähigkeit und Fehlertoleranz. Verschiedene Teile der CluedIn-Anwendung können unabhängig voneinander hoch- und herunterskaliert werden, um eine Vielzahl unterschiedlicher Workloads zu bewältigen.

Optimaler Betrieb

CluedIn verwendet CI/CD-Pipelines (Continuous Integration und Continuous Delivery) aus Azure Pipelines für Bereitstellungen und parallele Updates für die AKS-Umgebung. Kunden können diese Infrastruktur auch nutzen, um ihre eigenen Anpassungen für CluedIn selbst bereitzustellen.

Kostenoptimierung

Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Übersicht über die Säule „Kostenoptimierung“.

CluedIn-Kosten beginnen niedrig, und die Preise werden auf Grundlage Ihrer Nutzung entsprechend hochskaliert. Budgets können direkt innerhalb des Azure-Portals festgelegt werden, damit Sie die Kontrolle über Ihre Betriebskosten behalten können.

Azure-Größe und Starten einer Testversion

Sie können eine Testversion von CluedIn auf deren Website starten, die Ihnen auch helfen kann, Ihre Azure-Hostingkosten mit vordefinierten Azure-Schätzungen für Umgebungen unterschiedlicher Größe zu gestalten.

Bereitstellen dieses Szenarios

Informationen zur Bereitstellung von CluedIn mit Docker für Entwicklungs- und Bewertungszwecke finden Sie im Leitfaden zur lokalen Installation.

Um CluedIn in der Produktion zu installieren, können CluedIn-Instanzen direkt aus dem Azure Marketplace in Ihrem eigenen Azure-Mandanten installiert werden.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte