Analysieren von Betriebsdaten im MongoDB Atlas mithilfe von Azure Synapse Analytics

Azure App Service

Azure Data Lake Storage

Azure Event Grid

Azure Synapse Analytics

Power BI

In diesem Artikel wird eine Lösung für die Ableitung von Erkenntnissen aus den Operativen Daten des MongoDB Atlas vorgestellt. Die Lösung verbindet MongoDB Atlas mit Azure Synapse Analytics. Die Verbindung ermöglicht die Übertragung von Daten in Batches und in Echtzeit. Der Echtzeitansatz hält Azure Synapse Analytics dedizierte SQL-Pools synchron mit Änderungen in der MongoDB Atlas-Datenquelle.

Apache®, Apache Spark, und das Flammenlogo sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Keine Bestätigung durch die Apache Software Foundation wird durch die Verwendung dieser Marken impliziert.

Das Logo des MongoDB Atlas ist eine Marke von MongoDB. Es wird keine Bestätigung durch die Verwendung dieser Marke impliziert.

Architektur

Das folgende Diagramm zeigt, wie MongoDB Atlas-Daten in Echtzeit mit Azure Synapse Analytics synchronisiert werden.

Laden Sie eine PowerPoint-Datei aller Diagramme in diesem Artikel herunter.

Datenfluss

Die Lösung bietet zwei Optionen zum Auslösen der Pipelines, die die Echtzeitänderungen im MongoDB Atlas Betriebsdatenspeicher (ODS) erfassen und die Daten synchronisieren. In den folgenden Schritten werden beide Optionen beschrieben.

Änderungen treten in den operativen und transaktionstechnischen Daten auf, die in MongoDB Atlas gespeichert sind. Die Mongo Atlas-Stream-APIs benachrichtigen abonnierte Anwendungen über die Änderungen in Echtzeit.
Eine benutzerdefinierte Azure App Service-Web-App abonniert den MongoDB-Änderungsstream. Es gibt zwei Versionen der Web-App, Event Grid und Speicher, eine für jede Version der Lösung. Beide App-Versionen überwachen Änderungen, die durch einen Einfüge-, Aktualisierungs- oder Löschvorgang in Atlas verursacht werden. Wenn die Apps eine Änderung erkennen, schreiben sie das geänderte Dokument als Blob in Azure Data Lake Storage, das in Azure Synapse Analytics integriert ist. Die Event Grid-Version der App erstellt auch ein neues Ereignis in Azure Event Grid, wenn eine Änderung in Atlas erkannt wird.
Beide Versionen der Lösung lösen die Azure Synapse Analytics-Pipeline aus:
1. In der Event Grid-Version wird ein benutzerdefinierter ereignisbasierter Trigger in Azure Synapse Analytics konfiguriert. Dadurch wird das Ereignisrasterthema abonniert, in dem die Web-App veröffentlicht wird. Das neue Ereignis in diesem Thema aktiviert den Azure Synapse Analytics-Trigger, wodurch die Azure Synapse Analytics-Datenpipeline ausgeführt wird.
2. In der Speicherversion wird ein speicherbasierter Trigger in Azure Synapse Analytics konfiguriert. Wenn das neue BLOB im integrierten Data Lake Storage-Ordner erkannt wird, wird dieser Trigger aktiviert, wodurch die Azure Synapse Analytics-Datenpipeline ausgeführt wird.
In einer Kopieraktivität kopiert die Azure Synapse Analytics-Pipeline das vollständige geänderte Dokument aus dem Data Lake Storage-Blob in den dedizierten SQL-Pool. Dieser Vorgang ist so konfiguriert, dass ein Upsert- für eine ausgewählte Spalte ausgeführt wird. Wenn die Spalte im dedizierten SQL-Pool vorhanden ist, aktualisiert der Upsert die Spalte. Wenn die Spalte nicht vorhanden ist, fügt der Upsert die Spalte ein.
Der dedizierte SQL-Pool ist das Enterprise Data Warehouse-Feature, das die Tabelle hostet, die die Datenpipeline aktualisiert. Die Kopierdatenaktivität der Pipeline hält diese Tabelle mit der entsprechenden Atlas-Sammlung synchron.
Power BI-Berichte und Visualisierungen zeigen aktuelle und nahezu Echtzeitanalysen an. Die Daten werden auch in nachgeschaltete Anwendungen eingespeist. MongoDB Atlas fungiert als Spüle mithilfe eines Azure Synapse Analytics-Datenpipeline-Senkenconnectors. Atlas bietet dann benutzerdefinierte Apps mit den Echtzeitdaten.

Komponenten

App Service ist eine verwaltete Plattform zum Erstellen, Bereitstellen und Skalieren von Web-Apps, mobilen Apps und REST-APIs. In dieser Architektur werden ASP.NET Web-Apps gehostet, die MongoDB Atlas-Änderungsdatenströme abonnieren, Datenänderungen erkennen und aktualisierte Dokumente in Data Lake Storage schreiben. Die Event Grid-Version veröffentlicht auch Ereignisse im Event Grid, um nachgeschaltete Pipelines auszulösen.
Azure Synapse Analytics ist ein integrierter Analysedienst, der Big Data und Data Warehouse kombiniert. In dieser Architektur dient sie als zentrale Plattform zum Aufnehmen, Verarbeiten und Analysieren von Batch- und Echtzeitdaten aus MongoDB Atlas.
- Azure Synapse Analytics-Pipelines sind Daten-Orchestrierungsworkflows , die zum Ausführen von Extrakt-, Transformations- und Ladevorgängen (ETL) verwendet werden. Sie können mehrere Aktivitäten innerhalb derselben Pipeline verwenden. Sie können auch Abhängigkeitsendpunkte erstellen, um eine Aktivität mit einer anderen Aktivität in der Pipeline zu verbinden. In dieser Architektur kopieren Azure Synapse Analytics-Pipelines geänderte Dokumente aus Data Lake Storage in den dedizierten SQL-Pool und halten Lagertabellen mit MongoDB Atlas-Sammlungen synchronisiert.
- Azure Synapse Analytics-Trigger sind Mechanismen zum Automatisieren der Pipelineausführung, einschließlich geplanter und ereignisbasierter Trigger wie Speicherereignistrigger und benutzerdefinierter Ereignistrigger. In dieser Architektur aktivieren sie Pipelines basierend auf Speicherereignissen (z. B. neuer Bloberkennung) oder benutzerdefinierten Ereignisrasterereignissen.
- Der dedizierte SQL-Pool ist das Enterprise Data Warehouse-Feature von Azure Synapse Analytics, das Data Warehouse-Funktionen für Daten bereitstellt, nachdem die Daten verarbeitet und normalisiert wurden. In dieser Architektur speichert sie die endgültig verarbeiteten Daten, die aus Data Lake Storage kopiert wurden, über Upsert-Vorgänge. Dieser Speicher bietet eine strukturierte Ebene für Abfragen und Berichte, die mit MongoDB Atlas-Sammlungen synchronisiert bleiben.
Data Lake Storage ist ein skalierbarer Data Lake, der auf Azure Blob Storage basiert. Data Lake Storage bietet eine skalierbare Lösung zum Verwalten großer Datenmengen aus mehreren heterogenen Quellen. In dieser Architektur speichert Data Lake Storage die von MongoDB Atlas empfangenen geänderten Dokumente als Blobs, die als Eingabe für Azure Synapse Analytics-Pipelines dienen.
Event Grid ist ein hochgradig skalierbarer, serverloser Ereignisbroker, der Ereignisse an Abonnentenendpunkte weiter leitet. In dieser Architektur empfängt Event Grid Ereignisse aus dem App Service-Code und löst Azure Synapse Analytics-Pipelines über benutzerdefinierte ereignisbasierte Trigger aus.
MongoDB Atlas ist eine Multicloud-Datenbank als Dienstplattform (DaaS), die Transaktionsverarbeitung, relevanzbasierte Suche, Echtzeitanalysen und Synchronisierung mobiler zu Clouddaten unterstützt. MongoDB bietet auch MongoDB Enterprise Advanced, eine lokale Lösung. In dieser Architektur dient MongoDB Atlas als operative Datenquelle, die Änderungsereignisse generiert.
- Änderungsdatenströme sind ein MongoDB Atlas-Feature, mit dem Anwendungen Echtzeitbenachrichtigungen zu Datenänderungen empfangen können, damit die Apps sofort auf diese Änderungen reagieren können. In dieser Architektur ermöglichen Änderungsstreams App Service-Web-Apps das Erkennen von Einfüge-, Aktualisierungs- und Löschvorgängen in MongoDB Atlas und reagieren sofort.
Power BI ist eine Business Intelligence-Plattform zum Erstellen interaktiver Berichte und Dashboards. In dieser Architektur bietet Power BI eine Möglichkeit, die verarbeiteten Daten zum Durchführen erweiterter Analysen und zur Ableitung von Erkenntnissen zu verwenden.

Szenariodetails

MongoDB Atlas dient als Betriebsdatenschicht vieler Unternehmensanwendungen. Diese Clouddatenbank speichert Daten aus internen Anwendungen, kundenorientierten Diensten und APIs von Drittanbietern aus mehreren Kanälen. Mithilfe von Azure Synapse Analytics-Pipelines können Sie MongoDB-Atlasdaten mit relationalen Daten aus anderen herkömmlichen Anwendungen und unstrukturierten Daten aus Quellen wie Protokollen kombinieren.

Batchintegration

In Azure Synapse Analytics können Sie lokale MongoDB-Instanzen und MongoDB-Atlas nahtlos als Quelle oder Senkenressource integrieren. MongoDB ist die einzige NoSQL-Datenbank mit Quell- und Sinkconnectors für Azure Synapse Analytics und Data Factory.

Mit historischen Daten können Sie alle Daten gleichzeitig abrufen. Sie können Daten auch inkrementell für bestimmte Zeiträume abrufen, indem Sie einen Filter im Batchmodus verwenden. Anschließend können Sie SQL-Pools und Apache Spark-Pools in Azure Synapse Analytics verwenden, um die Daten zu transformieren und zu analysieren. Wenn Sie die Analyse- oder Abfrageergebnisse in einem Analysedatenspeicher speichern müssen, können Sie die Senkenressource in Azure Synapse Analytics verwenden.

Weitere Informationen zum Einrichten und Konfigurieren der Connectors finden Sie in den folgenden Ressourcen:

Der Quellconnector bietet eine bequeme Möglichkeit, Azure Synapse Analytics über betriebstechnische Daten auszuführen, die in MongoDB oder Atlas gespeichert sind. Nachdem Sie den Quellconnector zum Abrufen von Daten aus Atlas verwendet haben, können Sie die Daten in Data Lake Storage Blob Storage als Parkett-, Avro-, JSON-, Text- oder CSV-Datei laden. Sie können diese Dateien dann transformieren oder mit anderen Dateien aus anderen Datenquellen in Multidatenbank-, Multicloud- oder Hybrid-Cloudumgebungen verknüpfen.

Sie können die Von MongoDB Enterprise Advanced oder MongoDB Atlas abgerufenen Daten in den folgenden Szenarien verwenden:

So rufen Sie alle Daten aus einem bestimmten Datum aus MongoDB in einem Batch ab. Anschließend laden Sie die Daten in Data Lake Storage. Von dort aus verwenden Sie einen serverlosen SQL-Pool oder Spark-Pool für die Analyse oder kopieren die Daten in einen dedizierten SQL-Pool. Nachdem Sie diesen Batch abgerufen haben, können Sie Änderungen auf die Daten anwenden, wie in Dataflow-beschrieben.
Um Erkenntnisse zu einer bestimmten Häufigkeit zu erzeugen, z. B. für einen täglichen oder stündlich bericht. In diesem Szenario planen Sie eine Pipeline, um Daten regelmäßig abzurufen, bevor Sie die Analysepipeline ausführen. Sie können eine MongoDB-Abfrage verwenden, um Filterkriterien anzuwenden und nur eine bestimmte Teilmenge von Daten abzurufen.

Echtzeitsynchronisierung

Unternehmen benötigen Erkenntnisse, die auf Echtzeitdaten basieren, nicht auf veralteten Daten. Eine Verzögerung von ein paar Stunden bei der Übermittlung von Einblicken kann den Entscheidungsprozess halten und zu einem Verlust des Wettbewerbsvorteils führen. Diese Lösung fördert die kritische Entscheidungsfindung, indem Änderungen, die in der MongoDB-Transaktionsdatenbank auftreten, in Echtzeit an den dedizierten SQL-Pool weitergegeben werden.

Diese Lösung enthält drei Teile, die in den folgenden Abschnitten beschrieben werden.

Erfassen der Änderungen am MongoDB-Atlas

Der MongoDB-Änderungsstream erfasst Änderungen, die in der Datenbank auftreten. Die Änderungsstream-APIs stellen Informationen zu Änderungen für App Service-Web-Apps bereit, die den Änderungsstream abonnieren. Diese Apps schreiben die Änderungen an den Data Lake Storage-BLOB-Speicher.

Auslösen einer Pipeline zum Verteilen der Änderungen an Azure Synapse Analytics

Die Lösung bietet zwei Optionen zum Auslösen einer Azure Synapse Analytics-Pipeline, nachdem das Blob in Data Lake Storage geschrieben wurde:

Ein speicherbasierter Trigger. Verwenden Sie diese Option, wenn Sie Echtzeitanalysen benötigen, da die Pipeline ausgelöst wird, sobald der Blob mit der Änderung geschrieben wird. Diese Option ist jedoch möglicherweise nicht der bevorzugte Ansatz, wenn Sie über eine große Menge von Datenänderungen verfügen. Azure Synapse Analytics beschränkt die Anzahl der Pipelines, die gleichzeitig ausgeführt werden können. Wenn Sie eine große Anzahl von Datenänderungen haben, können Sie diesen Grenzwert erreichen.
Ein ereignisbasierter benutzerdefinierter Trigger. Dieser Triggertyp hat den Vorteil, dass er sich außerhalb von Azure Synapse Analytics befindet, sodass es einfacher zu steuern ist. Die Event Grid-Version der Web-App schreibt das geänderte Datendokument in den BLOB-Speicher. Gleichzeitig erstellt die App ein neues Event Grid-Ereignis. Die Daten im Ereignis enthalten den Dateinamen des BLOB. Die Pipeline, die das Ereignis auslöst, empfängt den Dateinamen als Parameter und verwendet dann die Datei, um den dedizierten SQL-Pool zu aktualisieren.

Verteilen der Änderungen an einen dedizierten SQL-Pool

Eine Azure Synapse Analytics-Pipeline verteilt die Änderungen an einen dedizierten SQL-Pool. Die Lösung bietet eine CopyPipeline_mdb_synapse_ded_pool_RTS Pipeline auf GitHub, die die Änderung im Blob von Data Lake Storage in den dedizierten SQL-Pool kopiert. Diese Pipeline wird durch den Speicher- oder Ereignisrastertrigger ausgelöst.

Potenzielle Anwendungsfälle

Die Anwendungsfälle für diese Lösung umfassen viele Branchen und Bereiche:

Einzelhandel
- Aufbau von Intelligenz in Produktbündelung und Produktförderung
- Optimieren des Kaltspeichers, der IoT-Streaming verwendet
- Optimieren der Bestandsauffüllung
- Mehrwert zur Omnichannelverteilung
Banken und Finanzen
- Anpassen von Kundenfinanzdienstleistungen
- Erkennen potenziell betrügerischer Transaktionen
Telekommunikation
- Optimieren von Netzwerken der nächsten Generation
- Maximieren des Werts von Edgenetzwerken
Selbstfahrend
- Optimierung der Parametrisierung verbundener Fahrzeuge
- Erkennen von Anomalien in der IoT-Kommunikation in verbundenen Fahrzeugen
Herstellung
- Bereitstellen einer vorausschauenden Wartung für Maschinen
- Optimieren der Speicher- und Bestandsverwaltung

Hier sind zwei spezifische Beispiele:

Wie in diesem Artikel weiter oben in Batchintegrationbeschrieben, können Sie MongoDB-Daten in einem Batch abrufen und dann die Daten aktualisieren, wenn Änderungen vorgenommen werden. Diese Funktion ermöglicht Echtzeiteinblicke für just-in-time-Entscheidungsfindung und Schlussfolgerungen. Diese Funktionalität ist nützlich für die Analyse vertraulicher und kritischer Informationen wie Finanztransaktionen und Betrugserkennungsdaten.
Wie Batchintegration auch beschrieben, können Sie eine Pipeline planen, um MongoDB-Daten regelmäßig abzurufen. Diese Funktionalität ist in Einzelhandelsszenarien hilfreich, z. B. beim Aktualisieren von Bestandsniveaus mit täglichen Verkaufsdaten. In solchen Fällen sind Analyseberichte und Dashboards nicht von entscheidender Bedeutung, und die Echtzeitanalyse lohnt sich nicht den Aufwand.

In den folgenden Abschnitten werden zwei Anwendungsfälle der Einzelhandelsbranche genauer betrachtet.

Produktbündelung

Um den Verkauf eines Produkts zu fördern, können Sie das Produkt als Teil eines Bundles zusammen mit anderen verwandten Produkten verkaufen. Ziel ist es, Vertriebsmusterdaten zu verwenden, um Strategien für die Bündelung eines Produkts in Pakete zu entwickeln.

Es gibt zwei Datenquellen:

Die Produktkatalogdaten von MongoDB
Umsatzdaten aus Azure SQL

Beide Datasets werden mithilfe einer Azure Synapse Analytics-Pipeline zu einem dedizierten SQL-Pool in Azure Synapse Analytics migriert. Trigger und Änderungsdatenerfassungen werden verwendet, um eine nahezu echtzeitbasierte Datensynchronisierung über den einmaligen migrierten Daten zu erzielen.

Die folgenden Power BI-Diagramme zeigen die Affinität zwischen den Produkten und Verkaufsmustern. Die Affinität des Stifts und der freihandbasierten Nachfüllung ist hoch. Die Verkaufsdaten zeigen, dass der Stift ein hohes Umsatzvolumen im angegebenen Bereich aufweist.

Die Analyse macht zwei Vorschläge, um bessere Umsätze zu erzielen:

Bündeln des Stifts und des freihandbasierten Nachfüllens
Förderung des Bündels in bestimmten Bereichen

Produktaktion

Um den Verkauf eines Produkts zu fördern, können Sie das Produkt kunden empfehlen, die an verwandten Produkten interessiert sind. Ziel ist es, Verkaufsdaten und Kundenkaufmusterdaten zu verwenden, um Strategien zur Empfehlung eines Produkts für Kunden zu entwickeln.

Mithilfe von Azure Synapse Analytics können Sie KI- und Machine Learning-Modelle entwickeln, um zu bestimmen, welche Produkte Kunden empfohlen werden sollen.

Die folgenden Diagramme zeigen die Verwendung verschiedener Datentypen zum Erstellen eines Modells, um alternative Produktempfehlungen zu ermitteln. Die Daten umfassen Kundenkaufmuster, Gewinne, Produktaffinitäten, das Verkaufsvolumen der Produkte und Produktkatalogparameter.

Wenn Ihr Modell eine hohe Genauigkeit erzielt, stellt es eine Liste der Produkte bereit, die Sie dem Kunden empfehlen können.

Betrachtungen

Diese Überlegungen implementieren die Säulen des Azure Well-Architected-Frameworks, das eine Reihe von leitden Tenets ist, die verwendet werden können, um die Qualität einer Workload zu verbessern. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Sicherheit

Die Sicherheit bietet Sicherheitsmaßnahmen gegen bewusste Angriffe und den Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Übersicht über die Sicherheitssäule.

Ausführliche Informationen zu den Sicherheitsanforderungen und -kontrollen der Azure-Komponenten in der Lösung finden Sie im Sicherheitsabschnitt der Dokumentation der einzelnen Produkte.

Kostenoptimierung

Bei der Kostenoptimierung geht es um Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Übersicht über die Kostenoptimierungssäule.

Um die Kosten von Azure-Produkten und -Konfigurationen zu schätzen, verwenden Sie den Azure-Preisrechner.
Azure hilft Ihnen, unnötige Kosten zu vermeiden, indem Sie die richtige Anzahl von Ressourcen für Ihre Anforderungen identifizieren, indem Sie die Ausgaben im Zeitverlauf analysieren und die Skalierung auf geschäftsanforderungen anpassen, ohne ausstehend zu sein. Sie können beispielsweise die dedizierten SQL-Pools anhalten, wenn Sie keine Auslastung erwarten. Sie können sie später fortsetzen.
Sie können App Service durch Azure-Funktionen ersetzen. Durch die Orchestrierung der Funktionen in einer Azure Synapse Analytics-Pipeline können Sie Kosten reduzieren.
Um die Spark-Clusterkosten zu reduzieren, wählen Sie den richtigen Datenfluss-Computetyp aus. Allgemeine und speicheroptimierte Optionen sind verfügbar. Wählen Sie außerdem geeignete Kernanzahl und TTL-Werte (Time-to-Live) aus.
Weitere Informationen zum Verwalten der Kosten wichtiger Lösungskomponenten finden Sie in den folgenden Ressourcen:
- Planen und Verwalten von Kosten für Azure Synapse Analytics-
- Planen der Kostenverwaltung für Azure Data Factory

Leistungseffizienz

Die Leistungseffizienz ist die Fähigkeit Ihrer Arbeitsauslastung, um die Anforderungen zu erfüllen, die von Benutzern auf effiziente Weise an sie gestellt werden. Weitere Informationen finden Sie unter Übersicht über die Säule "Leistungseffizienz".

Wenn es eine große Anzahl von Änderungen gibt, kann das Ausführen von Tausenden von Pipelines in Azure Synapse Analytics für jede Änderung in der Sammlung zu einem Backlog von in die Warteschlange gestellten Pipelines führen. Berücksichtigen Sie die folgenden Ansätze, um die Leistung in diesem Szenario zu verbessern:

Verwenden Sie den speicherbasierten App Service-Code, der die JSON-Dokumente mit den Änderungen in Data Lake Storage schreibt. Verknüpfen Sie den speicherbasierten Trigger nicht mit der Pipeline. Verwenden Sie stattdessen einen geplanten Trigger in einem kurzen Intervall, z. B. alle zwei oder fünf Minuten. Wenn der geplante Trigger ausgeführt wird, werden alle Dateien im angegebenen Data Lake Storage-Verzeichnis verwendet und der dedizierte SQL-Pool für jeden dieser Dateien aktualisiert.
Ändern Sie den Ereignisraster-App-Dienstcode. Programmieren Sie es, um einen Mikrobatch von ca. 100 Änderungen am BLOB-Speicher hinzuzufügen, bevor es dem Ereignis das neue Thema mit den Metadaten hinzufügt, die den Dateinamen enthalten. Mit dieser Änderung lösen Sie nur eine Pipeline für ein Blob mit den 100 Änderungen aus. Sie können die Mikrobatchgröße an Ihr Szenario anpassen. Verwenden Sie kleine Mikrobatches mit hoher Häufigkeit, um Updates bereitzustellen, die nahezu in Echtzeit sind. Oder verwenden Sie größere Mikrobatches mit geringerer Häufigkeit für verzögerte Updates und reduzierten Mehraufwand.

Weitere Informationen zur Verbesserung der Leistung und Skalierbarkeit von Azure Synapse Analytics-Pipelinekopieaktivitäten finden Sie in Leitfaden zur Kopieraktivität und Skalierbarkeit.

Beitragende

Dieser Artikel wird von Microsoft verwaltet. Sie wurde ursprünglich von den folgenden Mitwirkenden verfasst.

Hauptautoren:

Diana Annie Jenosh | Senior Solutions Architect
Babu Srinivasan | Senior Solutions Architect
Utsav Talwar | Associate Solutions Architect

Andere Mitwirkende:

Krishnakumar Rukmangathan | Senior Program Manager
Sunil Sabat | Hauptprogramm-Manager
Wee Hyong T | Hauptdirektor
Paresh Saraf | Technischer Leiter

Um nicht öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte

Wenn Sie weitere Informationen zur Lösung wünschen, wenden Sie sich an partners@mongodb.com.

Weitere Informationen zu MongoDB finden Sie in den folgenden Ressourcen:

Weitere Informationen zu Azure-Lösungskomponenten finden Sie in den folgenden Ressourcen:

Feedback

War diese Seite hilfreich?