Beispielarchitektur für die SAP-Datenintegration
Dieser Artikel ist Teil der Artikelreihe „SAP-Erweiterungs- und Innovationsdaten: Bewährte Methoden“.
- Identifizieren von SAP-Datenquellen
- Auswählen des besten SAP-Connectors
- Leistung und Problembehandlung für die SAP-Datenextraktion
- Datenintegrationssicherheit für SAP in Azure
- Generische SAP-Datenintegrationsarchitektur
In diesem Artikel wird der Flow von SAP-Daten von SAP-Quellsystemen zu Downstreamzielen beschrieben. Jedes Ziel dient einem Zweck in der Data Journey für Ihr Unternehmen. Das Architekturdesign erweitert SAP-Lösungen mithilfe von Azure-Datendiensten. Verwenden Sie Azure Synapse Analytics zum Erstellen einer modernen Datenplattform zum Erfassen, Verarbeiten, Speichern, Bereitstellen und Visualisieren von Daten aus verschiedenen Quellen.
Apache Spark® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.
Aufbau
Das folgende Diagramm zeigt eine Beispielarchitektur einer SAP-Datenintegration in Azure. Verwenden Sie die Beispielarchitektur als Ausgangspunkt.
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
Der folgende Dataflow entspricht dem vorherigen Diagramm:
- Datenquellen. Ein System stellt eine Verbindung mit einer Datenquelle her, um die Datenerfassung und -analyse zu ermöglichen.
- Datenerfassung. Azure Data Factory- und Synapse-Pipelines ermöglichen die Datenintegration.
- Datenspeicherung: Daten werden in Azure Data Lake Store gespeichert, der auf Azure Blob Storage basiert.
- Datentransformation und -verbrauch. Daten werden in Stufen transformiert, und der Verbrauch wird über Berichte mit Power BI oder über private Endpunkte ermöglicht, mit denen Sie sicher über eine private Verbindung auf Daten zugreifen können.
- Datenvisualisierung und Berichterstellung. Sie können mit dem Power BI-Dienst oder einer externen Anwendung auf Berichte zugreifen und Daten visualisieren.
Datenquellen
Die SAP-Quellsysteme können lokal mit SAP RISE in Azure oder SAP in Azure Virtual Machines ausgeführt werden. Dabei kann es sich um lokale SQL-Server, teilweise strukturierte Daten in JSON-, XML- und Protokolldateien oder andere Data Warehouse-Systeme handeln. Die Kopieraktivitäten von Synapse-Pipelines können diese Rohdaten erfassen. Die Quellsysteme werden lokal, in einer privaten oder öffentlichen Cloud oder mit SAP RISE-Abonnements gehostet.
SAP Online Transactional Data Processing (OLTP)- und OLAP-Systeme (Online Analytical Processing) sind zentrale Repositorys für Geschäftsdaten und -transaktionen. Extrahieren, Speichern und Erfassen von Daten in Azure, um Werte und Erkenntnisse aus den Daten zu erhalten, die sich in diesen Geschäftsdatenrepositorys befinden.
Mit Azure-Diensten können Sie Daten von jedem Quellstandort aus integrieren. Planen Sie die Extraktionskonfiguration basierend auf dem gehosteten Standort, Sicherheitskontrollen, Betriebsstandards, Bandbreite und vertraglichen Verpflichtungen.
Datenerfassung
In dieser Architektur werden Daten mithilfe von Synapse-Pipelines erfasst und in Stufen mithilfe der Data Lake-Funktionen des Synapse Spark-Pools verarbeitet.
Data Factory- und Synapse-Pipelines extrahieren Daten mithilfe der folgenden SAP-Connectors:
- SAP Business Warehouse über Open Hub
- SAP Business Warehouse über mehrdimensionale Ausdrücke (MDX)
- SAP-Port für die Änderungsdatenerfassung (CDC)
- SAP Cloud for Customer
- SAP ERP Central Component (ECC)
- SAP HANA
- SAP-Tabelle
Weitere Informationen finden Sie in den folgenden Ressourcen:
- Übersicht über das SAP Knowledge Center
- SAP-Connectors
- SAP-Erfassung mit Analysen auf Cloudebene in Azure
Datenspeicher
In Data Lake Storage Gen2 bildet Azure Storage die Grundlage für das Erstellen von Enterprise Data Lakes in Azure. Mit Data Lake Storage Gen2 können Sie sehr große Datenmengen verwalten, da er mehrere Petabyte an Informationen verwaltet und gleichzeitig einen Durchsatz von Hunderten von Gigabit aufrechterhält.
Daten werden ruhend verschlüsselt, nachdem sie im Data Lake erfasst wurden. Verwenden Sie Ihre kundenseitig verwalteten Schlüssel, um die Verschlüsselung weiter zu verbessern und die Flexibilität der Zugriffssteuerung zu erhöhen.
Weitere Informationen finden Sie in der Einführung und den Bewährten Methoden von Data Lake Storage Gen2.
Datentransformation und -verbrauch
In dieser Architektur werden die erfassten Daten aus den Datenquellen an einem Data Lake Storage Gen2-Speicherort gespeichert.
Sie können Kopieraktivitäten zwischen einem Datenspeicher in Ihrer lokalen Umgebung und der Cloud mithilfe einer selbstgehosteten Integration Runtime (SHIR) verwalten und ausführen. Halten Sie das SHIR-System immer in der Nähe der Quellsysteme.
Speichern Sie Daten in Ihrem Speicherkonto mithilfe von stufenspezifischen Data Lake Storage Gen2-Verzeichnissen wie Bronze, Silver und Gold.
- Bronze: Durch die Kopieraktivitäten der Synapse-Pipelines werden Daten aus den Quellsystemen erfasst. Diese erfassten Daten werden im Rohformat unter Verwendung des Data Lake-Verzeichnisses „Bronze“ gespeichert.
- Silver: Durch den Synapse Spark-Pool werden Datenqualitätsregeln angewendet, um die Rohdaten zu bereinigen. Die so angereicherten Daten werden im Data Lake-Verzeichnis „Silver“ gespeichert.
- Gold: Nach dem Bereinigungsvorgang werden vom Spark-Pool alle erforderlichen Normalisierungen, Datentransformationen und Geschäftsregeln auf die Daten im Verzeichnis „Silver“ angewendet. Dieses transformierten Daten werden im Data Lake-Verzeichnis „Gold“ gespeichert.
Durch den Connector „Azure Synapse Apache Spark to Synapse SQL“ werden die normalisierten Daten in den Synapse SQL-Pool gepusht, wo sie von Downstreamanwendungen und Berichterstellungsdiensten wie Power BI genutzt werden können. Dieser Connector überträgt Daten optimal zwischen den serverlosen Apache Spark-Pools und den SQL-Pools im Azure Synapse Analytics-Arbeitsbereich.
Für Ihre Speicherkonten bieten private Endpunkte den Kunden im virtuellen Netzwerk sicheren Zugriff auf Daten über eine private Verbindung. Der private Endpunkt verwendet eine IP-Adresse aus dem Adressraum des virtuellen Netzwerks für den Speicherkontodienst. Der Netzwerkdatenverkehr zwischen den Kunden im virtuellen Netzwerk und dem Speicherkonto durchläuft das virtuelle Netzwerk und eine private Verbindung im Microsoft-Backbonenetzwerk, damit er nicht dem öffentlichen Internet ausgesetzt ist.
Datenvisualisierung und Berichterstellung
Im Power BI-Dienst verwenden Sie DirectQuery, um Daten sicher aus dem Synapse SQL-Pool abzurufen.
Ein auf einem virtuellen Computer im privaten virtuellen Netzwerk installiertes Datengateway fungiert als Verbindungsplattform zwischen dem Power BI-Dienst und dem Synapse SQL-Pool. Um eine sichere Verbindung herzustellen, verwendet das Datengateway einen privaten Endpunkt im selben virtuellen Netzwerk.
Externe Anwendungen können auf Daten aus den serverlosen Synapse-Pools oder den dedizierten SQL-Pools zugreifen, indem sie private Endpunkte verwenden, die mit dem virtuellen Netzwerk verbunden sind.
Komponenten
Diese Architektur verwendet mehrere Azure-Dienste und -Funktionen.
Datenanalyse
- Azure Synapse Analytics ist der Kerndienst, der Daten erfasst, verarbeitet und analysiert.
- Azure Data Lake Storage Gen2 basiert auf Storage-Diensten und bietet Data Lake-Funktionen, die von anderen Diensten zum Speichern und Verarbeiten von Daten verwendet werden.
- Azure Synapse Analytics-Pipelines kopieren Daten aus Quellen an Data Lake Storage Gen2-Speicherorte.
- Apache Spark bereinigt, normalisiert und verarbeitet Daten, die von Quellstandorten erfasst werden.
Storage
- Der dedizierte SQL-Pool in Azure Synapse Analytics bietet Data Warehousing-Funktionen, nachdem Daten verarbeitet und normalisiert wurden und für Kunden und Anwendungen zur Verwendung bereitstehen.
- Mit dem serverlosen SQL-Pool in Azure Synapse Analytics können Sie verarbeitete und normalisierte Daten schnell abfragen und analysieren.
Netzwerke und Load Balancer (Lastenausgleich)
- Durch ein von Azure Synapse Analytics verwaltetes virtuelles Netzwerk entsteht eine isolierte verwaltete Umgebung für den Azure Synapse-Arbeitsbereich, sodass Sie die Netzwerkkonfiguration für die Arbeitsbereichsressourcen nicht verwalten müssen.
- Durch verwaltete private Endpunkte in Azure Synapse werden private Verbindungen mit Azure-Ressourcen eingerichtet, und Datenverkehr zwischen Ihren Azure Synapse-Arbeitsbereichen und anderen Azure-Ressourcen über das Microsoft-Backbonenetzwerk übertragen.
- Azure Virtual Network bietet private Netzwerkfunktionen für Azure-Ressourcen, die nicht Teil des Azure Synapse-Arbeitsbereichs sind. Sie können den Zugriff, die Sicherheit und das Routing zwischen Ressourcen verwalten.
- Ein privater Azure-Endpunkt verbindet einen Dienst mit einem virtuellen Netzwerk, indem er eine private IP-Adresse aus dem virtuellen Netzwerk der Lösung mit von Azure verwalteten Diensten verwendet. Diese Verbindung schützt das Netzwerk zwischen dem Azure Synapse-Arbeitsbereich und anderen Azure-Diensten wie Storage, Azure Cosmos DB, Azure SQL-Datenbank oder Ihrem eigenen Azure Private Link-Dienst.
Berichterstellung
- Power BI führt erweiterte Analysen an den verarbeiteten Daten durch und gewinnt daraus Erkenntnisse.