Exempelarkitektur för SAP-dataintegrering

Artikel
02/29/2024

Den här artikeln är en del av artikelserien "SAP extend and innovate data: Best practices".

I den här artikeln beskrivs flödet av SAP-data från käll-SAP-system till underordnade mål. Varje mål har ett syfte i dataresan för ditt företag. Arkitekturdesignen utökar SAP-lösningar med hjälp av Azure-datatjänster. Använd Azure Synapse Analytics för att skapa en modern dataplattform för att mata in, bearbeta, lagra, hantera och visualisera data från olika källor.

Apache Spark® och Apache Kafka® är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Arkitektur

Följande diagram är ett exempel på arkitekturen för en SAP-dataintegrering i Azure. Använd den här exempelarkitekturen som utgångspunkt.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Följande dataflöde motsvarar föregående diagram:

Datakällor. Ett system ansluter till en datakälla för att aktivera datainmatning och analys.
Datainsamling. Azure Data Factory- och Synapse-pipelines möjliggör dataintegrering.
Datalagring. Data lagras i Azure Data Lake Storage som bygger på Azure Blob Storage.
Datatransformering och förbrukning. Data transformeras stegvis och förbrukningen aktiveras via rapporter med Power BI eller via privata slutpunkter som gör att du på ett säkert sätt kan komma åt data via en privat länk.
Datavisualisering och rapportering. Du kan komma åt rapporter och visualisera data med usluga Power BI eller ett externt program.

Datakällor

SAP-källsystemen kan köras lokalt med SAP RISE på Azure eller SAP på azure virtual machines. De kan vara lokala SQL-servrar, halvstrukturerade data i JSON-, XML- och loggfiler eller andra informationslagersystem. Kopieringsaktiviteter för Synapse-pipelines kan mata in dessa rådata. Källsystemen finns lokalt, i ett privat eller offentligt moln eller med SAP RISE-prenumerationer.

SAP online-system för transaktionsdatabearbetning (OLTP) och onlineanalysbearbetning (OLAP) är centrala lagringsplatser för affärsdata och transaktioner. Extrahera, lagra och mata in data i Azure för att få värde och insikter från data som finns i dessa affärsdatalagringsplatser.

Med Azure-tjänster kan du integrera data från valfri källplats. Planera extraheringskonfigurationen baserat på värdbaserad plats, säkerhetskontroller, driftsstandarder, bandbredd och avtalsförpliktelser.

Datainsamling

I den här arkitekturen matas data in med hjälp av Synapse-pipelines och bearbetas stegvis med hjälp av Data Lake-funktionerna i Synapse Spark-poolen.

Data Factory- och Synapse-pipelines extraherar data med hjälp av följande SAP-anslutningsappar:

Mer information finns i följande resurser:

Datalagring

I Data Lake Storage Gen2 är Azure Storage grunden för att skapa företagsdatasjöar i Azure. Med Data Lake Storage Gen2 kan du hantera enorma mängder data eftersom de betjänar flera petabyte med information samtidigt som hundratals gigabit dataflöde hanteras.

Data krypteras i vila när de matas in i datasjön. Använd dina kundhanterade nycklar för att ytterligare förbättra krypteringen och lägga till flexibilitet för åtkomstkontroll.

Mer information finns i Introduktion och metodtips för Data Lake Storage Gen2.

Datatransformering och förbrukning

I den här arkitekturen lagras inmatade data från datakällorna på en Data Lake Storage Gen2-plats.

Du kan hantera och köra kopieringsaktiviteter mellan ett datalager i din lokala miljö och molnet med hjälp av en lokalt installerad integrationskörning (SHIR). Håll alltid SHIR-systemet i närheten av källsystemen.

Lagra data i ditt lagringskonto med hjälp av scenspecifika Data Lake Storage Gen2-kataloger, till exempel Brons, Silver och Guld.

Brons: Synapse-pipelines kopierar aktiviteter som matar in data från källsystemen. Dessa inmatade data lagras i rådataformat med hjälp av datasjöns Bronze-katalog.
Silver: Synapse Spark-poolen kör datakvalitetsregler för att rensa rådata. Dessa berikade data lagras i datasjöns Silver-katalog.
Guld: Efter rensningsprocessen tillämpar Spark-poolen all nödvändig normalisering, datatransformeringar och affärsregler på Silver-katalogdata. Dessa transformerade data lagras i datasjöns Gold-katalog.

Synapse Apache Spark till Synapse SQL-anslutningsappen skickar normaliserade data till Synapse SQL-poolen för förbrukning av underordnade program och rapporteringstjänster, till exempel Power BI. Den här anslutningsappen överför optimalt data mellan de serverlösa Apache Spark-poolerna och SQL-poolerna på Azure Synapse Analytics-arbetsytan.

För dina lagringskonton ger privata slutpunkter kunder i det virtuella nätverket säker åtkomst till data via en privat länk. Den privata slutpunkten använder en IP-adress från det virtuella nätverkets adressutrymme för lagringskontotjänsten. Nätverkstrafiken mellan kunderna i det virtuella nätverket och lagringskontot passerar över det virtuella nätverket och en privat länk i Microsofts stamnätverk för att eliminera exponeringen för det offentliga Internet.

Datavisualisering och rapportering

I usluga Power BI använder du DirectQuery för att på ett säkert sätt hämta data från Synapse SQL-poolen.

En datagateway som är installerad på en virtuell dator i det privata virtuella nätverket tillhandahåller en anslutningsplattform mellan usluga Power BI och Synapse SQL-poolen. För att ansluta på ett säkert sätt använder datagatewayen en privat slutpunkt i samma virtuella nätverk.

Externa program kan komma åt data från synapse-serverlösa pooler eller dedikerade SQL-pooler med hjälp av privata slutpunkter som är anslutna till det virtuella nätverket.

Komponenter

Den här arkitekturen använder flera Azure-tjänster och -funktioner.

Dataanalys

Azure Synapse Analytics är kärntjänsten som matar in, bearbetar och analyserar data.
Data Lake Storage Gen2 bygger på Lagringstjänster och tillhandahåller datasjöfunktioner som andra tjänster använder vid lagring och bearbetning av data.
Azure Synapse Analytics-pipelines kopierar data från källor till Data Lake Storage Gen2-platser.
Apache Spark rensar, normaliserar och bearbetar data som matas in från källplatser.

Storage

Den dedikerade SQL-poolen i Azure Synapse Analytics tillhandahåller datalagerfunktioner när data har bearbetats och normaliserats och är redo för kunder och program att använda.
Med den serverlösa SQL-poolen i Azure Synapse Analytics kan du snabbt köra frågor mot och analysera bearbetade och normaliserade data.

Nätverk och lastbalanserare

Ett azure Synapse Analytics-hanterat virtuellt nätverk skapar en isolerad och hanterad miljö för Azure Synapse-arbetsytan, så du behöver inte hantera nätverkskonfigurationen för arbetsyteresurserna.
Azure Synapse-hanterade privata slutpunkter upprättar privata länkar till Azure-resurser och dirigerar trafik mellan dina Azure Synapse-arbetsytor och andra Azure-resurser med hjälp av Microsofts stamnätverk.
Azure Virtual Network tillhandahåller privata nätverksfunktioner för Azure-resurser som inte ingår i Azure Synapse-arbetsytan. Du kan hantera åtkomst, säkerhet och routning mellan resurser.
En privat Azure-slutpunkt ansluter en tjänst till ett virtuellt nätverk med hjälp av en privat IP-adress från lösningens virtuella nätverk till Azure-hanterade tjänster. Den här anslutningen skyddar nätverket mellan Azure Synapse-arbetsytan och andra Azure-tjänster, till exempel Storage, Azure Cosmos DB, Azure SQL Database eller din egen Azure Private Link-tjänst.

Rapportering

Power BI utför avancerad analys och insikter av bearbetade data.

Dela via