Przykładowa architektura integracji danych SAP

Artykuł
02/29/2024

Ten artykuł jest częścią serii artykułów "Rozszerzanie i wprowadzanie innowacji w oprogramowaniu SAP: najlepsze rozwiązania".

W tym artykule opisano przepływ danych SAP ze źródłowych systemów SAP do podrzędnych obiektów docelowych. Każdy element docelowy służy celowi w podróży danych dla przedsiębiorstwa. Projekt architektury rozszerza rozwiązania SAP przy użyciu usług danych platformy Azure. Użyj usługi Azure Synapse Analytics, aby utworzyć nowoczesną platformę danych do pozyskiwania, przetwarzania, przechowywania, obsługi i wizualizowania danych z różnych źródeł.

Architektura

Na poniższym diagramie przedstawiono przykładową architekturę integracji danych SAP na platformie Azure. Użyj tej przykładowej architektury jako punktu wyjścia.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

Poniższy przepływ danych odpowiada poprzedniemu diagramowi:

Źródła danych. System łączy się ze źródłem danych, aby umożliwić pozyskiwanie i analizę danych.
Pozyskiwanie danych. Potoki usług Azure Data Factory i Synapse umożliwiają integrację danych.
Magazyn danych. Dane są przechowywane w usłudze Azure Data Lake Storage, która jest oparta na usłudze Azure Blob Storage.
Przekształcanie i zużycie danych. Dane są przekształcane na etapach, a zużycie jest włączane za pośrednictwem raportów za pomocą usługi Power BI lub prywatnych punktów końcowych, które umożliwiają bezpieczny dostęp do danych za pośrednictwem łącza prywatnego.
Wizualizacja i raportowanie danych. Dostęp do raportów i wizualizowanie danych można uzyskać za pomocą usługa Power BI lub aplikacji zewnętrznej.

Źródła danych

Źródłowe systemy SAP mogą działać lokalnie z rozwiązaniem SAP RISE na platformie Azure lub SAP w usłudze Azure Virtual Machines. Mogą to być lokalne serwery SQL, częściowo ustrukturyzowane dane w plikach JSON, XML i dziennika lub w innych systemach magazynu danych. Działania kopiowania potoków usługi Synapse mogą pozyskiwać te nieprzetworzone dane. Systemy źródłowe są hostowane lokalnie, w chmurze prywatnej lub publicznej albo z subskrypcjami SAP RISE.

Systemy przetwarzania danych transakcyjnych w trybie online (OLTP) i przetwarzania analitycznego online (OLAP) to centralne repozytoria danych biznesowych i transakcji. Wyodrębnianie, przechowywanie i pozyskiwanie danych na platformę Azure w celu uzyskania wartości i szczegółowych informacji z danych znajdujących się w tych repozytoriach danych biznesowych.

Za pomocą usług platformy Azure można zintegrować dane z dowolnej lokalizacji źródłowej. Zaplanuj konfigurację wyodrębniania na podstawie hostowanej lokalizacji, mechanizmów kontroli zabezpieczeń, standardów operacji, przepustowości i zobowiązań umownych.

Pozyskiwanie danych

W tej architekturze dane są pozyskiwane przy użyciu potoków usługi Synapse i przetwarzane na etapach przy użyciu możliwości usługi Synapse Spark usługi Synapse.

Potoki usługi Data Factory i Synapse wyodrębniają dane przy użyciu następujących łączników SAP:

Aby uzyskać więcej informacji, zobacz następujące zasoby:

Magazyn danych

W usłudze Data Lake Storage Gen2 usługa Azure Storage stanowi podstawę do tworzenia magazynów danych przedsiębiorstwa na platformie Azure. Dzięki usłudze Data Lake Storage Gen2 można zarządzać ogromnymi ilościami danych, ponieważ obsługuje wiele petabajtów informacji przy jednoczesnym utrzymaniu setek gigabitów przepływności.

Dane są szyfrowane w spoczynku po ich pozyskiwaniu do magazynu data lake. Użyj kluczy zarządzanych przez klienta, aby dodatkowo zwiększyć szyfrowanie i zwiększyć elastyczność kontroli dostępu.

Aby uzyskać więcej informacji, zobacz wprowadzenie do usługi Data Lake Storage Gen2 i najlepsze rozwiązania.

Przekształcanie i zużycie danych

W tej architekturze pozyskane dane ze źródeł danych są przechowywane w lokalizacji usługi Data Lake Storage Gen2.

Działania kopiowania można zarządzać i uruchamiać między magazynem danych w środowisku lokalnym a chmurą przy użyciu własnego środowiska Integration Runtime (SHIR). Zawsze utrzymuj system SHIR w pobliżu systemów źródłowych.

Przechowywanie danych na koncie usługi Storage przy użyciu katalogów usługi Data Lake Storage Gen2 specyficznych dla etapu, takich jak Bronze, Silver i Gold.

Brązowy: potoki usługi Synapse kopiują działania pozyskiwania danych z systemów źródłowych. Te pozyskane dane są przechowywane w formacie nieprzetworzonym przy użyciu katalogu Data Lake's Bronze.
Silver: pula platformy Synapse Spark uruchamia reguły jakości danych w celu oczyszczenia danych pierwotnych. Te wzbogacone dane są przechowywane w katalogu Silver usługi Data Lake.
Złoto: Po zakończeniu procesu czyszczenia pula Spark stosuje wszelkie wymagane normalizacje, przekształcenia danych i reguły biznesowe do danych katalogu Silver. Te przekształcone dane są przechowywane w katalogu Gold usługi Data Lake.

Łącznik Synapse Apache Spark do usługi Synapse SQL wypycha znormalizowane dane do puli SQL usługi Synapse na potrzeby użycia przez aplikacje podrzędne i usługi raportowania, takie jak Power BI. Ten łącznik optymalnie przesyła dane między bezserwerowych pul platformy Apache Spark a pulami SQL w obszarze roboczym usługi Azure Synapse Analytics.

W przypadku kont magazynu prywatne punkty końcowe zapewniają klientom w sieci wirtualnej bezpieczny dostęp do danych za pośrednictwem łącza prywatnego. Prywatny punkt końcowy używa adresu IP z przestrzeni adresowej sieci wirtualnej dla usługi konta magazynu. Ruch sieciowy między klientami w sieci wirtualnej a kontem magazynu przechodzi przez sieć wirtualną i łącze prywatne w sieci szkieletowej firmy Microsoft w celu wyeliminowania narażenia na publiczny Internet.

Wizualizacja i raportowanie danych

W usługa Power BI użyj trybu DirectQuery, aby bezpiecznie pobrać dane z puli SQL usługi Synapse.

Brama danych zainstalowana na maszynie wirtualnej w prywatnej sieci wirtualnej zapewnia platformę łączącą się między usługa Power BI a pulą SQL usługi Synapse. Aby bezpiecznie nawiązać połączenie, brama danych używa prywatnego punktu końcowego w tej samej sieci wirtualnej.

Aplikacje zewnętrzne mogą uzyskiwać dostęp do danych z pul bezserwerowych usługi Synapse lub dedykowanych pul SQL przy użyciu prywatnych punktów końcowych połączonych z siecią wirtualną.

Składniki

Ta architektura korzysta z kilku usług i możliwości platformy Azure.

Analiza danych

Azure Synapse Analytics to podstawowa usługa, która pozyskuje, przetwarza i analizuje dane.
Usługa Data Lake Storage Gen2 jest oparta na usługach Storage i zapewnia możliwości magazynu typu data lake, które są używane przez inne usługi podczas przechowywania i przetwarzania danych.
Potoki usługi Azure Synapse Analytics kopiują dane ze źródeł do lokalizacji usługi Data Lake Storage Gen2.
Platforma Apache Spark czyści, normalizuje i przetwarza dane pozyskane z lokalizacji źródłowych.

Storage

Dedykowana pula SQL usługi Azure Synapse Analytics zapewnia możliwości magazynowania danych po przetworzeniu i znormalizowaniu danych oraz jest gotowa do użycia przez klientów i aplikacje.
Dzięki bezserwerowej puli SQL usługi Azure Synapse Analytics można szybko wykonywać zapytania i analizować przetworzone i znormalizowane dane.

Sieci i moduły równoważenia obciążenia

Zarządzana sieć wirtualna usługi Azure Synapse Analytics tworzy izolowane i zarządzane środowisko dla obszaru roboczego usługi Azure Synapse, więc nie trzeba zarządzać konfiguracją sieci dla zasobów obszaru roboczego.
Prywatne punkty końcowe zarządzane przez usługę Azure Synapse ustanawiają prywatne linki do zasobów platformy Azure i kierują ruch między obszarami roboczymi usługi Azure Synapse i innymi zasobami platformy Azure przy użyciu sieci szkieletowej firmy Microsoft.
Usługa Azure Virtual Network udostępnia funkcje sieci prywatnej dla zasobów platformy Azure, które nie są częścią obszaru roboczego usługi Azure Synapse. Możesz zarządzać dostępem, zabezpieczeniami i routingiem między zasobami.
Prywatny punkt końcowy platformy Azure łączy usługę z siecią wirtualną przy użyciu prywatnego adresu IP z sieci wirtualnej rozwiązania do usług zarządzanych przez platformę Azure. To połączenie zabezpiecza sieć między obszarem roboczym usługi Azure Synapse i innymi usługami platformy Azure, takimi jak Storage, Azure Cosmos DB, Azure SQL Database lub własna usługa Azure Private Link.

Raportowanie

Usługa Power BI wykonuje zaawansowaną analizę i szczegółowe informacje o przetworzonych danych.

Share via