Arsitektur contoh integrasi data SAP

Artikel
07/21/2023

Artikel ini adalah bagian dari seri artikel "SAP extend and innovate data: Best practices".

Artikel ini menjelaskan aliran data SAP dari sistem SAP sumber ke target hilir. Setiap target melayani tujuan dalam perjalanan data untuk perusahaan Anda. Desain arsitektur memperluas solusi SAP dengan menggunakan layanan data Azure. Gunakan Azure Synapse Analytics untuk membangun platform data modern untuk menyerap, memproses, menyimpan, menyajikan, dan memvisualisasikan data dari berbagai sumber.

Arsitektur

Diagram berikut adalah contoh arsitektur integrasi data SAP di Azure. Gunakan contoh arsitektur ini sebagai titik awal.

Unduh file Visio arsitektur ini.

Aliran data

Aliran data berikut sesuai dengan diagram sebelumnya:

Sumber data. Sistem tersambung ke sumber data untuk mengaktifkan penyerapan dan analitik data.
Penyerapan data. Alur Azure Data Factory dan Synapse memungkinkan integrasi data.
Penyimpanan data. Data disimpan di Azure Data Lake Storage yang dibangun di Azure Blob Storage.
Transformasi dan konsumsi data. Data diubah secara bertahap, dan konsumsi diaktifkan melalui laporan dengan Power BI atau melalui titik akhir privat yang memungkinkan Anda mengakses data dengan aman melalui tautan privat.
Visualisasi dan pelaporan data. Anda dapat mengakses laporan dan memvisualisasikan data dengan layanan Power BI atau aplikasi eksternal.

Sumber data

Sistem SAP sumber dapat berjalan secara lokal dengan SAP RISE di Azure atau SAP di Azure Virtual Machines. Mereka dapat berupa server SQL lokal, data semi terstruktur di file JSON, XML, dan log, atau sistem gudang data lainnya. Aktivitas salin alur Synapse dapat menyerap data mentah ini. Sistem sumber dihosting secara lokal, di cloud privat atau publik, atau dengan langganan SAP RISE.

Sistem pemrosesan data transaksi online (OLTP) dan pemrosesan analitik online (OLAP) SAP adalah repositori pusat data dan transaksi bisnis. Ekstrak, simpan, dan serap data ke Azure untuk mendapatkan nilai dan wawasan dari data yang berada di repositori data bisnis ini.

Dengan layanan Azure, Anda dapat mengintegrasikan data dari lokasi sumber mana pun. Rencanakan konfigurasi ekstraksi berdasarkan lokasi yang dihosting, kontrol keamanan, standar operasi, bandwidth, dan kewajiban kontraktual.

Penyerapan data

Dalam arsitektur ini, data diserap dengan menggunakan alur Synapse, dan diproses secara bertahap dengan menggunakan kemampuan Data Lake kumpulan Synapse Spark.

Alur Data Factory dan Synapse mengekstrak data dengan menggunakan konektor SAP berikut:

Untuk informasi selengkapnya, lihat sumber daya berikut:

Penyimpanan data

Di Data Lake Storage Gen2, Azure Storage adalah fondasi untuk membangun data lake perusahaan di Azure. Dengan Data Lake Storage Gen2, Anda dapat mengelola sejumlah besar data karena melayani beberapa petabyte informasi sambil mempertahankan ratusan gigabit throughput.

Data dienkripsi saat tidak aktif setelah diserap ke dalam data lake. Gunakan kunci yang dikelola pelanggan Anda untuk lebih meningkatkan enkripsi dan menambahkan fleksibilitas kontrol akses.

Untuk informasi selengkapnya, lihat pengenalan dan praktik terbaik Data Lake Storage Gen2.

Transformasi dan konsumsi data

Dalam arsitektur ini, data yang diserap dari sumber data disimpan di lokasi Data Lake Storage Gen2.

Anda dapat mengelola dan menjalankan aktivitas penyalinan antara penyimpanan data di lingkungan lokal Anda dan cloud dengan menggunakan runtime integrasi yang dihost sendiri (SHIR). Selalu jaga agar sistem SHIR tetap berada di dekat sistem sumber.

Simpan data di akun Penyimpanan Anda dengan menggunakan direktori Data Lake Storage Gen2 khusus tahap, seperti Perunggu, Perak, dan Emas.

Perunggu: Alur Synapse menyalin aktivitas yang menyerap data dari sistem sumber. Data yang diserap ini disimpan dalam format mentah dengan menggunakan direktori Perunggu data lake.
Perak: Kumpulan Synapse Spark menjalankan aturan kualitas data untuk membersihkan data mentah. Data yang diperkaya ini disimpan di direktori Silver data lake.
Emas: Setelah proses pembersihan, kumpulan Spark menerapkan normalisasi, transformasi data, dan aturan bisnis yang diperlukan ke data direktori Silver. Data yang diubah ini disimpan di direktori Gold data lake.

Konektor Synapse Apache Spark ke Synapse SQL mendorong data yang dinormalisasi ke kumpulan Synapse SQL untuk dikonsumsi oleh aplikasi hilir dan layanan pelaporan, seperti Power BI. Konektor ini secara optimal mentransfer data antara kumpulan Apache Spark tanpa server dan kumpulan SQL di ruang kerja Azure Synapse Analytics.

Untuk akun Penyimpanan Anda, titik akhir privat menyediakan pelanggan di jaringan virtual akses aman ke data melalui tautan privat. Titik akhir privat menggunakan alamat IP dari ruang alamat jaringan virtual untuk layanan akun Penyimpanan. Lalu lintas jaringan antara pelanggan di jaringan virtual dan akun Storage melintasi jaringan virtual dan tautan privat di jaringan backbone Microsoft untuk menghilangkan paparan internet publik.

Visualisasi dan pelaporan data

Di layanan Power BI, gunakan DirectQuery untuk mengambil data dengan aman dari kumpulan Synapse SQL.

Gateway data yang diinstal di komputer virtual pada jaringan virtual privat menyediakan platform penghubung antara layanan Power BI dan kumpulan Synapse SQL. Untuk terhubung dengan aman, gateway data menggunakan titik akhir privat di jaringan virtual yang sama.

Aplikasi eksternal dapat mengakses data dari kumpulan tanpa server Synapse atau kumpulan SQL khusus dengan menggunakan titik akhir privat yang terhubung ke jaringan virtual.

Komponen

Arsitektur ini menggunakan beberapa layanan dan kemampuan Azure.

Analisis data

Azure Synapse Analytics adalah layanan inti yang menyerap, memproses, dan menganalisis data.
Data Lake Storage Gen2 dibangun di atas layanan Storage dan menyediakan kemampuan data lake yang digunakan layanan lain saat menyimpan dan memproses data.
Alur Azure Synapse Analytics menyalin data dari sumber ke lokasi Data Lake Storage Gen2.
Apache Spark membersihkan, menormalkan, dan memproses data yang diserap dari lokasi sumber.

Penyimpanan

Kumpulan SQL khusus Azure Synapse Analytics menyediakan kemampuan pergudangan data setelah data diproses dan dinormalisasi dan siap digunakan pelanggan dan aplikasi.
Dengan kumpulan SQL tanpa server Azure Synapse Analytics, Anda dapat mengkueri dan menganalisis data yang diproses dan dinormalisasi dengan cepat.

Jaringan dan penyeimbang muatan

Jaringan virtual yang dikelola Azure Synapse Analytics membuat lingkungan terisolasi dan terkelola untuk ruang kerja Azure Synapse, sehingga Anda tidak perlu mengelola konfigurasi jaringan untuk sumber daya ruang kerja.
Titik akhir privat yang dikelola Azure Synapse membuat tautan privat ke sumber daya Azure dan merutekan lalu lintas antara ruang kerja Azure Synapse Anda dan sumber daya Azure lainnya dengan menggunakan jaringan backbone Microsoft.
Azure Virtual Network menyediakan kemampuan jaringan privat untuk sumber daya Azure yang bukan bagian dari ruang kerja Azure Synapse. Anda dapat mengelola akses, keamanan, dan perutean antar sumber daya.
Titik akhir privat Azure menghubungkan layanan ke jaringan virtual dengan menggunakan alamat IP privat dari jaringan virtual solusi ke layanan yang dikelola Azure. Koneksi ini mengamankan jaringan antara ruang kerja Azure Synapse dan layanan Azure lainnya, seperti Storage, Azure Cosmos DB, Azure SQL Database, atau layanan Azure Private Link Anda sendiri.

Pelaporan

Power BI melakukan analisis dan wawasan tingkat lanjut dari data yang diproses.