Gambaran umum dan arsitektur kemampuan SAP CDC
BERLAKU UNTUK:
Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Pelajari tentang kemampuan pengambilan data perubahan SAP (CDC) di Azure Data Factory dan pahami arsitekturnya.
Azure Data Factory adalah platform integrasi data ETL dan ELT sebagai layanan (PaaS). Untuk integrasi data SAP, Data Factory saat ini menawarkan enam konektor ketersediaan umum:
Kebutuhan ekstraksi data
Konektor SAP di Data Factory mengekstrak data sumber SAP hanya dalam batch. Setiap batch memproses data yang ada dan data baru dengan cara yang sama. Dalam ekstraksi data dalam mode batch, perubahan antara himpunan data yang ada dan data baru tidak diidentifikasi. Jenis mode ekstraksi ini tidak optimal ketika Anda memiliki himpunan data besar seperti tabel yang memiliki jutaan atau miliaran rekaman yang sering berubah.
Anda dapat menjaga salinan data SAP tetap segar dan terbaru dengan sering mengekstrak himpunan data lengkap, tetapi pendekatan ini mahal dan tidak efisien. Anda juga dapat menggunakan solusi manual terbatas untuk mengekstrak sebagian besar rekaman baru atau yang diperbarui. Dalam proses yang disebut watermarking, ekstraksi memerlukan penggunaan kolom tanda waktu, meningkatkan nilai secara monoton, dan terus melacak nilai tertinggi sejak ekstraksi terakhir. Tetapi beberapa tabel tidak memiliki kolom yang bisa Anda gunakan untuk marka air. Proses ini juga tidak mengidentifikasi rekaman yang dihapus sebagai perubahan dalam himpunan data.
Kemampuan SAP CDC
Pelanggan Microsoft menunjukkan bahwa mereka memerlukan konektor yang hanya dapat mengekstrak delta di antara dua set data. Dalam data, delta adalah perubahan apa pun dalam himpunan data yang merupakan hasil dari pembaruan, penyisipan, atau penghapusan dalam himpunan data. Konektor ekstraksi delta menggunakan fitur pengambilan data perubahan SAP (CDC) yang ada di sebagian besar sistem SAP untuk menentukan delta dalam himpunan data. Kemampuan SAP CDC di Data Factory menggunakan kerangka kerja Penyediaan Data Operasional SAP (ODP) untuk mereplikasi delta dalam himpunan data sumber SAP.
Artikel ini menyediakan arsitektur tingkat tinggi dari kemampuan SAP CDC di Azure Data Factory. Dapatkan informasi selengkapnya tentang kemampuan SAP CDC:
- Prasyarat dan penyiapan
- Menyiapkan runtime integrasi yang dihost sendiri
- Menyiapkan layanan tertaut dan himpunan data sumber
- Mengelola solusi Anda
Cara menggunakan kemampuan SAP CDC
Konektor SAP CDC adalah inti dari kemampuan SAP CDC. Ini dapat terhubung ke semua sistem SAP yang mendukung ODP, yang mencakup SAP ECC, SAP S/4HANA, SAP BW, dan SAP BW/4HANA. Solusi ini bekerja baik langsung di lapisan aplikasi atau secara tidak langsung melalui SAP Landscape Transformation Replication Server (SLT) sebagai proksi. Ini tidak bergantung pada watermarking untuk mengekstrak data SAP baik secara penuh atau bertahap. Data yang diekstrak konektor SAP CDC tidak hanya menyertakan tabel fisik tetapi juga objek logis yang dibuat dengan menggunakan tabel. Contoh objek berbasis tabel adalah tampilan SAP Advanced Business Application Programming (ABAP) Core Data Services (CDS).
Gunakan konektor SAP CDC dengan fitur Data Factory seperti memetakan aktivitas aliran data, dan pemicu jendela tumbling untuk solusi replikasi SAP CDC latensi rendah dalam alur yang dikelola sendiri.
Arsitektur SAP CDC
Solusi SAP CDC di Azure Data Factory adalah konektor antara SAP dan Azure. Sisi SAP menyertakan konektor SAP ODP yang memanggil ODP API melalui modul Remote Function Call (RFC) standar untuk mengekstrak data SAP mentah penuh dan delta.
Sisi Azure mencakup aliran data pemetaan yang dapat mengubah dan memuat data SAP ke dalam sink data apa pun yang didukung oleh pemetaan aliran data. Beberapa opsi ini adalah tujuan penyimpanan seperti Azure Data Lake Storage Gen2 atau database seperti Azure SQL Database atau Azure Synapse Analytics. Aktivitas aliran data pemetaan juga dapat memuat hasilnya dalam Data Lake Storage Gen2 dalam format delta. Anda dapat menggunakan fitur Delta Lake Time Travel untuk menghasilkan rekam jepret data SAP untuk periode tertentu. Anda dapat sering menjalankan alur dan memetakan aliran data dengan menggunakan pemicu jendela tumbling Data Factory untuk mereplikasi data SAP di Azure dengan latensi rendah dan tanpa menggunakan marka air.
Untuk memulai, buat layanan tertaut SAP CDC, himpunan data sumber SAP CDC, dan alur dengan aktivitas aliran data pemetaan tempat Anda menggunakan himpunan data sumber SAP CDC. Untuk mengekstrak data dari SAP, runtime integrasi yang dihost sendiri diperlukan agar Anda menginstal di komputer lokal atau pada komputer virtual (VM) yang memiliki garis pandang ke sistem sumber SAP atau server SLT Anda. Aktivitas aliran data pemetaan berjalan pada kluster Azure Databricks atau Apache Spark tanpa server, atau pada runtime integrasi Azure. Penyimpanan penahapan diperlukan untuk dikonfigurasi dalam memetakan aktivitas aliran data untuk membuat runtime integrasi yang dihost sendiri berfungsi dengan mulus dengan memetakan runtime integrasi aliran data.
Konektor SAP CDC menggunakan kerangka kerja SAP ODP untuk mengekstrak berbagai jenis sumber data, termasuk:
- Ekstraktor SAP, awalnya dibuat untuk mengekstrak data dari SAP ECC dan memuatnya ke SAP BW
- Tampilan ABAP CDS, standar ekstraksi data baru untuk SAP S/4HANA
- Himpunan data InfoProviders dan InfoObjects di SAP BW dan SAP BW/4HANA
- Tabel aplikasi SAP, saat Anda menggunakan server replikasi SAP LT (SLT) sebagai proksi
Dalam proses ini, sumber data SAP adalah penyedia. Penyedia berjalan pada sistem SAP untuk menghasilkan data penuh atau bertahap dalam antrean delta operasional (ODQ). Sumber aliran data pemetaan adalah pelanggan ODQ.
Karena ODP sepenuhnya memisahkan penyedia dari pelanggan, dokumen SAP apa pun yang menawarkan konfigurasi penyedia berlaku untuk Data Factory sebagai pelanggan. Untuk informasi selengkapnya tentang ODP, lihat Pengantar provisi data operasional.