Bagikan melalui

Mengubah data dari sumber SAP ODP menggunakan konektor SAP CDC di Azure Data Factory atau Azure Synapse Analytics

  • Artikel

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menguraikan cara menggunakan aliran data pemetaan untuk mengubah data dari sumber SAP ODP menggunakan konektor SAP CDC. Untuk mempelajari lebih lanjut, baca artikel pengantar untuk Azure Data Factory atau Azure Synapse Analytics. Untuk pengenalan transformasi data dengan Azure Data Factory dan analitik Azure Synapse, baca aliran data pemetaan atau tutorial tentang pemetaan aliran data.

Tip

Untuk mempelajari dukungan keseluruhan pada skenario integrasi data SAP, lihat Integrasi data SAP menggunakan whitepaper Azure Data Factory dengan pengenalan mendetail pada setiap konektor, perbandingan, dan panduan SAP.

Kemampuan yang didukung

Konektor SAP CDC ini didukung untuk kemampuan berikut:

Kemampuan yang didukung IR
Alur data pemetaan (sumber/-) (1), (2)

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Konektor SAP CDC ini menggunakan kerangka kerja SAP ODP untuk mengekstrak data dari sistem sumber SAP. Untuk pengenalan arsitektur solusi, baca Pengenalan dan arsitektur untuk pengambilan data perubahan SAP (CDC) di pusat pengetahuan SAP kami.

Kerangka kerja SAP ODP terkandung dalam semua sistem berbasis SAP NetWeaver terbaru, termasuk SAP ECC, SAP S/4HANA, SAP BW, SAP BW/4HANA, SAP LT Replication Server (SLT). Untuk prasyarat dan rilis minimum yang diperlukan, lihat Prasyarat dan konfigurasi.

Konektor SAP CDC mendukung autentikasi dasar atau Secure Network Communications (SNC), jika SNC dikonfigurasi.

Batasan saat ini

Berikut adalah batasan konektor SAP CDC saat ini di Data Factory:

  • Anda tidak dapat mengatur ulang atau menghapus langganan ODQ di Data Factory (gunakan ODQMON transaksi dalam sistem SAP yang terhubung untuk tujuan ini).
  • Anda tidak dapat menggunakan hierarki SAP dengan solusi.

Prasyarat

Untuk menggunakan konektor SAP CDC ini, lihat Prasyarat dan penyiapan untuk konektor SAP CDC.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

Membuat layanan tertaut untuk konektor SAP CDC menggunakan UI

Ikuti langkah-langkah yang dijelaskan dalam Menyiapkan layanan tertaut SAP CDC untuk membuat layanan tertaut untuk konektor SAP CDC di UI portal Azure.

Properti himpunan data

Untuk menyiapkan himpunan data SAP CDC, ikuti Menyiapkan himpunan data sumber SAP CDC.

Mengubah data dengan konektor SAP CDC

Umpan perubahan ODP SAP mentah sulit ditafsirkan dan memperbaruinya dengan benar ke sink bisa menjadi tantangan. Misalnya, atribut teknis yang terkait dengan setiap baris (seperti ODQ_CHANGEMODE) harus dipahami untuk menerapkan perubahan pada sink dengan benar. Selain itu, ekstrak data perubahan dari ODP dapat berisi beberapa perubahan pada kunci yang sama (misalnya, pesanan penjualan yang sama). Oleh karena itu penting untuk menghormati urutan perubahan, sementara pada saat yang sama mengoptimalkan performa dengan memproses perubahan secara paralel. Selain itu, mengelola umpan penangkapan data perubahan juga memerlukan pelacakan status, misalnya untuk menyediakan mekanisme bawaan untuk pemulihan kesalahan. Aliran data pemetaan pabrik data Azure mengurus semua aspek tersebut. Oleh karena itu, konektivitas SAP CDC adalah bagian dari pengalaman aliran data pemetaan. Dengan demikian, pengguna dapat berkonsentrasi pada logika transformasi yang diperlukan tanpa harus repot-repot dengan detail teknis ekstraksi data.

Untuk memulai, buat alur dengan aliran data pemetaan.

Cuplikan layar tambahkan aktivitas aliran data dalam alur.

Selanjutnya, tentukan layanan tertaut penahapan dan folder penahapan di Azure Data Lake Gen2, yang berfungsi sebagai penyimpanan perantara untuk data yang diekstrak dari SAP.

Catatan

  • Layanan tertaut penahapan tidak dapat menggunakan runtime integrasi yang dihost sendiri.
  • Folder penahapan harus dianggap sebagai penyimpanan internal konektor SAP CDC. Untuk pengoptimalan lebih lanjut dari runtime SAP CDC, detail implementasi, seperti format file yang digunakan untuk data penahapan, mungkin berubah. Oleh karena itu, kami menyarankan untuk tidak menggunakan folder penahapan untuk tujuan lain, misalnya sebagai sumber untuk aktivitas penyalinan lainnya atau pemetaan aliran data.

Cuplikan layar tentukan folder penahapan dalam aktivitas aliran data.

Kunci Titik Pemeriksaan digunakan oleh runtime SAP CDC untuk menyimpan informasi status tentang proses pengambilan data perubahan. Ini, misalnya, memungkinkan aliran data pemetaan SAP CDC untuk secara otomatis pulih dari situasi kesalahan, atau mengetahui apakah proses penangkapan data perubahan untuk aliran data tertentu telah dibuat. Oleh karena itu penting untuk menggunakan Kunci Titik Pemeriksaan unik untuk setiap sumber. Jika tidak, informasi status dari satu sumber akan ditimpa oleh sumber lain.

Catatan

  • Untuk menghindari konflik, id unik dihasilkan sebagai Kunci Titik Pemeriksaan secara default.
  • Saat menggunakan parameter untuk memanfaatkan aliran data yang sama untuk beberapa sumber, pastikan untuk memaparkan Kunci Titik Pemeriksaan dengan nilai unik per sumber.
  • Properti Kunci Titik Pemeriksaan tidak ditampilkan jika mode Jalankan dalam sumber SAP CDC diatur ke Penuh pada setiap proses (lihat bagian berikutnya), karena dalam hal ini tidak ada proses pengambilan data perubahan yang dibuat.

Cuplikan layar properti kunci titik pemeriksaan dalam aktivitas aliran data.

Kunci titik pemeriksaan berparameter

Kunci titik pemeriksaan diperlukan untuk mengelola status proses pengambilan data perubahan. Untuk manajemen yang efisien, Anda dapat membuat parameter kunci titik pemeriksaan untuk memungkinkan koneksi ke sumber yang berbeda. Berikut cara menerapkan kunci titik pemeriksaan berparameter:

  1. Buat parameter global untuk menyimpan kunci titik pemeriksaan di tingkat alur untuk memastikan konsistensi di seluruh eksekusi:

    "parameters": {
 "checkpointKey": {
     "type": "string",
     "defaultValue": "YourStaticCheckpointKey"
 }
}

  2. Atur kunci titik pemeriksaan secara terprogram untuk memanggil alur dengan nilai yang diinginkan setiap kali dijalankan. Berikut adalah contoh panggilan REST menggunakan kunci titik pemeriksaan berparameter:

    PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelines/{pipelineName}?api-version=2018-06-01
Content-Type: application/json
{
    "properties": {
        "activities": [
            // Your activities here
        ],
        "parameters": {
            "checkpointKey": {
                "type": "String",
                "defaultValue": "YourStaticCheckpointKey"
            }
        }
    }
}

Untuk informasi lebih rinci, lihat Topik tingkat lanjut untuk konektor SAP CDC.

Properti pemetaan aliran data

Untuk membuat aliran data pemetaan menggunakan konektor SAP CDC sebagai sumber, selesaikan langkah-langkah berikut:

  1. Di Studio ADF, buka bagian Aliran data dari hub Penulis, pilih tombol ... untuk menurun menu tindakan Aliran data, dan pilih item Aliran data baru. Aktifkan mode debug dengan menggunakan tombol Debug Aliran data di bilah atas kanvas aliran data.

    Cuplikan layar tombol debug aliran data dalam pemetaan aliran data.

  2. Di editor aliran data pemetaan, pilih Tambahkan Sumber.

    Cuplikan layar tambahkan sumber dalam pemetaan aliran data.

  3. Pada tab Pengaturan sumber, pilih himpunan data SAP CDC yang disiapkan atau pilih tombol Baru untuk membuat yang baru. Atau, Anda juga dapat memilih Sebaris di properti Jenis sumber dan melanjutkan tanpa menentukan himpunan data eksplisit.

    Cuplikan layar opsi pilih himpunan data di pengaturan sumber sumber sumber aliran data pemetaan.

  4. Pada tab Opsi sumber, pilih opsi Penuh pada setiap proses jika Anda ingin memuat rekam jepret penuh pada setiap eksekusi aliran data pemetaan Anda. Pilih Penuh pada eksekusi pertama, lalu bertahap jika Anda ingin berlangganan umpan perubahan dari sistem sumber SAP termasuk rekam jepret data lengkap awal. Dalam hal ini, eksekusi pertama alur Anda melakukan inisialisasi delta, yang berarti membuat langganan delta ODP dalam sistem sumber dan mengembalikan rekam jepret data lengkap saat ini. Eksekusi alur berikutnya hanya mengembalikan perubahan bertahap sejak eksekusi sebelumnya. Opsi perubahan inkremental hanya membuat langganan delta ODP tanpa mengembalikan rekam jepret data lengkap awal dalam proses pertama. Sekali lagi, eksekusi berikutnya mengembalikan perubahan bertahap karena eksekusi sebelumnya saja. Kedua opsi beban bertahap harus menentukan kunci objek sumber ODP di properti Kolom kunci.

    Cuplikan layar properti mode eksekusi dalam opsi sumber sumber pemetaan sumber aliran data.

    Cuplikan layar pilihan kolom kunci dalam opsi sumber pemetaan sumber aliran data.

  5. Untuk tab Proyeksi, Optimalkan dan Periksa, ikuti aliran data pemetaan.

Mengoptimalkan performa beban penuh atau awal dengan partisi sumber

Jika Mode jalankan diatur ke Penuh pada setiap eksekusi atau Penuh pada eksekusi pertama, maka bertahap, tab Optimalkan menawarkan pilihan dan jenis partisi yang disebut Sumber. Opsi ini memungkinkan Anda menentukan beberapa kondisi partisi (yaitu filter) untuk memotong himpunan data sumber besar ke dalam beberapa bagian yang lebih kecil. Untuk setiap partisi, konektor SAP CDC memicu proses ekstraksi terpisah dalam sistem sumber SAP.

Cuplikan layar opsi partisi dalam mengoptimalkan pemetaan sumber aliran data.

Jika partisi berukuran sama, partisi sumber dapat secara linier meningkatkan throughput ekstraksi data. Untuk mencapai peningkatan performa tersebut, sumber daya yang memadai diperlukan dalam sistem sumber SAP, komputer virtual yang menghosting runtime integrasi yang dihost sendiri, dan runtime integrasi Azure.

Konten terkait