Mengelola proses SAP CDC
BERLAKU UNTUK:
Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Setelah Anda membuat alur dan memetakan aliran data di Azure Data Factory menggunakan konektor SAP CDC, penting untuk mengelola proses ETL dengan tepat.
Menjalankan alur replikasi data SAP pada jadwal berulang
Untuk menjalankan alur replikasi data SAP pada jadwal berulang dengan frekuensi tertentu:
Buat pemicu jendela tumbling yang sering menjalankan alur replikasi data SAP. Atur Konkurensi maks ke 1.
Untuk informasi selengkapnya, lihat Membuat pemicu yang menjalankan alur pada jendela tumbling.
Tambahkan dependensi mandiri pada pemicu jendela tumbling sehingga eksekusi alur berikutnya selalu menunggu hingga eksekusi alur sebelumnya berhasil diselesaikan.
Untuk informasi selengkapnya, lihat Membuat dependensi pemicu jendela tumbling.
Memantau aliran data SAP CDC
Untuk memantau status dan kemajuan aliran data SAP CDC yang sedang berjalan, buka lalu Pantau alat dan pilih eksekusi alur Anda. Pilih ikon Detail aliran data dalam tabel aktivitas di bagian bawah layar.
Ini akan membawa Anda ke monitor aliran data. Mengklik ikon sumber dalam diagram aliran data di bagian atas akan membuka bagian diagnostik sumber detail di bagian bawah.
"Proses pelanggan SAP ke tahap" (tidak ditampilkan untuk beban penuh) membantu Anda mengidentifikasi proses SAP CDC Anda dalam alat pemantauan sistem sumber SAP.
Bagian "SAP ke tahap", yang diperbarui secara berkala saat ekstraksi dari sistem sumber SAP masih dijalankan, menunjukkan kemajuan proses ekstraksi.
Ketika eksekusi aliran data berhasil diselesaikan, monitor aliran data menunjukkan informasi terperinci tentang proses ekstraksi dari SAP. Selain informasi runtime seperti waktu mulai dan durasi, Anda juga menemukan jumlah baris yang disalin dari SAP di baris Baris yang disalin dan jumlah baris yang diteruskan dari sumber ke transformasi berikutnya (dalam hal ini transformasi sink) dalam baris Baris dihitung. Perhatikan bahwa Baris yang dihitung bisa lebih kecil dari Baris yang disalin: setelah mengekstrak rekaman data yang diubah dari sistem SAP, aliran data melakukan deduplikasi baris yang diubah berdasarkan definisi kunci. Hanya rekaman terbaru yang diteruskan lebih jauh ke aliran data.
Memantau ekstraksi data pada sistem SAP
Untuk memantau ekstraksi data pada sistem SAP:
Dalam Alat Masuk SAP pada sistem sumber SAP Anda, jalankan kode transaksi ODQMON.
Di Pelanggan, masukkan nilai untuk properti Nama pelanggan dari layanan tertaut SAP CDC Anda. Di dropdown Pilihan Permintaan, pilih Semua untuk menampilkan semua ekstraksi data yang menggunakan layanan tertaut.
Anda dapat melihat semua proses pelanggan yang terdaftar dalam antrean delta operasional (ODQ). Proses pelanggan mewakili ekstraksi data dari aliran data pemetaan Azure Data Factory yang menggunakan layanan tertaut SAP CDC Anda. Untuk setiap langganan ODQ, Anda dapat melihat detail untuk melihat semua ekstraksi penuh dan delta. Untuk setiap ekstraksi, Anda dapat melihat paket data individual yang digunakan.
Ketika aliran data pemetaan Data Factory yang mengekstrak data SAP tidak lagi diperlukan, Anda harus menghapus langganan ODQ mereka. Saat Anda menghapus langganan ODQ, sistem SAP dapat berhenti melacak status langganannya dan menghapus paket data yang tidak digunakan dari ODQ. Untuk menghapus langganan ODQ, pilih langganan dan pilih ikon Hapus.
Memecahkan masalah perubahan delta
Konektor SAP CDC di Data Factory membaca perubahan delta dari kerangka kerja SAP ODP. Delta direkam dalam tabel ODQ.
Dalam skenario di mana pergerakan data berfungsi (pemetaan aliran data selesai tanpa kesalahan), tetapi data tidak dikirimkan dengan benar (tidak ada data sama sekali, atau mungkin hanya sebagian dari data yang diharapkan), Anda harus terlebih dahulu memeriksa ODQMON apakah jumlah rekaman yang disediakan di sisi SAP cocok dengan jumlah baris yang ditransfer oleh Data Factory. Jika keduanya cocok, masalah ini tidak ada hubungannya dengan Data Factory, tetapi mungkin berasal dari konfigurasi yang salah atau hilang di sisi SAP.
Memecahkan masalah di SAP dengan menggunakan ODQMON
Untuk menganalisis data apa yang telah disediakan sistem SAP untuk skenario Anda, mulai transaksi ODQMON di sistem backend SAP Anda. Jika Anda menggunakan Server Replikasi Transformasi Lanskap (SLT) dengan server mandiri, mulai transaksi di sana.
Untuk menemukan ODQ yang sesuai dengan aliran data pemetaan Anda, gunakan opsi filter. Di Antrean, Anda dapat menggunakan wildcard untuk mempersempit pencarian. Misalnya, Anda dapat mencari dengan nama tabel EKKO.
Pilih kotak centang Hitung Volume Data untuk melihat detail tentang jumlah baris dan volume data (dalam byte) yang terkandung dalam ODQ.
Untuk melihat langganan ODQ, klik dua kali antrean. ODQ dapat memiliki beberapa pelanggan, jadi periksa nama pelanggan yang Anda masukkan di layanan tertaut Data Factory. Pilih langganan yang memiliki tanda waktu yang paling cocok dengan waktu alur data pemetaan Anda berjalan. Untuk langganan delta, eksekusi pertama aliran data pemetaan untuk langganan dicatat di sisi SAP.
Dalam langganan, daftar permintaan sesuai dengan pemetaan aliran data yang berjalan di Data Factory. Dalam gambar berikut, Anda akan melihat hasil dari empat pemetaan aliran data yang berjalan:
Berdasarkan tanda waktu di baris pertama, temukan baris yang sesuai dengan alur data pemetaan yang ingin Anda analisis. Jika jumlah baris yang ditampilkan sama dengan jumlah baris yang dibaca oleh aliran data pemetaan, Anda telah memverifikasi bahwa Data Factory telah membaca dan mentransfer data seperti yang disediakan oleh sistem SAP. Dalam skenario ini, sebaiknya konsultasikan dengan tim yang bertanggung jawab atas sistem SAP Anda.
Konten terkait
Pelajari selengkapnya tentang konektor SAP.