Menyalin data dari SAP Business Warehouse dengan Azure Data Factory atau Synapse Analytics

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menunjukkan cara menggunakan alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari SAP Business Warehouse (BW) melalui Open Hub ke Azure Data Lake Storage Gen2. Anda dapat menggunakan proses serupa untuk menyalin data ke penyimpanan data sink lain yang didukung.

Tip

Untuk informasi umum tentang menyalin data dari SAP BW termasuk integrasi Open Hub SAP BW dan aliran ekstraksi delta, lihat Menyalin data dari SAP Business Warehouse melalui Open Hub menggunakan Azure Data Factory.

Prasyarat

• Ruang kerja Azure Data Factory atau Synapse: Jika Anda tidak memilikinya, ikuti langkah-langkah untuk membuat pabrik data atau membuat ruang kerja Synapse.

• SAP BW Open Hub Destination (OHD) dengan jenis tujuan "Database Table": Untuk membuat OHD atau untuk memeriksa apakah OHD Anda dikonfigurasi dengan benar untuk integrasi dengan layanan, lihat bagian konfigurasi SAP BW Open Hub Destination pada artikel ini.

• Pengguna SAP BW memerlukan izin berikut:

  • Otorisasi untuk Panggilan Fungsi Jarak Jauh (RFC) dan SAP BW.
  • Izin untuk aktivitas "Eksekusi" dari objek otorisasi S_SDSAUTH.

• Runtime integrasi yang dihost sendiri (IR) dengan konektor SAP .NET 3.0. Ikuti langkah-langkah penyiapan berikut:

  1. Instal dan daftarkan runtime integrasi yang dihost sendiri, versi 3.13 atau yang lebih baru. (Proses ini akan dijelaskan nanti dalam artikel ini.)

  2. Unduh Konektor SAP 64-bit untuk Microsoft .NET 3.0 dari situs web SAP, dan instal di komputer yang sama dengan IR yang dihost sendiri. Selama instalasi, pastikan Anda memilih Instal Rakitan ke GAC dalam kotak dialog Langkah-langkah penyiapan opsional, seperti yang ditunjukkan gambar berikut:

     

Lakukan penyalinan lengkap dari Open Hub SAP BW

Di portal Microsoft Azure, buka layanan Anda. Pilih Buka pada petak Open Azure Data Factory Studio atau Open Synapse Studio untuk membuka UI layanan pada tab terpisah.

1. Di beranda, pilih Serap untuk membuka alat Salin Data.

2. Di halaman Properti, pilih Tugas salin bawaan di bagian Jenis tugas, lalu pilih Jalankan sekali sekarang di bagian Kadensi tugas dan jadwal tugas, lalu pilih Berikutnya.

3. Di halaman Penyimpanan data sumber, pilih + Koneksi baru. Pilih Open Hub SAP BW dari galeri konektor, lalu pilih Lanjutkan. Untuk memfilter konektor, Anda dapat mengetik SAP di kotak pencarian.

4. Di halaman Koneksi baru (Hub Terbuka SAP BW), ikuti langkah-langkah ini untuk membuat koneksi baru.

   1. Dari daftar Sambungkan melalui runtime integrasi, pilih IR yang dihost sendiri yang ada. Atau, jika belum IR yang dihost sendiri, pilih untuk membuat baru.

      Untuk membuat IR yang dihost sendiri baru, pilih +Baru, lalu pilih Dihost sendiri. Masukkan Nama, lalu pilih Berikutnya. Pilih Penyiapan ekspres untuk menginstal di komputer saat ini, atau ikuti langkah-langkah penyiapan manual yang disediakan.

      Seperti yang disebutkan di Prasyarat, pastikan Anda memiliki Konektor SAP untuk Microsoft .NET 3.0 yang diinstal pada komputer yang sama tempat IR yang dihost sendiri berjalan.

   2. Isi SAP BW Nama server, Nomor sistem, ID Klien, Bahasa (jika selain EN), Nama pengguna, dan Kata sandi.

   3. Pilih Pengujian koneksi untuk memvalidasi pengaturan, lalu pilih Buat.

   

   4. Di halaman Penyimpanan data sumber, pilih koneksi yang baru dibuat di blok Koneksi.

   5. Di bagian memilih tujuan Hub Terbuka, telusuri Tujuan Hub Terbuka yang tersedia di SAP BW Anda. Anda dapat melihat pratinjau data di setiap tujuan dengan memilih tombol pratinjau di akhir setiap baris. Pilih OHD untuk menyalin data, lalu pilih Berikutnya.

   

5. Tentukan filter, jika Anda membutuhkannya. Jika OHD Anda hanya berisi data dari satu eksekusi proses transfer data (DTP) dengan satu ID permintaan, atau Anda yakin bahwa DTP Anda sudah selesai dan ingin menyalin data, hapus centang kotak Kecualikan Permintaan Terakhir di bagian Lanjutan. Anda dapat melihat pratinjau data dengan memilih tombol Pratinjau data.

   Pelajari pengaturan ini lebih lanjut di bagian konfigurasi Tujuan Open Hub SAP BW di artikel ini. Kemudian pilih Berikutnya.

   

6. Di halaman Penyimpanan data tujuan, pilih + Koneksi baru>Azure Data Lake Storage Gen2>Lanjutkan.

7. Di halaman Koneksi baru (Azure Data Lake Storage Gen2), ikuti langkah-langkah ini untuk membuat koneksi.

   1. Pilih akun berkemampuan Data Lake Storage Gen2 Anda dari daftar menurun Nama.
   2. Pilih Buat untuk membuat koneksi.

   

8. Di halaman Penyimpanan data tujuan, pilih koneksi yang baru dibuat di bagian Koneksi, dan masukkan copyfromopenhub sebagai nama folder output. Kemudian pilih Berikutnya.

   

9. Pada halaman Pengaturan format file, pilih Berikutnya untuk menggunakan pengaturan default.

   

10. Di halaman Pengaturan, tentukan Nama tugas, dan perluas Lanjutan. Masukkan nilai untuk Tingkat paralelisme penyalinan seperti 5 untuk memuat dari SAP BW secara paralel. Kemudian pilih Berikutnya.

    

11. Di halaman Ringkasan, tinjau pengaturan. Kemudian pilih Berikutnya.

    

12. Pada Halaman penyebaran, pilih Pemantauan untuk memantau alur.

13. Perhatikan bahwa tab Pemantauan di sebelah kiri dipilih secara otomatis. Anda dapat menggunakan tautan di bagian kolom Nama alur di halaman Eksekusi alur untuk melihat detail aktivitas dan menjalankan ulang alur.

14. Untuk melihat eksekusi aktivitas yang terkait dengan eksekusi alur, pilih tautan di kolom Nama alur. Hanya ada satu aktivitas (aktivitas salin) dalam alur, jadi Anda hanya akan melihat satu entri. Untuk beralih kembali ke tampilan eksekusi alur, pilih tautan Semua eksekusi alur di bagian atas. Pilih Refresh untuk menyegarkan daftar.

    

15. Untuk memantau detail eksekusi setiap aktivitas penyalinan, pilih tautan Detail, yang berupa ikon kacamata di baris yang sama dari setiap aktivitas penyalinan pada tampilan pemantauan aktivitas. Detail yang tersedia termasuk volume data yang disalin dari sumber ke sink, throughput data, langkah dan durasi eksekusi, serta konfigurasi yang digunakan.

    

16. Untuk melihat ID Permintaan maksimum setiap aktivitas penyalinan, kembali ke tampilan pemantauan aktivitas dan pilih Output di baris yang sama dari setiap aktivitas penyalinan.

    

    

Penyalinan Tambahan dari Open Hub SAP BW

Tip

Lihat alur ekstraksi delta konektor SAP BW Open Hub untuk mempelajari bagaimana konektor SAP BW Open Hub menyalin data tambahan dari SAP BW. Artikel ini juga dapat membantu Anda memahami konfigurasi konektor dasar.

Sekarang, mari kita lanjutkan untuk mengonfigurasi penyalinan tambahan dari Open Hub SAP BW.

Penyalinan tambahan menggunakan mekanisme "high-watermark" yang didasarkan pada ID permintaan. ID tersebut secara otomatis dibuat di Tujuan Open Hub Sap BW oleh DTP. Diagram berikut menunjukkan alur kerja ini:

Di halaman beranda, pilih Templat alur di bagian Temukan lainnya untuk menggunakan templat bawaan.

1. Cari SAP BW untuk menemukan dan memilih Penyalinan tambahan dari SAP BW ke templat Azure Data Lake Storage Gen2. Templat ini menyalin data ke dalam Azure Data Lake Storage Gen2. Anda dapat menggunakan alur kerja serupa untuk menyalin ke jenis sink yang lain.

2. Pada halaman utama templat, pilih atau buat tiga koneksi berikut, lalu pilih Gunakan templat ini di sudut kanan bawah jendela.

   • Azure Blob Storage: Dalam panduan ini, kami menggunakan Azure Blob Storage untuk menyimpan marka air tinggi, yang merupakan ID permintaan yang disalin maksimal.
   • Open Hub SAP BW: Ini adalah sumber untuk menyalin data. Lihat panduan penyalinan lengkap sebelumnya untuk mengetahui detail konfigurasinya.
   • Azure Data Lake Storage Gen2: Ini adalah sink untuk menyalin data. Lihat panduan penyalinan lengkap sebelumnya untuk mengetahui detail konfigurasinya.

   

3. Template ini membuat alur dengan tiga aktivitas berikut dan membuatnya dirantai saat berhasil: Pencarian,Penyalinan Data,dan Web.

   Masuk ke tab Parameter alur. Anda melihat semua konfigurasi yang perlu disediakan.

   

   • SAPOpenHubDestinationName: Menentukan nama tabel Open Hub untuk menyalin data.

   • Data_Destination_Container: Menentukan tujuan kontainer Azure Data Lake Storage Gen2 untuk menyalin data. Jika kontainer tidak ada, aktivitas penyalinan akan membuatnya selama eksekusi.

   • Data_Destination_Directory: Menentukan jalur folder di bagian kontainer Azure Data Lake Storage Gen2 untuk menyalin data. Jika jalur tidak ada, aktivitas penyalinan membuat sebuah jalur selama eksekusi.

   • HighWatermarkBlobContainer: Menentukan kontainer untuk menyimpan nilai marka air tinggi.

   • HighWatermarkBlobDirectory: Tentukan jalur folder di bagian kontainer untuk menyimpan nilai marka air tinggi.

   • HighWatermarkBlobName: Menentukan nama blob untuk menyimpan nilai marka air tinggi, seperti requestIdCache.txt. Di penyimpanan Blob, buka jalur yang sesuai dari HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName, seperti container/path/requestIdCache.txt. Buat blob dengan konten 0.

     

   • LogicAppURL: Dalam template ini, kami menggunakan WebActivity untuk memanggil Azure Logic Apps untuk mengatur nilai marka air tinggi dalam penyimpanan Blob. Atau, Anda dapat menggunakan Azure SQL Database untuk menyimpannya. Gunakan aktivitas prosedur tersimpan untuk memperbarui nilai.

     Anda harus terlebih dahulu membuat aplikasi logika, seperti yang ditunjukkan oleh gambar berikut. Kemudian, tempelkan di URL POSTING HTTP.

     

     1. Buka portal Microsoft Azure. Pilih layanan Aplikasi Logika baru. Pilih +Aplikasi Logika Kosong untuk membuka Perancang Aplikasi Logika.

     2. Buat pemicu Ketika permintaan HTTP diterima. Tentukan isi permintaan HTTP sebagai berikut:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Tambahkan tindakan Buat blob. Untuk jalur Folder dan nama Blob, gunakan nilai yang sama dengan yang dikonfigurasi sebelumnya di HighWatermarkBlobContainer+HighWatermarkBlobDirectory dan HighWatermarkBlobName.

     4. Pilih Simpan. Kemudian, salin nilai HTTP POST URL untuk digunakan di dalam alur.

4. Setelah memberikan parameter alur, pilih Debug>Selesai untuk menjalankan proses guna memvalidasi konfigurasi. Atau, pilih Terbitkan untuk menerbitkan semua perubahan, lalu pilih Tambahkan pemicu untuk menjalankan eksekusi.

Konfigurasi Tujuan Open Hub SAP BW

Bagian ini memperkenalkan konfigurasi sisi SAP BW untuk menggunakan konektor SAP BW Open Hub untuk menyalin data.

Mengonfigurasi ekstraksi delta di SAP BW

Jika Anda memerlukan salinan historis dan salinan tambahan atau hanya salinan tambahan, konfigurasikan ekstraksi delta di SAP BW.

1. Buat Tujuan Open Hub. Anda dapat membuat OHD dalam SAP Transaction RSA1, yang secara otomatis membuat proses transformasi dan transfer data yang diperlukan. Gunakan pengaturan berikut:

   • ObjectType: Anda dapat menggunakan jenis objek apa pun. Di sini, kami menggunakan InfoCube sebagai contoh.
   • Jenis Tujuan: Pilih Tabel Database.
   • Kunci Tabel: Pilih Kunci Teknis.
   • Ekstraksi: Pilih Simpan Data dan Sisipkan Catatan ke dalam Tabel.

   

   

   Anda dapat meningkatkan jumlah proses kerja SAP yang berjalan secara paralel untuk DTP:

   

2. Jadwalkan DTP dalam rantai proses.

   Delta DTP untuk kubus hanya berfungsi jika baris yang diperlukan belum dikompresi. Pastikan bahwa kompresi kubus BW tidak berjalan sebelum DTP ke tabel Open Hub. Cara termudah untuk melakukan ini adalah dengan mengintegrasikan DTP ke dalam rantai proses yang ada. Dalam contoh berikut, DTP (ke OHD) dimasukkan ke dalam rantai proses antara langkah-langkah Sesuaikan (rollup agregat) dan Ciutkan (kompresi kubus).

   

Mengonfigurasi ekstraksi penuh di SAP BW

Selain ekstraksi delta, Anda mungkin ingin ekstraksi penuh dari InfoProvider SAP BW yang sama. Hal ini biasanya berlaku jika Anda ingin melakukan penyalinan lengkap tetapi tidak bertambah bertahap, atau Anda ingin mengubah urutan ekstraksi delta.

Anda tidak dapat memiliki lebih dari satu DTP untuk OHD yang sama. Jadi, Anda harus membuat OHD tambahan sebelum ekstraksi delta.

Untuk muatan penuh OHD, pilih opsi yang berbeda dengan ekstraksi delta:

• Di OHD: Atur opsi Ekstraksi untuk Menghapus Data dan Menyisipkan Catatan. Jika tidak, data akan diekstraksi berkali-kali ketika Anda mengulangi DTP dalam rantai proses BW.

• Dalam DTP: Atur Mode Ekstraksi ke Penuh. Anda harus mengubah DTP yang dibuat secara otomatis dari Delta menjadi Penuh segera setelah OHD dibuat, seperti yang ditunjukkan gambar ini:

  

• Di konektor BW Open Hub: Nonaktifkan Kecualikan permintaan terakhir. Jika tidak, tidak ada yang akan diekstraksi.

Anda biasanya menjalankan DTP penuh secara manual. Atau, Anda dapat membuat rantai proses untuk DTP penuh. Ini biasanya merupakan rantai terpisah yang tidak bergantung pada rantai proses Anda yang ada. Dalam kedua kasus tersebut, pastikan DTP sudah selesai sebelum Anda memulai ekstraksi dengan menggunakan salinan. Jika tidak, hanya sebagian data yang akan disalin.

Jalankan ekstraksi delta pertama kali

Ekstraksi delta pertama secara teknis merupakan ekstraksi penuh. Secara default, konektor Open Hub SAP BW mengecualikan permintaan terakhir saat menyalin data. Untuk ekstraksi delta pertama, tidak ada data yang diekstraksi oleh aktivitas penyalinan hingga DTP berikutnya menghasilkan data delta dalam tabel dengan ID permintaan terpisah. Ada dua cara untuk menghindari skenario ini:

• Nonaktifkan opsi Kecualikan permintaan terakhir untuk ekstraksi delta pertama. Pastikan bahwa DTP delta pertama selesai sebelum Anda memulai ekstraksi delta pertama kali.
• Gunakan prosedur untuk mengubah urutan ekstraksi delta, seperti yang dijelaskan di bagian berikutnya.

Mengubah urutan ekstraksi delta

Skenario berikut mengubah data dalam kubus SAP BW tetapi tidak dipertimbangkan oleh DTP delta:

• Penghapusan selektif SAP BW (baris dengan menggunakan kondisi filter apa pun)
• Penghapusan permintaan SAP BW (permintaan yang salah)

Tujuan Open Hub SAP bukanlah target data yang dikendalikan oleh data-mart (di semua paket dukungan SAP BW sejak 2015). Jadi, Anda dapat menghapus data dari kubus tanpa mengubah data di OHD. Anda kemudian harus menyinkronkan ulang data kubus dengan layanan:

1. Jalankan ekstraksi penuh dalam layanan (dengan menggunakan DTP penuh di SAP).
2. Hapus semua baris dalam tabel Open Hub untuk DTP delta.
3. Atur status DTP delta ke Diambil.

Setelah ini, semua DTP delta dan ekstraksi delta akan berfungsi seperti yang diharapkan.

Untuk mengatur status DTP delta ke Diambil, Anda dapat menggunakan opsi berikut untuk menjalankan DTP delta secara manual:

Tidak Ada Transfer Data; Status Delta di Sumber: Diambil

Konten terkait

Pelajari tentang dukungan konektor Open Hub SAP BW:

Konektor Open Hub SAP Business Warehouse