Mereplikasi beberapa objek dari SAP melalui SAP CDC

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menjelaskan templat solusi yang dapat Anda gunakan untuk mereplikasi beberapa objek ODP dari SAP melalui konektor SAP CDC ke Azure Data Lake Gen2 dalam format Delta dengan partisi kunci.

Tentang templat solusi ini

Templat ini membaca file kontrol eksternal dalam format json di penyimpanan Anda, yang berisi konteks SAP ODP, objek ODP SAP, dan kolom kunci dari sistem sumber SAP serta kontainer, folder, dan partisi Anda dari penyimpanan tujuan Azure Data Lake Gen2. Kemudian menyalin masing-masing objek SAP ODP dari sistem SAP ke Azure Data Lake Gen2 dalam format Delta.

Templat tersebut berisi tiga aktivitas:

• Pencarian mengambil daftar objek ODP SAP yang akan dimuat dan jalur penyimpanan tujuan dari file kontrol eksternal di penyimpanan Azure Data Lake Gen2 Anda.
• ForEach mendapatkan daftar objek SAP ODP dari aktivitas Pencarian dan mengulangi setiap objek ke aktivitas aliran data pemetaan.
• Pemetaan aliran data mereplikasi setiap objek SAP ODP dari sistem SAP ke Azure Data Lake Gen2 dalam format Delta. Ini akan melakukan beban penuh awal dalam eksekusi pertama dan kemudian melakukan beban bertahas dalam eksekusi berikutnya secara otomatis. Ini akan menggabungkan perubahan ke Azure Data Lake Gen2 dalam format Delta.

File kontrol eksternal dalam format json diperlukan dalam templat ini. Skema untuk file kontrol seperti di bawah ini.

• checkPointKey adalah kunci kustom Anda untuk mengelola titik pemeriksaan pengambilan data yang diubah di ADF. Anda dapat menemukan detail selengkapnya di sini.
• sapContext adalah konteks SAP ODP Anda dari sistem SAP sumber. Anda dapat menemukan detail selengkapnya di sini.
• sapObjectName adalah nama objek SAP ODP Anda yang akan dimuat dari sistem SAP. Anda dapat menemukan detail selengkapnya di sini.
• sapRunMode adalah menentukan bagaimana Anda ingin memuat objek SAP. Ini bisa fullLoad, incrementalLoad atau fullAndIncrementalLoad.
• sapKeyColumns adalah nama kolom kunci Anda dari objek SAP ODP yang digunakan untuk melakukan dedupe dalam pemetaan aliran data.
• sapPartitions adalah daftar kondisi partisi yang mengarah ke proses ekstraksi terpisah dalam sistem SAP yang terhubung.
• deltaContainer adalah nama kontainer Anda di Azure Data Lake Gen2 sebagai penyimpanan tujuan.
• deltaFolder adalah nama folder Anda di Azure Data Lake Gen2 sebagai penyimpanan tujuan.
• deltaKeyColumns adalah kolom Anda yang digunakan untuk menentukan apakah baris dari sumber cocok dengan baris dari sink saat Anda ingin memperbarui atau menghapus baris.
• deltaPartition adalah kolom Anda yang digunakan untuk membuat partisi untuk setiap nilai unik di kolom tersebut untuk menulis data ke dalam format Delta di Azure Data Lake Gen2 melalui kluster Spark yang digunakan dengan memetakan aliran data. Anda bisa mendapatkan detail selengkapnya di sini

File kontrol sampel seperti di bawah ini:

[
  {
    "checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
    "sapContext": "ABAP_CDS",
    "sapObjectName": "ZPERFCDPOS$F",
    "sapRunMode": "fullAndIncrementalLoad",
    "sapKeyColumns": [
      "TABKEY"
    ],
    "sapPartitions": [
	[{
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "1"
       },
       {
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "X"
      }]
    ],
    "deltaContainer":"delta",
    "deltaFolder":"ZPERFCDPOS",
    "deltaKeyColumns":["TABKEY"],
    "deltaPartition":"TEXTCASE",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  },
  {
    "checkPointKey":"CheckPointFor_Z0131",
    "sapContext": "SAPI",
    "sapObjectName": "Z0131",
    "sapRunMode": "incrementalLoad",
    "sapKeyColumns": [
      "ID"
    ],
    "sapPartitions": [],
    "deltaContainer":"delta",
    "deltaFolder":"Z0131",
    "deltaKeyColumns":["ID"],
    "deltaPartition":"COMPANY",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  }
]

Cara menggunakan templat solusi ini

1. Buat dan unggah file kontrol ke format json ke Azure Data Lake Gen2 Anda sebagai penyimpanan tujuan. Kontainer default untuk menyimpan file kontrol adalah demo dan nama file kontrol default adalah SapToDeltaParameters.json.

2. Buka templat Replikasi beberapa tabel dari SAP ODP ke Azure Data Lake Storage Gen2 dalam format Delta dan klik.

   

3. Klik Lanjutkan dan masukkan layanan tertaut Anda yang tersambung ke sistem SAP sebagai sumber, dan layanan tertaut yang tersambung ke Azure Data Lake Gen2 sebagai tujuan. Anda bisa mendapatkan detail selengkapnya tentang layanan tertaut SAP CDC dari sini. Ketahuilah bahwa file kontrol eksternal Anda harus diunggah ke akun Azure Data Lake Gen2 yang sama.

   

4. Klik Gunakan templat ini dan Anda akan melihat alur telah siap digunakan.

   

Konten terkait

• Azure Data Factory SAP CDC
• Topik lanjutan SAP CDC
• Azure Data Factory mengubah pengambilan data