SAP CDC aracılığıyla SAP'den birden çok nesne çoğaltma

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Bu makalede, SAP CDC bağlayıcısı aracılığıyla SAP'den birden çok ODP nesnesini anahtar bölümüyle Delta biçiminde Azure Data Lake 2. Nesil'e çoğaltmak için kullanabileceğiniz bir çözüm şablonu açıklanmaktadır.

Bu çözüm şablonu hakkında

Bu şablon depolama deponuzda, SAP ODP bağlamlarınızı, SAP ODP nesnelerinizi ve SAP kaynak sistemindeki anahtar sütunlarının yanı sıra Azure Data Lake 2. Nesil hedef deposundaki kapsayıcılarınızı, klasörlerinizi ve bölümlerinizi içeren bir dış denetim dosyasını json biçiminde okur. Daha sonra SAP sisteminden SAP ODP nesnesinin her birini Delta biçiminde Azure Data Lake 2. Nesil'e kopyalar.

Şablon üç etkinlik içerir:

• Lookup yüklenecek SAP ODP nesneleri listesini ve hedef depolama yolunu Azure Data Lake 2. Nesil deponuzdaki bir dış denetim dosyasından alır.
• ForEach , Arama etkinliğinden SAP ODP nesneleri listesini alır ve her nesneyi eşleme veri akışı etkinliğine yineler.
• Eşleme veri akışı, SAP sisteminden her SAP ODP nesnesini Delta formatında Azure Data Lake Gen2'ye çoğaltır. İlk çalıştırmada ilk tam yükü gerçekleştirir ve ardından sonraki çalıştırmalarda otomatik olarak artımlı yük gerçekleştirir. Değişiklikleri Delta biçiminde Azure Data Lake 2. Nesil ile birleştirir.

Bu şablonda json biçiminde bir dış denetim dosyası gereklidir. Denetim dosyasının şeması aşağıdaki gibidir.

• checkPointKey , ADF'de değiştirilen veri yakalama denetim noktanızı yönetmek için özel anahtarınızdır. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
• sapContext , kaynak SAP sistemindeki SAP ODP bağlamınızdır. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
• sapObjectName , SAP sisteminden yüklenecek SAP ODP nesne adınızdır. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
• sapRunMode , SAP nesnesini nasıl yüklemek istediğinizi belirlemektir. FullLoad, incrementalLoad veya fullAndIncrementalLoad olabilir.
• sapKeyColumns , eşleme veri akışında yinelenenleri kaldırmak için kullanılan SAP ODP nesnelerinden gelen anahtar sütun adlarınızdır.
• sapPartitions , bağlı SAP sisteminde ayrı ayıklama işlemlerine yol açan bölüm koşullarının listesidir.
• deltaContainer hedef depo olarak Azure Data Lake 2. Nesil'deki kapsayıcı adınızdır.
• deltaFolder hedef depo olarak Azure Data Lake 2. Nesil'deki klasör adınızdır.
• deltaKeyColumns , bir satırı güncelleştirmek veya silmek istediğinizde kaynaktan bir satırın havuzdaki bir satırla eşleşip eşleşmediğini belirlemek için kullanılan sütunlarınızdır.
• deltaPartition eşleme veri akışı tarafından kullanılan Spark kümesi aracılığıyla Azure Data Lake 2. Nesil'de Delta biçiminde veri yazmak üzere bu tür sütundaki her benzersiz değer için bölümler oluşturmak için kullandığınız sütundur. Daha fazla ayrıntıya buradan ulaşabilirsiniz

Örnek denetim dosyası aşağıdaki gibidir:

[
  {
    "checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
    "sapContext": "ABAP_CDS",
    "sapObjectName": "ZPERFCDPOS$F",
    "sapRunMode": "fullAndIncrementalLoad",
    "sapKeyColumns": [
      "TABKEY"
    ],
    "sapPartitions": [
	[{
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "1"
       },
       {
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "X"
      }]
    ],
    "deltaContainer":"delta",
    "deltaFolder":"ZPERFCDPOS",
    "deltaKeyColumns":["TABKEY"],
    "deltaPartition":"TEXTCASE",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  },
  {
    "checkPointKey":"CheckPointFor_Z0131",
    "sapContext": "SAPI",
    "sapObjectName": "Z0131",
    "sapRunMode": "incrementalLoad",
    "sapKeyColumns": [
      "ID"
    ],
    "sapPartitions": [],
    "deltaContainer":"delta",
    "deltaFolder":"Z0131",
    "deltaKeyColumns":["ID"],
    "deltaPartition":"COMPANY",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  }
]

Bu çözüm şablonunu kullanma

1. JSON biçiminde bir denetim dosyası oluşturun ve hedef depo olarak Azure Data Lake 2. Nesil'inize yükleyin. Denetim dosyasını depolamak için varsayılan kapsayıcı demo ve varsayılan denetim dosyası adı SapToDeltaParameters.json.

2. SAP ODP'den Delta biçiminde birden çok tabloyu Azure Data Lake Storage 2. Nesil'ye çoğaltma şablonuna gidin ve tıklayın.

   

3. Continue öğesine tıklayın ve SAP sistemine bağlı bağlı hizmetinizi kaynak olarak ve Azure Data Lake 2. Nesil'e bağlı bağlı hizmeti hedef olarak yazın. SAP CDC bağlı hizmeti hakkında daha fazla ayrıntıya buradan ulaşabilirsiniz. Dış denetim dosyanızın aynı Azure Data Lake 2. Nesil hesabına yüklenmesi gerektiğini unutmayın.

   

4. Bu şablonu kullan'a tıklatırsınız ve işlem hattının kullanıma hazır olduğunu görürsünüz.

   

İlgili içerik

• Azure Data Factory SAP CDC
• SAP CDC gelişmiş konuları
• Azure Data Factory değişiklik verisi yakalama