SAP CDC aracılığıyla SAP'den birden çok nesne çoğaltma
UYGULANANLAR: 
Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Bu makalede, SAP CDC bağlayıcısı aracılığıyla SAP'den Anahtar bölümüyle Delta biçiminde Azure Data Lake 2. Nesil'e birden çok ODP nesnesini çoğaltmak için kullanabileceğiniz bir çözüm şablonu açıklanmaktadır.
Bu çözüm şablonu hakkında
Bu şablon, depolama deponuzda, SAP ODP bağlamlarınızı, SAP ODP nesnelerinizi ve SAP kaynak sistemindeki anahtar sütunlarının yanı sıra Azure Data Lake 2. Nesil hedef deposundaki kapsayıcılarınızı, klasörlerinizi ve bölümlerinizi içeren json biçiminde bir dış denetim dosyasını okur. Ardından SAP ODP nesnesinin her birini SAP sisteminden Delta biçiminde Azure Data Lake 2. Nesil'e kopyalar.
Şablon üç etkinlik içerir:
- Arama , yüklenecek SAP ODP nesneleri listesini ve hedef depolama yolunu Azure Data Lake 2. Nesil deponuzdaki bir dış denetim dosyasından alır.
- ForEach , Arama etkinliğinden SAP ODP nesneleri listesini alır ve her nesneyi eşleme veri akışı etkinliğine yineler.
- Eşleme veri akışı her SAP ODP nesnesini SAP sisteminden Delta biçiminde Azure Data Lake 2. Nesil'e çoğaltır. İlk çalıştırmada ilk tam yükü gerçekleştirir ve ardından sonraki çalıştırmalarda otomatik olarak artımlı yük gerçekleştirir. Değişiklikleri Delta biçiminde Azure Data Lake 2. Nesil'de birleştirir.
Bu şablonda json biçiminde bir dış denetim dosyası gereklidir. Denetim dosyasının şeması aşağıdaki gibidir.
- checkPointKey , ADF'de değiştirilen veri yakalama denetim noktanızı yönetmek için özel anahtarınızdır. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
- sapContext , kaynak SAP sistemindeki SAP ODP bağlamınızdır. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
- sapObjectName , SAP sisteminden yüklenecek SAP ODP nesne adınızdır. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
- sapRunMode , SAP nesnesini nasıl yüklemek istediğinizi belirlemektir. FullLoad, incrementalLoad veya fullAndIncrementalLoad olabilir.
- sapKeyColumns , eşleme veri akışında yinelenenleri kaldırmak için kullanılan SAP ODP nesnelerinden gelen anahtar sütun adlarınızdır.
- sapPartitions , bağlı SAP sisteminde ayrı ayıklama işlemlerine yol açan bölüm koşullarının listesidir.
- deltaContainer , Hedef depo olarak Azure Data Lake 2. Nesil'deki kapsayıcı adınızdır.
- deltaFolder , Hedef depo olarak Azure Data Lake 2. Nesil'deki klasör adınızdır.
- deltaKeyColumns , bir satırı güncelleştirmek veya silmek istediğinizde kaynaktan bir satırın havuzdaki bir satırla eşleşip eşleşmediğini belirlemek için kullanılan sütunlarınızdır.
- deltaPartition , eşleme veri akışı tarafından kullanılan Spark kümesi aracılığıyla Azure Data Lake 2. Nesil'de Delta biçimine veri yazmak üzere bu sütundaki her benzersiz değer için bölümler oluşturmak için kullandığınız sütundur. Daha fazla ayrıntıya buradan ulaşabilirsiniz
Örnek denetim dosyası aşağıdaki gibidir:
[
{
"checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
"sapContext": "ABAP_CDS",
"sapObjectName": "ZPERFCDPOS$F",
"sapRunMode": "fullAndIncrementalLoad",
"sapKeyColumns": [
"TABKEY"
],
"sapPartitions": [
[{
"fieldName": "TEXTCASE",
"sign": "I",
"option": "EQ",
"low": "1"
},
{
"fieldName": "TEXTCASE",
"sign": "I",
"option": "EQ",
"low": "X"
}]
],
"deltaContainer":"delta",
"deltaFolder":"ZPERFCDPOS",
"deltaKeyColumns":["TABKEY"],
"deltaPartition":"TEXTCASE",
"stagingStorageFolder":"stagingcontainer/stagingfolder"
},
{
"checkPointKey":"CheckPointFor_Z0131",
"sapContext": "SAPI",
"sapObjectName": "Z0131",
"sapRunMode": "incrementalLoad",
"sapKeyColumns": [
"ID"
],
"sapPartitions": [],
"deltaContainer":"delta",
"deltaFolder":"Z0131",
"deltaKeyColumns":["ID"],
"deltaPartition":"COMPANY",
"stagingStorageFolder":"stagingcontainer/stagingfolder"
}
]
Bu çözüm şablonunu kullanma
JSON biçiminde bir denetim dosyası oluşturun ve hedef depo olarak Azure Data Lake 2. Nesil'inize yükleyin. Denetim dosyasını depolamak için varsayılan kapsayıcı demo ve varsayılan denetim dosyası adı SapToDeltaParameters.json.
Delta biçiminde Azure Data Lake Storage 2. Nesil için SAP ODP'den birden çok tabloyu çoğaltma şablonuna gidin ve tıklayın.
Devam'a tıklayın ve SAP sistemine bağlı bağlı hizmetinizi kaynak olarak ve hedef olarak Azure Data Lake 2. Nesil'e bağlı bağlı hizmeti yazın. SAP CDC bağlı hizmeti hakkında daha fazla ayrıntıya buradan ulaşabilirsiniz. Dış denetim dosyanızın Aynı Azure Data Lake 2. Nesil hesabına yüklenmesi gerektiğini unutmayın.
Bu şablonu kullan'a tıklatırsınız ve işlem hattının kullanıma hazır olduğunu görürsünüz.
