Aracılığıyla paylaş

Azure Data Factory veya Azure Synapse Analytics'teki SAP CDC bağlayıcısını kullanarak SAP ODP kaynağından verileri dönüştürme

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, SAP CDC bağlayıcısını kullanarak bir SAP ODP kaynağından verileri dönüştürmek için eşleme veri akışının nasıl kullanılacağı özetlenmektedir. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics ile ilgili giriş makalesini okuyun. Azure Data Factory ve Azure Synapse analytics ile verileri dönüştürmeye giriş için eşleme veri akışı veya eşleme veri akışı öğreticisini okuyun.

İpucu

SAP veri tümleştirme senaryosuyla ilgili genel desteği öğrenmek için bkz . Azure Data Factory kullanarak SAP veri tümleştirmesi teknik incelemesi ve her SAP bağlayıcısı hakkında ayrıntılı giriş, karşılaştırma ve rehberlik.

Desteklenen özellikler

Bu SAP CDC bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler IR
Eşleme veri akışı (kaynak/-) (1), (2)

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Bu SAP CDC bağlayıcısı SAP kaynak sistemlerinden veri ayıklamak için SAP ODP çerçevesini kullanır. Çözümün mimarisine giriş için SAP bilgi merkezimizdeki SAP değişiklik veri yakalamaya (CDC) giriş ve mimari makalesini okuyun.

SAP ODP çerçevesi SAP ECC, SAP S/4HANA, SAP BW, SAP BW/4HANA, SAP LT Çoğaltma Sunucusu (SLT) dahil olmak üzere tüm güncel SAP NetWeaver tabanlı sistemlerde bulunur. Önkoşullar ve gerekli en düşük sürümler için bkz . Önkoşullar ve yapılandırma.

SAP CDC bağlayıcısı, SNC yapılandırılmışsa temel kimlik doğrulamasını veya Güvenli Ağ İletişimleri'ni (SNC) destekler.

Geçerli sınırlamalar

Data Factory'de SAP CDC bağlayıcısının geçerli sınırlamaları şunlardır:

  • Data Factory'de ODQ aboneliklerini sıfırlayamaz veya silemezsiniz (bu amaçla bağlı SAP sisteminde ODQMON işlemini kullanın).
  • Çözümle SAP hiyerarşilerini kullanamazsınız.

Önkoşullar

Bu SAP CDC bağlayıcısını kullanmak için BKz . SAP CDC bağlayıcısı için önkoşullar ve kurulum.

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak SAP CDC bağlayıcısı için bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde SAP CDC bağlayıcısı için bağlı hizmet oluşturmak için SAP CDC bağlı hizmetini hazırlama başlığı altında açıklanan adımları izleyin.

Veri kümesi özellikleri

SAP CDC veri kümesini hazırlamak için SAP CDC kaynak veri kümesini hazırlama'yı izleyin.

SAP CDC bağlayıcısı ile verileri dönüştürme

Ham SAP ODP değişiklik akışının yorumlanması zordur ve bunu doğru bir havuza güncelleştirmek zor olabilir. Örneğin, değişiklikleri havuza doğru uygulamak için her satırla ilişkili teknik özniteliklerin (ODQ_CHANGEMODE gibi) anlaşılması gerekir. Ayrıca, ODP'den değişiklik verilerinin ayıklanması aynı anahtarda birden çok değişiklik içerebilir (örneğin, aynı satış siparişi). Bu nedenle, değişiklikleri paralel olarak işleyerek performansı iyileştirmenin yanı sıra, değişikliklerin sırasına da uyulması önemlidir. Ayrıca, bir değişiklik verisi yakalama akışını yönetmek için, örneğin hata kurtarma için yerleşik mekanizmalar sağlamak için durumun izlenmesi de gerekir. Azure veri fabrikası eşleme veri akışları bu tür tüm yönleriyle ilgilenir. Bu nedenle SAP CDC bağlantısı, eşleme veri akışı deneyiminin bir parçasıdır. Bu nedenle kullanıcılar, veri ayıklamanın teknik ayrıntılarıyla uğraşmadan gerekli dönüştürme mantığına odaklanabilir.

Başlamak için eşleme veri akışıyla bir işlem hattı oluşturun.

İşlem hattına veri akışı etkinliği ekleme ekran görüntüsü.

Ardından, Azure Data Lake 2. Nesil'de SAP'den ayıklanan veriler için ara depolama görevi görecek bir hazırlama bağlı hizmeti ve hazırlama klasörü belirtin.

Not

  • Hazırlama bağlı hizmeti şirket içinde barındırılan tümleştirme çalışma zamanını kullanamaz.
  • Hazırlama klasörü, SAP CDC bağlayıcısının iç depolama alanı olarak kabul edilmelidir. SAP CDC çalışma zamanının daha fazla iyileştirilmesi için, hazırlama verileri için kullanılan dosya biçimi gibi uygulama ayrıntıları değişebilir. Bu nedenle, hazırlama klasörünü diğer kopyalama etkinlikleri veya eşleme veri akışları için kaynak olarak başka amaçlarla kullanmamanızı öneririz.

Veri akışı etkinliğinde hazırlama klasörünü belirtme işleminin ekran görüntüsü.

Denetim Noktası Anahtarı, SAP CDC çalışma zamanı tarafından değişiklik verileri yakalama işlemiyle ilgili durum bilgilerini depolamak için kullanılır. Örneğin bu, SAP CDC eşleme veri akışlarının hata durumlarından otomatik olarak kurtulmasına veya belirli bir veri akışı için değişiklik verisi yakalama işleminin önceden oluşturulmuş olup olmadığını bilmesine olanak tanır. Bu nedenle her kaynak için benzersiz bir Denetim Noktası Anahtarı kullanmak önemlidir. Aksi takdirde, bir kaynağın durum bilgilerinin üzerine başka bir kaynak yazılır.

Not

  • Çakışmaları önlemek için, varsayılan olarak Checkpoint Anahtarı olarak benzersiz bir kimlik oluşturulur.
  • Birden çok kaynak için aynı veri akışından yararlanmak için parametreleri kullanırken, Denetim Noktası Anahtarı'nı kaynak başına benzersiz değerlerle parametre olarak işaretlediğinizden emin olun.
  • Sap CDC kaynağındaki Çalıştırma modu her çalıştırmada Tam olarak ayarlandıysa Denetim Noktası Anahtarı özelliği gösterilmez (sonraki bölüme bakın), çünkü bu durumda hiçbir değişiklik verisi yakalama işlemi oluşturulmaz.

Veri akışı etkinliğindeki denetim noktası anahtarı özelliğinin ekran görüntüsü.

Eşleme veri akışı özellikleri

SAP CDC bağlayıcısını kaynak olarak kullanarak bir eşleme veri akışı oluşturmak için aşağıdaki adımları tamamlayın:

  1. ADF Studio'da Yazar hub'ının Veri akışları bölümüne gidin, ... düğmesini seçerek Veri akışı eylemleri menüsünü açın ve Yeni veri akışı öğesini seçin. Veri akışı tuvalinin üst çubuğundaki Veri akışı hata ayıklama düğmesini kullanarak hata ayıklama modunu açın.

    Eşleme veri akışındaki veri akışı hata ayıklama düğmesinin ekran görüntüsü.

  2. Eşleme veri akışı düzenleyicisinde Kaynak Ekle'yi seçin.

    Eşleme veri akışında kaynak eklemenin ekran görüntüsü.

  3. Kaynak ayarları sekmesinde, hazırlanmış bir SAP CDC veri kümesini seçin veya yeni bir veri kümesi oluşturmak için Yeni düğmesini seçin. Alternatif olarak, Kaynak türü özelliğinde Satır içi seçeneğini belirleyebilir ve açık bir veri kümesi tanımlamadan devam edebilirsiniz.

    Eşleme veri akışı kaynağının kaynak ayarlarında veri kümesi seçme seçeneğinin ekran görüntüsü.

  4. Eşleme veri akışınızın her yürütülmesinde tam anlık görüntüleri yüklemek istiyorsanız, Kaynak seçenekleri sekmesinde Her çalıştırmada tam seçeneğini belirleyin. İlk çalıştırmada Tam'ı seçin , ardından SAP kaynak sisteminden ilk tam veri anlık görüntüsü de dahil olmak üzere bir değişiklik akışına abone olmak istiyorsanız artımlı seçeneğini belirleyin. Bu durumda, işlem hattınızın ilk çalıştırması bir delta başlatma gerçekleştirir; bu da kaynak sistemde bir ODP delta aboneliği oluşturduğu ve geçerli bir tam veri anlık görüntüsünü döndürdüğü anlamına gelir. Sonraki işlem hattı çalıştırmaları yalnızca önceki çalıştırmadan bu yana artımlı değişiklikler döndürür. Artımlı değişiklikler seçeneği , ilk çalıştırmada ilk tam veri anlık görüntüsünü döndürmeden yalnızca bir ODP delta aboneliği oluşturur. Yine, sonraki çalıştırmalar yalnızca önceki çalıştırmadan bu yana artımlı değişiklikler döndürür. Her iki artımlı yükleme seçeneğinin de Anahtar sütunları özelliğinde ODP kaynak nesnesinin anahtarlarını belirtmesi gerekir.

    Veri akışı kaynağını eşlemenin kaynak seçeneklerindeki çalıştırma modu özelliğinin ekran görüntüsü.

    Veri akışı kaynağını eşlemenin kaynak seçeneklerinde anahtar sütunları seçiminin ekran görüntüsü.

  5. Projeksiyon, İyileştirme ve İnceleme sekmeleri için eşleme veri akışını izleyin.

Kaynak bölümleme ile tam veya ilk yüklemelerin performansını iyileştirme

Çalıştırma modu her çalıştırmada Tam veya ilk çalıştırmada Tam olarak ayarlanırsa artımlı olarak İyileştir sekmesi Kaynak adlı bir seçim ve bölümleme türü sunar. Bu seçenek, büyük bir kaynak veri kümesini birden çok küçük bölüme ayırmak için birden çok bölüm (filtre) koşulu belirtmenize olanak tanır. SAP CDC bağlayıcısı her bölüm için SAP kaynak sisteminde ayrı bir ayıklama işlemi tetikler.

Eşleme veri akışı kaynağını iyileştirmedeki bölümleme seçeneklerinin ekran görüntüsü.

Bölümler eşit boyuttaysa, kaynak bölümleme veri ayıklamanın aktarım hızını doğrusal olarak artırabilir. Bu tür performans iyileştirmeleri elde etmek için SAP kaynak sisteminde, şirket içinde barındırılan tümleştirme çalışma zamanını barındıran sanal makinede ve Azure tümleştirme çalışma zamanında yeterli kaynaklar gerekir.

İlgili içerik