Azure Data Factory veya Synapse Analytics ile SAP Business Warehouse'dan veri kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Bu makalede, Open Hub aracılığıyla SAP Business Warehouse'dan (BW) Azure Data Lake Storage 2. Nesil veri kopyalamak için Azure Data Factory veya Synapse Analytics işlem hatlarının nasıl kullanılacağı gösterilmektedir. Verileri desteklenen diğer havuz veri depolarına kopyalamak için benzer bir işlem kullanabilirsiniz.

İpucu

SAP BW Open Hub entegrasyonu ve delta ayıklama akışı da dahil olmak üzere SAP BW'den veri kopyalama hakkında genel bilgi için, Azure Data Factory kullanarak SAP Business Warehouse'dan Verileri Open Hub aracılığıyla kopyalama bölümüne bakın.

Önkoşullar

• Azure Data Factory veya Synapse çalışma alanı: Eğer yoksa, veri fabrikası oluşturma veya Synapse çalışma alanı oluşturma adımlarını takip edin.

• Hedef türü "Veritabanı Tablosu" olan SAP BW Açık Hub Hedefi (OHD): OHD oluşturmak veya OHD'nizin hizmetle tümleştirme için doğru yapılandırıldığını denetlemek için bu makalenin SAP BW Açık Hub Hedef yapılandırmaları bölümüne bakın.

• SAP BW kullanıcısının aşağıdaki izinlere sahip olması gerekir:

  • Uzak İşlev Çağrıları (RFC) ve SAP BW için yetkilendirme.
  • S_SDSAUTH yetkilendirme nesnesinin "Yürüt" etkinliğine yönelik izinler.

• Kendi kendine barındırılan tümleştirme çalışma zamanı (IR) ile SAP .NET bağlayıcısı 3.0. Şu kurulum adımlarını izleyin:

  1. Kendi kendine barındırılan tümleştirme çalışma zamanını (sürüm 3.13 veya üzeri) yükleyin ve kaydedin. (Bu işlem bu makalenin devamında açıklanmıştır.)

  2. SAP'nin web sitesinden Microsoft .NET 3.0 için 64 bit SAP Connector'ı indirin ve self-host edilmiş IR ile aynı bilgisayara yükleyin. Yükleme sırasında, aşağıdaki görüntüde gösterildiği gibi, İsteğe bağlı kurulum adımları iletişim kutusunda Derlemeleri GAC'ye Yükle'yi seçtiğinizden emin olun.

     

SAP BW Open Hub'dan tam kopya oluşturma

Azure portalında hizmetinize gidin. Hizmetin kullanıcı arabirimini ayrı bir sekmede açmak için Open Azure Data Factory Studio veya Open Synapse Studio kutucuğundaki Open seçeneğini seçin.

1. Ana sayfada Veri Aktar seçeneğini seçerek Veri Kopyalama aracını açın.

2. Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni seçin ve Görev temposu veya görev zamanlaması altında Şimdi çalıştır'ı seçin ve ardından İleri'yi seçin.

3. Kaynak veri deposu sayfasında + Yeni bağlantı'yı seçin. Bağlayıcı galerisinden SAP BW Hub'ı aç'ı ve ardından Devam'ı seçin. Bağlayıcıları filtrelemek için arama kutusuna SAP yazabilirsiniz.

4. Yeni bağlantı (SAP BW Open Hub) sayfasında yeni bir bağlantı oluşturmak için bu adımları izleyin.

   1. Tümleştirme çalışma zamanı üzerinden bağlan listesinden yerel olarak barındırılan mevcut bir IR'yi seçin. Henüz bir tane yoksa, oluşturmayı seçebilirsiniz.

      Bir self-hosted IR oluşturmak için +Yeni ve ardından Self-hosted seçin. Bir Ad girin ve İleri'yi seçin. Geçerli bilgisayara yüklemek için Hızlı kurulum'u seçin veya sağlanan El ile kurulum adımlarını izleyin.

      Prerequisites bölümünde belirtildiği gibi, kendi kendine barındırılan IR'nin çalıştığı bilgisayarda Microsoft .NET 3.0 için SAP Connector'un yüklü olduğundan emin olun.

   2. SAP BW Sunucusu adı, Sistem numarası, İstemci Kimliği, Dil (EN dışındaysa), Kullanıcı adı ve Parola bilgilerini girin.

   3. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.

   

   4. Kaynak veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin.

   5. Open Hub hedeflerini seçme bölümünde SAP BW'nizde bulunan Open Hub Hedeflerine göz atın. Her satırın sonundaki önizleme düğmesini seçerek her hedefteki verilerin önizlemesini görebilirsiniz. Veri kopyalamak için OHD'yi seçin ve ardından İleri'yi seçin.

   

5. Gerekirse bir filtre belirtin. OHD'niz yalnızca tek bir istek kimliğine sahip tek bir veri aktarım işlemi (DTP) yürütmesinden veriler içeriyorsa veya DTP'nizin tamamlandığından ve verileri kopyalamak istediğinizden eminseniz Gelişmiş bölümündeki Son İsteği Dışla onay kutusunu temizleyin. Verileri önizle düğmesini seçerek verilerin önizlemesini görebilirsiniz.

   Bu makalenin SAP BW Open Hub Hedef yapılandırmaları bölümünde bu ayarlar hakkında daha fazla bilgi edinin. Sonra İleri'yi seçin.

   

6. Destination veri deposu sayfasında + Yeni bağlantı>Azure Data Lake Storage 2. Nesil>Continue öğesini seçin.

7. Yeni bağlantı (Azure Data Lake Storage 2. Nesil) sayfasında, bağlantı oluşturmak için bu adımları izleyin.

   1. Name açılan listesinden Data Lake Storage 2. Nesil özellikli hesabınızı seçin.
   2. Bağlantıyı oluşturmak için Oluştur'u seçin.

   

8. Hedef veri deposu sayfasında, Bağlantı bölümünde yeni oluşturulan bağlantıyı seçin ve çıkış klasörü adı olarak copyfromopenhub girin. Sonra İleri'yi seçin.

   

9. Dosya biçimi ayarı sayfasında, varsayılan ayarları kullanmak için İleri'yi seçin.

   

10. Ayarlar sayfasında bir Görev adı belirtin ve Gelişmiş'i genişletin. Kopya paralelliği derecesi için, SAP BW'den paralel yükleme yapmak amacıyla, 5 gibi bir değer girin. Sonra İleri'yi seçin.

    

11. Özet sayfasında, ayarları inceleyin. Sonra İleri'yi seçin.

    

12. Dağıtım sayfasında, işlem hattını izlemek için İzleyici'yi seçin.

13. Sayfanın sol tarafındaki İzleyici sekmesinin otomatik olarak seçili olduğuna dikkat edin. İşlem hattı çalıştırmaları sayfasındaki İşlem hattı adı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

14. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görüntülemek için İşlem hattı adı sütununun altındaki bağlantıları seçin. İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan tek bir girdi görürsünüz. İşlem hattı çalıştırmaları görünümüne geri dönmek için üstteki Tüm işlem hattı çalıştırmaları bağlantısını seçin. Listeyi yenilemek için Yenile’yi seçin.

    

15. Her kopyalama etkinliğinin yürütme ayrıntılarını izlemek için, etkinlik izleme görünümündeki her kopyalama etkinliğinin aynı satırında yer alan bir gözlük simgesi olan Ayrıntılar bağlantısını seçin. Kullanılabilir ayrıntılar arasında kaynaktan havuza kopyalanan veri birimi, veri aktarım hızı, yürütme adımları ve süresi ile kullanılan yapılandırmalar yer alır.

    

16. Her kopyalama etkinliğinin en yüksek İstek Kimliğini görüntülemek için etkinlik izleme görünümüne dönün ve her kopyalama etkinliğinin aynı satırındaki Çıktı'yı seçin.

    

    

SAP BW Open Hub'dan artımlı kopya

İpucu

SAP BW Open Hub bağlayıcısının SAP BW'den artımlı verileri nasıl kopyaladığını öğrenmek için SAP BW Open Hub bağlayıcısı delta ayıklama akışı için bkz . Bu makale, temel bağlayıcı yapılandırmasını anlamanıza da yardımcı olabilir.

Şimdi SAP BW Open Hub'dan artımlı kopyayı yapılandırmaya devam edelim.

Artımlı kopya, istek kimliğini temel alan bir "yüksek filigran" mekanizması kullanır. Bu kimlik, DTP tarafından SAP BW Open Hub Hedefinde otomatik olarak oluşturulur. Aşağıdaki diyagramda bu iş akışı gösterilmektedir:

Giriş sayfasında Daha fazlasını keşfedin bölümündeki İşlem hattı şablonları'nı seçerek yerleşik şablonu kullanın.

1. SAP BW'ye ait incrementel kopyayı Azure Data Lake Storage 2. Nesil şablonunda bulmak ve seçmek için SAP BW araması yapın. Bu şablon verileri Azure Data Lake Storage 2. Nesil kopyalar. Diğer havuz türlerine kopyalamak için benzer bir iş akışı kullanabilirsiniz.

2. Şablonun ana sayfasında, aşağıdaki üç bağlantıyı seçin veya oluşturun ve ardından pencerenin sağ alt köşesindeki Bu şablonu kullan'ı seçin.

   • Azure Blob depolama: Bu kılavuzda, maksimum kopyalanan istek kimliği olan yüksek seviye işaretleyicisini depolamak için Azure Blob depolama kullanırız.
   • SAP BW Open Hub: Bu, veri kopyalama kaynağıdır. Ayrıntılı yapılandırma için önceki tam kopya kılavuzuna bakın.
   • Azure Data Lake Storage 2. Nesil: Bu, veri kopyalama havuzudur. Ayrıntılı yapılandırma için önceki tam kopya kılavuzuna bakın.

   

3. Bu şablon, aşağıdaki üç etkinliği içeren bir işlem hattı oluşturur ve bunları başarıyla zincirler: Arama, Veri Kopyalama ve Web.

   İşlem hattı Parametreleri sekmesine gidin. Sağlamanız gereken tüm yapılandırmaları görürsünüz.

   

   • SAPOpenHubDestinationName: Verileri kopyalamak için Open Hub tablo adını belirtin.

   • Data_Destination_Container: Verilerin kopyalanacak hedef Azure Data Lake Storage 2. Nesil kapsayıcısını belirtin. Kapsayıcı yoksa kopyalama etkinliği yürütme sırasında bir tane oluşturur.

   • Data_Destination_Directory: Verilerin kopyalanacak Azure Data Lake Storage 2. Nesil kapsayıcısının altındaki klasör yolunu belirtin. Eğer yol mevcut değilse, kopyalama etkinliği yürütme sırasında bir yol oluşturacaktır.

   • HighWatermarkBlobContainer: Yüksek su seviyesi değerini depolamak için kapsayıcıyı belirtin.

   • HighWatermarkBlobDirectory: Yüksek filigran değerini depolamak için kapsayıcının altındaki klasör yolunu belirtin.

   • HighWatermarkBlobName: Gibi requestIdCache.txtyüksek filigran değerini depolamak için blob adını belirtin. Blob depolamada, HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName'in ilgili yoluna gidin, örneğin kapsayıcı/yol/requestIdCache.txt gibi. İçerik 0 ile bir blob oluşturun.

     

   • LogicAppURL: Bu şablonda, Blob depolamada yüksek filigran değerini ayarlamak üzere Azure Logic Apps çağırmak için WebActivity kullanıyoruz. İsterseniz, depolamak için Azure SQL Veritabanı kullanabilirsiniz. Değeri güncelleştirmek için saklı yordam etkinliği kullanın.

     Aşağıdaki görüntüde gösterildiği gibi önce bir mantıksal uygulama oluşturmanız gerekir. Ardından HTTP POST URL'sini yapıştırın.

     

     1. Azure portalına gidin. Yeni bir Logic Apps hizmeti seçin. Logic Apps Tasarımcısı'na gitmek için +Boş Mantıksal Uygulama'yı seçin.

     2. HTTP isteği alındığında tetikleyicisini oluşturun. HTTP isteği gövdesini aşağıdaki gibi belirtin:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Blob oluştur eylemi ekleyin. Klasör yolu ve Blob adı için, daha önce HighWatermarkBlobContainer+HighWatermarkBlobDirectory ve HighWatermarkBlobName içinde yapılandırdığınız değerleri kullanın.

     4. Kaydet'i seçin. Ardından, işlem hattında kullanmak üzere HTTP POST URL'sinin değerini kopyalayın.

4. İşlem hattı parametrelerini sağladıktan sonra, yapılandırmayı doğrulamak üzere bir çalıştırmayı çağırmak için Hata Ayıklama ve > seçeneklerini seçin. Ya da tüm değişiklikleri yayımlamak için Yayımla'yı ve ardından tetikleyici ekle'yi seçerek çalıştırmayı yürütebilirsiniz.

SAP BW Open Hub Hedef Yapılandırmaları

Bu bölümde SAP BW tarafının verileri kopyalamak için SAP BW Open Hub bağlayıcısını kullanacak şekilde yapılandırılması açıklanmıştır.

SAP BW'da delta ayıklamayı yapılandırma

Hem geçmiş kopyaya hem de artımlı kopyaya veya yalnızca artımlı kopyaya ihtiyacınız varsa SAP BW'da delta ayıklamayı yapılandırın.

1. Open Hub Hedefini oluşturun. OHD'yi, gerekli dönüştürme ve veri aktarımı işlemini otomatik olarak oluşturan SAP transaction RSA1'de oluşturabilirsiniz. Aşağıdaki ayarları kullanın:

   • ObjectType: Herhangi bir nesne türünü kullanabilirsiniz. Burada InfoCube'i örnek olarak kullanacağız.
   • Hedef Türü: Veritabanı Tablosu'nu seçin.
   • Tablonun Anahtarı: Teknik Anahtar'ı seçin.
   • Ayıklama: Verileri Koru ve Tabloya Kayıt Ekle'yi seçin.

   

   

   DTP için paralel çalışan SAP çalışma işlemlerinin sayısını artırabilirsiniz:

   

2. DTP'yi işlem zincirlerinde zamanlayın.

   Bir küp için delta DTP yalnızca gerekli satırlar sıkıştırılmış değilse çalışır. BW küp sıkıştırmasının, DTP işlemi başlamadan önce çalışmadığından emin olun. DTP işlemi tamamlandıktan sonra Open Hub tablolarına işlem yapılabilir. Bunu yapmanın en kolay yolu DTP'yi mevcut işlem zincirlerinizle tümleştirmektir. Aşağıdaki örnekte, DTP (OHD'ye) Düzenle (tümleme toparlama) ve Çökertme (küp sıkıştırma) adımları arasında işlem zincirine dahil edilir.

   

SAP BW'da tam ayıklamayı yapılandırma

Delta ayıklamaya ek olarak, aynı SAP BW InfoProvider'ın tam veri ayıklamasını da isteyebilirsiniz. Bu genellikle tam kopyalama yapmak, ancak artımlı olanı değil, veya değişiklik ayıklamayı yeniden eşitlemek istiyorsanız geçerlidir.

Aynı OHD için birden fazla DTP'niz olamaz. Bu nedenle, delta ayıklama işleminden önce ek bir OHD oluşturmalısınız.

Tam yük OHD için, delta ayıklamadan farklı seçenekler belirleyin:

• OHD'de: Ayıklama seçeneğini Verileri Sil ve Kayıtları Ekle olarak ayarlayın. Aksi takdirde, bir BW işlem zincirinde DTP'yi tekrarladığınızda veriler defalarca ayıklanır.

• DTP'de: Ayıklama Modu'nu Tam olarak ayarlayın. Otomatik olarak oluşturulan DTP'yi, OHD oluşturulduktan hemen sonra Delta'dan Full'a olarak değiştirmeniz gerekir. Bu resimde gösterildiği gibi:

  

• BW Open Hub bağlayıcısında: Son isteği dışla seçeneğini kapatın. Aksi takdirde hiçbir şey ayıklanamaz.

Genellikle tam DTP'yi el ile çalıştırırsınız. İsterseniz, tam DTP için bir işlem zinciri oluşturabilirsiniz. Bu genellikle mevcut işlem zincirlerinizden bağımsız olan ayrı bir zincirdir. Her iki durumda da, kopyalama işlemiyle ayıklamaya başlamadan önce DTP'nin bitmiş olduğuna emin olun. Aksi takdirde, yalnızca kısmi veriler kopyalanır.

Delta ayıklamayı ilk kez çalıştırın

İlk delta ayıklama teknik olarak bir tam veri çıkarımıdır. Varsayılan olarak SAP BW Open Hub bağlayıcısı, verileri kopyalarken son isteği dışlar. İlk delta ayıklama için, kopyalama etkinliği tarafından veri ayıklanması, sonraki bir DTP'nin tabloda ayrı bir istek kimliğiyle delta verileri oluşturmasına kadar gerçekleşmez. Bu senaryodan kaçınmanın iki yolu vardır:

• İlk delta ayıklaması için Son isteği hariç tut seçeneğini kapatın. Delta ayıklamayı ilk kez başlatmadan önce, ilk delta DTP'nin tamamlandığından mutlaka emin olun.
• Sonraki bölümde açıklandığı gibi delta ayıklamayı yeniden eşitleme yordamını kullanın.

Delta ayıklama eşitlemesini yeniden yapma

Aşağıdaki senaryolar SAP BW küplerindeki verileri değiştirir ancak delta DTP tarafından dikkate alınmaz:

• SAP BW seçmeli satır silme (herhangi bir filtre koşulu kullanılarak)
• SAP BW isteği silme (hatalı istekler)

2015'ten bu yana tüm SAP BW destek paketlerinde, SAP Open Hub hedefi, veri deposu tarafından kontrol edilen bir veri hedefi değildir. Bu nedenle, OHD'deki verileri değiştirmeden küpteki verileri silebilirsiniz. Daha sonra küp verilerini hizmetle yeniden eşitlemeniz gerekir:

1. Hizmette tam ayıklama çalıştırın (SAP'de tam DTP kullanarak).
2. Delta DTP için Open Hub tablosundaki tüm satırları silin.
3. Delta DTP'nin durumunu Getirildi olarak ayarlayın.

Bundan sonra, sonraki tüm delta DTP'ler ve delta veri ayıklamaları beklendiği gibi çalışır.

Delta DTP'nin durumunu Getirildi olarak ayarlamak için, delta DTP'yi el ile çalıştırmak için aşağıdaki seçeneği kullanabilirsiniz:

Veri Aktarımı Yok; Kaynakta Delta Durumu: Getirildi

İlgili içerik

SAP BW Open Hub bağlayıcısı desteği hakkında bilgi edinin:

SAP Business Warehouse Open Hub bağlayıcısı