Azure Data Factory veya Synapse Analytics ile SAP Business Warehouse'dan veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Open Hub aracılığıyla SAP Business Warehouse'dan (BW) Azure Data Lake Storage 2. Nesil veri kopyalamak için Azure Data Factory veya Synapse Analytics işlem hatlarının nasıl kullanılacağı gösterilmektedir. Verileri desteklenen diğer havuz veri depolarına kopyalamak için benzer bir işlem kullanabilirsiniz.

İpucu

SAP BW Open Hub tümleştirmesi ve delta ayıklama akışı da dahil olmak üzere SAP BW'dan veri kopyalama hakkında genel bilgi için bkz . Azure Data Factory kullanarak Sap Business Warehouse'dan Open Hub aracılığıyla veri kopyalama.

Önkoşullar

• Azure Data Factory veya Synapse çalışma alanı: Yoksa veri fabrikası oluşturma veya Synapse çalışma alanı oluşturma adımlarını izleyin.

• Hedef türü "Veritabanı Tablosu" olan SAP BW Açık Hub Hedefi (OHD): OHD oluşturmak veya OHD'nizin hizmetle tümleştirme için doğru yapılandırıldığını denetlemek için bu makalenin SAP BW Açık Hub Hedef yapılandırmaları bölümüne bakın.

• SAP BW kullanıcısının aşağıdaki izinlere sahip olması gerekir:

  • Uzak İşlev Çağrıları (RFC) ve SAP BW için yetkilendirme.
  • S_SDSAUTH yetkilendirme nesnesinin "Yürüt" etkinliğine yönelik izinler.

• SAP .NET bağlayıcısı 3.0 ile şirket içinde barındırılan tümleştirme çalışma zamanı (IR). Şu kurulum adımlarını izleyin:

  1. Şirket içinde barındırılan tümleştirme çalışma zamanını ( sürüm 3.13 veya üzeri) yükleyin ve kaydedin. (Bu işlem bu makalenin devamında açıklanmıştır.)

  2. SAP'nin web sitesinden Microsoft .NET 3.0 için 64 bit SAP Bağlayıcısı'nı indirin ve şirket içinde barındırılan IR ile aynı bilgisayara yükleyin. Yükleme sırasında, aşağıdaki görüntüde gösterildiği gibi İsteğe bağlı kurulum adımları iletişim kutusunda Derlemeleri GAC'ye Yükle'yi seçtiğinizden emin olun:

     

SAP BW Open Hub'dan tam kopya oluşturma

Azure portalında hizmetinize gidin. Hizmet kullanıcı arabirimini ayrı bir sekmede açmak için Azure Data Factory Studio'yu Aç veya Synapse Studio'yu Aç kutucuğunda Aç'ı seçin.

1. Veri Kopyalama aracını açmak için giriş sayfasında Al'ı seçin.

2. Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni seçin ve Görev temposu veya görev zamanlaması altında Şimdi çalıştır'ı seçin ve ardından İleri'yi seçin.

3. Kaynak veri deposu sayfasında + Yeni bağlantı'yı seçin. Bağlayıcı galerisinden SAP BW Hub'ı aç'ı ve ardından Devam'ı seçin. Bağlayıcıları filtrelemek için arama kutusuna SAP yazabilirsiniz.

4. Yeni bağlantı (SAP BW Open Hub) sayfasında yeni bir bağlantı oluşturmak için bu adımları izleyin.

   1. Tümleştirme çalışma zamanı aracılığıyla bağlan listesinden, şirket içinde barındırılan mevcut bir IR'yi seçin. Alternatif olarak, henüz yoksa bir tane oluşturmayı da seçebilirsiniz.

      Şirket içinde barındırılan yeni bir IR oluşturmak için +Yeni'yi ve ardından Şirket içinde barındırılan'ı seçin. Bir Ad girin ve İleri'yi seçin. Geçerli bilgisayara yüklemek için Hızlı kurulum'u seçin veya sağlanan El ile kurulum adımlarını izleyin.

      Önkoşullar bölümünde belirtildiği gibi, şirket içinde barındırılan IR'nin çalıştığı bilgisayarda Microsoft .NET 3.0 için SAP Bağlayıcısı'nın yüklü olduğundan emin olun.

   2. SAP BW Sunucusu adı, Sistem numarası, İstemci Kimliği, Dil (EN dışındaysa), Kullanıcı adı ve Parola bilgilerini girin.

   3. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.

   

   4. Kaynak veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin.

   5. Open Hub hedeflerini seçme bölümünde SAP BW'nizde bulunan Open Hub Hedeflerine göz atın. Her satırın sonundaki önizleme düğmesini seçerek her hedefteki verilerin önizlemesini görebilirsiniz. Veri kopyalamak için OHD'yi seçin ve ardından İleri'yi seçin.

   

5. Gerekirse bir filtre belirtin. OHD'niz yalnızca tek bir istek kimliğine sahip tek bir veri aktarım işlemi (DTP) yürütmesinden veriler içeriyorsa veya DTP'nizin tamamlandığından ve verileri kopyalamak istediğinizden eminseniz Gelişmiş bölümündeki Son İsteği Dışla onay kutusunu temizleyin. Verileri önizle düğmesini seçerek verilerin önizlemesini görebilirsiniz.

   Bu makalenin SAP BW Open Hub Hedef yapılandırmaları bölümünde bu ayarlar hakkında daha fazla bilgi edinin. Sonra İleri'yi seçin.

   

6. Hedef veri deposu sayfasında + Yeni bağlantı> Azure Data Lake Storage 2. Nesil> Koşul' seçeneğini belirleyin.

7. Yeni bağlantı (Azure Data Lake Storage 2. Nesil) sayfasında, bağlantı oluşturmak için bu adımları izleyin.

   1. Ad açılan listesinden Data Lake Storage 2. Nesil özellikli hesabınızı seçin.
   2. Bağlantıyı oluşturmak için Oluştur'u seçin.

   

8. Hedef veri deposu sayfasında, Bağlantı bölümünde yeni oluşturulan bağlantıyı seçin ve çıkış klasörü adı olarak copyfromopenhub girin. Sonra İleri'yi seçin.

   

9. Dosya biçimi ayarı sayfasında, varsayılan ayarları kullanmak için İleri'yi seçin.

   

10. Ayarlar sayfasında bir Görev adı belirtin ve Gelişmiş'i genişletin. SAP BW'dan paralel olarak yüklenecek kopya paralelliği derecesi için 5 gibi bir değer girin. Sonra İleri'yi seçin.

    

11. Özet sayfasında, ayarları inceleyin. Sonra İleri'yi seçin.

    

12. Dağıtım sayfasında, işlem hattını izlemek için İzleyici'yi seçin.

13. Sayfanın sol tarafındaki İzleyici sekmesinin otomatik olarak seçili olduğuna dikkat edin. İşlem hattı çalıştırmaları sayfasındaki İşlem hattı adı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

14. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görüntülemek için İşlem hattı adı sütununun altındaki bağlantıları seçin. İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan tek bir girdi görürsünüz. İşlem hattı çalıştırmaları görünümüne geri dönmek için üstteki Tüm işlem hattı çalıştırmaları bağlantısını seçin. Listeyi yenilemek için Yenile’yi seçin.

    

15. Her kopyalama etkinliğinin yürütme ayrıntılarını izlemek için, etkinlik izleme görünümündeki her kopyalama etkinliğinin aynı satırında yer alan bir gözlük simgesi olan Ayrıntılar bağlantısını seçin. Kullanılabilir ayrıntılar arasında kaynaktan havuza kopyalanan veri birimi, veri aktarım hızı, yürütme adımları ve süresi ile kullanılan yapılandırmalar yer alır.

    

16. Her kopyalama etkinliğinin en yüksek İstek Kimliğini görüntülemek için etkinlik izleme görünümüne dönün ve her kopyalama etkinliğinin aynı satırındaki Çıktı'yı seçin.

    

    

SAP BW Open Hub'dan artımlı kopyalama

İpucu

SAP BW Open Hub bağlayıcısının SAP BW'dan artımlı verileri nasıl kopyadiğini öğrenmek için bkz . SAP BW Open Hub bağlayıcısı delta ayıklama akışı . Bu makale, temel bağlayıcı yapılandırmasını anlamanıza da yardımcı olabilir.

Şimdi SAP BW Open Hub'dan artımlı kopyayı yapılandırmaya devam edelim.

Artımlı kopya, istek kimliğini temel alan bir "yüksek filigran" mekanizması kullanır. Bu kimlik, DTP tarafından SAP BW Open Hub Hedefinde otomatik olarak oluşturulur. Aşağıdaki diyagramda bu iş akışı gösterilmektedir:

Yerleşik şablonu kullanmak için giriş sayfasında Daha fazlasını keşfedin bölümünde İşlem hattı şablonları'nı seçin.

1. SAP BW'dan Azure Data Lake Storage 2. Nesil şablonuna artımlı kopyayı bulmak ve seçmek için SAP BW'yi arayın. Bu şablon verileri Azure Data Lake Storage 2. Nesil kopyalar. Diğer havuz türlerine kopyalamak için benzer bir iş akışı kullanabilirsiniz.

2. Şablonun ana sayfasında, aşağıdaki üç bağlantıyı seçin veya oluşturun ve ardından pencerenin sağ alt köşesindeki Bu şablonu kullan'ı seçin.

   • Azure Blob depolama: Bu kılavuzda, maksimum kopyalanan istek kimliği olan yüksek filigranı depolamak için Azure Blob depolamayı kullanacağız.
   • SAP BW Open Hub: Bu, veri kopyalama kaynağıdır. Ayrıntılı yapılandırma için önceki tam kopya kılavuzuna bakın.
   • Azure Data Lake Storage 2. Nesil: Bu, verilerin kopyalanması gereken havuzdur. Ayrıntılı yapılandırma için önceki tam kopya kılavuzuna bakın.

   

3. Bu şablon, aşağıdaki üç etkinliği içeren bir işlem hattı oluşturur ve bunları başarılı olarak zincirler: Arama, Veri Kopyalama ve Web.

   İşlem hattı Parametreleri sekmesine gidin. Sağlamanız gereken tüm yapılandırmaları görürsünüz.

   

   • SAPOpenHubDestinationName: Verileri kopyalamak için Open Hub tablo adını belirtin.

   • Data_Destination_Container: Verilerin kopyalanacak hedef Azure Data Lake Storage 2. Nesil kapsayıcısını belirtin. Kapsayıcı yoksa kopyalama etkinliği yürütme sırasında bir tane oluşturur.

   • Data_Destination_Directory: Verilerin kopyalanacak Azure Data Lake Storage 2. Nesil kapsayıcısının altındaki klasör yolunu belirtin. Yol yoksa kopyalama etkinliği yürütme sırasında bir yol oluşturur.

   • HighWatermarkBlobContainer: Yüksek filigran değerini depolamak için kapsayıcıyı belirtin.

   • HighWatermarkBlobDirectory: Yüksek filigran değerini depolamak için kapsayıcının altındaki klasör yolunu belirtin.

   • HighWatermarkBlobName: Gibi requestIdCache.txtyüksek filigran değerini depolamak için blob adını belirtin. Blob depolamada, kapsayıcı/yol/requestIdCache.txt gibi HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName'in ilgili yoluna gidin. İçerik 0 ile bir blob oluşturun.

     

   • LogicAppURL: Bu şablonda, Blob depolamada yüksek filigran değerini ayarlamak üzere Azure Logic Apps'i çağırmak için WebActivity kullanıyoruz. Veya depolamak için Azure SQL Veritabanı kullanabilirsiniz. Değeri güncelleştirmek için saklı yordam etkinliği kullanın.

     Aşağıdaki görüntüde gösterildiği gibi önce bir mantıksal uygulama oluşturmanız gerekir. Ardından HTTP POST URL'sini yapıştırın.

     

     1. Azure portalına gidin. Yeni bir Logic Apps hizmeti seçin. Logic Apps Tasarımcısı'na gitmek için +Boş Mantıksal Uygulama'ya tıklayın.

     2. HTTP isteği alındığında tetikleyicisini oluşturun. HTTP isteği gövdesini aşağıdaki gibi belirtin:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Blob oluştur eylemi ekleyin. Klasör yolu ve Blob adı için, daha önce HighWatermarkBlobContainer+HighWatermarkBlobDirectory ve HighWatermarkBlobName içinde yapılandırdığınız değerleri kullanın.

     4. Kaydet'i seçin. Ardından, işlem hattında kullanmak üzere HTTP POST URL'sinin değerini kopyalayın.

4. İşlem hattı parametrelerini sağladıktan sonra Hata Ayıklama>Bitişi'ni seçerek yapılandırmayı doğrulamak üzere bir çalıştırmayı çağırın. Ya da tüm değişiklikleri yayımlamak için Yayımla'yı ve ardından tetikleyici ekle'yi seçerek çalıştırmayı yürütebilirsiniz.

SAP BW Open Hub Hedef yapılandırmaları

Bu bölümde SAP BW tarafının verileri kopyalamak için SAP BW Open Hub bağlayıcısını kullanacak şekilde yapılandırılması açıklanmıştır.

SAP BW'da delta ayıklamayı yapılandırma

Hem geçmiş kopyaya hem de artımlı kopyaya veya yalnızca artımlı kopyaya ihtiyacınız varsa SAP BW'da delta ayıklamayı yapılandırın.

1. Open Hub Hedefini oluşturun. OHD'yi, gerekli dönüştürme ve veri aktarımı işlemini otomatik olarak oluşturan SAP transaction RSA1'de oluşturabilirsiniz. Aşağıdaki ayarları kullanın:

   • ObjectType: Herhangi bir nesne türünü kullanabilirsiniz. Burada InfoCube'i örnek olarak kullanacağız.
   • Hedef Türü: Veritabanı Tablosu'nu seçin.
   • Tablonun Anahtarı: Teknik Anahtar'ı seçin.
   • Ayıklama: Verileri Koru ve Tabloya Kayıt Ekle'yi seçin.

   

   

   DTP için paralel çalışan SAP çalışma işlemlerinin sayısını artırabilirsiniz:

   

2. DTP'yi işlem zincirlerinde zamanlayın.

   Bir küp için delta DTP yalnızca gerekli satırlar sıkıştırılmış değilse çalışır. BW küp sıkıştırmasının, DTP'nin Open Hub tablosuna kadar çalışmadığından emin olun. Bunu yapmanın en kolay yolu DTP'yi mevcut işlem zincirlerinizle tümleştirmektir. Aşağıdaki örnekte, DTP (OHD'ye) Ayarla (toplama toplaması) ve Daralt (küp sıkıştırma) adımları arasında işlem zincirine eklenir.

   

SAP BW'da tam ayıklamayı yapılandırma

Delta ayıklamaya ek olarak, aynı SAP BW InfoProvider'ın tam ayıklamasını da isteyebilirsiniz. Bu genellikle tam kopyalama yapmak ancak artımlı işlem yapmak veya değişiklik ayıklamayı yeniden eşitlemek istiyorsanız geçerlidir.

Aynı OHD için birden fazla DTP'niz olamaz. Bu nedenle, delta ayıklamadan önce ek bir OHD oluşturmalısınız.

Tam yük OHD için, delta ayıklamadan farklı seçenekler belirleyin:

• OHD'de: Ayıklama seçeneğini Verileri Sil ve Kayıtları Ekle olarak ayarlayın. Aksi takdirde, bir BW işlem zincirinde DTP'yi tekrarladığınızda veriler birçok kez ayıklanır.

• DTP'de: Ayıklama Modu'nu Tam olarak ayarlayın. Otomatik olarak oluşturulan DTP'yi, OHD oluşturulduktan hemen sonra Delta'dan Tam olarak değiştirmeniz gerekir. Bu resimde gösterildiği gibi:

  

• BW Open Hub bağlayıcısında: Son isteği dışla seçeneğini kapatın. Aksi takdirde hiçbir şey ayıklanamaz.

Genellikle tam DTP'yi el ile çalıştırırsınız. İsterseniz, tam DTP için bir işlem zinciri oluşturabilirsiniz. Bu genellikle mevcut işlem zincirlerinizden bağımsız olan ayrı bir zincirdir. Her iki durumda da, kopyalama kullanarak ayıklamayı başlatmadan önce DTP'nin tamamlandığından emin olun. Aksi takdirde, yalnızca kısmi veriler kopyalanır.

Delta ayıklamayı ilk kez çalıştırma

İlk delta ayıklama teknik olarak tam ayıklamadır. Varsayılan olarak SAP BW Open Hub bağlayıcısı, verileri kopyalarken son isteği dışlar. İlk delta ayıklama için, sonraki bir DTP tabloda ayrı bir istek kimliğiyle delta verileri oluşturana kadar kopyalama etkinliği tarafından hiçbir veri ayıklanmaz. Bu senaryodan kaçınmanın iki yolu vardır:

• İlk delta ayıklaması için Son isteği dışla seçeneğini kapatın. Delta ayıklamayı ilk kez başlatmadan önce ilk delta DTP'nin tamamlandığından emin olun.
• Sonraki bölümde açıklandığı gibi delta ayıklamayı yeniden eşitleme yordamını kullanın.

Delta ayıklamayı yeniden eşitleme

Aşağıdaki senaryolar SAP BW küplerindeki verileri değiştirir ancak delta DTP tarafından dikkate alınmaz:

• SAP BW seçmeli silme (herhangi bir filtre koşulu kullanılarak satırlar)
• SAP BW isteği silme (hatalı istekler)

SAP Open Hub Hedefi, veri mart denetimindeki bir veri hedefi değildir (2015'ten bu yana tüm SAP BW destek paketlerinde). Bu nedenle, OHD'deki verileri değiştirmeden küpteki verileri silebilirsiniz. Daha sonra küp verilerini hizmetle yeniden eşitlemeniz gerekir:

1. Hizmette tam ayıklama çalıştırın (SAP'de tam DTP kullanarak).
2. Delta DTP için Open Hub tablosundaki tüm satırları silin.
3. Delta DTP'nin durumunu Getirildi olarak ayarlayın.

Bundan sonra, sonraki tüm delta DTP'leri ve delta ayıklamaları beklendiği gibi çalışır.

Delta DTP'nin durumunu Getirildi olarak ayarlamak için, delta DTP'yi el ile çalıştırmak için aşağıdaki seçeneği kullanabilirsiniz:

Veri Aktarımı Yok; Kaynakta Delta Durumu: Getirildi

İlgili içerik

SAP BW Open Hub bağlayıcısı desteği hakkında bilgi edinin:

SAP Business Warehouse Open Hub bağlayıcısı