Kopírování dat ze SAP Business Warehouse pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory na Data Factory v Microsoft Fabric.

Tento článek ukazuje, jak pomocí kanálů Azure Data Factory nebo Synapse Analytics kopírovat data ze SAP Business Warehouse (BW) přes Open Hub do Azure Data Lake Storage Gen2. Podobný proces můžete použít ke kopírování dat do jiných podporovaných cílových úložišť dat.

Tip

Obecné informace o kopírování dat ze SAP BW, včetně integrace Open Hub SAP BW a delta extrakčního toku, najdete v tématu Kopírování dat ze SAP Business Warehouse přes Open Hub pomocí Azure Data Factory.

Požadavky

• Azure Data Factory nebo pracovní prostor Synapse: Pokud ho nemáte, postupujte podle pokynů k < vytvoření datové továrny nebo vytvoření pracovního prostoru Synapse<>/c2>.

• SAP BW Open Hub Destination (OHD) s cílovým typem "Tabulka databáze": Pokud chcete vytvořit OHD nebo zkontrolovat, jestli je OHD správně nakonfigurovaný pro integraci se službou, přečtěte si část Konfigurace SAP BW Open Hub Destination tohoto článku.

• Uživatel SAP BW potřebuje následující oprávnění:

  • Autorizace pro vzdálená volání funkcí (RFC) a SAP BW
  • Oprávnění k aktivitě "Execute" autorizačního objektu S_SDSAUTH.

• Samostatně hostované Integration Runtime (IR) s konektorem SAP .NET 3.0. Postupujte podle těchto kroků nastavení:

  1. Nainstalujte a zaregistrujte místní prostředí Integration Runtime verze 3.13 nebo novější. (Tento proces je popsán dále v tomto článku.)

  2. Stáhněte si 64bitový konektor SAP pro Microsoft .NET 3.0 z webu SAP a nainstalujte ho na stejný počítač jako místní prostředí IR. Během instalace se ujistěte, že jste v dialogovém okně Volitelné kroky instalace vybrali možnost Instalovat sestavení do GAC, jak je znázorněno na následujícím obrázku:

     

Proveďte úplnou kopii ze SAP BW Open Hubu

Na portálu Azure přejděte do služby. Výběrem Open na dlaždici Open Azure Data Factory Studio nebo Open Synapse Studio otevřete uživatelské rozhraní služby na samostatné kartě.

1. Na domovské stránce vyberte Ingest a otevřete nástroj Pro kopírování dat.

2. Na stránce Vlastnosti zvolte Vestavěný úkol kopírování pod Typ úkolu a zvolte Spustit jednou nyní pod Kadenci úkolu nebo plán úkolu a pak vyberte Další.

3. Na stránce Zdrojové úložiště dat vyberte + Nové připojení. V galerii konektorů vyberte SAP BW Open Hub a pak vyberte Pokračovat. Pokud chcete filtrovat konektory, můžete do vyhledávacího pole zadat SAP .

4. Na stránce Nové připojení (SAP BW Open Hub) vytvořte nové připojení pomocí těchto kroků.

   1. V seznamu Připojit přes prostředí Integration Runtime vyberte existující místní prostředí IR. Nebo si zvolte vytvořit nový, pokud ještě žádný nemáte.

      Pokud chcete vytvořit nové místní prostředí IR, vyberte +Nový a pak vyberte Místní prostředí. Zadejte název a pak vyberte Další. Chcete-li nainstalovat na aktuální počítač, vyberte expresní instalaci nebo postupujte podle uvedených kroků ruční instalace .

      Jak je uvedeno v Prerequisites, ujistěte se, že máte konektor SAP pro Microsoft .NET 3.0 nainstalovaný na stejném počítači, na kterém je spuštěné místní prostředí IR.

   2. Vyplňte název serveru SAP BW, číslo systému, ID klienta, jazyk (pokud je jiný než EN), uživatelské jméno a heslo.

   3. Vyberte Test připojení pro ověření nastavení a poté vyberte Vytvořit.

   

   4. Na stránce Zdrojové úložiště dat vyberte nově vytvořené připojení v bloku připojení.

   5. V části výběru cílů Open Hubu procházejte cíle Open Hubu, které jsou dostupné ve vašem SAP BW. Náhled dat v každém cíli můžete zobrazit tak, že na konci každého řádku vyberete tlačítko náhledu. Vyberte OHD, ze které chcete kopírovat data, a pak vyberte Další.

   

5. Pokud ho potřebujete, zadejte filtr. Pokud vaše OHD obsahuje pouze data z jediného spuštění procesu přenosu dat (DTP) s jedním ID požadavku, nebo jste si jisti, že vaše DTP je dokončená a chcete zkopírovat data, zrušte zaškrtnutí políčka Vyloučit poslední požadavek v části Pokročilé. Náhled dat můžete zobrazit výběrem tlačítka Náhled dat .

   Další informace o těchto nastaveních naleznete v části Konfigurace cílového umístění SAP BW Open Hub tohoto článku. Pak vyberte Další.

   

6. Na stránce Cílový datový úložiště vyberte + Nové připojení>Azure Data Lake Storage Gen2>Pokračovat.

7. Na stránce Nové připojení (Azure Data Lake Storage Gen2) vytvořte připojení pomocí následujícího postupu.

   1. V rozevíracím seznamu Name vyberte svůj účet podporující Data Lake Storage Gen2.
   2. Výběrem Vytvořit vytvoříte propojení.

   

8. Na stránce Cílové úložiště dat vyberte nově vytvořené připojení v části Připojení a jako název výstupní složky zadejte copyfromopenhub. Pak vyberte Další.

   

9. Na stránce Nastavení formátu souboru vyberte Další, pokud chcete použít výchozí nastavení.

   

10. Na stránce Nastavení zadejte název úkolu a rozbalte položku Upřesnit. Zadejte hodnotu pro stupeň paralelismu kopírování, například 5 pro paralelní načtení ze SAP BW. Pak vyberte Další.

    

11. Na stránce Souhrn zkontrolujte nastavení. Pak vyberte Další.

    

12. Na stránce Nasazení vyberte Monitorování, abyste mohli kanál monitorovat.

13. Všimněte si, že je automaticky vybrána karta Monitorování na levé straně stránky. Pomocí odkazů pod sloupcem Název kanálu na stránce Spuštění kanálu můžete zobrazit podrobnosti o aktivitě a znovu spustit kanál.

14. Pokud chcete zobrazit spuštění aktivit přidružená ke spuštění pipeline, vyberte odkazy ve sloupci Název pipeline. Kanál obsahuje pouze jednu aktivitu (aktivita kopírování), takže se zobrazí pouze jedna položka. Pokud chcete přepnout zpět do zobrazení všech spuštění kanálu, vyberte odkaz Všechna spuštění kanálu v horní části. Seznam můžete aktualizovat kliknutím na Aktualizovat.

    

15. Pokud chcete monitorovat podrobnosti o spuštění jednotlivých aktivit kopírování, vyberte odkaz Podrobnosti , což je ikona brýle ve stejném řádku každé aktivity kopírování v zobrazení monitorování aktivit. Mezi dostupné podrobnosti patří objem dat zkopírovaný ze zdroje do jímky, propustnosti dat, kroky provádění a doba trvání a použité konfigurace.

    

16. Pokud chcete zobrazit maximální ID požadavku každé aktivity kopírování, vraťte se do zobrazení monitorování aktivit a vyberte Výstup ve stejném řádku každé aktivity kopírování.

    

    

Přírůstkové kopírování ze SAP BW Open Hub

Tip

Podívejte se na tok rozdílové extrakce konektoru SAP BW Open Hub, abyste zjistili, jak konektor SAP BW Open Hub kopíruje přírůstková data ze SAP BW. Tento článek vám také pomůže pochopit základní konfiguraci konektoru.

Teď budeme pokračovat v konfiguraci přírůstkové kopie ze SAP BW Open Hubu.

Přírůstková kopie používá mechanismus "vysokovodní značky", který je založený na požadavku ID. Toto ID se automaticky vygeneruje v cíli open hubu SAP BW pomocí DTP. Následující diagram znázorňuje tento pracovní postup:

Na domovské stránce vyberte Šablony pipeline v části Více informací, pokud chcete použít předdefinované šablony.

1. Vyhledejte SAP BW a vyberte Inkrementální kopii ze SAP BW do Azure Data Lake Storage Gen2 šablony. Tato šablona kopíruje data do Azure Data Lake Storage Gen2. Podobný pracovní postup můžete použít ke kopírování do jiných typů jímky.

2. Na hlavní stránce šablony vyberte nebo vytvořte následující tři připojení a pak v pravém dolním rohu okna vyberte Použít tuto šablonu .

   • Azure Blob Storage: V tomto názorném postupu používáme úložiště objektů blob Azure k uložení horní meze, což je max zkopírované ID požadavku.
   • SAP BW Open Hub: Toto je zdroj pro kopírování dat z. Podrobnou konfiguraci naleznete v předchozím úplném průvodci.
   • Azure Data Lake Storage Gen2: Jedná se o jímku pro kopírování dat. Podrobnou konfiguraci naleznete v předchozím úplném průvodci.

   

3. Tato šablona vygeneruje kanál s následujícími třemi aktivitami a propojí je v případě úspěchu: Lookup, Copy Data a Web.

   Na kartě Parametry potrubí se zobrazí všechny konfigurace, které potřebujete poskytnout.

   

   • SAPOpenHubDestinationName: Zadejte název tabulky Open Hubu, ze které chcete kopírovat data.

   • Data_Destination_Container: Zadejte cílový kontejner Azure Data Lake Storage Gen2 pro kopírování dat. Pokud kontejner neexistuje, aktivita kopírování ho vytvoří během provádění.

   • Data_Destination_Directory: Zadejte cestu ke složce v kontejneru Azure Data Lake Storage Gen2 pro kopírování dat. Pokud cesta neexistuje, aktivita kopírování během provádění vytvoří cestu.

   • HighWatermarkBlobContainer: Zadejte kontejner pro uložení hodnoty horní meze.

   • HighWatermarkBlobDirectory: Zadejte cestu ke složce v kontejneru pro uložení hodnoty horní meze.

   • HighWatermarkBlobName: Zadejte název blobu pro uložení hodnoty high watermark, například requestIdCache.txt. V úložišti objektů Blob přejděte na odpovídající cestu HighWatermarkBlobContainer, HighWatermarkBlobDirectory, HighWatermarkBlobName, například kontejner/cesta/requestIdCache.txt. Vytvořte objekt blob s obsahem 0.

     

   • LogicAppURL: V této šabloně používáme WebActivity k volání Azure Logic Apps k nastavení hodnoty pro vysoký vodoznak v úložišti Blob. Nebo ho můžete uložit pomocí Azure SQL Database. K aktualizaci hodnoty použijte aktivitu uložené procedury.

     Nejdřív musíte vytvořit aplikaci logiky, jak ukazuje následující obrázek. Pak vložte HTTP POST adresu URL.

     

     1. Přejděte na portál Azure. Vyberte novou službu Logic Apps . Výběrem +Blank Logic App přejděte k Návrháři aplikací logiky.

     2. Vytvořte spouštěč Když je přijat požadavek HTTP. Text požadavku HTTP zadejte následujícím způsobem:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Přidejte akci Vytvořit objekt blob . Pro cestu ke složce a název objektu blob použijte stejné hodnoty, které jste nakonfigurovali dříve v HighWatermarkBlobContainer+HighWatermarkBlobDirectory a HighWatermarkBlobName.

     4. Zvolte Uložit. Poté zkopírujte hodnotu HTTP POST URL pro použití v pipeline.

4. Po zadání parametrů kanálu vyberte Dokončit ladění>a vyvoláte spuštění pro ověření konfigurace. Nebo vyberte Publikovat a publikujte všechny změny a pak vyberte Přidat aktivační událost , aby se spustilo spuštění.

Konfigurace SAP BW Open Hub Destination

Tato část představuje konfiguraci strany SAP BW pro kopírování dat pomocí konektoru SAP BW Open Hub.

Konfigurace rozdílové extrakce v SAP BW

Pokud potřebujete jak historickou kopii, tak přírůstkovou kopii, nebo jenom přírůstkovou kopii, nakonfigurujte rozdílovou extrakci v SAP BW.

1. Vytvořte destinaci Open Hub. OhD můžete vytvořit v SAP Transaction RSA1, který automaticky vytvoří požadovaný proces transformace a přenosu dat. Použijte následující nastavení:

   • ObjectType: Můžete použít libovolný typ objektu. Tady jako příklad používáme InfoCube .
   • Cílový typ: Vyberte Tabulku Databáze.
   • Klíč tabulky: Vyberte technický klíč.
   • Extrakce: Vyberte zachovat data a vložit záznamy do tabulky.

   

   

   Můžete zvýšit počet paralelních spuštěných pracovních procesů SAP pro DTP:

   

2. Naplánujte DTP v řetězcích procesů.

   Rozdílový DTP pro krychli funguje jen tehdy, pokud nebyly komprimovány potřebné řádky. Ujistěte se, že komprese kostky BW neprobíhá před spuštěním DTP do tabulky Open Hub. Nejjednodušším způsobem, jak to udělat, je integrovat DTP do stávajících řetězů procesů. V následujícím příkladu se DTP (do OHD) vloží do řetězu procesů mezi kroky Upravit (agregační souhrn) a Sbalit (komprese datové krychle).

   

Konfigurace úplné extrakce v SAP BW

Kromě rozdílové extrakce můžete chtít úplnou extrakci stejného poskytovatele informací SAP BW. To se obvykle týká, pokud chcete provést úplné kopírování, ale ne přírůstkové, nebo chcete znovu synchronizovat rozdílovou extrakci.

Nemůžete mít více než jeden DTP pro stejnou OHD. Proto musíte před delta extrakcí vytvořit další OHD.

Pro plné zatížení OHD vyberte jiné možnosti než pro delta extrakci:

• V ohd: Nastavte možnost extrakce pro odstranění dat a vložení záznamů. V opačném případě budou data extrahována mnohokrát při opakování DTP v řetězci procesu BW.

• V režimu DTP: Nastavte režim extrakce na plný. Automaticky vytvořený DTP musí být změněn z Delta na plné ihned po vytvoření OHD, jak ukazuje tento obrázek:

  

• V konektoru BW Open Hub vypněte možnost Vyloučit poslední požadavek. Jinak se nic neextrahuje.

Plně DTP obvykle spouštíte ručně. Nebo můžete vytvořit řetěz procesů pro úplné DTP. Obvykle se jedná o samostatný řetězec, který je nezávislý na existujících řetězech procesů. V obou případech se ujistěte, že je DTP dokončen před zahájením extrakce pomocí kopírování. V opačném případě se zkopírují pouze částečná data.

Pusťte rozdílovou extrakci poprvé

První rozdílová extrakce je technicky úplná extrakce. Ve výchozím nastavení konektor OPEN Hub SAP BW vylučuje poslední požadavek při kopírování dat. Při první rozdílové extrakci nejsou data extrahována aktivitou kopírování, dokud následný DTP nevygeneruje rozdílová data s odděleným ID požadavku v tabulce. Existují dva způsoby, jak se vyhnout tomuto scénáři:

• Vypněte možnost Vyloučit poslední požadavek pro první rozdílovou extrakci. Před prvním spuštěním delta extrakce se ujistěte, že první delta DTP je dokončené.
• Použijte postup pro opětovnou synchronizaci rozdílové extrakce, jak je popsáno v další části.

Resynchronizace delta extrakce

Následující scénáře mění data v datových kostkách SAP BW, ale delta DTP je nezohledňuje:

• Odstranění řádků v SAP BW pomocí selektivního filtru (pomocí jakékoli podmínky filtru)
• Odstranění požadavků SAP BW (vadných požadavků)

Cílem SAP Open Hubu není cíl dat řízený datovým tržištěm (ve všech balíčcích podpory SAP BW od roku 2015). Takže můžete odstranit data z datové krychle beze změny dat v OHD. Potom je nutné znovu synchronizovat data datové krychle se službou:

1. Spusťte úplnou extrakci ve službě (pomocí úplného DTP v SAP).
2. Odstraňte všechny řádky v tabulce Open Hub pro delta DTP.
3. Nastavte stav delta DTP na Načteno.

Poté všechny následné rozdílové DTP a rozdílové extrakce fungují podle očekávání.

Pokud chcete nastavit stav rozdílového DTP na načtený, můžete ručně spustit rozdílový DTP pomocí následující možnosti:

Žádný přenos dat; Stav delta ve zdroji: Načteno

Související obsah

Přečtěte si o podpoře konektoru OPEN Hub SAP BW:

Konektor SAP Business Warehouse Open Hub