Adatok átalakítása SAP ODP-forrásból az SAP CDC-összekötővel Azure Data Factoryban vagy Azure Synapse Analyticsben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan alakíthat át adatokat SAP ODP-forrásból az SAP CDC-összekötő használatával a leképezési adatfolyam használatával. További információért olvassa el az Azure Data Factory vagy az Azure Synapse Analytics bevezető cikkét. Az adatok Azure Data Factoryvel és Azure Synapse-elemzéssel való átalakításának bemutatásához olvassa el a leképezési adatfolyamot vagy az adatfolyam-leképezéssel kapcsolatos oktatóanyagot.

Tipp.

Az SAP-adatintegrációs forgatókönyv általános támogatásának megismeréséhez tekintse meg az SAP-adatintegrációt az Azure Data Factory tanulmányában az egyes SAP-összekötők részletes ismertetésével, összehasonlításával és útmutatásával.

Támogatott képességek

Ez az SAP CDC-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Adatfolyam leképezése (forrás/-)	(1), (2)

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Ez az SAP CDC-összekötő az SAP ODP-keretrendszer használatával nyer ki adatokat az SAP-forrásrendszerekből. A megoldás architektúrájának bemutatásához olvassa el az SAP-adatrögzítés (CDC) bemutatása és architektúrája című cikket az SAP tudásközpontjában.

Az SAP ODP-keretrendszer minden naprakész SAP NetWeaver-alapú rendszerben megtalálható, beleértve az SAP ECC-t, az SAP S/4HANA-t, az SAP BW-t, az SAP BW/4HANA-t és az SAP LT replikációs kiszolgálót (SLT). Az előfeltételekről és a minimálisan szükséges kiadásokról lásd : Előfeltételek és konfiguráció.

Az SAP CDC-összekötő támogatja az alapszintű hitelesítést vagy a biztonságos hálózati kommunikációt (SNC), ha az SNC konfigurálva van.

Jelenlegi korlátozások

Az SAP CDC-összekötő jelenlegi korlátozásai a Data Factoryben:

• Az ODQ-előfizetések nem állíthatók vissza vagy törölhetők a Data Factoryben (ehhez használja a csatlakoztatott SAP-rendszerben az ODQMON tranzakciót).
• A megoldással nem használhat SAP-hierarchiát.

Előfeltételek

Az SAP CDC-összekötő használatához tekintse meg az SAP CDC-összekötő előfeltételeit és beállítását.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása az SAP CDC-összekötőhöz felhasználói felületen

Kövesse az SAP CDC társított szolgáltatás előkészítése az SAP CDC-összekötő társított szolgáltatásának létrehozásához az Azure Portal felhasználói felületén leírt lépéseket.

Adathalmaz tulajdonságai

Az SAP CDC-adatkészlet előkészítéséhez kövesse az SAP CDC-forrásadatkészlet előkészítését.

Adatok átalakítása az SAP CDC-összekötővel

A nyers SAP ODP változáscsatorna nehezen értelmezhető és a fogadóra való megfelelő frissítése kihívást jelenthet. Az egyes sorokkal (például ODQ_CHANGEMODE) társított műszaki attribútumokat például úgy kell értelmezni, hogy megfelelően alkalmazzák a módosításokat a fogadóra. Emellett az ODP-ből származó változásadatok kivonata több módosítást is tartalmazhat ugyanahhoz a kulcshoz (például ugyanarra az értékesítési rendelésre). Ezért fontos tiszteletben tartani a változások sorrendjét, ugyanakkor optimalizálni kell a teljesítményt a változások párhuzamos feldolgozásával. Ezenkívül a változásadat-rögzítési adatcsatorna kezeléséhez az állapot nyomon követésére is szükség van, például a hibahelyreállítás beépített mechanizmusainak biztosításához. Az Azure Data Factory-leképezési adatfolyamok minden ilyen szempontot figyelembe vesznek. Ezért az SAP CDC-kapcsolat a leképezési adatfolyam-élmény része. Így a felhasználók a szükséges átalakítási logikára összpontosíthatnak anélkül, hogy foglalkozniuk kellene az adatkinyerés technikai részleteivel.

Első lépésként hozzon létre egy folyamatot egy leképezési adatfolyammal.

Ezután adjon meg egy átmeneti társított szolgáltatást és átmeneti mappát az Azure Data Lake Gen2-ben, amely az SAP-ból kinyert adatok köztes tárolójaként szolgál.

Feljegyzés

• Az átmeneti társított szolgáltatás nem használhat saját üzemeltetésű integrációs modult.
• Az előkészítési mappát az SAP CDC-összekötő belső tárolójának kell tekinteni. Az SAP CDC-futtatókörnyezet további optimalizálása érdekében a megvalósítás részletei, például az átmeneti adatokhoz használt fájlformátum változhatnak. Ezért javasoljuk, hogy ne használja az előkészítési mappát más célokra, például más másolási tevékenységek vagy adatfolyamok leképezése forrásként.

Az SAP CDC-futtatókörnyezet az Ellenőrzőpont kulcsot használja a változásadat-rögzítési folyamat állapotadatainak tárolására. Ez például lehetővé teszi, hogy az SAP CDC-leképezési adatfolyamok automatikusan helyreálljanak a hibahelyzetekből, vagy tudják, hogy már létrejött-e egy változásadat-rögzítési folyamat egy adott adatfolyamhoz. Ezért fontos, hogy minden forráshoz egyedi Ellenőrzőpont-kulcsot használjon. Ellenkező esetben az egyik forrás állapotadatait egy másik forrás felülírja.

Feljegyzés

• Az ütközések elkerülése érdekében alapértelmezés szerint egy egyedi azonosító jön létre Ellenőrzőpont-kulcsként.
• Ha paraméterekkel használja ugyanazt az adatfolyamot több forrás esetében, ügyeljen arra, hogy a Checkpoint-kulcsot forrásonként egyedi értékekkel parametriázze.
• A Checkpoint Key tulajdonság nem jelenik meg, ha az SAP CDC-forráson belüli futtatási mód minden futtatáskor Megtelt (lásd a következő szakaszt), mert ebben az esetben nincs változási adatrögzítési folyamat.

Paraméteres ellenőrzőpontkulcsok

A változásadat-rögzítési folyamatok állapotának kezeléséhez ellenőrzőpont-kulcsok szükségesek. A hatékony felügyelet érdekében paraméterezheti az ellenőrzőpont-kulcsot, hogy lehetővé tegye a különböző forrásokhoz való kapcsolódást. Az alábbiak szerint implementálhat paraméteres ellenőrzőpont-kulcsot:

1. Hozzon létre egy globális paramétert, amely az ellenőrzőpontkulcsot a folyamat szintjén tárolja a végrehajtások konzisztenciájának biztosítása érdekében:

   "parameters": {
    "checkpointKey": {
        "type": "string",
        "defaultValue": "YourStaticCheckpointKey"
    }
   } 
   

2. Programozott módon állítsa be az ellenőrzőpontkulcsot, hogy minden futtatáskor a kívánt értékkel hívja meg a folyamatot. Íme egy példa egy REST-hívásra a paraméteres ellenőrzőpont-kulccsal:

   PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelines/{pipelineName}?api-version=2018-06-01
   Content-Type: application/json
   {
       "properties": {
           "activities": [
               // Your activities here
           ],
           "parameters": {
               "checkpointKey": {
                   "type": "String",
                   "defaultValue": "YourStaticCheckpointKey"
               }
           }
       }
   }
   

Részletesebb információkért tekintse meg az SAP CDC-összekötő speciális témakörét.

Adatfolyam-tulajdonságok leképezése

Ha az SAP CDC-összekötővel forrásként szeretne leképezési adatfolyamot létrehozni, hajtsa végre a következő lépéseket:

1. Az ADF Studióban nyissa meg a Szerzői központ Adatfolyamok szakaszát, válassza a ... gombot az Adatfolyam-műveletek menü legördülő menüjéhez, majd válassza az Új adatfolyam elemet. Kapcsolja be a hibakeresési módot az adatfolyam-vászon felső sávjának Adatfolyam hibakeresés gombjával.

   

2. A leképezési adatfolyam-szerkesztőben válassza a Forrás hozzáadása lehetőséget.

   

3. A Forrásbeállítások lapon válasszon egy előkészített SAP CDC-adatkészletet, vagy az Új gombra kattintva hozzon létre egy újat. Másik lehetőségként választhatja a Beágyazott elemet is a Forrás típusú tulajdonságban, és explicit adatkészlet definiálása nélkül folytathatja a műveletet.

   

4. A Forrásbeállítások lapon válassza a Teljes lehetőséget minden futtatáskor, ha teljes pillanatképeket szeretne betölteni a leképezési adatfolyam minden végrehajtására. Első futtatáskor válassza a Teljes lehetőséget, majd növekményesen , ha az SAP-forrásrendszerből szeretne előfizetni egy változáscsatornára, beleértve a kezdeti teljes adatpillanatképet. Ebben az esetben a folyamat első futtatása delta inicializálást végez, ami azt jelenti, hogy létrehoz egy ODP delta-előfizetést a forrásrendszerben, és visszaad egy aktuális teljes adat pillanatképet. A későbbi folyamatfuttatások csak növekményes változásokat adnak vissza az előző futtatás óta. A beállítás növekményes módosításai csak ODP-delta-előfizetést hoznak létre anélkül, hogy az első futtatáskor a teljes adatok kezdeti pillanatképét adnák vissza. Az ezt követő futtatások csak az előző futtatás óta növekményes változásokat adnak vissza. Mindkét növekményes terhelési beállításnak meg kell adnia az ODP-forrásobjektum kulcsait a Kulcsoszlopok tulajdonságban.

   

   

5. A Leképezés, az Optimalizálás és a Vizsgálat lapfülek esetében kövesse a leképezési adatfolyamot.

Teljes vagy kezdeti terhelés teljesítményének optimalizálása forrásparticionálással

Ha a futtatási mód beállítása Teljes minden futtatáskor vagy Teljes első futtatáskor, majd növekményes, akkor az Optimalizálás lap egy Forrás nevű kijelölési és particionálási típust kínál. Ezzel a beállítással több partíciós (azaz szűrési) feltételt adhat meg, hogy egy nagy forrásadatkészlet több kisebb részre legyen bontva. Az SAP CDC-összekötő minden partícióhoz külön kinyerési folyamatot indít el az SAP-forrásrendszerben.

Ha a partíciók mérete egyenlő, a forrásparticionálás lineárisan növelheti az adatkinyerés átviteli sebességét. Az ilyen teljesítménybeli fejlesztések eléréséhez elegendő erőforrásra van szükség az SAP-forrásrendszerben, a saját üzemeltetésű integrációs modult üzemeltető virtuális gépen és az Azure integrációs modulban.

Kapcsolódó tartalom

• Az SAP CDC képességeinek áttekintése és architektúrája
• Több objektum replikálása az SAP-ból AZ SAP CDC-n keresztül
• SAP CDC – speciális témakörök