Adatok másolása az SAP Business Warehouse-ból az Open Hubon keresztül az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhatja a Másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban adatok másolására egy SAP Business Warehouse-ból (BW) az Open Hubon keresztül. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

Tipp.

Az SAP-adatintegrációs forgatókönyv általános támogatásáról az SAP adatintegrációs tanulmányában talál részletes bevezetést az egyes SAP-összekötőkről, összehasonlításról és útmutatásról.

Támogatott képességek

Ez az SAP Business Warehouse Open Hub-összekötő a következő képességeket támogatja:

Támogatott képességek IR
Copy tevékenység (forrás/-)
Keresési tevékenység

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

Ez az SAP Business Warehouse Open Hub-összekötő a következőket támogatja:

  • AZ SAP Business Warehouse 7.01-es vagy újabb verziója (a 2015-ös év után kiadott SAP-támogatási csomagcsomag-veremben). Az SAP BW/4HANA-t ez az összekötő nem támogatja.
  • Adatok másolása az Open Hub Cél helyi táblán keresztül, amely alatt lehet DSO, InfoCube, MultiProvider, DataSource stb.
  • Adatok másolása alapszintű hitelesítéssel.
  • Csatlakozás sap-alkalmazáskiszolgálóra vagy SAP-üzenetkiszolgálóra.
  • Adatok beolvasása RFC-vel.

SAP BW Open Hub-integráció

Az SAP BW Open Hub Szolgáltatás hatékony módja az adatok kinyerésére az SAP BW-ből. Az alábbi ábra az egyik tipikus folyamatot mutatja be az ügyfelek sap-rendszerében, amely esetben az SAP ECC - PSA ->> DSO -> Cube adatáramlásai.

Az SAP BW Open Hub Destination (OHD) azt a célt határozza meg, amelyre az SAP-adatok továbbítva lesznek. Az SAP Data Transfer Process (DTP) által támogatott objektumok használhatók nyílt központi adatforrásként, például DSO, InfoCube, DataSource stb. Az Open Hub Destination típus – ahol a továbbított adatok tárolása történik – lehetnek adatbázistáblák (helyi vagy távoli) és egybesimított fájlok. Ez az SAP BW Open Hub-összekötő támogatja az adatok másolását az OHD helyi táblából a BW-ben. Ha más típusokat használ, közvetlenül csatlakozhat az adatbázishoz vagy a fájlrendszerhez más összekötők használatával.

SAP BW Open Hub

Delta extrakciós folyamat

Az SAP BW Open Hub Csatlakozás or két választható tulajdonságot kínál: excludeLastRequestbaseRequestId az Open Hubról érkező változásterhelés kezelésére használható.

  • excludeLastRequestId: Az utolsó kérés rekordjainak kizárása. Az alapértelmezett érték igaz.
  • baseRequestId: A változásbetöltési kérelem azonosítója. A beállítás után csak a tulajdonság értékénél nagyobb requestId azonosítójú adatok lesznek lekérve.

Az SAP InfoProviders kinyerése összességében két lépésből áll:

  1. SAP BW adatátviteli folyamat (DTP) Ez a lépés egy SAP BW InfoProviderből egy SAP BW Open Hub-táblába másolja az adatokat

  2. Adatmásolás Ebben a lépésben az Összekötő felolvassa az Open Hub táblát

Delta extraction flow

Az első lépésben a rendszer végrehajt egy DTP-t. Minden végrehajtás létrehoz egy új SAP-kérésazonosítót. A kérelemazonosító az Open Hub táblában van tárolva, majd az összekötő a delta azonosítására használja. A két lépés aszinkron módon fut: a DTP-t az SAP aktiválja, az adatmásolás pedig a szolgáltatáson keresztül aktiválódik.

Alapértelmezés szerint a szolgáltatás nem az Open Hub táblából olvassa be a legújabb különbözetet (az "utolsó kérés kizárása" lehetőség igaz). Ezennel a szolgáltatás adatai nem 100%-ig naprakészek az Open Hub táblában szereplő adatokkal (az utolsó változás hiányzik). Cserébe ez az eljárás biztosítja, hogy az aszinkron kinyerés ne vesszenek el sorokat. Akkor is jól működik, ha a szolgáltatás az Open Hub táblát olvassa, miközben a DTP még mindig ugyanabba a táblába ír.

A maximálisan másolt kérésazonosítót általában egy átmeneti adattárban tárolja a szolgáltatás utolsó futtatásakor (például a fenti ábrán az Azure Blobban). Ezért ugyanazt a kérést a szolgáltatás nem olvassa be másodszor a következő futtatás során. Közben vegye figyelembe, hogy az adatok nem törlődnek automatikusan az Open Hub táblából.

A megfelelő változáskezeléshez nem engedélyezett, hogy a különböző DTP-k kérésazonosítói ugyanabban az Open Hub-táblában legyenek. Ezért nem hozhat létre egynél több DTP-t minden egyes Open Hub-célhelyhez (OHD). Ha ugyanabból az InfoProviderből teljes és Delta kinyerést szeretne, két OHD-t kell létrehoznia ugyanahhoz az InfoProviderhez.

Előfeltételek

Az SAP Business Warehouse Open Hub-összekötő használatához a következőkre van szükség:

  • Saját üzemeltetésű integrációs modul beállítása a 3.13-es vagy újabb verzióval. A részletekért tekintse meg a saját üzemeltetésű integrációs modulról szóló cikket.

  • Töltse le a 64 bites SAP .NET Csatlakozás or 3.0-t az SAP webhelyéről, és telepítse a saját üzemeltetésű integrációs modul gépére. Telepítéskor az opcionális beállítási lépések ablakban válassza a Szerelvények telepítése GAC-ba lehetőséget az alábbi képen látható módon.

    Install SAP .NET Connector

  • A BW-összekötőben használt SAP-felhasználónak a következő engedélyekkel kell rendelkeznie:

    • Az RFC és az SAP BW engedélyezése.
    • Engedélyek a "S_SDSAUTH" engedélyezési objektum "Végrehajtás" tevékenységéhez.
  • Hozzon létre SAP Open Hub-céltípust adatbázistáblaként a "Technical Key" beállítás bejelöltével. Azt is javasoljuk, hogy hagyja bejelöletlenként az adatok törlését a táblából, bár ez nem kötelező. A DTP használatával (közvetlenül végrehajthatja vagy integrálhatja a meglévő folyamatláncba) adatokat a megnyitott központ céltáblájába kiválasztott forrásobjektumból (például kockából).

Első lépések

Tipp.

Az SAP BW Open Hub-összekötő használatának bemutatása: Adatok betöltése az SAP Business Warehouse-ból (BW).

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

A következő szakaszok az SAP Business Warehouse Open Hub-összekötőre jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Az SAP Business Warehouse Open Hub társított szolgáltatása a következő tulajdonságokat támogatja:

Property Leírás Required
típus A típustulajdonságnak a következőre kell állítania: SapOpenHub Igen
kiszolgáló Annak a kiszolgálónak a neve, amelyen az SAP BW-példány található. Igen
systemNumber Az SAP BW-rendszer rendszerszáma.
Megengedett érték: sztringként ábrázolt kétjegyű tizedesjegy.
Igen
messageServer Az SAP-üzenetkiszolgáló állomásneve.
SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható.
Nem
messageServerService Az üzenetkiszolgáló szolgáltatásneve vagy portszáma.
SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható.
Nem
systemId Annak az SAP-rendszernek az azonosítója, ahol a tábla található.
SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható.
Nem
logonGroup Az SAP-rendszer bejelentkezési csoportja.
SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható.
Nem
clientId Az ügyfél ügyfélazonosítója az SAP W rendszerben.
Megengedett érték: sztringként ábrázolt háromjegyű tizedesjegy.
Igen
language Az SAP-rendszer által használt nyelv. Nem (az alapértelmezett érték az EN)
Felhasználónév Az SAP-kiszolgálóhoz hozzáféréssel rendelkező felhasználó neve. Igen
jelszó A felhasználó jelszava. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. Igen
connectVia Az adattárhoz való csatlakozáshoz használandó integrációs modul . Az előfeltételekben leírtaknak megfelelően szükség van egy saját üzemeltetésű integrációs modulra. Igen

Példa

{
    "name": "SapBwOpenHubLinkedService",
    "properties": {
        "type": "SapOpenHub",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client id>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz az SAP BW Open Hub-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni az SAP BW Open Hubról és az SAP BW-be, állítsa be az adathalmaz típustulajdonságát SapOpenHubTable értékre. A következő tulajdonságok támogatottak.

Property Leírás Required
típus A típustulajdonságot SapOpenHubTable értékre kell állítani. Igen
openHubDestinationName Az adatok másolásához használt Open Hub-célhely neve. Igen

Ha az adathalmazt állította be excludeLastRequestbaseRequestId , az továbbra is támogatott, miközben a tevékenységforrásban javasolt az új modell használata.

Példa

{
    "name": "SAPBWOpenHubDataset",
    "properties": {
        "type": "SapOpenHubTable",
        "typeProperties": {
            "openHubDestinationName": "<open hub destination name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<SAP BW Open Hub linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az SAP BW Open Hub-forrás által támogatott tulajdonságok listáját tartalmazza.

SAP BW Open Hub mint forrás

Ha adatokat szeretne másolni az SAP BW Open Hubról, a másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak:

Property Leírás Required
típus A másolási tevékenység forrásának típustulajdonságát SapOpenHubSource-ra kell állítani. Igen
excludeLastRequest Az utolsó kérés rekordjainak kizárása. Nem (az alapértelmezett érték igaz)
baseRequestId A változásbetöltési kérelem azonosítója. A beállítás után csak a tulajdonság értékénél nagyobb requestId azonosítójú adatok lesznek lekérve. Nem
customRfcReadTableFunctionModule Egyéni RFC-függvénymodul, amely egy SAP-tábla adatainak beolvasására használható.
Egyéni RFC-függvénymodullal meghatározhatja, hogy az adatok hogyan lesznek lekérve az SAP-rendszerből, és hogyan kerülnek vissza a szolgáltatásba. Az egyéni függvénymodulnak rendelkeznie kell a szolgáltatás által használt alapértelmezett felülethez /SAPDS/RFC_READ_TABLE2hasonló felülettel (importálás, exportálás, táblák).
Nem
sapDataColumnDelimiter Az SAP RFC-nek átadott elválasztó karakter a kimeneti adatok felosztásához. Nem

Tipp.

Ha az Open Hub-tábla csak az egyetlen kérelemazonosítóval létrehozott adatokat tartalmazza, például mindig teljes terhelést hajt végre, és felülírja a táblában lévő meglévő adatokat, vagy csak egyszer futtatja a DTP-t tesztelésre, ne felejtse el törölje a "excludeLastRequest" beállítás jelölését az adatok kimásolásához.

Az adatbetöltés felgyorsítása érdekében beállíthatja parallelCopies , hogy a másolási tevékenység párhuzamosan töltse be az adatokat az SAP BW Open Hubból. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre négy RFC-hívást hajt végre, és minden RFC-hívás lekéri az adatok egy részét az SAP BW Open Hub táblából, amelyet a DTP-kérésazonosító és a csomagazonosító particionál. Ez akkor érvényes, ha az egyedi DTP-kérésazonosító + csomagazonosító száma nagyobb, mint a .parallelCopies Az adatok fájlalapú adattárba való másolásakor a rendszer újraparancsolja, hogy több fájlként írjon egy mappába (csak a mappa nevét adja meg), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Példa

"activities":[
    {
        "name": "CopyFromSAPBWOpenHub",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SAP BW Open Hub input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SapOpenHubSource",
                "excludeLastRequest": true
            },
            "sink": {
                "type": "<sink type>"
            },
            "parallelCopies": 4
        }
    }
]

Adattípus-leképezés az SAP BW Open Hubhoz

Amikor adatokat másol az SAP BW Open Hubról, a rendszer az alábbi leképezéseket használja az SAP BW-adattípusokból a szolgáltatáson belül használt köztes adattípusokra. A séma- és adattípus-leképezések segítségével megtudhatja , hogy a másolási tevékenység hogyan rendeli le a forrásséma és az adattípust a fogadóhoz.

SAP ABAP-típus Köztes szolgáltatás adattípusa
C (sztring) Sztring
I (egész szám) Int32
F (Lebegőpontos) Dupla
D (Dátum) Sztring
T (idő) Sztring
P (BCD Csomagolva, Pénznem, Decimális, Qty) Decimális
N (Numc) Sztring
X (bináris és nyers) Sztring

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Troubleshooting tips

Tünetek: Ha SAP BW-t futtat a HANA-n, és csak az adatok egy részhalmazát másolja át másolási tevékenységgel (1 millió sor), a lehetséges ok az, hogy engedélyezi az "SAP HANA-végrehajtás" beállítást a DTP-ben, ebben az esetben a szolgáltatás csak az első adatköteget tudja lekérni.

Megoldás: Tiltsa le az "SAP HANA-végrehajtás" beállítást a DTP-ben, dolgozza fel újra az adatokat, majd próbálkozzon újra a másolási tevékenység végrehajtásával.

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.