Adatok másolása az SAP Business Warehouse-ból az Open Hubon keresztül az Azure Data Factory vagy a Synapse Analytics használatával
A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk azt ismerteti, hogyan használhatja a Másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban adatok másolására egy SAP Business Warehouse-ból (BW) az Open Hubon keresztül. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.
Tipp.
Az SAP-adatintegrációs forgatókönyv általános támogatásáról az SAP adatintegrációs tanulmányában talál részletes bevezetést az egyes SAP-összekötőkről, összehasonlításról és útmutatásról.
Támogatott képességek
Ez az SAP Business Warehouse Open Hub-összekötő a következő képességeket támogatja:
Támogatott képességek | IR |
---|---|
Copy tevékenység (forrás/-) | (2) |
Keresési tevékenység | (2) |
(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul
A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.
Ez az SAP Business Warehouse Open Hub-összekötő a következőket támogatja:
- AZ SAP Business Warehouse 7.01-es vagy újabb verziója (a 2015-ös év után kiadott SAP-támogatási csomagcsomag-veremben). Az SAP BW/4HANA-t ez az összekötő nem támogatja.
- Adatok másolása az Open Hub Cél helyi táblán keresztül, amely alatt lehet DSO, InfoCube, MultiProvider, DataSource stb.
- Adatok másolása alapszintű hitelesítéssel.
- Csatlakozás SAP-alkalmazáskiszolgálóhoz vagy SAP-üzenetkiszolgálóhoz.
- Adatok beolvasása RFC-vel.
SAP BW Open Hub-integráció
Az SAP BW Open Hub Szolgáltatás hatékony módja az adatok kinyerésére az SAP BW-ből. Az alábbi ábra az egyik tipikus folyamatot mutatja be az ügyfelek sap-rendszerében, amely esetben az SAP ECC - PSA ->> DSO -> Cube adatáramlásai.
Az SAP BW Open Hub Destination (OHD) azt a célt határozza meg, amelyre az SAP-adatok továbbítva lesznek. Az SAP Data Transfer Process (DTP) által támogatott objektumok használhatók nyílt központi adatforrásként, például DSO, InfoCube, DataSource stb. Az Open Hub Destination típus – ahol a továbbított adatok tárolása történik – lehetnek adatbázistáblák (helyi vagy távoli) és egybesimított fájlok. Ez az SAP BW Open Hub-összekötő támogatja az adatok másolását az OHD helyi táblából a BW-ben. Ha más típusokat használ, közvetlenül csatlakozhat az adatbázishoz vagy a fájlrendszerhez más összekötők használatával.
Delta extrakciós folyamat
Az SAP BW Open Hub-összekötő két választható tulajdonságot kínál: excludeLastRequest
baseRequestId
az Open Hubról érkező változásterhelés kezelésére használható.
- excludeLastRequestId: Az utolsó kérés rekordjainak kizárása. Az alapértelmezett érték igaz.
- baseRequestId: A változásbetöltési kérelem azonosítója. A beállítás után csak a tulajdonság értékénél nagyobb requestId azonosítójú adatok lesznek lekérve.
Az SAP InfoProviders kinyerése összességében két lépésből áll:
SAP BW adatátviteli folyamat (DTP) Ez a lépés egy SAP BW InfoProviderből egy SAP BW Open Hub-táblába másolja az adatokat
Adatmásolás Ebben a lépésben az Összekötő felolvassa az Open Hub táblát
Az első lépésben a rendszer végrehajt egy DTP-t. Minden végrehajtás létrehoz egy új SAP-kérésazonosítót. A kérelemazonosító az Open Hub táblában van tárolva, majd az összekötő a delta azonosítására használja. A két lépés aszinkron módon fut: a DTP-t az SAP aktiválja, az adatmásolás pedig a szolgáltatáson keresztül aktiválódik.
Alapértelmezés szerint a szolgáltatás nem az Open Hub táblából olvassa be a legújabb különbözetet (az "utolsó kérés kizárása" lehetőség igaz). Ezennel a szolgáltatás adatai nem 100%-ig naprakészek az Open Hub táblában szereplő adatokkal (az utolsó változás hiányzik). Cserébe ez az eljárás biztosítja, hogy az aszinkron kinyerés ne vesszenek el sorokat. Akkor is jól működik, ha a szolgáltatás az Open Hub táblát olvassa, miközben a DTP még mindig ugyanabba a táblába ír.
A maximálisan másolt kérésazonosítót általában egy átmeneti adattárban tárolja a szolgáltatás utolsó futtatásakor (például a fenti ábrán az Azure Blobban). Ezért ugyanazt a kérést a szolgáltatás nem olvassa be másodszor a következő futtatás során. Közben vegye figyelembe, hogy az adatok nem törlődnek automatikusan az Open Hub táblából.
A megfelelő változáskezeléshez nem engedélyezett, hogy a különböző DTP-k kérésazonosítói ugyanabban az Open Hub-táblában legyenek. Ezért nem hozhat létre egynél több DTP-t minden egyes Open Hub-célhelyhez (OHD). Ha ugyanabból az InfoProviderből teljes és Delta kinyerést szeretne, két OHD-t kell létrehoznia ugyanahhoz az InfoProviderhez.
Előfeltételek
Az SAP Business Warehouse Open Hub-összekötő használatához a következőkre van szükség:
Saját üzemeltetésű integrációs modul beállítása a 3.13-es vagy újabb verzióval. A részletekért tekintse meg a saját üzemeltetésű integrációs modulról szóló cikket.
Töltse le a 64 bites SAP .NET Connector 3.0-t az SAP webhelyéről, és telepítse a saját üzemeltetésű integrációs modul gépére. Telepítéskor az opcionális beállítási lépések ablakban válassza a Szerelvények telepítése GAC-ba lehetőséget az alábbi képen látható módon.
A BW-összekötőben használt SAP-felhasználónak a következő engedélyekkel kell rendelkeznie:
- Az RFC és az SAP BW engedélyezése.
- Engedélyek a "S_SDSAUTH" engedélyezési objektum "Végrehajtás" tevékenységéhez.
Hozzon létre SAP Open Hub-céltípust adatbázistáblaként a "Technical Key" beállítás bejelöltével. Azt is javasoljuk, hogy hagyja bejelöletlenként az adatok törlését a táblából, bár ez nem kötelező. A DTP használatával (közvetlenül végrehajthatja vagy integrálhatja a meglévő folyamatláncba) adatokat a megnyitott központ céltáblájába kiválasztott forrásobjektumból (például kockából).
Első lépések
Tipp.
Az SAP BW Open Hub-összekötő használatának bemutatása: Adatok betöltése az SAP Business Warehouse-ból (BW).
A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:
- Az Adatok másolása eszköz
- Az Azure Portal
- A .NET SDK
- A Python SDK
- Azure PowerShell
- A REST API
- Az Azure Resource Manager-sablon
A következő szakaszok az SAP Business Warehouse Open Hub-összekötőre jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.
Társított szolgáltatás tulajdonságai
Az SAP Business Warehouse Open Hub társított szolgáltatása a következő tulajdonságokat támogatja:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A típustulajdonságnak a következőre kell állítania: SapOpenHub | Igen |
kiszolgáló | Annak a kiszolgálónak a neve, amelyen az SAP BW-példány található. | Igen |
systemNumber | Az SAP BW-rendszer rendszerszáma. Megengedett érték: sztringként ábrázolt kétjegyű tizedesjegy. |
Igen |
messageServer | Az SAP-üzenetkiszolgáló állomásneve. SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható. |
Nem |
messageServerService | Az üzenetkiszolgáló szolgáltatásneve vagy portszáma. SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható. |
Nem |
systemId | Annak az SAP-rendszernek az azonosítója, ahol a tábla található. SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható. |
Nem |
logonGroup | Az SAP-rendszer bejelentkezési csoportja. SAP-üzenetkiszolgálóhoz való csatlakozáshoz használható. |
Nem |
clientId | Az ügyfél ügyfélazonosítója az SAP W rendszerben. Megengedett érték: sztringként ábrázolt háromjegyű tizedesjegy. |
Igen |
language | Az SAP-rendszer által használt nyelv. | Nem (az alapértelmezett érték az EN) |
Felhasználónév | Az SAP-kiszolgálóhoz hozzáféréssel rendelkező felhasználó neve. | Igen |
jelszó | A felhasználó jelszava. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. | Igen |
connectVia | Az adattárhoz való csatlakozáshoz használandó integrációs modul . Az előfeltételekben leírtaknak megfelelően szükség van egy saját üzemeltetésű integrációs modulra. | Igen |
Példa:
{
"name": "SapBwOpenHubLinkedService",
"properties": {
"type": "SapOpenHub",
"typeProperties": {
"server": "<server name>",
"systemNumber": "<system number>",
"clientId": "<client id>",
"userName": "<SAP user>",
"password": {
"type": "SecureString",
"value": "<Password for SAP user>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Adathalmaz tulajdonságai
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz az SAP BW Open Hub-adatkészlet által támogatott tulajdonságok listáját tartalmazza.
Ha adatokat szeretne másolni az SAP BW Open Hubról és az SAP BW-be, állítsa be az adathalmaz típustulajdonságát SapOpenHubTable értékre. A következő tulajdonságok támogatottak.
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A típustulajdonságot SapOpenHubTable értékre kell állítani. | Igen |
openHubDestinationName | Az adatok másolásához használt Open Hub-célhely neve. | Igen |
Ha az adathalmazt állította be excludeLastRequest
baseRequestId
, az továbbra is támogatott, miközben a tevékenységforrásban javasolt az új modell használata.
Példa:
{
"name": "SAPBWOpenHubDataset",
"properties": {
"type": "SapOpenHubTable",
"typeProperties": {
"openHubDestinationName": "<open hub destination name>"
},
"schema": [],
"linkedServiceName": {
"referenceName": "<SAP BW Open Hub linked service name>",
"type": "LinkedServiceReference"
}
}
}
Másolási tevékenység tulajdonságai
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az SAP BW Open Hub-forrás által támogatott tulajdonságok listáját tartalmazza.
SAP BW Open Hub mint forrás
Ha adatokat szeretne másolni az SAP BW Open Hubról, a másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A másolási tevékenység forrásának típustulajdonságát SapOpenHubSource-ra kell állítani. | Igen |
excludeLastRequest | Az utolsó kérés rekordjainak kizárása. | Nem (az alapértelmezett érték igaz) |
baseRequestId | A változásbetöltési kérelem azonosítója. A beállítás után csak a tulajdonság értékénél nagyobb requestId azonosítójú adatok lesznek lekérve. | Nem |
customRfcReadTableFunctionModule | Egyéni RFC-függvénymodul, amely egy SAP-tábla adatainak beolvasására használható. Egyéni RFC-függvénymodullal meghatározhatja, hogy az adatok hogyan lesznek lekérve az SAP-rendszerből, és hogyan kerülnek vissza a szolgáltatásba. Az egyéni függvénymodulnak rendelkeznie kell a szolgáltatás által használt alapértelmezett felülethez /SAPDS/RFC_READ_TABLE2 hasonló felülettel (importálás, exportálás, táblák). |
Nem |
sapDataColumnDelimiter | Az SAP RFC-nek átadott elválasztó karakter a kimeneti adatok felosztásához. | Nem |
Tipp.
Ha az Open Hub-tábla csak az egyetlen kérelemazonosítóval létrehozott adatokat tartalmazza, például mindig teljes terhelést hajt végre, és felülírja a táblában lévő meglévő adatokat, vagy csak egyszer futtatja a DTP-t tesztelésre, ne felejtse el törölje a "excludeLastRequest" beállítás jelölését az adatok kimásolásához.
Az adatbetöltés felgyorsítása érdekében beállíthatja parallelCopies
, hogy a másolási tevékenység párhuzamosan töltse be az adatokat az SAP BW Open Hubból. Ha például négyre van állítva parallelCopies
, a szolgáltatás egyszerre négy RFC-hívást hajt végre, és minden RFC-hívás lekéri az adatok egy részét az SAP BW Open Hub táblából, amelyet a DTP-kérésazonosító és a csomagazonosító particionál. Ez akkor érvényes, ha az egyedi DTP-kérésazonosító + csomagazonosító száma nagyobb, mint a .parallelCopies
Az adatok fájlalapú adattárba való másolásakor a rendszer újraparancsolja, hogy több fájlként írjon egy mappába (csak a mappa nevét adja meg), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.
Példa:
"activities":[
{
"name": "CopyFromSAPBWOpenHub",
"type": "Copy",
"inputs": [
{
"referenceName": "<SAP BW Open Hub input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "SapOpenHubSource",
"excludeLastRequest": true
},
"sink": {
"type": "<sink type>"
},
"parallelCopies": 4
}
}
]
Adattípus-leképezés az SAP BW Open Hubhoz
Amikor adatokat másol az SAP BW Open Hubról, a rendszer az alábbi leképezéseket használja az SAP BW-adattípusokból a szolgáltatáson belül használt köztes adattípusokra. A séma- és adattípus-leképezések segítségével megtudhatja , hogy a másolási tevékenység hogyan rendeli le a forrásséma és az adattípust a fogadóhoz.
SAP ABAP-típus | Köztes szolgáltatás adattípusa |
---|---|
C (sztring) | Sztring |
I (egész szám) | Int32 |
F (Lebegőpontos) | Dupla |
D (Dátum) | Sztring |
T (idő) | Sztring |
P (BCD Csomagolva, Pénznem, Decimális, Qty) | Decimális |
N (Numc) | Sztring |
X (bináris és nyers) | Sztring |
Keresési tevékenység tulajdonságai
A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.
Hibaelhárítási tippek
Tünetek: Ha SAP BW-t futtat a HANA-n, és csak az adatok egy részhalmazát másolja át másolási tevékenységgel (1 millió sor), a lehetséges ok az, hogy engedélyezi az "SAP HANA-végrehajtás" beállítást a DTP-ben, ebben az esetben a szolgáltatás csak az első adatköteget tudja lekérni.
Megoldás: Tiltsa le az "SAP HANA-végrehajtás" beállítást a DTP-ben, dolgozza fel újra az adatokat, majd próbálkozzon újra a másolási tevékenység végrehajtásával.
Kapcsolódó tartalom
A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.