Jegyzékalapú betöltési fogalmak
A jegyzékalapú fájlbetöltés hatékony mechanizmust biztosít a végfelhasználóknak és a rendszereknek az Azure Data Manager for Energy-példányban található adathalmazok metaadatainak betöltéséhez. Ezt a metaadatokat a rendszer indexeli, és lehetővé teszi a végfelhasználó számára az adathalmazok keresését.
A jegyzékalapú fájlbetöltés olyan átlátszatlan betöltési művelet, amely nem elemzi vagy nem értelmezi a fájl tartalmát. Létrehoz egy metaadatrekordot a jegyzék alapján, és kereshetővé teszi a rekordot.
Mi az a jegyzék?
A jegyzék egy JSON-dokumentum, amely előre meghatározott struktúrával rendelkezik a "kind" néven definiált entitások rögzítéséhez, azaz sémákként regisztrálva a sémaszolgáltatás – jól ismert séma (WKS) definícióiban.
Itt talál egy példajegyzék json-dokumentumot.
A jegyzékséma tárolókkal rendelkezik az alábbi OSDU-csoporttípusokhoz®:
- ReferenceData (nulla vagy több) – Más (fő vagy tranzakciós) adatmezők által használandó megengedett értékek halmaza. Ilyenek például a mértékegység (láb), a pénznem stb.
- MasterData (nulla vagy több) – Több rendszerben, alkalmazásban és/vagy folyamatban használt alapszintű üzleti adatok egyetlen forrása. Ilyenek például a Wells és a Wellbores
- WorkProduct (WP) (egy – a WorkProductComponents betöltésekor jelen kell lennie) – A munkamenet-határ vagy gyűjtemény (projekt, tanulmány) olyan entitásokat foglal magában, amelyeket együtt kell feldolgozni. Példaként egy vagy több naplógyűjtemény betöltését is elvégezheti.
- WorkProductComponents (WPC) (nulla vagy több – adathalmazok betöltésekor jelen kell lennie) – Egy munkahelyi termék részeként átvitt üzletiadat-tartalom begépelt, legkisebb, egymástól függetlenül használható egysége (az együtt betöltött dolgok gyűjteménye). Minden munkatermék-összetevő (WPC) általában referenciaadatokat használ, néhány főadathoz tartozik, és megőrzi az adathalmazokra mutató hivatkozást. Példa: Kútnaplók, hibák, dokumentumok
- Az adatkészleteknek (nulla vagy több - a WorkProduct és a WorkProductComponent rekord betöltésekor) jelen kell lenniük. Minden munkatermék-összetevő (WPC) egy vagy több adattárolóból, úgynevezett adatkészletből áll.
A jegyzékadatok egy adott sorrendben töltődnek be:
- A "ReferenceData" tömb (ha fel van töltve).
- A "MasterData" tömb (ha fel van töltve).
- Az "Adatok" struktúrát a rendszer utoljára dolgozza fel (ha fel van töltve). Az "Adatok" tulajdonságon belül a feldolgozás a következő sorrendben történik:
- az "Adathalmazok" tömb
- a "WorkProductComponents" tömb
- a "WorkProduct".
Minden tömb rendezve van. ha vannak egymástól függő elemek, a függő elemeket a kapcsolati célok mögé kell helyezni, például egy master-data Well rekordot a "MasterData" tömbben kell elhelyezni a kútfúrások előtt.
Jegyzékalapú fájlbetöltési munkafolyamat
Az Azure Data Manager for Energy-példány beépített támogatással rendelkezik a Jegyzékalapú fájlbetöltési munkafolyamathoz. Osdu_ingest Az Airflow DAG előre konfigurálva van a példányban.
Jegyzékalapú fájlbetöltési munkafolyamat összetevői
A Jegyzékalapú fájlbetöltési munkafolyamat a következő összetevőkből áll:
- Munkafolyamat-szolgáltatás – Az Airflow munkafolyamat-motor tetején futó burkolószolgáltatás.
- Airflow motor – Egy munkafolyamat-vezénylési motor, amely DAG-ként (irányított Aciklikus grafikonok) regisztrált munkafolyamatokat hajt végre. Az Airflow az OSDU-közösség® által kiválasztott munkafolyamat-motor a betöltési munkafolyamatok vezényléséhez és futtatásához. Az Airflow nem érhető el közvetlenül, ehelyett a funkciók a munkafolyamat-szolgáltatáson keresztül érhetők el.
- Storage Service – A jegyzék metaadat-rekordjainak adatplatformba való mentésére szolgáló szolgáltatás.
- Sémaszolgáltatás – Az OSDU® által definiált sémákat az adatplatformon kezelő szolgáltatás. A jegyzékalapú fájlbetöltés során sémákra hivatkozunk.
- Jogosultságok szolgáltatás – Hozzáférési csoportokat kezelő szolgáltatás. Ezt a szolgáltatást a betöltési engedélyek ellenőrzése során használja a rendszer. Ezt a szolgáltatást a metaadatrekord lekérése során is használják az "olvasási" írások ellenőrzéséhez.
- Jogi szolgáltatás – Egy szolgáltatás, amely jogi címkéken keresztül ellenőrzi a megfelelőséget.
- A Keresési szolgáltatás a hivatkozási integritás ellenőrzésére szolgál a jegyzékbetöltési folyamat során.
Előfeltételek
A Jegyzékalapú fájlbetöltési munkafolyamat futtatása előtt az ügyfeleknek gondoskodniuk kell arról, hogy a munkafolyamatot futtató felhasználói fiókok hozzáférjenek az alapvető szolgáltatásokhoz (Keresés, Tárolás, Séma, Jogosultság és Jogi) és Munkafolyamat-szolgáltatáshoz (részletekért lásd a jogosultsági szerepköröket ). Az Azure Data Manager energiapéldány-kiépítésének részeként az OSDU® standard sémái és a kapcsolódó referenciaadatok előre betöltődnek. Az ügyfeleknek gondoskodniuk kell arról, hogy a jegyzékek betöltéséhez használt felhasználói fiók szerepel-e a megfelelő tulajdonosok és megtekintők ACL-jei között. Az ügyfeleknek gondoskodniuk kell arról, hogy a jegyzékek megfelelő jogi címkékkel, tulajdonosokkal és megtekintőkkel legyenek konfigurálva, ACL-eket, referenciaadatokat stb.
Munkafolyamat-sorozat
Az alábbi ábra a Jegyzékalapú fájlbetöltési munkafolyamatot mutatja be: 
A felhasználó elküldi a jegyzékfájlt a Workflow Service jegyzékbetöltési munkafolyamat neve ("Osdu_ingest") használatával. Ha a kérés megfelelő, és a felhasználó jogosult a munkafolyamat futtatására, a munkafolyamat-szolgáltatás betölti a jegyzékfájlt, és elindítja a jegyzékbetöltési munkafolyamatot.
A munkafolyamat-szolgáltatás egy jegyzéksorozatot syntax validation hajt végre, például a jegyzékstruktúrát és az attribútumérvényesítést a megadott sémának megfelelően, és ellenőrzi a kötelező sémaattribútumokat. A rendszer ezután a munkatermék-összetevők és az adatkészletek között hajt referential integrity validation végre műveleteket. Például, hogy a hivatkozott szülőadatok léteznek-e.
Miután az érvényesítés sikeres volt, a rendszer feldolgozza a tartalmat a tárolóba úgy, hogy minden érvényes entitást beír az adatplatformba a Storage Service API használatával.
Az OSDU® a The Open Group védjegye.