Op manifest gebaseerde opnameconcepten
Op manifest gebaseerde bestandsopname biedt eindgebruikers en systemen een robuust mechanisme voor het laden van metagegevens over gegevenssets in Azure Data Manager for Energy instance. Deze metagegevens worden geïndexeerd door het systeem en stelt de eindgebruiker in staat om de gegevenssets te doorzoeken.
Op manifest gebaseerde bestandsopname is een ondoorzichtige opname die de bestandsinhoud niet parseert of begrijpt. Er wordt een metagegevensrecord gemaakt op basis van het manifest en de record kan worden doorzocht.
Wat is een manifest?
Een manifest is een JSON-document met een vooraf gedefinieerde structuur voor het vastleggen van entiteiten die zijn gedefinieerd als 'soort', dat wil zeggen, geregistreerd als schema's met de Schema-service - Bekende SCHEMA-definities (WKS).
Hier vindt u een voorbeeld van een manifest-json-document.
Het manifestschema bevat containers voor de volgende typen OSDU-groepen:®
- ReferenceData (nul of meer): een set toegestane waarden die moeten worden gebruikt door andere gegevensvelden (hoofd- of transactiegegevens). Voorbeelden hiervan zijn Maateenheid (voet), Valuta, enzovoort.
- MasterData (nul of meer): één bron van basisbedrijfsgegevens die worden gebruikt in meerdere systemen, toepassingen en/of processen. Voorbeelden hiervan zijn Wells en Wellbores
- WorkProduct (WP) (één - moet aanwezig zijn als WorkProductComponents wordt geladen) - Een sessiegrens of verzameling (project, studie) omvat een set entiteiten die samen moeten worden verwerkt. U kunt bijvoorbeeld de opname van een of meer logboekverzamelingen gebruiken.
- WorkProductComponents (WPC) (nul of meer- moet aanwezig zijn als gegevenssets worden geladen) - Een getypte, kleinste, onafhankelijk bruikbare eenheid van zakelijke gegevens die wordt overgedragen als onderdeel van een werkproduct (een verzameling dingen die samen zijn opgenomen). Elk werkproductonderdeel (WPC) maakt doorgaans gebruik van referentiegegevens, behoort tot sommige hoofdgegevens en onderhoudt een verwijzing naar gegevenssets. Voorbeeld: Bronlogboeken, fouten, documenten
- Gegevenssets (nul of meer- moeten aanwezig zijn als werkproduct- en WorkProductComponent-records worden geladen) - Elk werkproductonderdeel (WPC) bestaat uit een of meer gegevenscontainers die gegevenssets worden genoemd.
De manifestgegevens worden in een bepaalde volgorde geladen:
- De matrix ReferenceData (indien ingevuld).
- De matrix MasterData (indien ingevuld).
- De structuur 'Gegevens' wordt voor het laatst verwerkt (indien ingevuld). In de eigenschap 'Gegevens' wordt de verwerking uitgevoerd in de volgende volgorde:
- de matrix 'Gegevenssets'
- de matrix 'WorkProductComponents'
- de 'WorkProduct'.
Alle matrices worden geordend. als er afhankelijkheden zijn, moeten de afhankelijke items achter hun relatiedoelen worden geplaatst, bijvoorbeeld dat een bronrecord voor mastergegevens moet worden geplaatst in de matrix 'MasterData' vóór de Bronbores.
Werkstroom voor bestandsopname op basis van manifest
Azure Data Manager for Energy Instance biedt out-of-the-box-ondersteuning voor de werkstroom voor bestandsopname op basis van manifesten. Osdu_ingest Airflow DAG is vooraf geconfigureerd in uw exemplaar.
Werkstroomonderdelen voor bestandsopname op basis van manifest
De werkstroom voor bestandsopname op basis van manifest bestaat uit de volgende onderdelen:
- Werkstroomservice : een wrapperservice die boven op de Airflow-werkstroomengine wordt uitgevoerd.
- Airflow-engine : een werkstroomindelingsengine die werkstromen uitvoert die zijn geregistreerd als DAG's (Directed Acyclic Graphs). Airflow is de gekozen werkstroomengine van de OSDU-community® voor het organiseren en uitvoeren van opnamewerkstromen. Airflow wordt niet rechtstreeks weergegeven, in plaats daarvan worden de functies ervan geopend via de werkstroomservice.
- Opslagservice : een service die wordt gebruikt om de manifestmetagegevensrecords op te slaan in het gegevensplatform.
- Schemaservice : een service die door OSDU® gedefinieerde schema's beheert in het gegevensplatform. Er wordt naar schema's verwezen tijdens de opname van het manifestbestand.
- Rechtenservice : een service die toegangsgroepen beheert. Deze service wordt gebruikt tijdens de opname voor verificatie van opnamemachtigingen. Deze service wordt ook gebruikt tijdens het ophalen van de metagegevensrecord voor validatie van 'lees'-schrijfbewerkingen.
- Juridische service : een service die naleving valideert via juridische tags.
- Search Service wordt gebruikt om referentiële integriteitscontrole uit te voeren tijdens het opnameproces van het manifest.
Vereisten
Voordat de werkstroom voor bestandsopname op basis van manifest wordt uitgevoerd, moeten klanten ervoor zorgen dat de gebruikersaccounts waarop de werkstroom wordt uitgevoerd toegang hebben tot de kernservices (Zoeken, Opslag, Schema, Rechten en Juridisch) en Werkstroomservice (zie Rechtenrollen voor meer informatie). Als onderdeel van azure Data Manager for Energy Instance provisioning worden de OSDU-standaardschema's® en bijbehorende referentiegegevens vooraf geladen. Klanten moeten ervoor zorgen dat het gebruikersaccount dat wordt gebruikt voor het opnemen van de manifesten, is opgenomen in de juiste eigenaars- en kijkers-ACL's. Klanten moeten ervoor zorgen dat manifesten zijn geconfigureerd met de juiste juridische tags, eigenaren en kijkers-ACL's, referentiegegevens, enzovoort.
Werkstroomvolgorde
In de volgende afbeelding ziet u de werkstroom voor bestandsopname op basis van manifest: 
Een gebruiker verzendt een manifest naar het Workflow Service manifest met behulp van de naam van de werkstroom voor manifestopname ('Osdu_ingest'). Als de aanvraag juist is en de gebruiker gemachtigd is om de werkstroom uit te voeren, wordt het manifest geladen en wordt de werkstroom voor de manifestopname gestart.
De werkstroomservice voert een reeks manifesten syntax validation uit, zoals manifeststructuur en kenmerkvalidatie volgens het gedefinieerde schema en controleer op verplichte schemakenmerken. Het systeem voert vervolgens uit referential integrity validation tussen werkproductonderdelen en gegevenssets. Bijvoorbeeld of de bovenliggende gegevens waarnaar wordt verwezen, bestaan.
Zodra de validaties zijn geslaagd, verwerkt het systeem de inhoud in de opslag door elke geldige entiteit naar het gegevensplatform te schrijven met behulp van de Storage Service-API.
OSDU® is een handelsmerk van The Open Group.