Training
Module
Deploy ESG Data Estate and Ingest Data - Training
Learn how to deploy ESG data estate and ingest data.
Deze browser wordt niet meer ondersteund.
Upgrade naar Microsoft Edge om te profiteren van de nieuwste functies, beveiligingsupdates en technische ondersteuning.
Op manifest gebaseerde bestandsopname biedt eindgebruikers en systemen een robuust mechanisme voor het laden van metagegevens over gegevenssets in Azure Data Manager for Energy instance. Deze metagegevens worden geïndexeerd door het systeem en stelt de eindgebruiker in staat om de gegevenssets te doorzoeken.
Op manifest gebaseerde bestandsopname is een ondoorzichtige opname die de bestandsinhoud niet parseert of begrijpt. Er wordt een metagegevensrecord gemaakt op basis van het manifest en de record kan worden doorzocht.
Een manifest is een JSON-document met een vooraf gedefinieerde structuur voor het vastleggen van entiteiten die zijn gedefinieerd als 'soort', dat wil zeggen, geregistreerd als schema's met de Schema-service - Bekende SCHEMA-definities (WKS).
Hier vindt u een voorbeeld van een manifest-json-document.
Het manifestschema bevat containers voor de volgende typen OSDU-groepen:®
De manifestgegevens worden in een bepaalde volgorde geladen:
Alle matrices worden geordend. als er afhankelijkheden zijn, moeten de afhankelijke items achter hun relatiedoelen worden geplaatst, bijvoorbeeld dat een bronrecord voor mastergegevens moet worden geplaatst in de matrix 'MasterData' vóór de Bronbores.
Azure Data Manager for Energy Instance biedt out-of-the-box-ondersteuning voor de werkstroom voor bestandsopname op basis van manifesten. Osdu_ingest
Airflow DAG is vooraf geconfigureerd in uw exemplaar.
De werkstroom voor bestandsopname op basis van manifest bestaat uit de volgende onderdelen:
Voordat de werkstroom voor bestandsopname op basis van manifest wordt uitgevoerd, moeten klanten ervoor zorgen dat de gebruikersaccounts waarop de werkstroom wordt uitgevoerd toegang hebben tot de kernservices (Zoeken, Opslag, Schema, Rechten en Juridisch) en Werkstroomservice (zie Rechtenrollen voor meer informatie). Als onderdeel van azure Data Manager for Energy Instance provisioning worden de OSDU-standaardschema's® en bijbehorende referentiegegevens vooraf geladen. Klanten moeten ervoor zorgen dat het gebruikersaccount dat wordt gebruikt voor het opnemen van de manifesten, is opgenomen in de juiste eigenaars- en kijkers-ACL's. Klanten moeten ervoor zorgen dat manifesten zijn geconfigureerd met de juiste juridische tags, eigenaren en kijkers-ACL's, referentiegegevens, enzovoort.
In de volgende afbeelding ziet u de werkstroom voor bestandsopname op basis van manifest:
Een gebruiker verzendt een manifest naar het Workflow Service
manifest met behulp van de naam van de werkstroom voor manifestopname ('Osdu_ingest'). Als de aanvraag juist is en de gebruiker gemachtigd is om de werkstroom uit te voeren, wordt het manifest geladen en wordt de werkstroom voor de manifestopname gestart.
De werkstroomservice voert een reeks manifesten syntax validation
uit, zoals manifeststructuur en kenmerkvalidatie volgens het gedefinieerde schema en controleer op verplichte schemakenmerken. Het systeem voert vervolgens uit referential integrity validation
tussen werkproductonderdelen en gegevenssets. Bijvoorbeeld of de bovenliggende gegevens waarnaar wordt verwezen, bestaan.
Zodra de validaties zijn geslaagd, verwerkt het systeem de inhoud in de opslag door elke geldige entiteit naar het gegevensplatform te schrijven met behulp van de Storage Service-API.
OSDU® is een handelsmerk van The Open Group.
Training
Module
Deploy ESG Data Estate and Ingest Data - Training
Learn how to deploy ESG data estate and ingest data.
Documentatie
Verwijzing naar gegevenswaardesynchronisatie in Microsoft Azure Data Manager for Energy
In dit artikel worden referentiewaarden beschreven en wordt het synchroniseren van referentiewaarden met Azure Data Manager for Energy-gegevenspartities beschreven.
Microsoft Azure Data Manager for Energy - concepten voor index- en zoekwerkstromen
Meer informatie over het gebruik van indexerings- en zoekwerkstromen
Microsoft Azure Data Manager for Energy CSV parser-opnamewerkstroomconcept
Meer informatie over het gebruik van CSV-parseropname.