CSV-parserinmatningsbegrepp
En CSV-fil (kommaavgränsade värden) är en kommaavgränsad textfil som används för att spara data i ett tabellstrukturerat format.
En CSV Parser DAG gör det möjligt för en kund att läsa in data till Microsoft Azure Data Manager for Energy-instansen baserat på ett anpassat schema, dvs. ett schema som inte matchar OSDU® :s välkända schema (WKS). Kunder måste skapa och registrera det anpassade schemat med hjälp av schematjänsten innan de läser in data.
En CSV-parser DAG implementerar en ELT-metod (Extrahera inläsning och transformering) för datainläsning, dvs. data extraheras först från källsystemet i ett CSV-format och läses in i Azure Data Manager for Energy-instansen. Det kan sedan omvandlas till OSDU® :s välkända schema med hjälp av en mappningstjänst.
Vad gör CSV-inmatning?
Med en CSV Parser DAG kan kunderna läsa in CSV-data till Microsoft Azure Data Manager för Energy-instansen. Den parsar varje rad i en CSV-fil och skapar en lagringsmetadatapost. Den utför schema validation för att säkerställa att CSV-data överensstämmer med det registrerade anpassade schemat. Den utför type coercion automatiskt på kolumnerna baserat på schemadatatypens definition. Den genererar unique id för varje rad i CSV-posten genom att kombinera källa, entitetstyp och en Base64-kodad sträng som bildas genom att sammanfoga naturliga nycklar i data. Den utför unit conversion genom att konvertera den deklarerade referensramen till lämplig beständiga referens med hjälp av enhetstjänsten. Den fungerar för rumsligt CRS conversion medvetna kolumner baserat på foR-information (Frame of Reference) som finns i schemat. Den skapar relationships metadata som deklarerats i källschemat. Slutligen är det persists metadataposten med hjälp av lagringstjänsten.
CSV-parser-inmatningskomponenter
CSV Parser DAG-arbetsflödet består av följande tjänster:
- Filtjänsten underlättar hanteringen av filer i Azure Data Manager for Energy-instansen. Det gör att användaren på ett säkert sätt kan ladda upp, identifiera och ladda ned filer från dataplattformen.
- Schematjänsten underlättar hanteringen av scheman i Azure Data Manager for Energy-instansen. Det gör att användaren kan skapa, hämta och söka efter scheman på dataplattformen.
- Lagringstjänsten underlättar lagring av metadatainformation för domänentiteter som matas in i dataplattformen. Det ger också upphov till ändringshändelser för lagringsposter som gör det möjligt för underordnade tjänster att utföra åtgärder på inmatade metadataposter.
- Enhetstjänsten underlättar hantering och konvertering av enheter
- Arbetsflödestjänsten underlättar hanteringen av arbetsflöden i Azure Data Manager for Energy-instansen. Det är en omslutningstjänst ovanpå Airflow-orkestreringsmotorn.
Diagram över CSV-inmatningskomponenter
CSV-parsningsarbetsflöde
Om du vill köra CSV Parser DAG-arbetsflödet måste användaren ha en giltig auktoriseringstoken och lämplig åtkomst till följande tjänster: Search, Storage, Schema, File Service, Entitlement, Legal och Workflow.
Arbetsflödesdiagrammet nedan illustrerar CSV Parser DAG-arbetsflödet: 
Om du vill köra CSV Parser DAG-arbetsflödet måste användaren först skapa och registrera schemat med hjälp av arbetsflödestjänsten. När schemat har skapats använder användaren sedan filtjänsten för att ladda upp CSV-filen till Microsoft Azure Data Manager för Energy-instanser och skapar även lagringsposten av allmän filtyp. Filtjänsten tillhandahåller sedan ett fil-ID till användaren, som används när CSV Parser-arbetsflödet utlöses med hjälp av arbetsflödestjänsten. Arbetsflödestjänsten tillhandahåller ett körnings-ID som användaren kan använda för att spåra statusen för CSV Parser-arbetsflödet.
OSDU® är ett varumärke som tillhör The Open Group.
Nästa steg
Gå vidare till CSV-parser-självstudien och lär dig hur du utför en CSV-parsningsinmatning