Pojęcia dotyczące pozyskiwania analizatora CSV

Plik CSV (wartości rozdzielone przecinkami) to plik tekstowy rozdzielany przecinkami, który służy do zapisywania danych w formacie ustrukturyzowanym tabeli.

Analizator CSV DAG umożliwia klientowi ładowanie danych do wystąpienia usługi Microsoft Azure Data Manager for Energy na podstawie niestandardowego schematu, który jest schematem, który nie jest zgodny z dobrze znanym schematem OSDU® (WKS). Klienci muszą utworzyć i zarejestrować schemat niestandardowy przy użyciu usługi Schemat przed załadowaniem danych.

Parser CSV DAG implementuje podejście ELT (Extract Load and Transform) do ładowania danych, czyli dane są najpierw wyodrębniane z systemu źródłowego w formacie CSV i ładowane do wystąpienia usługi Azure Data Manager for Energy. Następnie można go przekształcić w dobrze znany schemat OSDU® przy użyciu usługi mapowania.

Co robi pozyskiwanie plików CSV?

Analizator CSV DAG umożliwia klientom ładowanie danych CSV do wystąpienia usługi Microsoft Azure Data Manager for Energy. Analizuje każdy wiersz pliku CSV i tworzy rekord metadanych magazynu. schema validation Sprawdza się, czy dane CSV są zgodne z zarejestrowanym schematem niestandardowym. Automatycznie wykonuje on na kolumnach type coercion na podstawie definicji typu danych schematu. unique id Generuje on dla każdego wiersza rekordu CSV, łącząc źródło, typ jednostki i ciąg zakodowany w formacie Base64 utworzony przez łączenie kluczy naturalnych w danych. unit conversion Wykonuje on przez przekonwertowanie zadeklarowanej ramki informacji referencyjnych na odpowiednie trwałe odwołanie przy użyciu usługi Unit. Wykonuje ona operacje CRS conversion dla kolumn obsługujących przestrzennie na podstawie informacji o ramce odwołania (FoR) znajdujących się w schemacie. relationships Tworzy metadane zadeklarowane w schemacie źródłowym. persists Na koniec rekord metadanych przy użyciu usługi Storage.

Składniki pozyskiwania analizatora CSV

Przepływ pracy analizatora PLIKÓW CSV języka DAG składa się z następujących usług:

• Usługa plików ułatwia zarządzanie plikami w wystąpieniu usługi Azure Data Manager for Energy. Umożliwia on użytkownikowi bezpieczne przekazywanie, odnajdywanie i pobieranie plików z platformy danych.
• Usługa schematu ułatwia zarządzanie schematami w wystąpieniu usługi Azure Data Manager for Energy. Umożliwia on użytkownikowi tworzenie, pobieranie i wyszukiwanie schematów na platformie danych.
• Usługa Storage ułatwia przechowywanie informacji o metadanych dla jednostek domeny pozyskanych do platformy danych. Zgłasza również zdarzenia zmiany rekordu magazynu, które umożliwiają usługom podrzędnym wykonywanie operacji na pozyskanych rekordach metadanych.
• Usługa jednostkowa ułatwia zarządzanie jednostkami i ich konwersję
• Usługa przepływu pracy ułatwia zarządzanie przepływami pracy w wystąpieniu usługi Azure Data Manager for Energy. Jest to usługa otoki na szczycie silnika orkiestracji Airflow.

Diagram składników pozyskiwania woluminów CSV

Przepływ pracy pozyskiwania analizatora CSV

Aby wykonać przepływ pracy analizatora PLIKÓW CSV DAG, użytkownik musi mieć prawidłowy token autoryzacji i odpowiedni dostęp do następujących usług: Wyszukiwanie, Magazyn, Schemat, Usługa plików, Upoważnienie, Legal i Workflow.

Poniższy diagram przepływu pracy ilustruje przepływ pracy analizatora CSV DAG:

Aby wykonać przepływ pracy analizatora CSV DAG, użytkownik musi najpierw utworzyć i zarejestrować schemat przy użyciu usługi przepływu pracy. Po utworzeniu schematu użytkownik używa usługi Plików do przekazania pliku CSV do wystąpienia usługi Microsoft Azure Data Manager for Energy, a także tworzy rekord magazynu typu ogólnego. Następnie usługa plików udostępnia użytkownikowi identyfikator pliku, który jest używany podczas wyzwalania przepływu pracy analizatora CSV przy użyciu usługi Przepływ pracy. Usługa Przepływ pracy udostępnia identyfikator przebiegu, którego użytkownik może użyć do śledzenia stanu przebiegu przepływu pracy analizatora CSV.

OSDU® jest znakiem towarowym grupy Open.

Następne kroki

Przejdź do samouczka analizatora CSV i dowiedz się, jak wykonać pozyskiwanie analizatora CSV

Samouczek: przykładowe kroki umożliwiające wykonanie pozyskiwania analizatora CSV