Så här registrerar du externa datakällor (EDS) med Azure Data Manager for Energy?

  • Artikel

Den här artikeln beskriver hur du registrerar externa datakällor (EDS) med Azure Data Manager för energi. Med EDS kan du hämta och mata in data (metadata) från externa datakällor. Du kan också hämta massdata på begäran.

Förutsättningar

  • Ladda ned och importera API-samlings- och miljöfiler till API-testklienten (till exempel Postman). Gör lämpliga ändringar i miljön baserat på din datakälla.
  • Mer information om registrering av datakällor finns i avsnitt 2.2 i osdu-eds-data-supplier-enablement-guide .
  • Granska avsnitten Anslut ed Source Registry Entry (CSRE) och Anslut ion Source Data Job (CSDJ) i EDS_Documentation-1.0.docx för att förstå de olika parametrar som används i datakällans registrering.
  • Om du vill köra EDS måste användaren vara medlem i service.eds.user rättighetsgruppen. För att få åtkomst till Secret Service bör användaren dessutom vara medlem i följande rättigheter: service.secret.viewer, service.secret.editor, service.secret.admin.

Arbetsflöde för EDS-hämtning och inmatning

Kör API:erna i följande samlingar för att registrera din externa datakälla som kör arbetsflödet EDS Fetch and Ingest enligt ett schema:

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

Efter lyckad dataregistrering hämtas data regelbundet från externa källor och läggs till i Azure Data Manager for Energy.

Du kan använda tjänsten Search för att söka efter dina inmatade data.

Felsökning

Du kan köra Kusto-frågorna nedan på Log Analytics-arbetsytan för att identifiera eventuella problem med registrering av datakälla.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

Hämta massdata på begäran

Använd getRetrievalInstructions API i 005: Dataset Service collection för att hämta massdata från externa datakällor på begäran.

Referenser