Wie registrieren Sie eine externe Datenquelle (EDS) bei Azure Data Manager for Energy?

  • Artikel

In diesem Artikel wird erläutert, wie Sie eine externe Datenquelle (EDS) bei Azure Data Manager for Energy registrieren. Mit EDS können Sie Daten (Metadaten) aus externen Datenquellen abrufen und erfassen. Außerdem können Sie Massendaten bei Bedarf abrufen.

Voraussetzungen

  • Herunterladen und Importieren von API-Sammlungs- und Umgebungs-Dateien in API-Testclient (z. B. Postman). Nehmen Sie geeignete Änderungen in der Umgebung basierend auf Ihrer Datenquelle vor.
  • Ausführliche Informationen zur Datenquellenregistrierung finden Sie in Abschnitt 2.2 in osdu-eds-data-supplier-enablement-guide .
  • Überprüfen Sie die Abschnitte Connected Source Registry Entry(CSRE) und Connection Source Data Job (CSDJ) in EDS_Documentation-1.0.docx, um die verschiedenen Parameter zu verstehen, die in der Datenquellenregistrierung verwendet werden.
  • Zum Ausführen von EDS muss der Benutzer Member der service.eds.user-Berechtigungsgruppe sein. Darüber hinaus sollte der Benutzer für den Zugriff auf den Geheimdienst Member der folgenden Berechtigungen sein: service.secret.viewer, service.secret.editor, service.secret.admin.

EDS-Abruf- und Erfassungsworkflow

Führen Sie die APIs in den folgenden Sammlungen aus, um Ihre externe Datenquelle zu registrieren, die den EDS Fetch- und Erfassungsworkflow nach einem Zeitplan ausführt:

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

Nach erfolgreicher Datenregistrierung werden Daten regelmäßig aus externen Quellen abgerufen und Ihrem Azure Data Manager for Energy hinzugefügt.

Sie können den Suchdienst verwenden, um nach Ihren aufgenommenen Daten zu suchen.

Problembehandlung

Sie können die folgenden Kusto-Abfragen in Ihrem Log Analytics-Arbeitsbereich ausführen, um Probleme mit der Datenquellenregistrierung zu identifizieren.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

Abrufen von Massendaten bei Bedarf

Verwenden Sie getRetrievalInstructions-API in 005: Dataset Service collection zum Abrufen von Massendaten aus externen Datenquellen bei Bedarf.

References