Comment inscrire une source de données externe (EDS) auprès d’Azure Data Manager for Energy ?

  • Article

Cet article explique comment inscrire une source de données externe (EDS, External Data Source) auprès d’Azure Data Manager for Energy. EDS vous permet de récupérer (fetch) et d’ingérer des données (métadonnées) à partir de sources de données externes. Vous pouvez également récupérer des données en bloc à la demande.

Prérequis

  • Téléchargez et importez les fichiers d’API collection et environment dans un client de test d’API (comme Postman). Apportez les modifications appropriées dans le fichier environment en fonction de votre source de données.
  • Reportez-vous à la Section 2.2 dans osdu-eds-data-supplier-enablement-guide pour obtenir des détails sur l’inscription de la source de données.
  • Passez en revue les sections Connected Source Registry Entry (CSRE) et Connection Source Data Job (CSDJ) dans EDS_Documentation-1.0.docx pour comprendre les différents paramètres utilisés dans l’inscription de la source de données.
  • Pour exécuter EDS, l’utilisateur doit être membre du groupe de droits service.eds.user. De plus, pour accéder au service Secret, l’utilisateur doit être membre des droits suivants : service.secret.viewer, service.secret.editor et service.secret.admin.

Workflow de récupération et d’ingestion EDS

Exécutez les API dans les collections suivantes pour inscrire votre source de données externe qui exécute le workflow de récupération et d’ingestion EDS selon une planification :

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

Une fois les données inscrites, elles sont régulièrement récupérées à partir de sources externes et ajoutées à votre instance d’Azure Data Manager for Energy.

Vous pouvez utiliser le service Search pour rechercher vos données ingérées.

Dépannage

Vous pouvez exécuter les requêtes Kusto ci-dessous dans votre espace de travail Log Analytics pour identifier les problèmes liés à l’inscription d’une source de données.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

Récupérer des données en bloc à la demande

Utilisez l’API getRetrievalInstructions dans 005: Dataset Service collection pour récupérer à la demande des données en bloc à partir de sources de données externes.

Références