¿Cómo registrar un origen de datos externo (EDS) con Azure Data Manager for Energy?
En este artículo se explica cómo registrar un origen de datos externo (EDS, por sus siglas en inglés) con Azure Data Manager for Energy. Una funcionalidad EDS permite capturar e ingerir datos (metadatos) de orígenes de datos externos. También permite recuperar datos masivos a petición.
- Descargue e importe archivos de colección y entorno de API en el cliente de prueba de API (como Postman). Realice las modificaciones adecuadas en el entorno en función del origen de datos.
- Consulte la sección 2.2 en osdu-eds-data-supplier-enablement-guide para obtener más información sobre el registro de orígenes de datos.
- Revise las secciones Entradas del registro de origen conectado (CSRE) y Trabajos de datos de origen de conexión (CSDJ) en EDS_Documentation-1.0.docx para comprender los distintos parámetros usados en el registro de orígenes de datos.
- Para ejecutar la funcionalidad EDS, el usuario debe ser miembro de un grupo de derechos
service.eds.user
. Además, para acceder al servicio Secret, el usuario debe ser miembro de los siguientes derechos:service.secret.viewer
,service.secret.editor
yservice.secret.admin
.
Ejecute las API de las siguientes colecciones para registrar el origen de datos externo que ejecuta el flujo de trabajo de captura e ingesta de EDS según una programación:
001: Pre-req: Validate Schema Registration
002: Pre-req: Validate Reference Data
003: Secret Service
004: Pre-req: Add Source Registry
Después de un registro de datos correcto, los datos se capturan periódicamente de orígenes externos y se agregan a Azure Data Manager for Energy.
Puede usar el servicio Search para buscar los datos ingeridos.
Puede ejecutar las siguientes consultas de Kusto en el área de trabajo de Log Analytics para identificar cualquier problema con el registro de orígenes de datos.
OEPAirFlowTask
| where DagName == "eds_ingest"
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING
OEPAirFlowTask
| where DagName == "eds_scheduler"
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING
Use la API getRetrievalInstructions en 005: Dataset Service collection
para recuperar datos masivos de orígenes de datos externos a petición.