Поделиться через

Как зарегистрировать внешние источники данных (EDS) в Azure Data Manager для энергетики?

  • Статья

В этой статье объясняется, как зарегистрировать внешние источники данных (EDS) в Azure Data Manager для энергетики. EDS позволяет получить и принять данные (метаданные) из внешних источников данных. Кроме того, он позволяет получать массовые данные по запросу.

Необходимые компоненты

  • Скачайте и импортируйте файлы коллекции API и среды в тестовый клиент API (например, Postman). Внесите соответствующие изменения в среду на основе источника данных.
  • Дополнительные сведения о регистрации источника данных см . в разделе 2.2 в osdu-eds-data-enablement-guide .
  • Просмотрите разделы реестра подключенных источников (CSRE) и задания источника данных подключения (CSDJ) в EDS_Documentation-1.0.docx, чтобы понять различные параметры, используемые в регистрации источника данных.
  • Для запуска EDS пользователь должен быть членом service.eds.user группы прав. Кроме того, чтобы получить доступ к секретной службе, пользователь должен быть членом следующих прав: service.secret.viewer, service.secret.editor, service.secret.admin.

Получение и прием данных EDS

Выполните API-интерфейсы в следующих коллекциях, чтобы зарегистрировать внешний источник данных, на котором выполняется рабочий процесс получения EDS и приема по расписанию:

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

После успешной регистрации данных данные регулярно извлекается из внешних источников и добавляются в Azure Data Manager для энергетики.

Вы можете использовать служба для поиска ваших приемных данных.

Устранение неполадок

Вы можете выполнить приведенные ниже запросы Kusto в рабочей области Log Analytics, чтобы определить все проблемы с регистрацией источника данных.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

Получение массовых данных по запросу

Используйте API getRetrievalInstructions для 005: Dataset Service collection получения массовых данных из внешних источников данных по запросу.

Ссылки