Como registrar uma Fonte de Dados Externa (EDS) com o Azure Data Manager for Energy?

  • Artigo

Este artigo explica como registrar uma EDS (Fontes de Dados Externas) com o Azure Data Manager para energia. O EDS permite que você busque e ingira dados (metadados) de fontes de dados externas. Ele também permite que você recupere dados em massa sob demanda.

Pré-requisitos

  • Baixe e importe arquivos de ambiente e coleção de API para o cliente de teste de API (como o Postman). Faça modificações apropriadas no ambiente com base em sua fonte de dados.
  • Consulte a Seção 2.2 em osdu-eds-data-supplier-enablement-guide para obter detalhes sobre o registro da fonte de dados.
  • Analise as seções CSRE (Connected Source Registry Entry) e CSDJ (Connection Source Data Job) no EDS_Documentation-1.0.docx para entender os vários parâmetros usados no registro da fonte de dados.
  • Para executar o EDS, o usuário deve ser membro do grupo de service.eds.user direitos. Além disso, para aceder ao serviço secreto, o utilizador deve ser membro dos seguintes direitos: service.secret.viewer, service.secret.editor, service.secret.admin.

Fluxo de trabalho EDS Fetch and Ingest

Execute as APIs nas seguintes coleções para registrar sua fonte de dados externa que executa o fluxo de trabalho EDS Fetch and Ingest em uma agenda:

  1. 001: Pre-req: Validate Schema Registration
  2. 002: Pre-req: Validate Reference Data
  3. 003: Secret Service
  4. 004: Pre-req: Add Source Registry

Após o registro de dados bem-sucedido, os dados são regularmente buscados de fontes externas e adicionados ao seu Azure Data Manager for Energy.

Pode utilizar o serviço de Pesquisa para procurar os seus dados ingeridos.

Resolução de Problemas

Você pode executar as consultas Kusto abaixo em seu espaço de trabalho de análise de log para identificar quaisquer problemas com o registro da fonte de dados.

OEPAirFlowTask 
| where DagName == "eds_ingest"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

OEPAirFlowTask 
| where DagName == "eds_scheduler"        
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING

Recupere dados em massa sob demanda

Use a API getRetrievalInstructions para 005: Dataset Service collection recuperar dados em massa de fontes de dados externas sob demanda.

Referências