Tutorial: Executar a ingestão de arquivos com base em manifesto

  • Artigo

A ingestão de manifestos fornece a capacidade de ingerir manifestos em uma instância do Azure Data Manager for Energy.

Neste tutorial, irá aprender a:

  • O exemplo de ingestão se manifesta em uma instância do Azure Data Manager for Energy usando o Postman.
  • Pesquise registros de metadados de armazenamento criados durante a ingestão de manifesto usando o Postman.

Pré-requisitos

Antes de iniciar este tutorial, preencha os seguintes pré-requisitos.

Obter detalhes para a instância do Azure Data Manager for Energy

  • Você precisa de uma instância do Azure Data Manager for Energy. Se você ainda não tiver um, crie um seguindo as etapas em Guia de início rápido: criar uma instância do Azure Data Manager for Energy.

  • Para este tutorial, você precisa dos seguintes parâmetros:

    Parâmetro Valor a utilizar Exemplo Onde encontrar este valor
    CLIENT_ID ID da aplicação (cliente) 3dbbbcc2-f28f-44b6-a5ab-xxxxxxxxxxxx Você usa este aplicativo ou ID de cliente ao registrar o aplicativo com a plataforma de identidade da Microsoft. Consulte Registar uma candidatura.
    CLIENT_SECRET Segredos de cliente _fl****************** Às vezes chamado de senha de aplicativo, um segredo do cliente é um valor de cadeia de caracteres que seu aplicativo pode usar no lugar de um certificado para se identificar. Veja Adicionar um segredo do cliente.
    TENANT_ID ID do Diretório (inquilino) 72f988bf-86f1-41af-91ab-xxxxxxxxxxxx Passe o cursor sobre o nome da sua conta no portal do Azure para obter o diretório ou a ID do locatário. Como alternativa, procure e selecione ID do Locatário de Propriedades>do Microsoft Entra ID>no portal do Azure.
    SCOPE ID da aplicação (cliente) 3dbbbcc2-f28f-44b6-a5ab-xxxxxxxxxxxx Esse valor é o mesmo que o ID do aplicativo ou do cliente mencionado anteriormente.
    refresh_token Atualizar valor de token 0.ATcA01-XWHdJ0ES-qDevC6r........... Siga Como gerar um token de autenticação para criar um token de atualização e salvá-lo. Você precisará desse token de atualização posteriormente para gerar um token de usuário.
    DNS URI <instance>.energy.Azure.com Encontre esse valor na página de visão geral da instância do Azure Data Manager for Energy.
    data-partition-id Partições de dados <instance>-<data-partition-name> Encontre esse valor na página de visão geral da instância do Azure Data Manager for Energy.

Siga o guia Gerenciar usuários para adicionar direitos apropriados para o usuário que está executando este tutorial.

Configurar o Postman e executar pedidos

  1. Transfira e instale a aplicação de ambiente de trabalho Postman .

  2. Importe os seguintes arquivos para o Postman:

    Para importar a coleção do Postman e as variáveis de ambiente, siga as etapas em Importando dados para o Postman.

  3. Atualize VALOR ATUAL para o ambiente Postman com as informações obtidas nos detalhes da instância do Azure Data Manager for Energy.

  4. A coleção Postman para ingestão de manifesto contém várias solicitações que você deve executar sequencialmente.

    Certifique-se de escolher Ingestion Workflow Environment antes de acionar a coleção Postman.

    Screenshot of the Postman environment.

  5. Acione cada solicitação selecionando o botão Enviar .

    Em cada solicitação, o Postman valida o código de resposta da API real em relação ao código de resposta esperado. Se houver alguma incompatibilidade, a seção de teste indica falhas.

Aqui está um exemplo de uma solicitação bem-sucedida do carteiro:

Screenshot of a successful Postman call.

Aqui está um exemplo de uma solicitação de carteiro com falha:

Screenshot of a failed Postman call.

Ingerir manifestos de amostra usando Postman

Para ingerir manifestos de exemplo na instância do Azure Data Manager for Energy usando a coleção Postman, conclua as seguintes etapas:

  1. Obter um token de acesso de usuário: gere o token de usuário, que será usado para autenticar outras chamadas de API.

  2. Criar uma marca legal: crie uma marca legal que será adicionada aos dados do manifesto para fins de conformidade de dados.

  3. Obter um URL assinado para carregar um arquivo: obtenha o caminho de URL assinado para o qual o arquivo de manifesto será carregado.

  4. Carregue um ficheiro: Transfira a amostra Wellbore.csv para a sua máquina local. Pode ser qualquer tipo de arquivo, incluindo CSV, LAS ou JSON. Selecione este arquivo no Postman clicando no botão Selecionar arquivo .

    Screenshot of uploading a manifest file.

  5. Carregar metadados do arquivo: carregue as informações de metadados do arquivo, como o local do arquivo e outros campos relevantes.

  6. Obter os metadados do arquivo: chamada para validar se os metadados foram criados com êxito.

  7. Ingerir dados do componente mestre, de referência e do componente de produto de trabalho (WPC): ingira os metadados de manifesto do componente mestre, de referência e do componente de produto de trabalho (WPC).

  8. Obter status do fluxo de trabalho de ingestão de manifesto : o fluxo de trabalho é iniciado e está no estado de execução . Continue consultando até que o estado mude para concluído (normalmente 20 a 30 segundos).

Pesquisar dados ingeridos usando o Postman

Para pesquisar registros de metadados de armazenamento criados durante a ingestão do manifesto usando a coleção Postman, conclua as seguintes etapas:

  1. Pesquisar Produtos de Trabalho: Ligue para o serviço de pesquisa para recuperar os registros de metadados do produto de trabalho.
  2. Componentes do produto de trabalho de pesquisa: chame o serviço de pesquisa para recuperar os registros de metadados do WPC.
  3. Pesquisar conjunto de dados: chame o serviço de pesquisa para recuperar os registros de metadados do conjunto de dados.
  4. Pesquisar dados mestres: chame o serviço de pesquisa para recuperar os registros de metadados mestres.
  5. Pesquisar dados de referência: chame o serviço de pesquisa para recuperar os registros de metadados de referência.

Próximo passo

Avance para o tutorial seguinte:

Tutorial: Usar sdutil para carregar dados no Repositório Sísmico

Para obter mais informações sobre a ingestão de manifesto, consulte o Guia de início rápido de carregamento de dados do operador OSDU.