Tutoriel : Effectuer l’ingestion de fichier basé sur un manifeste

  • Article

L’ingestion de manifeste offre la possibilité d’ingérer des manifestes dans une instance Azure Data Manager for Energy.

Dans ce tutoriel, vous allez apprendre à :

  • Ingérez des exemples de manifeste dans l’instance Azure Data Manager for Energy en utilisant Postman.
  • Recherchez des enregistrements de métadonnées de stockage créés pendant l’ingestion de manifeste avec Postman.

Prérequis

Avant de commencer ce tutoriel, vous devez avoir les prérequis suivants.

Obtenir les détails de l’instance Azure Data Manager for Energy

  • Vous avez besoin d’une instance Azure Data Manager for Energy. Si vous n’en avez pas encore, créez-en une en suivant les étapes décrites dans Démarrage rapide : Créer une instance Azure Data Manager for Energy.

  • Pour ce tutoriel, vous avez besoin des paramètres suivants :

    Paramètre Valeur à utiliser Exemple Où trouver cette valeur
    CLIENT_ID ID d’application (client) 3dbbbcc2-f28f-44b6-a5ab-xxxxxxxxxxxx Vous utilisez cet ID d’application ou client pendant l’inscription de l’application à la plateforme d’identité Microsoft. Consultez Inscrire une application.
    CLIENT_SECRET Clés secrètes client _fl****************** Parfois appelé mot de passe d’application, le secret client est une valeur de chaîne que votre application peut utiliser à la place d’un certificat pour s’identifier elle-même. Consultez Ajouter un secret client.
    TENANT_ID ID de l’annuaire (locataire) 72f988bf-86f1-41af-91ab-xxxxxxxxxxxx Survoler le nom de votre compte avec la souris dans le portail Azure pour obtenir l’ID de répertoire ou de locataire. Vous pouvez également rechercher et sélectionner Microsoft Entra ID>Propriétés>ID de locataire dans le portail Azure.
    SCOPE ID d’application (client) 3dbbbcc2-f28f-44b6-a5ab-xxxxxxxxxxxx Cette valeur est la même que l’ID d’application ou client mentionné plus haut.
    refresh_token Valeur du jeton d’actualisation 0.ATcA01-XWHdJ0ES-qDevC6r........... Suivez Comment générer un jeton d’authentification pour créer un jeton d’actualisation et l’enregistrer. Vous avez besoin de ce jeton d’actualisation par la suite pour générer un jeton utilisateur.
    DNS URI <instance>.energy.Azure.com Cette valeur se trouve dans la page de présentation de l’instance Azure Data Manager for Energy.
    data-partition-id Partitions de données <instance>-<data-partition-name> Cette valeur se trouve dans la page de présentation de l’instance Azure Data Manager for Energy.

Suivez le guide Gérer les utilisateurs pour attribuer les droits appropriés à l’utilisateur qui exécute ce tutoriel.

Configurer Postman et exécuter des requêtes

  1. Téléchargez et installez l’application bureau Postman.

  2. Importez les fichiers suivants dans Postman :

    Pour importer la collection Postman et les variables d’environnement, suivez les étapes décrites dans Importation de données dans Postman.

  3. Mettez à jour CURRENT VALUE pour l’environnement Postman avec les informations que vous avez obtenues dans les détails de l’instance Azure Data Manager for Energy.

  4. La collection Postman pour l’ingestion de manifeste contient plusieurs demandes que vous devez exécuter séquentiellement.

    Veillez à choisir Environnement de workflow d’ingestion avant de déclencher la collection Postman.

    Screenshot of the Postman environment.

  5. Déclenchez chaque demande en sélectionnant le bouton Envoyer.

    À chaque demande, Postman vérifie le code de réponse réel de l’API par rapport au code de réponse attendu. En cas d’incompatibilité, la section de test indique les échecs.

Voici un exemple de demande Postman réussie :

Screenshot of a successful Postman call.

Voici un exemple de demande Postman ayant échoué :

Screenshot of a failed Postman call.

Ingérer des exemples de manifeste en utilisant Postman

Pour ingérer des exemples de manifeste dans l’instance Azure Data Manager for Energy en utilisant la collection Postman, effectuez les étapes suivantes :

  1. Obtenir un jeton d’accès utilisateur : générez le jeton utilisateur, qui sert à authentifier les autres appels d’API.

  2. Créer une étiquette juridique : créez une étiquette juridique à ajouter aux données du manifeste pour montrer la conformité des données.

  3. Obtenir une URL signée pour le chargement d’un fichier : obtenez le chemin de l’URL signée où charger le fichier manifeste.

  4. Charger un fichier: téléchargez l’exemple Wellbore.csv sur votre machine locale. Il peut s’agir de n’importe quel type de fichier, y compris CSV, LAS ou JSON. Sélectionnez ce fichier dans Postman en cliquant sur le bouton Sélectionner un fichier.

    Screenshot of uploading a manifest file.

  5. Charger les métadonnées de fichier : chargez les informations des métadonnées du fichier, comme l’emplacement du fichier et d’autres champs pertinents.

  6. Obtenir les métadonnées du fichier : appelez pour vérifier si les métadonnées ont été créées.

  7. Ingérer des données principales, de référence et de composant de produit de travail (WPC) : ingérez les métadonnées de manifeste principales, de référence et de composant de produit de travail (WPC).

  8. Obtenir l’état du workflow d’ingestion de manifeste : le workflow démarre et se trouve dans l’état en cours d’exécution. Continuez l’interrogation jusqu’à ce que l’état soit fini (généralement de 20 à 30 secondes).

Recherchez les données ingérées avec Postman

Pour rechercher les enregistrements de métadonnées de stockage créés pendant l’ingestion de manifeste en utilisant la collection Postman, effectuez les étapes suivantes :

  1. Rechercher les produits de travail : appelez le service de recherche pour récupérer les enregistrements de métadonnées de produit de travail.
  2. Rechercher les composants de produit de travail : appelez le service de recherche pour récupérer les enregistrements de métadonnées WPC.
  3. Rechercher le jeu de données : appelez le service de recherche pour récupérer les enregistrements de métadonnées de jeu de données.
  4. Rechercher les données principales : appelez le service de recherche pour récupérer les enregistrements de métadonnées principales.
  5. Rechercher les données de référence : appelez le service de recherche pour récupérer les enregistrements de métadonnées de référence.

Étape suivante

Passez au tutoriel suivant :

Tutoriel : Utiliser sdutil pour charger des données dans le magasin Seismic

Pour plus d’informations sur l’ingestion de manifeste, consultez OSDU Operator Data Loading Quick Start Guide.