Workflows d’indexation et de recherche Azure Data Manager for Energy
Toutes les données et les métadonnées associées ingérées dans la plateforme sont indexées pour activer la recherche. Les métadonnées sont accessibles pour garantir la sensibilisation même lorsque les données ne sont pas disponibles.
Service d’indexeur
Indexer Service fournit un mécanisme permettant d’indexer des documents qui contiennent des données structurées et non structurées.
Remarque
Ce service n’est pas un service public et ne vise qu’à être appelé en interne par d’autres services de plateforme principaux.
Workflow d’indexation
Le diagramme ci-dessous illustre le flux de travail d’indexation :
Lorsqu’un client charge des données dans la plateforme, les métadonnées associées sont ingérées à l’aide du Storage service. Storage service fournit un ensemble d’API pour gérer l’ensemble du cycle de vie des métadonnées, comme l’ingestion (persistance), la modification, la suppression, la gestion des versions, la récupération et la gestion des schémas de données. Chaque enregistrement de métadonnées de stockage créé par Storage service contient un paramètre kind qui fait référence à un schéma sous-jacent. Ce schéma détermine les attributs qui seront indexés par le Indexer service.
Lorsque Storage service crée un enregistrement de métadonnées, il déclenche un événement recordChangedMessages collecté dans la Azure Service Bus (file d’attente de messages). Le service Indexer queue extrait le message de Azure Service Bus, effectue une validation de base et l’envoie au Indexer service. S’il existe des échecs lors de l’envoi des messages au Indexer service, le service Indexer queue réessaye d’envoyer le message jusqu’à un nombre maximal de nouvelles tentatives configurable autorisé. Si les tentatives de nouvelle tentative échouent, un accusé de réception négatif est envoyé au Azure Service Bus, qui archive ensuite le message.
Lorsque l’événement recordChangedMessages est reçu par le Indexer Service, il extrait les schémas requis du cache de schéma ou via les API Schema service. Ensuite, Indexer Service crée un index dans Elasticsearch (s’il n’est pas déjà présent), puis envoie une requête en bloc pour créer ou mettre à jour les enregistrements selon les besoins. Si la réponse de Elasticsearch est une réponse d’échec du service de type indisponible ou demande expirée, Indexer Service crée recordChangedMessages pour ces ID d’enregistrement ayant échoué et place le message dans le Azure Service Bus. Ces messages seront à nouveau extraits par le service Indexer Queue et suivront le même flux que précédemment.
Pour découvrir plus d’informations, consultez la Documentation OSDU® du service indexeur qui fournit des détails sur le service indexeur
Workflow de recherche
Search service fournit un mécanisme permettant de découvrir des documents de métadonnées indexés. L’API Search prend en charge la recherche en texte intégral sur les champs de chaîne, les requêtes de plage sur la date, le numérique ou le champ de chaîne, etc. ainsi que les recherches géo-spatiales.
Lorsque des enregistrements de métadonnées sont chargés sur la plateforme à l’aide de Storage service, nous pouvons configurer des autorisations pour les viewers et les propriétaires des enregistrements de métadonnées sous le champ acl. Les viewers et les propriétaires sont affectés via des groupes tels que définis dans Entitlement service. Lorsque vous effectuez une recherche en tant qu’utilisateur, les enregistrements de métadonnées correspondants s’affichent uniquement pour les utilisateurs affectés au groupe.
Pour obtenir un tutoriel détaillé sur Search service, voir la Documentation du service Search OSDU®
Workflow de réindexation
L’API Reindex permet aux utilisateurs de réindexer un type sans réinscrire les enregistrements via l’API de stockage. Pour découvrir plus d’informations, reportez-vous à la Documentation de Reindex OSDU®
OSDU® est une marque déposée de The Open Group.