Azure Data Manager para flujos de trabajo de indexación y búsqueda de energía
Todos los datos y los metadatos asociados ingeridos en la plataforma se indexan para habilitar la búsqueda. Los metadatos son accesibles para garantizar el reconocimiento incluso cuando los datos no están disponibles.
Servicio indexador
Indexer Service proporciona un mecanismo para indexar documentos que contienen datos estructurados y no estructurados.
Nota:
Este servicio no es un servicio público y solo está pensado para ser llamado internamente por otros servicios principales de la plataforma.
Flujo de trabajo de indexación
En el diagrama siguiente se muestra el flujo de trabajo de indexación:
Cuando un cliente carga datos en la plataforma, los metadatos asociados se ingieren mediante Storage service. Storage service proporciona un conjunto de API para administrar todo el ciclo de vida de los metadatos, como la ingesta (persistencia), la modificación, la eliminación, el control de versiones, la recuperación y la administración de esquemas de datos. Cada registro de metadatos de almacenamiento creado por Storage service contiene un parámetro kind que hace referencia a un esquema subyacente. Este esquema determina los atributos que indexará Indexer service.
Cuando Storage service crea un registro de metadatos, genera un evento recordChangedMessages que se recopila en Azure Service Bus (cola de mensajes). El servicio Indexer queue extrae el mensaje de Azure Service Bus, realiza la validación básica y lo envía a Indexer service. Si hay errores al enviar los mensajes a Indexer service, el servicio Indexer queue vuelve a intentar enviar el mensaje hasta un número máximo de reintentos configurable permitido. Si se produce un error en los reintentos, se envía una confirmación negativa a Azure Service Bus, que archiva el mensaje.
Cuando Indexer Service recibe el evento recordChangedMessages, captura los esquemas necesarios de la memoria caché de esquemas o mediante las API Schema service. A continuación, Indexer Service crea un nuevo índice en Elasticsearch (si aún no está presente) y, después, envía una consulta masiva para crear o actualizar los registros según sea necesario. Si la respuesta de Elasticsearch es una respuesta de error del tipo servicio no disponible o se ha agotado el tiempo de espera para la solicitud, Indexer Service crea recordChangedMessages para estos identificadores de registro con errores y coloca el mensaje en Azure Service Bus. El servicio Indexer Queue volverá a extraer estos mensajes y seguirá el mismo flujo que antes.
Para más información, vea Servicio de indexador en la documentación de OSDU® proporciona información sobre el servicio indexador.
Flujo de trabajo de búsqueda
Search service proporciona un mecanismo para detectar documentos de metadatos indexados. La API de búsqueda admite la búsqueda de texto completo en campos de cadena, consultas de intervalo en el campo de fecha, numérico o cadena, etc. junto con búsquedas geoespaciales.
Cuando los registros de metadatos se cargan en la Plataforma utilizando Storage service, podemos configurar los permisos para los espectadores y los propietarios de los registros de metadatos en el campo lista de control de acceso. Los espectadores y propietarios se asignan mediante grupos definidos en el Entitlement service. Al realizar una búsqueda como usuario, los registros de metadatos coincidentes solo aparecerán para los usuarios asignados al Grupo.
Para obtener un tutorial detallado sobre Search service, consulte documentación de OSDU® del servicio Search
Flujo de trabajo de reindexación
La API de reindexación permite a los usuarios volver a indexar un tipo sin volver a generar los registros mediante la API de almacenamiento. Para obtener información detallada, consulte documentación de OSDU® de Reindex
OSDU® es una marca comercial de The Open Group.