Рабочие процессы индексирования и поиска в Azure Data Manager для энергетики
Все данные и связанные метаданные, которые используются на платформе, индексируются для включения поиска. Метаданные доступны для предоставления сведений, даже когда данные недоступны.
Служба индексатора
Предоставляет Indexer Service механизм индексирования документов, содержащих структурированные и неструктурированные данные.
Примечание.
Эта служба не является общедоступной и предназначена только для внутреннего вызова другими основными службами платформы.
Рабочий процесс индексирования
На следующей схеме показан рабочий процесс индексирования:
Когда клиент загружает данные на платформу, связанные метаданные используются.Storage service Предоставляет Storage service набор API для управления всем жизненным циклом метаданных, таким как прием (сохраняемость), изменение, удаление, управление версиями, извлечение и управление схемами данных. Каждая запись метаданных хранилища, созданная с Storage service помощью свойства, содержит тип параметра, который ссылается на базовую схему. Эта схема определяет атрибуты, индексированные индексами Indexer service.
Storage service При создании записи метаданных вызывается событие recordChangedMessages, которое собирается в Служебная шина Azure (очередь сообщений). Служба Indexer queue извлекает сообщение из Служебная шина Azure, выполняет базовую проверку и отправляет его на негоIndexer service. Если при отправке сообщений в сообщение Indexer serviceвозникли сбои, Indexer queue служба повторяет отправку сообщения до максимального допустимого количества повторных попыток. Если попытка повторных попыток завершается ошибкой, отрицательный подтверждение отправляется в Служебная шина Azure, которая затем архивирует сообщение.
Когда событие recordChangedMessages получаетсяIndexer Service, он извлекает необходимые схемы из кэша схем или через Schema service API. Затем создается Indexer Service новый индекс в Elasticsearch (если он еще не присутствует), а затем отправляет массовый запрос для создания или обновления записей по мере необходимости. Если ответ от Elasticsearch является ответом на сбой службы типа, недоступным или истекло время ожидания запроса, Indexer Service создается записьChangedMessagesages для этих идентификаторов записей сбоем и помещает сообщение в Служебная шина Azure. Эти сообщения снова будут извлечены службой Indexer Queue и будут следовать тому же потоку, что и раньше.
Дополнительные сведения см . в документации по ОСDU® службы индексатора, которая содержит сведения о службе индексатора.
Рабочий процесс поиска
Search service предоставляет механизм обнаружения индексированных документов метаданных. API поиска поддерживает полнотекстовый поиск по строковым полям, запросам диапазона по дате, числовым или строковым полям и т. д., а также геопространственно-пространственным поиском.
При загрузке записей метаданных на платформу Storage serviceможно настроить разрешения для зрителей и владельцев записей метаданных в поле acl . Средства просмотра и владельцы назначаются с помощью групп, как определено в разделе Entitlement service. При выполнении поиска в качестве пользователя соответствующие записи метаданных будут отображаться только для пользователей, которым назначена группа.
Подробное руководство по Search serviceслужба документации по OSDU®
Рабочий процесс переиндексации
API переиндексирования позволяет пользователям переиндексировать тип без повторного приема записей через API хранения. Подробные сведения см. в документации по OSDU® для Повторного дендексирования
OSDU® — это товарный знак Open Group.