Основные понятия приема на основе манифеста

Статья
04/29/2024

Прием файлов на основе манифеста предоставляет конечным пользователям и системам надежный механизм загрузки метаданных о наборах данных в экземпляре Azure Data Manager для энергетики. Эти метаданные индексируются системой и позволяют конечным пользователям искать наборы данных.

Прием файлов на основе манифеста — это непрозрачный прием, который не анализирует или не понимает содержимое файла. Он создает запись метаданных на основе манифеста и делает запись доступным для поиска.

Что такое манифест?

Манифест — это документ JSON, имеющий предопределенную структуру для записи сущностей, определенных как "тип", то есть зарегистрированных в качестве схем со службой схемы — известных определений схемы (WKS).

Пример документа json манифеста можно найти здесь.

Схема манифеста содержит контейнеры для следующих типов групп OSDU:®

ReferenceData (ноль или более) — набор допустимых значений, используемых другими полями данных (master или transaction). Примеры включают единицу измерения (футов), валюту и т. д.
MasterData (ноль или более) — один источник базовых бизнес-данных, используемых в нескольких системах, приложениях и/или процессах. Примеры: Wells и Wellbores
WorkProduct (WP) (один — должен присутствовать при загрузке WorkProductComponents) — граница сеанса или коллекция (проект, исследование) включает набор сущностей, которые необходимо обработать вместе. Например, можно принять прием одной или нескольких коллекций журналов.
WorkProductComponents (WPC) (ноль или более - должен присутствовать при загрузке наборов данных) — типизированный, наименьший, независимо от используемого единицы содержимого бизнес-данных, передаваемых как часть рабочего продукта (коллекция вещей, которые собираются вместе). Каждый компонент рабочего продукта (WPC) обычно использует эталонные данные, принадлежит некоторым главным данным и поддерживает ссылку на наборы данных. Пример: журналы, ошибки, документы
Наборы данных (ноль или несколько- должны присутствовать при загрузке записей WorkProduct и WorkProductComponent) — каждый компонент рабочего продукта (WPC) состоит из одного или нескольких контейнеров данных, известных как наборы данных.

Данные манифеста загружаются в определенной последовательности:

Массив ReferenceData (если заполнен).
Массив MasterData (если заполнен).
Структура "Данные" обрабатывается последней (если заполнено). В свойстве Data обработка выполняется в следующем порядке:
1. массив "Наборы данных"
2. массив WorkProductComponents
3. WorkProduct.

Все массивы упорядочены. если существуют взаимозависимости, зависимые элементы должны быть помещены за их целевыми объектами отношений, например, запись "Master-data Well" должна быть помещена в массив MasterData перед его возможностями.

Рабочий процесс приема файлов на основе манифеста

Экземпляр Azure Data Manager для энергетики поддерживает встроенный рабочий процесс приема файлов на основе манифеста. Osdu_ingest Программа DAG airflow предварительно настроена в вашем экземпляре.

Компоненты рабочего процесса приема файлов на основе манифеста

Рабочий процесс приема файлов на основе манифеста состоит из следующих компонентов:

Служба рабочих процессов — служба-оболочка , запущенная на вершине обработчика рабочих процессов Airflow.
Подсистема airflow — подсистема оркестрации рабочих процессов, которая выполняет рабочие процессы, зарегистрированные в качестве групп управления доступности (ациклические графы). Airflow — это выбранный обработчик рабочих процессов сообществом OSDU® для оркестрации и запуска рабочих процессов приема. Поток воздуха не предоставляется напрямую, а его функции доступны через службу рабочего процесса.
служба служба хранилища — служба, используемая для сохранения записей метаданных манифеста на платформе данных.
Служба схемы — служба , управляющая определенными схемами OSDU® на платформе данных. Схемы ссылаются во время приема файлов на основе манифеста.
Служба прав — служба , управляющая группами доступа. Эта служба используется во время приема для проверки разрешений приема. Эта служба также используется во время получения записи метаданных для проверки операций записи чтения.
Юридическая служба — служба , которая проверяет соответствие с помощью юридических тегов.
Служба поиска используется для выполнения проверка целостности ссылок во время процесса приема манифеста.

Предварительные требования

Прежде чем запускать рабочий процесс приема файлов на основе манифеста, клиенты должны убедиться, что учетные записи пользователей, выполняющие рабочий процесс, имеют доступ к основным службам (поиск, служба хранилища, схема, право и юридическое право) и службе рабочих процессов (см. сведения о ролях прав). В рамках подготовки экземпляра Azure Data Manager для энергетики предварительно загружаются стандартные схемы OSDU® и связанные справочные данные. Клиенты должны убедиться, что учетная запись пользователя, используемая для приема манифестов, включена в соответствующие владельцы и списки управления доступом зрителей. Клиенты должны убедиться, что манифесты настроены с правильными юридическими тегами, владельцами и средствами управления доступом для зрителей, справочными данными и т. д.

Последовательность рабочих процессов

На следующем рисунке представлен рабочий процесс приема файлов на основе манифеста: Снимок экрана: последовательность приема манифеста.

Пользователь отправляет манифест в имя рабочего процесса приема манифеста Workflow Service ("Osdu_ingest"). Если запрос является правильным, и пользователь может запустить рабочий процесс, служба рабочего процесса загружает манифест и инициирует рабочий процесс приема манифеста.

Служба рабочего процесса выполняет ряд манифестовsyntax validation, таких как структура манифеста и проверка атрибутов в соответствии с определенной схемой и проверка для обязательных атрибутов схемы. Затем система выполняется referential integrity validation между компонентами рабочего продукта и наборами данных. Например, существует ли ссылка на родительские данные.

После успешной проверки система обрабатывает содержимое в хранилище, записывая каждую допустимую сущность на платформу данных с помощью API службы служба хранилища.

OSDU® — это товарный знак Open Group.