Konsep penyerapan berbasis manifes

  • Artikel

Penyerapan file berbasis manifes menyediakan pengguna akhir dan sistem mekanisme yang kuat untuk memuat metadata tentang himpunan data di Azure Data Manager untuk instans Energy. Metadata ini diindeks oleh sistem dan memungkinkan pengguna akhir untuk mencari himpunan data.

Penyerapan file berbasis manifes adalah penyerapan buram yang tidak mengurai atau memahami konten file. Ini membuat rekaman metadata berdasarkan manifes dan membuat rekaman dapat dicari.

Apa itu Manifes?

Manifes adalah dokumen JSON yang memiliki struktur yang telah ditentukan sebelumnya untuk menangkap entitas yang didefinisikan sebagai 'jenis', yaitu, terdaftar sebagai skema dengan definisi layanan Skema - Skema terkenal (WKS).

Anda dapat menemukan contoh dokumen json manifes di sini.

Skema manifes memiliki kontainer untuk jenis Grup OSDU® berikut:

  • ReferenceData (nol atau lebih) - Sekumpulan nilai yang diizinkan untuk digunakan oleh bidang data (master atau transaksi) lainnya. Contohnya termasuk Unit Pengukuran (kaki), Mata Uang, dll.
  • MasterData (nol atau lebih) - Satu sumber data bisnis dasar yang digunakan di beberapa sistem, aplikasi, dan/atau proses. Contohnya termasuk Wells dan Wellbores
  • WorkProduct (WP) (satu - harus ada jika memuat WorkProductComponents) - Batas sesi atau koleksi (proyek, studi) mencakup sekumpulan entitas yang perlu diproses bersama. Sebagai contoh, Anda dapat mengambil penyerapan satu atau beberapa koleksi log.
  • WorkProductComponents (WPC) (nol atau lebih - harus ada jika memuat himpunan data) - Unit konten data bisnis yang diketik, terkecil, dan dapat digunakan secara independen yang ditransfer sebagai bagian dari Produk Kerja (kumpulan hal-hal yang diserap bersama- sama). Setiap Komponen Produk Kerja (WPC) biasanya menggunakan data referensi, milik beberapa data master, dan mempertahankan referensi ke himpunan data. Contoh: Well Logs, Faults, Documents
  • Himpunan data (nol atau lebih - harus ada jika memuat rekaman WorkProduct dan WorkProductComponent) - Setiap Komponen Produk Kerja (WPC) terdiri dari satu atau beberapa kontainer data yang dikenal sebagai himpunan data.

Data Manifes dimuat dalam urutan tertentu:

  1. Array 'ReferenceData' (jika diisi).
  2. Array 'MasterData' (jika diisi).
  3. Struktur 'Data' diproses terakhir (jika diisi). Di dalam properti 'Data', pemrosesan dilakukan dalam urutan berikut:
    1. array 'Himpunan data'
    2. array 'WorkProductComponents'
    3. 'WorkProduct'.

Array apa pun diurutkan. jika ada interdependensi, item dependen harus ditempatkan di belakang target hubungan mereka, misalnya, catatan Sumur data master harus ditempatkan dalam array 'MasterData' sebelum Wellbores-nya.

Alur kerja penyerapan file berbasis manifes

Instans Azure Data Manager for Energy memiliki dukungan siap pakai untuk alur kerja penyerapan file berbasis Manifes. Osdu_ingest Airflow DAG telah dikonfigurasi sebelumnya dalam instans Anda.

Komponen alur kerja penyerapan file berbasis manifes

Alur kerja penyerapan file berbasis Manifes terdiri dari komponen berikut:

  • Layanan Alur Kerja - Layanan pembungkus yang berjalan di atas mesin alur kerja Airflow.
  • Mesin airflow - Mesin orkestrasi alur kerja yang menjalankan alur kerja yang terdaftar sebagai DAG (Directed Acyclic Graphs). Airflow adalah mesin alur kerja yang dipilih oleh komunitas OSDU® untuk mengatur dan menjalankan alur kerja penyerapan. Airflow tidak diekspos secara langsung, sebaliknya fiturnya diakses melalui layanan alur kerja.
  • Layanan Penyimpanan - Layanan yang digunakan untuk menyimpan rekaman metadata manifes ke platform data.
  • Layanan Skema - Layanan yang mengelola skema yang ditentukan OSDU® di platform data. Skema sedang dirujuk selama penyerapan file berbasis Manifes.
  • Layanan Pemberian Hak - Layanan yang mengelola grup akses. Layanan ini digunakan selama penyerapan untuk verifikasi izin penyerapan. Layanan ini juga digunakan selama pengambilan rekaman metadata untuk validasi penulisan "baca".
  • Layanan Hukum - Layanan yang memvalidasi kepatuhan melalui tag hukum.
  • Layanan Pencarian digunakan untuk melakukan pemeriksaan integritas referensial selama proses penyerapan manifes.

Prasyarat

Sebelum menjalankan alur kerja penyerapan file berbasis Manifes, pelanggan harus memastikan bahwa akun pengguna yang menjalankan alur kerja memiliki akses ke layanan inti (Pencarian, Penyimpanan, Skema, Pemberian Hak dan Hukum) dan layanan Alur Kerja (lihat Peran pemberian hak untuk detailnya). Sebagai bagian dari provisi instans Azure Data Manager for Energy, skema standar OSDU® dan data referensi terkait telah dimuat sebelumnya. Pelanggan harus memastikan bahwa akun pengguna yang digunakan untuk menyerap manifes disertakan dalam ACL pemilik dan pemirsa yang sesuai. Pelanggan harus memastikan bahwa manifes dikonfigurasi dengan tag hukum, pemilik, dan ACL pemirsa yang benar, data referensi, dll.

Urutan alur kerja

Ilustrasi berikut ini menyediakan alur kerja penyerapan file berbasis Manifes: Cuplikan layar urutan penyerapan manifes.

Pengguna mengirimkan manifes ke Workflow Service menggunakan nama alur kerja penyerapan manifes ("Osdu_ingest"). Jika permintaan sesuai dan pengguna berwenang untuk menjalankan alur kerja, layanan alur kerja memuat manifes dan memulai alur kerja penyerapan manifes.

Layanan alur kerja menjalankan serangkaian manifes syntax validation seperti struktur manifes dan validasi atribut sesuai skema yang ditentukan dan memeriksa atribut skema wajib. Sistem kemudian melakukan referential integrity validation antara Komponen Produk Kerja dan Himpunan Data. Misalnya, apakah data induk yang dirujuk ada.

Setelah validasi berhasil, sistem memproses konten ke dalam penyimpanan dengan menulis setiap entitas yang valid ke dalam platform data menggunakan STORAGE Service API.

OSDU® adalah merek dagang dari The Open Group.

Langkah berikutnya