Azure Data Manager untuk pengindeksan Energi dan alur kerja pencarian
Semua data dan metadata terkait yang diserap ke dalam platform diindeks untuk mengaktifkan pencarian. Metadata dapat diakses guna memastikan kesadaran, bahkan ketika data tidak tersedia.
Layanan Pengindeks
menyediakan Indexer Service mekanisme untuk mengindeks dokumen yang berisi data terstruktur dan tidak terstruktur.
Catatan
Layanan ini bukan layanan publik dan dimaksudkan hanya untuk dipanggil secara internal oleh layanan platform inti lainnya.
Alur kerja pengindeksan
Diagram di bawah ini mengilustrasikan alur kerja Pengindeksan:
Ketika pelanggan memuat data ke dalam platform, metadata terkait diserap menggunakan Storage service. menyediakan Storage service sekumpulan API untuk mengelola seluruh siklus hidup metadata seperti penyerapan (persistensi), modifikasi, penghapusan, penerapan versi, pengambilan, dan manajemen skema data. Setiap rekaman metadata penyimpanan yang dibuat oleh Storage service berisi parameter jenis yang mengacu pada skema yang mendasar. Skema ini menentukan atribut yang akan diindeks oleh Indexer service.
Storage service Saat membuat rekaman metadata, rekaman tersebut akan memunculkan peristiwa recordChangedMessages yang dikumpulkan di Azure Bus Layanan (antrean pesan). Layanan menarik Indexer queue pesan dari Azure Bus Layanan, melakukan validasi dasar dan mengirimkannya ke Indexer service. Jika ada kegagalan dalam mengirim pesan ke Indexer service, Indexer queue layanan mencoba kembali mengirim pesan hingga jumlah coba lagi maksimum yang dapat dikonfigurasi yang diizinkan. Jika upaya coba lagi gagal, pengakuan negatif dikirim ke Azure Bus Layanan, yang kemudian mengarsipkan pesan.
Ketika peristiwa recordChangedMessages diterima oleh Indexer Service, peristiwa tersebut mengambil skema yang diperlukan dari cache skema atau melalui Schema service API. Kemudian Indexer Service membuat indeks baru dalam Elasticsearch (jika belum ada), lalu mengirim kueri massal untuk membuat atau memperbarui rekaman sesuai kebutuhan. Jika respons dari Elasticsearch adalah respons kegagalan dari layanan jenis yang tidak tersedia atau waktu permintaan habis, maka Indexer Service membuat recordChangedMessages untuk ID rekaman yang gagal ini dan menempatkan pesan di Azure Bus Layanan. Pesan-pesan ini akan kembali ditarik oleh Indexer Queue layanan dan akan mengikuti alur yang sama seperti sebelumnya.
Untuk informasi selengkapnya, lihat Dokumentasi OSDU® layanan pengindeks menyediakan informasi tentang layanan pengindeks
Alur kerja pencarian
Search service menyediakan mekanisme untuk menemukan dokumen metadata terindeks. SEARCH API mendukung pencarian teks lengkap pada bidang string, kueri rentang pada bidang tanggal, numerik, atau string, dll. bersama dengan pencarian geo-spasial.
Ketika rekaman metadata dimuat ke Platform menggunakan Storage service, kami dapat mengonfigurasi izin untuk penonton dan pemilik rekaman metadata di bawah bidang acl . Penonton dan pemilik ditetapkan melalui grup seperti yang didefinisikan dalam Entitlement service. Saat melakukan pencarian sebagai pengguna, rekaman metadata yang cocok hanya akan muncul untuk pengguna yang ditetapkan ke Grup.
Untuk tutorial terperinci tentang Search service, lihat dokumentasi OSDU® layanan Pencarian
Mengindeks ulang alur kerja
REindex API memungkinkan pengguna untuk mengindeks ulang jenis tanpa menyerap ulang rekaman melalui API penyimpanan. Untuk informasi terperinci, lihat dokumentasi Reindex OSDU®
OSDU® adalah merek dagang dari The Open Group.