Bildirim tabanlı alım kavramları

Makale
04/29/2024

Bildirim tabanlı dosya alımı, son kullanıcılara ve sistemlere Enerji için Azure Data Manager örneğindeki veri kümeleriyle ilgili meta verileri yüklemek için sağlam bir mekanizma sağlar. Bu meta veriler sistem tarafından dizine eklenir ve son kullanıcının veri kümelerinde arama yapmasına olanak tanır.

Bildirim tabanlı dosya alımı, dosya içeriğini ayrıştırmayan veya anlamayan opak bir alma işlemidir. Bildirimi temel alan bir meta veri kaydı oluşturur ve kaydı aranabilir hale getirir.

Bildirim nedir?

Bildirim, 'kind' olarak tanımlanan varlıkları yakalamak için önceden belirlenmiş bir yapıya sahip olan bir JSON belgesidir, yani Şema hizmeti - İyi bilinen Şema (WKS) tanımlarına şema olarak kaydedilir.

Burada örnek bir bildirim json belgesi bulabilirsiniz.

Bildirim şemasında aşağıdaki OSDU® Grup türleri için kapsayıcılar bulunur:

ReferenceData (sıfır veya daha fazla) - Diğer (ana veya işlem) veri alanları tarafından kullanılacak izin verilen değerler kümesi. Örnek olarak Ölçü Birimi (feet), Para Birimi vb. verilebilir.
MasterData (sıfır veya daha fazla) - Birden çok sistem, uygulama ve/veya işlemde kullanılan temel iş verilerinin tek kaynağı. Wells ve Wellbores örnekleri
WorkProduct (WP) (bir - WorkProductComponents yükleniyorsa mevcut olmalıdır) - Oturum sınırı veya koleksiyonu (proje, çalışma) birlikte işlenmesi gereken bir varlık kümesini kapsar. Örnek olarak, bir veya daha fazla günlük koleksiyonu alımını alabilirsiniz.
WorkProductComponents (WPC) (sıfır veya daha fazla - veri kümelerini yüklerken mevcut olmalıdır) - İş Ürününün bir parçası olarak aktarılan (birlikte alınan öğelerin bir koleksiyonu) türü, en küçük, bağımsız olarak kullanılabilir iş verileri içeriği birimi. Her İş Ürünü Bileşeni (WPC) genellikle başvuru verilerini kullanır, bazı ana verilere aittir ve veri kümelerine bir başvuru tutar. Örnek: Well Günlükleri, Hatalar, Belgeler
Veri kümeleri (sıfır veya daha fazla - WorkProduct ve WorkProductComponent kayıtları yükleniyorsa mevcut olmalıdır) - Her İş Ürünü Bileşeni (WPC), veri kümesi olarak bilinen bir veya daha fazla veri kapsayıcısı içerir.

Bildirim verileri belirli bir sırada yüklenir:

'ReferenceData' dizisi (doldurulmuşsa).
'MasterData' dizisi (doldurulmuşsa).
'Veri' yapısı en son işlenir (doldurulmuşsa). 'Data' özelliğinin içinde işleme aşağıdaki sırayla gerçekleştirilir:
1. 'Veri kümeleri' dizisi
2. 'WorkProductComponents' dizisi
3. 'WorkProduct'.

Tüm diziler sıralanır. bağımlılıklar olması halinde, bağımlı öğeler ilişki hedeflerinin arkasına yerleştirilmelidir, örneğin, wellbores'lerinden önce 'MasterData' dizisine bir ana veri Well kaydı yerleştirilmelidir.

Bildirim tabanlı dosya alımı iş akışı

Enerji için Azure Data Manager örneği, Bildirim tabanlı dosya alımı iş akışı için kullanıma hazır desteğe sahiptir. Osdu_ingest Airflow DAG örneğinizde önceden yapılandırılmıştır.

Bildirim tabanlı dosya alımı iş akışı bileşenleri

Bildirim tabanlı dosya alımı iş akışı aşağıdaki bileşenlerden oluşur:

İş Akışı Hizmeti - Airflow iş akışı altyapısının üzerinde çalışan bir sarmalayıcı hizmeti.
Hava akışı altyapısı - DAG olarak kaydedilen iş akışlarını yürüten bir iş akışı düzenleme altyapısı (Yönlendirilmiş Acyclic Graphs). Airflow, veri alımı iş akışlarını düzenleme ve çalıştırma amacıyla OSDU® topluluğu tarafından seçilen iş akışı altyapısıdır. Hava akışı doğrudan kullanıma sunulmaz, bunun yerine özelliklerine iş akışı hizmeti üzerinden erişilir.
Depolama Hizmeti - Bildirim meta veri kayıtlarını veri platformuna kaydetmek için kullanılan bir hizmettir.
Şema Hizmeti - Veri platformunda OSDU® tanımlı şemaları yöneten bir hizmet. Bildirim tabanlı dosya alımı sırasında şemalara başvurulmaktadır.
Yetkilendirmeler Hizmeti - Erişim gruplarını yöneten bir hizmettir. Bu hizmet, alma izinlerinin doğrulanması için alım sırasında kullanılır. Bu hizmet, "okuma" yazmalarının doğrulanması için meta veri kaydı alma sırasında da kullanılır.
Hukuk Hizmeti - Yasal etiketler aracılığıyla uyumluluğu doğrulayan bir hizmettir.
Arama Hizmeti , bildirim alma işlemi sırasında bilgi tutarlılığı denetimi gerçekleştirmek için kullanılır.

Önkoşullar

Bildirim tabanlı dosya alımı iş akışını çalıştırmadan önce, müşterilerin iş akışını çalıştıran kullanıcı hesaplarının temel hizmetlere (Arama, Depolama, Şema, Yetkilendirme ve Yasal) ve İş Akışı hizmetine erişimi olduğundan emin olmalıdır (ayrıntılar için bkz. Yetkilendirme rolleri). Enerji örneği sağlama için Azure Data Manager'ın bir parçası olarak, OSDU® standart şemaları ve ilişkili başvuru verileri önceden yüklenir. Müşteriler, bildirimleri almak için kullanılan kullanıcı hesabının uygun sahiplere ve görüntüleyici ACL'lerine eklendiğinden emin olmalıdır. Müşteriler bildirimlerin doğru yasal etiketler, sahipler ve görüntüleyiciler ACL'leri, başvuru verileri vb. ile yapılandırıldığından emin olmalıdır.

İş akışı dizisi

Aşağıdaki çizim, Bildirim tabanlı dosya alımı iş akışını sağlar: Bildirim alımı dizisinin ekran görüntüsü.

Kullanıcı bildirim Workflow Service alımı iş akışı adını ("Osdu_ingest") kullanarak öğesine bir bildirim gönderir. İstek uygunsa ve kullanıcı iş akışını çalıştırma yetkisine sahipse, iş akışı hizmeti bildirimi yükler ve bildirim alımı iş akışını başlatır.

İş akışı hizmeti, tanımlanan şemaya göre bildirim yapısı ve öznitelik doğrulaması gibi bir dizi bildirim syntax validation yürütür ve zorunlu şema özniteliklerini denetler. Sistem daha sonra İş Ürünü Bileşenleri ve Veri Kümeleri arasında performans gösterir referential integrity validation . Örneğin, başvuruda bulunılan üst verilerin mevcut olup olmadığı.

Doğrulamalar başarılı olduktan sonra sistem, Depolama Hizmeti API'sini kullanarak her geçerli varlığı veri platformuna yazarak içeriği depolama alanına işler.

OSDU®, Open Group'un ticari markasıdır.

Aracılığıyla paylaş