Aracılığıyla paylaş

Microsoft Planet Computer Pro'da veri küpleri

Desteklenen Veri Türleri bölümünde belirtildiği gibi Microsoft Planetary Computer Pro; NetCDF, HDF5, Zarr ve GRIB2 biçimlerinde veri küpü dosyalarının alımını, bulut iyileştirmesini ve görselleştirmesini destekler. Yerel depolamada karmaşık ve tarihsel olarak hantal olsa da, bu varlıklar Planetary Computer Pro ile bulut ortamları için iyileştirilmiştir ve uydu görüntüleri ve iklim modelleri gibi çok boyutlu verileri yapılandırmak ve depolamak için verimli araçlar olarak daha da güçlendirilmiştir.

Veri küplerinin yüklenmesi

Veri küpü dosyaları Planetary Computer Pro'ya diğer raster veri türleriyle aynı şekilde alınabiliyor. Diğer tarih biçimlerinde olduğu gibi, varlıklar ve ilişkili Spatio Zamana Bağlı Varlık Kataloğu (STAC) Öğeleri önce Azure Blob Depolama'da depolanmalıdır. Ancak diğer iki boyutlu raster varlıklarından farklı olarak, belirli veri küpü biçimlerinin (NetCDF ve HDF5) alımında daha fazla bulut iyileştirme adımı gerçekleşir.

Uyarı

GRIB2 verileri, diğer iki boyutlu raster verileriyle (başka bulut iyileştirme adımları olmadan) aynı şekilde alınır, çünkü temelde bulut ortamlarında verilere verimli bir şekilde başvuran ilişkili bir dizin dosyasına sahip 2B raster koleksiyonudur. Benzer şekilde Zarr zaten bulutta yerel bir biçim olduğundan alım sırasında iyileştirme gerçekleşmez.

Veri küplerinin bulut iyileştirmesi

NetCDF veya HDF5 varlıkları içeren bir STAC Öğesi alındığında varlıklar, verilerin kendisini dönüştürerek değil, daha verimli veri erişimi sağlayan başvuru dosyalarının oluşturulmasıyla bulut için iyileştirilir.

Kerchunk bildirimleri aracılığıyla bulut iyileştirmesi

Planetary Computer Pro'ya alındığında Bulut için İyileştirilmiş Geotiffs'e (COG) dönüştürülen 2B raster verilerinden farklı olarak, veri küplerinin varlıkları, referans dosyalarının veya Kerchunk bildirimlerinin oluşturulmasıyla optimize edilir. Kerchunk , bu öbek bildirimlerini veya bu öbeklerin bulunduğu özgün dosyadaki bayt aralıklarıyla eşlenen Zarr stili öbek anahtarlarını kullanarak veri küpünün yapısını ve öbeklerini açıklayan JSON dosyalarını oluşturan açık kaynaklı bir Python kitaplığıdır. Kerchunk dosyaları oluşturulduktan sonra varlıkların yanı sıra blob depolamada depolanır ve STAC öğeleri bu bildirimlere başvurular içerecek şekilde zenginleştirilip bulut ortamları için veri erişimini iyileştirir.

Bulut iyileştirmeyi tetikleyen STAC öğesi özellikleri

Koleksiyonun STAC öğeleri içinde, bir veri küpü varlığının bulut için iyileştirilmiş olması için aşağıdaki koşulların geçerli olması gerekir:

  • Varlık biçimi aşağıdaki türlerden biridir:
    • application/netcdf
    • application/x-netcdf
    • application/x-hdf5
  • Varlığın rol listesinde roles veya data içeren bir visual alanı vardır.

Bu koşullar karşılanırsa, varlık ile birlikte blob depolamada bir Kerchunk manifest dosyası (assetid-kerchunk.json) oluşturulur.

Uyarı

Varlık biçimi türüapplication/x-hdf genellikle HDF4 varlıklarına karşılık gelir. GeoCatalog alımı, getirdiği ek karmaşıklık ve birden çok varyant nedeniyle HDF4 için sanal kerchunk manifestoları oluşturmayı desteklememektedir.

STAC öğe zenginleştirmesi

STAC öğesi içindeki iyileştirilmiş her varlık için aşağıdaki alanlar eklenir:

  • msft:datacube_converted: true – Zenginleştirmenin uygulandığını gösterir.
  • cube:dimensions – Veri kümesi boyutlarını ve özelliklerini listeleyen sözlük.
  • cube:variables – Veri kümesi değişkenlerini ve bunların özelliklerini açıklayan bir sözlük.

Bu değişkenler, Gezgin'deki veri küpü varlıklarını görselleştirmenizin verilerinizi en verimli şekilde okumasını ve işlemesini sağlamak için işleme yapılandırmaları için kullanılmalıdır.

Bulut için iyileştirilmiş veri küplerinin avantajları

Veri küpü bulut iyileştirmesi, özellikle görselleştirme iş akışları için veri erişim performansını geliştirir. Bir Kerchunk bildirimi mevcut olduğunda, veri kümesi dosyasının tamamını yüklemeye kıyasla daha hızlı erişim sağlar.

Microsoft Planetary Computer Pro Explorer ve döşeme API'leri, özgün varlıkla aynı blob depolama dizininde varsa veri okuma işlemleri için tercihen Kerchunk bildirimini kullanır.

Öbeklenmiş, başvuru tabanlı bir yaklaşım kullanarak verileri okumak daha hızlıdır çünkü dosyanın tamamını belleğe okumaktan kaçınır.

Veri küpü bulut iyileştirmesini devre dışı bırakma

Bulut uyumlu veri küpü varlıklarıyla çalışmak istemediğinize karar verirseniz, STAC item JSON'daki varlık listesinden data ve visual çıkararak bulut optimizasyonunu devre dışı bırakın, eklenmeden önce.

Zarr alma ve veri güncelleştirmeleri

Daha önce belirtildiği gibi Zarr doğal olarak buluta özel bir biçimdir, bu nedenle veri alımı sırasında ek iyileştirme gerçekleşmez ve STAC öğelerinin değiştirilmesi gerekmez. Ancak Zarr varlıklarınızı dinamik olarak güncelleştirmeyi ve STAC öğelerini en son sürümle çalışacak şekilde yeniden oluşturmayı planlıyorsanız iki güncelleştirme yöntemine dikkat etmeniz gerekir: Ekleme ve Eşitleme.

Append

Yerelde depolanan bir Zarr deposuna yeni veriler ekliyorsanız, ancak Planetary Computer Pro'da depolanan versiyonu güncellemek istiyorsanız, STAC nesnesini yeniden içe aktarmanız gerekir. Bu öğe yeniden kaydedildiğinde, varsayılan davranış yeni verilerin varlıklarını gözden geçirmek ve bulutta depolanan verilere eklemektir. Yeniden yüklemeden önce STAC öğesinde değişiklik yapılması gerekmez.

Senkronizasyon

Yerel olarak depolanan Zarr mağazasından veri kaldırırsanız, aynı STAC öğesini yeniden işlerken bulut tabanlı sürümün makinenizdeki sürümle eşleşmesine izin vermez, çünkü ekleme işlevi yeni verileri arar, ancak eksik verilere göre ayarlanmaz. İşte orada eşitleme devreye girer. STAC öğesine, yeni ve mevcut verileri eşitlemek istediğinizi belirten bir parametre ekleyip bu değiştirilmiş STAC öğesini tekrar işleyerek, Planetary Computer Pro'da yalnızca Zarr deposundan gelen en güncel verilere erişilebilir. STAC öğesinde yapılan değişiklik aşağıdaki gibi görünmelidir:

{
    ...
    "assets": {
        "pr": {
            "href": "https://managedstorage.azure.com/collection-container/somestuff/pr.zarr",
            "msft:ingestion": {
              "directory": "sync"
            }
        }
    }
}

İlgili içerik

  • Last updated on