Kubus data di Microsoft Planetary Computer Pro

Seperti disebutkan dalam Jenis Data yang Didukung, Microsoft Planetary Computer Pro mendukung penyerapan, pengoptimalan cloud, dan visualisasi file kubus data dalam format NetCDF, HDF5, Zarr, dan GRIB2. Meskipun kompleks dan historis rumit pada penyimpanan lokal, aset ini dioptimalkan untuk lingkungan cloud dengan Planetary Computer Pro, semakin memberdayakannya sebagai alat yang efisien untuk menyusun dan menyimpan data multidimensi seperti citra satelit dan model iklim.

Penyerapan kubus data

File kubus data dapat diserap ke Planetary Computer Pro dengan cara yang sama seperti jenis data raster lainnya. Seperti format tanggal lainnya, aset, dan Item Spatio Temporal Asset Catalog (STAC) terkait harus terlebih dahulu disimpan di Azure Blob Storage. Namun, tidak seperti aset raster dua dimensi lainnya, lebih banyak langkah pengoptimalan cloud terjadi setelah penyerapan format kubus data tertentu (NetCDF dan HDF5).

Nota

Data GRIB2 diserap dengan cara yang sama seperti data raster dua dimensi lainnya (tanpa langkah pengoptimalan cloud lainnya), karena pada dasarnya merupakan kumpulan raster 2D dengan file indeks terkait yang mereferensikan data secara efisien di lingkungan cloud. Demikian pula, Zarr sudah merupakan format cloud-native, jadi tidak ada pengoptimalan yang terjadi setelah penyerapan.

Pengoptimalan cloud kubus data

Ketika Item STAC yang berisi aset NetCDF atau HDF5 diserap, aset dioptimalkan cloud, bukan dengan mengubah data itu sendiri, melainkan berdasarkan pembuatan file referensi yang memungkinkan akses data yang lebih efisien.

Pengoptimalan cloud melalui manifes Kerchunk

Tidak seperti data raster 2D yang diubah menjadi Cloud Optimized Geotiffs (COGs) saat diserap ke Planetary Computer Pro, aset kubus data dioptimalkan dengan pembuatan file referensi, atau manifes Kerchunk. Kerchunk adalah pustaka Python sumber terbuka yang membuat manifes gugus ini, atau file JSON yang menjelaskan struktur kubus data dan gugusnya menggunakan kunci potongan gaya Zarr yang memetakan ke rentang byte dalam file asli tempat gugus tersebut berada. Setelah dibuat, file Kerchunk disimpan dalam penyimpanan blob bersama aset, dan item STAC diperkaya untuk menyertakan referensi ke manifes ini, mengoptimalkan akses data untuk lingkungan cloud.

Properti item STAC yang memicu optimisasi cloud

Dalam item STAC dalam koleksi, kondisi berikut harus benar agar aset kubus data dioptimalkan untuk cloud.

  • Format aset adalah salah satu jenis berikut:
    • application/netcdf
    • application/x-netcdf
    • application/x-hdf5
  • Aset memiliki bidang roles yang menyertakan data atau visual dalam daftar perannya.

Jika kondisi ini terpenuhi, manifes Kerchunk (assetid-kerchunk.json) dihasilkan dalam penyimpanan blob di samping aset tersebut.

Nota

Jenis format asetapplication/x-hdf sering kali bersesuaian dengan aset HDF4. Ingesti GeoCatalog saat ini tidak mendukung pembuatan manifest kerchunk virtual untuk HDF4 karena kompleksitas tambahan dan beberapa varian.

Pengayaan elemen STAC

Untuk setiap aset yang dioptimalkan dalam item STAC, bidang berikut ditambahkan:

  • msft:datacube_converted: true – Menunjukkan bahwa pengayaan diterapkan.
  • cube:dimensions – Kamus yang mencantumkan dimensi himpunan data dan propertinya.
  • cube:variables – Kamus yang menjelaskan variabel himpunan data dan propertinya.

Variabel ini harus digunakan untuk konfigurasi render untuk memastikan bahwa visualisasi aset kubus data Anda di Explorer merender dan membaca data Anda paling efektif.

Manfaat kubus data yang dioptimalkan cloud

Pengoptimalan cloud kubus data meningkatkan performa akses data, terutama untuk alur kerja visualisasi. Ketika manifes Kerchunk ada, manifes memungkinkan akses yang lebih cepat dibandingkan dengan memuat seluruh file himpunan data.

Microsoft Planetary Computer Pro Explorer dan tiling API lebih memilih menggunakan manifes Kerchunk untuk operasi pembacaan data jika manifes tersebut ada di direktori penyimpanan blob yang sama dengan aset asli.

Membaca data menggunakan pendekatan berbasis referensi yang dipotong lebih cepat karena menghindari membaca seluruh file ke dalam memori.

Menonaktifkan pengoptimalan cloud kubus data

Jika Anda memutuskan tidak ingin bekerja dengan aset kubus data yang dioptimalkan untuk cloud, nonaktifkan pengoptimalan cloud dengan menghapus data dan visual dari daftar aset roles dalam item STAC JSON sebelum penyerapan.

Penyerapan Zarr dan pembaruan data

Seperti yang disebutkan sebelumnya, Zarr secara inheren adalah format cloud-native, sehingga tidak ada pengoptimalan tambahan yang terjadi ketika diserap dan tidak ada modifikasi item STAC-nya yang diperlukan. Namun, jika Anda berencana untuk memperbarui aset Zarr Anda secara dinamis dan menyerap ulang item STAC untuk bekerja dengan versi terbaru, Anda perlu mengetahui dua metode pembaruan: Tambahkan dan Sinkronkan.

Lampirkan

Jika Anda menambahkan data baru ke penyimpanan Zarr yang disimpan secara lokal, tetapi ingin memperbarui versi yang disimpan di Planetary Computer Pro, Anda perlu menyerap kembali item STAC. Saat item tersebut diserap kembali, perilaku defaultnya adalah meninjau aset untuk data baru apa pun, dan menambahkannya ke data yang disimpan di cloud. Tidak ada modifikasi pada item STAC yang diperlukan sebelum pemrosesan ulang.

Sinkronisasi

Jika Anda menghapus data dari penyimpanan Zarr yang disimpan secara lokal, mengimpor ulang item STAC yang sama tidak akan memungkinkan versi berbasis cloud untuk cocok dengan versi di komputer Anda, karena fungsi penambahan mencari data baru, tetapi tidak menyesuaikan sesuai dengan data yang hilang. Di situlah sinkronisasi mulai dimainkan. Dengan memodifikasi item STAC untuk menyertakan parameter yang menunjukkan bahwa Anda ingin menyinkronkan data yang ada dengan data baru, dan memasukkan kembali item STAC yang telah dimodifikasi tersebut, hanya data paling terbaru dari penyimpanan Zarr yang akan tersedia di Planetary Computer Pro. Modifikasi pada item STAC akan muncul sebagai berikut:

{
    ...
    "assets": {
        "pr": {
            "href": "https://managedstorage.azure.com/collection-container/somestuff/pr.zarr",
            "msft:ingestion": {
              "directory": "sync"
            }
        }
    }
}

Konten terkait

  • Last updated on