Bagikan melalui

Kubus data di Microsoft Planetary Computer Pro

Seperti disebutkan dalam Jenis Data yang Didukung, Microsoft Planetary Computer Pro mendukung penyerapan, pengoptimalan cloud, dan visualisasi file kubus data dalam format NetCDF, HDF5, dan GRIB2. Meskipun kompleks dan historis rumit pada penyimpanan lokal, aset ini dioptimalkan untuk lingkungan cloud dengan Planetary Computer Pro, semakin memberdayakannya sebagai alat yang efisien untuk menyusun dan menyimpan data multidimensi seperti citra satelit dan model iklim.

Menangani kubus data di Planetary Computer Pro

File kubus data dapat diserap ke Planetary Computer Pro dengan cara yang sama seperti jenis data raster lainnya. Seperti format tanggal lainnya, aset, dan Item Spatio Temporal Asset Catalog (STAC) terkait harus terlebih dahulu disimpan di Azure Blob Storage. Namun, tidak seperti aset raster dua dimensi lainnya, pemrosesan tambahan akan terjadi setelah penyerapan format kubus data tertentu (NetCDF dan HDF5).

Nota

Data GRIB2 akan diserap dengan cara yang sama seperti data raster dua dimensi lainnya (tanpa pengayaan tambahan), karena pada dasarnya merupakan kumpulan raster 2D dengan file indeks terkait yang mereferensikan data secara efisien di lingkungan cloud.

Mengaktifkan pengayaan kubus data aset STAC

Ketika Item STAC yang berisi aset NetCDF atau HDF5 diserap, aset tersebut dapat diperkaya dengan fungsionalitas kubus data. Ketika fungsionalitas kubus data diaktifkan, manifes Kerchunk dihasilkan dan disimpan dalam penyimpanan blob bersama aset, memungkinkan akses data yang lebih efisien.

Pengayaan kubus data dan manifes Kerchunk

Untuk aset STAC dalam format NetCDF atau HDF5 , Planetary Computer dapat menerapkan pengayaan kubus data selama penyerapan. Proses ini menghasilkan manifes Kerchunk, yang disimpan dalam penyimpanan blob bersama aset. Manifes Kerchunk memungkinkan akses yang efisien ke format himpunan data yang dipotong.

Mengaktifkan pengayaan kubus data

Pengayaan kubus data diaktifkan untuk aset yang berlaku dalam item STAC JSON. Untuk setiap aset, pengayaan dipicu jika kedua kondisi berikut terpenuhi:

  • Format aset adalah salah satu jenis berikut:
    • application/netcdf
    • application/x-netcdf
    • application/x-hdf5
  • Aset memiliki bidang roles yang menyertakan data atau visual dalam daftar perannya.

Jika kondisi ini terpenuhi, manifes Kerchunk (assetid-kerchunk.json) dihasilkan dan disimpan dalam penyimpanan blob bersama aset.

Nota

Jenis format asetapplication/x-hdf sering kali bersesuaian dengan aset HDF4. Ingesti GeoCatalog saat ini tidak mendukung pembuatan manifest kerchunk virtual untuk HDF4 karena kompleksitas tambahan dan beberapa varian.

Pengayaan kubus data memodifikasi item STAC JSON

Untuk setiap aset yang diperkaya dalam item STAC JSON, bidang berikut ditambahkan:

  • msft:datacube_converted: true – Menunjukkan bahwa pengayaan diterapkan.
  • cube:dimensions – Kamus yang mencantumkan dimensi himpunan data dan propertinya.
  • cube:variables – Kamus yang menjelaskan variabel himpunan data dan propertinya.

Menonaktifkan pengayaan kubus data

Untuk menonaktifkan pengayaan aset, hapus data dan visual dari daftar aset roles di item STAC JSON sebelum penyerapan.

Menangani kegagalan pengayaan

Jika Pengayaan kubus data gagal, aset dapat diserap kembali dengan pengayaan dinonaktifkan dengan memperbarui item STAC JSON untuk mengecualikan data peran atau visual sebelum mencoba kembali penyerapan.

Mengapa mengaktifkan pengayaan kubus data?

Mengaktifkan pengayaan data cube meningkatkan kinerja akses data, terutama untuk alur kerja visualisasi. Ketika manifes Kerchunk ada, manifes memungkinkan akses yang lebih cepat dibandingkan dengan memuat seluruh file himpunan data.

Akses himpunan data yang lebih cepat untuk API data dan visualisasi dengan Kerchunk

API Data Explorer dan API tiling lebih memilih menggunakan manifes Kerchunk (.json) untuk operasi pembacaan data jika terdapat di direktori penyimpanan blob yang sama dengan aset asli. Alih-alih membuka file lengkap .nc , kami menggunakan Zarr dengan file referensi untuk mengakses hanya data yang diperlukan.

Membaca data menggunakan pendekatan berbasis referensi yang dipotong lebih cepat karena menghindari membaca seluruh file ke dalam memori.

Konten terkait