Bagikan melalui

Mulai cepat: Mulai menggunakan kubus data di Microsoft Planetary Computer Pro

Prasyarat

Menyiapkan sumber penyerapan

Sebelum dapat mulai menyerap data kubus data, Anda harus menyiapkan Sumber Penyerapan, yang akan berfungsi sebagai kredensial Anda untuk mengakses akun Blob Storage tempat aset dan Item STAC Anda disimpan. Anda dapat menyiapkan Sumber Penyerapan menggunakan Identitas Terkelola atau Token SAS.

Membuat pengumpulan kubus data

Setelah Sumber Penyerapan disiapkan, Anda dapat membuat Koleksi untuk aset kubus data Anda. Langkah-langkah untuk membuat koleksi dapat diikuti di Membuat Koleksi STAC dengan Microsoft Planetary Computer Pro menggunakan Python.

Memasukkan aset kubus data

Inisiasi proses penyerapan untuk data kubus data, dan jenis data lainnya, dapat diikuti dalam Gambaran Umum Penyerapan. Seperti yang dijelaskan dalam Gambaran Umum Kubus Data, namun, penyerapan adalah langkah dalam penanganan data Planetary Computer Pro yang berbeda untuk jenis file ini. Sementara data GRIB2 dan Item STAC terkait diserap sama seperti file raster dua dimensi lainnya, aset NetCDF dan HDF5 mengalami pengayaan data lebih lanjut. Pembuatan Manifes Kerchunk didokumentasikan dalam Gambaran Umum Kubus Data, tetapi yang penting untuk dicatat adalah bahwa aset Kerchunk akan ditambahkan ke kontainer Blob Storage Anda bersama aset asli, dan satu bidang tambahan cube:variables ditambahkanlah ke STAC Item JSON. Ini penting saat merender jenis data ini di Planetary Computer Pro Explorer.

Mengonfigurasi pengumpulan kubus data

Konfigurasi pengumpulan kubus data Anda adalah langkah lain yang akan terlihat sedikit berbeda dari jenis data lainnya. Anda dapat mengikuti langkah-langkah yang dijelaskan dalam Mengonfigurasi koleksi dengan antarmuka web Microsoft Planetary Computer Pro untuk mengonfigurasi pengumpulan kubus data Anda, tetapi Anda harus mengetahui perbedaan berikut saat membuat Konfigurasi Render Anda:

Konfigurasi render untuk aset NetCDF dan HDF5

Mengingat bahwa argumen Konfigurasi Render standar dalam format JSON terlihat seperti ini:

[
  {
    "id": "prK1950-06-30",
    "name": "prK1950-06-30",
    "type": "raster-tile",
    "options": "assets=pr-kerchunk&subdataset_name=pr&rescale=0,0.01&colormap_name=viridis&datetime=1950-06-30",
    "minZoom": 1
  }
]

Bidang options ini adalah tempat di mana Anda sebaiknya memanfaatkan aset Kerchunk yang dioptimalkan untuk cloud, daripada aset asli yang tercantum dalam Item STAC. Anda juga harus menyertakan subdataset_name argumen , yang merupakan nama variabel yang ingin Anda render.

Konfigurasi render untuk aset GRIB2

Bidang options untuk Konfigurasi Render aset GRIB2 terlihat mirip dengan contoh sebelumnya, tetapi Anda tidak perlu menyertakan subdataset_name argumen. Ini karena data GRIB2 sudah disusun secara optimal dan dirujuk melalui file Indeks mereka. Argumen assets , dalam hal ini, mewakili pita, atau lapisan raster 2D, yang ingin Anda render. Di bawah ini adalah contoh Konfigurasi Render GRIB2:

[ 
 {
    "id": "render-config-1",
    "name": "Mean Zero-Crossing Wave Period",
    "description": "A sample render configuration. Update `options` below.",
    "type": "raster-tile",
    "options": "assets=data&subdataset_bands=1&colormap_name=winter&rescale=0,10",
    "minZoom": 1
 }
]

Konfigurasi render untuk aset Zarr

Bidang options untuk Konfigurasi Render aset Zarr juga mirip dengan NetCDF dan HDF5, serta dalam assets argumen Anda harus menyertakan parameter 'sel' yang memungkinkan Anda memilih waktu, langkah, atau variabel lain yang memungkinkan rendering 2D dari satu variabel pada satu irisan waktu dari penyimpanan Zarr multi-variabel. Anda mungkin juga perlu menyertakan parameter 'sel_method', untuk memastikan variabel yang tepat dipilih meskipun nilai yang dimasukkan sedikit tidak sesuai. Anda dapat membaca lebih lanjut tentang parameter 'sel' ini dalam dokumentasi publik untuk pustaka pembacaan data multidimensi Python yang digunakan pada Planetary Computer Pro backend, Xarray. Di bawah ini adalah contoh konfigurasi untuk Render Zarr:

[
  {
    "id": "era5-zarr",
    "name": "era5-zarr",
    "type": "raster-tile",
    "options": "assets=data&subdataset_name=precipitation_amount_1hour_Accumulation&colormap_name=viridis&sel=time=2024-01-01&sel_method=nearest&rescale=0,0.01",
    "minZoom": 12
  }
]

Memvisualisasikan aset kubus data di Explorer

Setelah aset kubus data Anda diserap dan dikonfigurasi, Anda dapat memvisualisasikannya di Planetary Computer Pro Explorer. Panduan langkah demi langkah untuk menggunakan Explorer dapat diikuti di Mulai Cepat: Menggunakan Penjelajah di Microsoft Planetary Computer Pro.

Meskipun Microsoft Planetary Computer Pro menyertakan tiler yang dapat digunakan untuk memvisualisasikan beberapa aset kubus data, ada beberapa peringatan yang perlu diperhatikan dalam hal setiap jenis data yang didukung.

Visualisasi NetCDF dan HDF5

Tidak semua himpunan data NetCDF yang dapat diserap ke dalam Microsoft Planetary Computer kompatibel dengan tingkat visualisasi Planetary Computer Pro. Himpunan data harus memiliki sumbu X dan Y, koordinat lintang dan bujur, serta dimensi dan batas spasial untuk divisualisasikan. Misalnya, himpunan data di mana garis lintang dan bujur adalah variabel, tetapi bukan koordinat, tidak kompatibel dengan pengubah ubin Planetary Computer Pro.

Sebelum mencoba memvisualisasikan himpunan data NetCDF atau HDF5, Anda dapat menggunakan yang berikut ini untuk memeriksa apakah memenuhi persyaratan.

  1. Menginstal dependensi yang diperlukan

    pip install xarray[io] rioxarray cf_xarray

  2. Jalankan fungsi berikut:

    import xarray as xr
import cf_xarray
import rioxarray

def is_dataset_visualizable(ds: xr.Dataset):
    """
    Test if the dataset is compatible with the Planetary Computer tiler API.
    Raises an informative error if the dataset is not compatible.
    """
    if not ds.cf.axes:
        raise ValueError("Dataset does not have CF axes")
    if not ds.cf.coordinates:
        raise ValueError("Dataset does not have CF coordinates")
    if not {"X", "Y"} <= ds.cf.axes.keys():
        raise ValueError(f"Dataset must have CF X and Y axes, found: {ds.cf.axes.keys()}")

    if not {"latitude", "longitude"} <= ds.cf.coordinates.keys():
        raise ValueError("Dataset must have CF latitude and longitude coordinates, "
                         f"actual: {ds.cf.coordinates.keys()}")

    if ds.rio.x_dim is None or ds.rio.y_dim is None:
        raise ValueError("Dataset does not have rioxarray spatial dimensions")

    if ds.rio.bounds() is None:
        raise ValueError("Dataset does not have rioxarray bounds")

    left, bottom, right, top = ds.rio.bounds()
    if left < -180 or right > 180 or bottom < -90 or top > 90:
        raise ValueError("Dataset bounds are not valid; they must be within [-180, 180] and [-90, 90]")

    if ds.rio.resolution() is None:
        raise ValueError("Dataset does not have rioxarray resolution")

    if ds.rio.transform() is None:
        raise ValueError("Dataset does not have rioxarray transform")

    print("✅ Dataset is compatible with the Planetary Computer tiler API.")

Visualisasi GRIB2

Aset GRIB2 yang telah diserap ke dalam Microsoft Planetary Computer Pro dapat divisualisasikan di Explorer selama mereka memiliki file Indeks terkait (.idx) yang disimpan dalam kontainer Blob Storage yang sama. File Indeks dihasilkan selama penyerapan dan diperlukan untuk akses dan penyajian data GRIB2 yang optimal.

Visualisasi Zarr

Aset Zarr yang diserap ke dalam Microsoft Planetary Computer Pro dapat divisualisasikan di Explorer selama Konfigurasi Render menentukan variabel dan irisan waktu yang mana untuk dirender dengan parameter sel pada bidang options. Kegagalan untuk melakukannya akan mengakibatkan Explorer mencoba merender semua variabel dan irisan waktu penyimpanan Zarr sekaligus, yang akan menyebabkan Explorer mengalami crash.

Ukuran penyimpanan data Zarr dan potongan spasial juga akan berdampak pada kinerja. Anda harus bertujuan untuk menjaga ukuran total penyimpanan Zarr di bawah 2 GB, dan setiap potongan kurang dari 100 MB untuk performa optimal tiler.

Slider waktu untuk visualisasi kubus data

Jika aset kubus data Anda memiliki komponen temporal, Anda dapat menggunakan slider waktu di Explorer untuk memvisualisasikan perubahan dari waktu ke waktu. Slider waktu akan muncul secara otomatis jika Item STAC Anda berisi asset dengan dimensi time dan bidang extent serta step.

 [! CATATAN] Saat ini kami tidak menawarkan dukungan penggeser waktu untuk aset Zarr. Karena itu, sangat penting bagi Anda untuk menentukan irisan waktu mana yang ingin Anda visualisasikan dalam konfigurasi render. Jika tidak dilakukan, Explorer akan mencoba merender semua potongan waktu dari penyimpanan Zarr sekaligus, yang akan mengakibatkan Explorer menjadi crash.

Konten terkait

  • Last updated on