Sdílet prostřednictvím

Rychlý start: Začínáme s datovými krychlemi v Microsoft Planetary Computer Pro

Požadavky

Nastavení zdroje příjmu dat

Než začnete ingestovat data datové krychle, budete muset nastavit zdroj příjmu dat, který bude sloužit jako vaše přihlašovací údaje pro přístup k účtu Blob Storage, kde jsou uložené vaše prostředky a položky STAC. Zdroj příjmu dat můžete nastavit pomocí spravované identity nebo tokenu SAS.

Vytvoření kolekce datových krychlí

Jakmile je zdroj příjmu dat nastavený, můžete vytvořit kolekci pro prostředky datové krychle. Postup vytvoření kolekce je možné provést v části Vytvoření kolekce STAC s microsoft planetárním počítačem Pro pomocí Pythonu.

Zpracování prostředků datové krychle

Spuštění procesu příjmu dat datové krychle a dalších datových typů lze sledovat v dokumentu Přehled příjmu dat. Jak je popsáno v přehledu datových krychlí, je však příjem dat krokem v zpracování dat planetárního počítače Pro, který se u těchto typů souborů liší. Data GRIB2 a přidružené položky STAC se ingestují stejně jako jakýkoli jiný dvourozměrný rastrový soubor, netCDF a prostředky HDF5 projdou dalším rozšiřováním dat. Generování manifestů Kerchunk je zdokumentované v přehledu datové krychle, ale je důležité si uvědomit, že prostředky Kerchunk se přidají do kontejneru Blob Storage spolu s původními prostředky a do JSON položky STAC se přidá další cube:variables pole. To je důležité při vykreslování těchto datových typů v Průzkumníku planetárního počítače Pro.

Konfigurace kolekce datových krychlí

Konfigurace shromažďování datových krychlí je dalším krokem, který bude vypadat trochu jinak než u jiných datových typů. Při konfiguraci vaší kolekce datových krychlí můžete postupovat podle kroků popsaných v Konfigurace kolekce s Microsoft Planetary Computer Pro, ale při vytváření konfigurace vykreslování je nutné vzít v úvahu následující rozdíly:

Konfigurace vykreslování pro prostředky NetCDF a HDF5

Připomínáme, že standardní argument konfigurace vykreslování ve formátu JSON vypadá takto:

[
  {
    "id": "prK1950-06-30",
    "name": "prK1950-06-30",
    "type": "raster-tile",
    "options": "assets=pr-kerchunk&subdataset_name=pr&rescale=0,0.01&colormap_name=viridis&datetime=1950-06-30",
    "minZoom": 1
  }
]

V options poli budete chtít využívat cloudově optimalizovaný prostředek Kerchunk, a ne původní asset uvedený v položce STAC. Budete také muset zahrnout subdataset_name argument, což je název proměnné, kterou chcete vykreslit.

Konfigurace vykreslování pro soubory GRIB2

Pole options pro konfiguraci vykreslování prostředků GRIB2 vypadá podobně jako v předchozím příkladu, ale argument subdataset_name nebudete muset zahrnout. Důvodem je to, že data GRIB2 jsou již optimálně strukturovaná a odkazovaná prostřednictvím jejich indexových souborů. Argument assets v tomto případě představuje pruh nebo 2D rastrové vrstvy, které chcete vykreslit. Níže je příklad konfigurace vykreslení GRIB2:

[ 
 {
    "id": "render-config-1",
    "name": "Mean Zero-Crossing Wave Period",
    "description": "A sample render configuration. Update `options` below.",
    "type": "raster-tile",
    "options": "assets=data&subdataset_bands=1&colormap_name=winter&rescale=0,10",
    "minZoom": 1
 }
]

Konfigurace vykreslování pro prostředky Zarr

Pole options pro konfiguraci vykreslování prostředků Zarr se podobá poli NetCDF a HDF5, ale v rámci assets argumentu budete muset zahrnout parametr 'sel', který umožňuje vybrat čas, krok nebo jinou proměnnou, čímž umožňuje 2D vykreslování jedné proměnné v jednom časovém řezu z úložiště Zarr s více proměnnými. Je také možné, že budete muset zahrnout parametr 'sel_method', aby byla vybrána správná proměnná, i když je zadaná hodnota mírně odlišná. Další informace o tomto parametru 'sel' najdete ve veřejné dokumentaci pro knihovnu pro čtení multidimenzionálních dat v Pythonu, která se používá v backendu Planetary Computer Pro, Xarray Níže je uveden příklad konfigurace vykreslování Zarr.

[
  {
    "id": "era5-zarr",
    "name": "era5-zarr",
    "type": "raster-tile",
    "options": "assets=data&subdataset_name=precipitation_amount_1hour_Accumulation&colormap_name=viridis&sel=time=2024-01-01&sel_method=nearest&rescale=0,0.01",
    "minZoom": 12
  }
]

Vizualizace prostředků datových krychlí v Průzkumníku

Jakmile jsou datové krychle ingestovány a nakonfigurovány, můžete je vizualizovat v Průzkumníku Planetary Computer Pro. Podrobný průvodce používáním Průzkumníka můžete sledovat v Rychlý průvodce: Použití Průzkumníka v Microsoft Planetary Computer Pro.

I když Microsoft Planetary Computer Pro obsahuje tiler, který lze použít k vizualizaci některých datových krychlí, jsou zde některá omezení, pokud jde o každý podporovaný datový typ.

Vizualizace NetCDF a HDF5

Ne všechny datové sady NetCDF, které lze ingestovat do Microsoft Planetary Computer, jsou kompatibilní se softwarem Planetary Computer Pro pro vizualizační dlaždice. Datová sada musí mít osy X a Y, souřadnice zeměpisné šířky a délky a prostorové rozměry a hranice, které se mají vizualizovat. Datová sada, ve které jsou zeměpisné šířky a délky proměnné, ale nikoli souřadnice, není kompatibilní s tilerem planetárního počítače Pro.

Než se pokusíte vizualizovat datovou sadu NetCDF nebo HDF5, můžete pomocí následujícího příkazu zkontrolovat, jestli splňuje požadavky.

  1. Instalace požadovaných závislostí

    pip install xarray[io] rioxarray cf_xarray

  2. Spusťte následující funkci:

    import xarray as xr
import cf_xarray
import rioxarray

def is_dataset_visualizable(ds: xr.Dataset):
    """
    Test if the dataset is compatible with the Planetary Computer tiler API.
    Raises an informative error if the dataset is not compatible.
    """
    if not ds.cf.axes:
        raise ValueError("Dataset does not have CF axes")
    if not ds.cf.coordinates:
        raise ValueError("Dataset does not have CF coordinates")
    if not {"X", "Y"} <= ds.cf.axes.keys():
        raise ValueError(f"Dataset must have CF X and Y axes, found: {ds.cf.axes.keys()}")

    if not {"latitude", "longitude"} <= ds.cf.coordinates.keys():
        raise ValueError("Dataset must have CF latitude and longitude coordinates, "
                         f"actual: {ds.cf.coordinates.keys()}")

    if ds.rio.x_dim is None or ds.rio.y_dim is None:
        raise ValueError("Dataset does not have rioxarray spatial dimensions")

    if ds.rio.bounds() is None:
        raise ValueError("Dataset does not have rioxarray bounds")

    left, bottom, right, top = ds.rio.bounds()
    if left < -180 or right > 180 or bottom < -90 or top > 90:
        raise ValueError("Dataset bounds are not valid; they must be within [-180, 180] and [-90, 90]")

    if ds.rio.resolution() is None:
        raise ValueError("Dataset does not have rioxarray resolution")

    if ds.rio.transform() is None:
        raise ValueError("Dataset does not have rioxarray transform")

    print("✅ Dataset is compatible with the Planetary Computer tiler API.")

Vizualizace GRIB2

Prostředky GRIB2, které byly přijaty do Microsoft Planetary Computer Pro, lze vizualizovat v Exploreru, pokud mají přidružený indexový soubor (.idx) uložený ve stejném kontejneru Blob Storage. Soubor indexu se generuje během příjmu dat a je vyžadován pro optimální přístup a vykreslování dat GRIB2.

Vizualizace Zarr

Prostředky Zarr integrované do Microsoft Planetary Computer Pro lze vizualizovat v Průzkumníku, pokud nastavení vykreslení určuje, která proměnná a časový úsek se má vykreslit pomocí parametru sel ve options poli. Pokud to neuděláte, Průzkumník se pokusí vykreslit všechny proměnné a časové řezy úložiště Zarr najednou, což způsobí pád Průzkumníka.

Výkon bude ovlivněn také velikostí úložiště Zarr a prostorových bloků. Měli byste se zaměřit na zachování celkové velikosti úložiště Zarr pod 2 GB a každý blok dat menší než 100 MB pro optimální výkon tileru.

Posuvník času pro vizualizaci datové krychle

Pokud prostředky datové krychle mají časovou komponentu, můžete pomocí posuvníku času v Průzkumníku vizualizovat změny v čase. Posuvník času se zobrazí automaticky, pokud položky STAC obsahují prostředky s time dimenzí a extent a step polem.

 [! POZNÁMKA] V současné době nenabízíme podporu posuvníku času pro prostředky Zarr. Z tohoto důvodu je důležité určit, které časové řezy chcete vizualizovat v konfiguraci vykreslování. Pokud to neuděláte, Průzkumník se pokusí vykreslit všechny časové řezy úložiště Zarr najednou, což způsobí zhroucení Průzkumníka.

Související obsah

  • Last updated on