Řešení potíží s příjmem dat v Microsoft Planetary Computer Pro

Problémy s příjmem dat v Microsoft Planetárním počítači Pro GeoCatalog obvykle spadají do dvou kategorií: problémy s oprávněním přístupu a chyby ověřování STAC (SpatioTemporal Asset Catalog). Tento článek vám pomůže identifikovat a vyřešit tyto běžné chyby příjmu dat.

Požadavky

Příznaky

Pracovní postupy příjmu dat selžou s konkrétními kódy chyb. Můžete narazit na dvě hlavní kategorie problémů:

  1. Chyby přístupu a oprávnění: Proces příjmu dat selže, protože služba GeoCatalog nemůže číst zdrojová data. Může se zobrazit kódy chyb, jako je IngestionAuthenticationFailed, IngestionResourceForbiddennebo IngestionResourceUriNotFound.
  2. Chyby ověření STAC: Příjem dat selže, protože poskytnutá metadata STAC nevyhovují standardům STAC nebo pravidlům specifickým pro konkrétní službu. Může se zobrazit kódy chyb, jako je StacValidationFailed, InvalidStacCatalognebo InvalidInputData.

Identifikace chyb během příjmu dat

Pokud dojde k chybě při ingesci jedné položky, vrátí odpověď API nebo uživatelské rozhraní kód chyby.

Snímek obrazovky s chybou příjmu jedné položky včetně zvýraznění místa, kde najít kód chyby

U hromadného příjmu dat se chyby můžou lišit pro každou z jednotlivých položek STAC. Pokud chcete zobrazit jednotlivé chyby, přejděte na web Azure Portal a vyhledejte nastavení diagnostiky pro prostředek GeoCatalog. Tady můžete povolit protokoly příjmu dat.

Snímek obrazovky s hledáním GeoCatalogs na webu Azure Portal

Po povolení protokolování zkuste příjem dat znovu. Pokud se příjem dat nezdaří, přejděte do umístění, které jste zadali v nastavení diagnostiky, a zkontrolujte chyby.

Příčina 1: GeoCatalog nemá přístup ke zdrojovým datům

Služba GeoCatalog nemá potřebná oprávnění ke čtení metadat STAC (například catalog.json) a přidružených datových prostředků (například souborů GeoTIFF). Příčinou této chyby je, že pro umístění úložiště není nakonfigurovaný platný zdroj příjmu dat. Zdroje příjmu dat musí být nakonfigurované jak pro soubory metadat, tak pro soubory assetů, pokud jsou nakonfigurované v různých umístěních.

Řešení 1: Konfigurace oprávnění zdroje příjmu dat

  1. Ověření existence zdroje příjmu dat

    • Přejděte na kartu Nastavení geoCatalogu.
    • Zkontrolujte, jestli je pro kontejner úložiště nakonfigurovaný zdroj příjmu dat.
    • Pokud ne, vytvořte zdroj příjmu dat.

  2. Ověření přihlašovacích údajů

    Pro spravovanou identitu:

    • Ujistěte se, že role spravované identity je Čtenář dat služby Storage Blob.
    • Ověřte, že je přiřazení role ve správném rozsahu (na úrovni účtu úložiště nebo kontejneru).
    • Zkontrolujte, jestli je spravovaná identita přidružená k vašemu GeoCatalogu.

    Pro tokeny SAS:

    • Ověřte, že platnost tokenu nevypršela.
    • Ujistěte se, že token má oprávnění read a list.
    • Ověřte, že je token správně přiřazen ke správnému kontejneru.

  3. Zkontrolujte přístup na všechna požadovaná místa

    Diagram katalogu STAC znázorňující hierarchii, kde GeoCatalog potřebuje přístup

    Hromadný příjem dat podporuje statické katalogy STAC, které odkazují na prostředky umístěné v úložišti nad rámec kontejneru, catalog.json ve které je soubor uložen. K tomu, aby GeoCatalog udržel oprávnění pro příjem dat, vyžaduje každý kontejner úložiště zdroj příjmu dat.

    Ujistěte se, že geoCatalog má oprávnění k:

    • Soubor JSON katalogu STAC
    • Všechny JSON soubory položek STAC
    • Všechny soubory zdrojů, na které se odkazuje v STAC položkách

  4. Opakování příjmu dat: Po ověření a opravě konfigurace zdroje příjmu dat zkuste příjem dat provést znovu.

Příčina 2: Ověření metadat STAC selhalo

Služba příjmu dat přísně vynucuje specifikaci STAC. Příjem dat selže, pokud katalog STAC, kolekce nebo JSON položky nevyhovují standardům nebo nesplňují specifické požadavky GeoCatalogu.

Řešení 2.1: Oprava neplatného formátu a hodnot STAC

  1. Místní ověření: Před ingestováním použijte knihovnu, jako je pystac, abyste ověřili své STAC objekty. Tento přístup může zachytit řadu běžných problémů s formátováním před ingestováním dat.

  2. Zaškrtnout povinná pole:

    • Ujistěte se, že jsou v metadatech všechna povinná pole STAC.
    • Pro ingestování jediné položky musí JSON položky STAC obsahovat pole s hodnotou nastavenou na ID cílové kolekce ve vašem GeoCatalogu.

  3. Formát data a času: Ověřte, že všechna datetime pole odpovídají standardu ISO 8601 (například YYYY-MM-DDTHH:MM:SSZ). Knihovna pystac poskytuje nástroje pro správné formátování data a času.

  4. Zkontrolujte neplatné znaky a délky:

    • STAC Item IDsa Asset keys:
      • Musí obsahovat pouze následující znaky:
        • Písmena: A-Z, a-z
        • Číslice: 0-9
        • Symboly: -, _, +, ,, (, ), .
      • Všechny ostatní znaky jsou neplatné.
      • Item IDs musí mít méně než 150 znaků.
      • Asset keys musí mít méně než 256 znaků.
    • STAC Collection IDs:
      • Musí obsahovat pouze následující znaky:
        • Písmena: A-Z, a-z
        • Číslice: 0-9
        • Symboly: -, _.
      • Všechny ostatní znaky jsou neplatné.
      • Collection IDs musí mít méně než 243 znaků.

  5. Opakování příjmu dat: Po opravě metadat STAC zkuste příjem dat znovu.

Řešení 2.2: Zjednodušení rozšíření STAC

  1. Identifikace rozšíření: Zkontrolujte, jestli vaše položky STAC používají nějaká rozšíření STAC. I když jsou výkonné, přidávají složitost při ověřování a mnohé z nich nejsou dokončené.
  2. Odebrání jiných než základních rozšíření: Pokud máte podezření, že rozšíření způsobuje StacValidationFailed chybu, zkuste ho odebrat ze seznamu položek stac_extensions STAC a všech přidružených polí.
  3. Znovu ověřit a zkusit znovu: Místně ověřte zjednodušenou položku STAC a pak znovu spusťte její ingestování.

Související obsah

  • Last updated on