Condividi tramite

Risoluzione dei problemi di inserimento dati in Microsoft Planetary Computer Pro

I problemi di inserimento dei dati in Microsoft Planetary Computer Pro GeoCatalog in genere rientrano in due categorie: problemi di autorizzazione di accesso e errori di convalida di STAC (SpatioTemporal Asset Catalog). Questo articolo ti aiuta a identificare e risolvere questi comuni fallimenti di ingestion.

Prerequisiti

Sintomi

I flussi di lavoro di inserimento dati hanno esito negativo con codici di errore specifici. Potrebbero verificarsi due categorie principali di problemi:

  1. Errori di accesso e autorizzazione: Il processo di inserimento non riesce perché il servizio GeoCatalog non riesce a leggere i dati di origine. Potrebbero essere visualizzati codici di errore come IngestionAuthenticationFailed, IngestionResourceForbiddeno IngestionResourceUriNotFound.
  2. Errori di convalida STAC: L'inserimento ha esito negativo perché i metadati STAC forniti non sono conformi alle regole standard STAC o specifiche del servizio. Potrebbero essere visualizzati codici di errore come StacValidationFailed, InvalidStacCatalogo InvalidInputData.

Identificazione degli errori durante l'inserimento

Per l'inserimento di un singolo elemento, se si verifica un errore di inserimento, la risposta dell'API o l'interfaccia utente restituisce il codice di errore.

Screenshot di un singolo errore di inserimento di elementi che include un'evidenziazione della posizione in cui trovare il codice di errore.

Per Bulk Ingestion, gli errori possono essere diversi per ognuno dei singoli elementi STAC. Per visualizzare i singoli errori, passare al portale di Azure e individuare le impostazioni di diagnostica per la risorsa GeoCatalog. Qui è possibile abilitare i log di inserimento.

Screenshot della ricerca di GeoCatalogs nel portale di Azure.

Dopo aver abilitato la registrazione, riprovare l'inserimento dei dati. Se l'inserimento non riesce, vai alla posizione specificata nelle impostazioni di diagnostica per esaminare gli errori.

Causa 1: GeoCatalog non può accedere ai dati di origine

Il servizio GeoCatalog non dispone delle autorizzazioni necessarie per leggere i metadati STAC ( ad esempio ) e gli asset di dati associati (ad esempio catalog.json, i file GeoTIFF). Questo errore è dovuto al fatto che un'origine di inserimento valida non è configurata per il percorso di archiviazione. Le origini di inserimento devono essere configurate sia per i file di metadati che per i file di asset, se sono configurati in posizioni diverse.

Soluzione 1: Configurare le autorizzazioni d'origine per l'inserimento

  1. Verificare che l'origine di acquisizione esista

    • Passare alla scheda Impostazioni di GeoCatalog
    • Controllare se una fonte di inserimento è configurata per il contenitore di archiviazione
    • In caso contrario, creare una sorgente di acquisizione

  2. Convalidare le credenziali

    Per l'identità gestita:

    • Assicurarsi che l'identità gestita abbia il ruolo Lettore dati BLOB di archiviazione.
    • Verificare che l'assegnazione di ruolo sia nell'ambito corretto (livello contenitore o account di archiviazione)
    • Verificare che l'identità gestita sia associata a GeoCatalog

    Per Token SAS:

    • Verificare che il token non sia scaduto
    • Verificare che il token disponga di read autorizzazioni e list
    • Confermare che il token sia assegnato all'ambito del contenitore corretto

  3. Controllare l'accesso a tutte le posizioni necessarie

    Diagramma di un catalogo STAC che mostra la gerarchia di dove GeoCatalog necessita dell'accesso.

    L'ingestione massiva supporta cataloghi STAC statici che fanno riferimento ad asset collocati in archiviazione al di fuori del contenitore in cui è memorizzato il file catalog.json. Tuttavia, ogni contenitore di archiviazione richiede un'origine di inserimento per GeoCatalog per mantenere le autorizzazioni per l'inserimento dei dati.

    Verificare che GeoCatalog disponga delle autorizzazioni per:

    • File JSON del catalogo STAC
    • Tutti i file JSON degli elementi STAC
    • Tutti i file di risorse a cui si fa riferimento negli elementi STAC

  4. Ripetizione dell'inserimento: Dopo aver verificato e corretto la configurazione dell'origine di inserimento, ritentare l'inserimento.

Causa 2: Convalida dei metadati STAC non riuscita

Il servizio di inserimento applica rigorosamente la specifica STAC. L'inserimento ha esito negativo se i file JSON STAC Catalog, Collection o Item non sono conformi allo standard o soddisfano i requisiti specifici di GeoCatalog.

Soluzione 2.1: Correzione di valori e formato STAC non validi

  1. Convalida in locale: Prima di inserire, usare una libreria come pystac per convalidare gli oggetti STAC. Questo approccio può intercettare molti problemi di formattazione comuni prima di inserire dati.

  2. Controllare i campi obbligatori:

    • Verificare che tutti i campi STAC obbligatori siano presenti nei metadati.
    • Per l'inserimento a singolo elemento, il codice JSON dell'elemento STAC deve includere il collection campo, con il relativo valore impostato sull'ID della raccolta di destinazione nel GeoCatalog.

  3. Formato Datetime: Verificare che tutti i datetime campi siano conformi allo standard ISO 8601 ,ad esempio YYYY-MM-DDTHH:MM:SSZ. La pystac libreria fornisce utilità per formattare correttamente datetime.

  4. Verificare la presenza di caratteri e lunghezze non validi:

    • STAC Item IDs e Asset keys:
      • Deve contenere solo i caratteri seguenti:
        • Lettere: A-Z, a-z
        • Cifre: 0-9
        • Simboli: -, _, +, ,, (, ), .
      • Tutti gli altri caratteri non sono validi.
      • Item IDs deve contenere meno di 150 caratteri.
      • Asset keys deve contenere meno di 256 caratteri.
    • STAC Collection IDs:
      • Deve contenere solo i caratteri seguenti:
        • Lettere: A-Z, a-z
        • Cifre: 0-9
        • Simboli: -, _, .
      • Tutti gli altri caratteri non sono validi
      • Collection IDs deve contenere meno di 243 caratteri.

  5. Ripetizione dell'inserimento: Dopo aver corretto i metadati STAC, provare di nuovo l'inserimento.

Soluzione 2.2: Semplificare le estensioni STAC

  1. Identificare le estensioni: Controllare se gli elementi STAC usano estensioni STAC. Anche se potenti, aggiungono complessità alla convalida e molti non sono in uno stato definitivo.
  2. Rimuovere le estensioni non essenziali: Se si sospetta che un'estensione causi un StacValidationFailed errore, provare a rimuoverla dall'elenco dell'elemento stac_extensions STAC e da eventuali campi associati.
  3. Ripetere la convalida e riprovare: Convalidare l'elemento STAC semplificato in locale, quindi ripetere l'inserimento.

Contenuti correlati