Solución de problemas de ingesta de datos en Microsoft Planetary Computer Pro

Los problemas de ingesta de datos en Microsoft Planetary Computer Pro GeoCatalog normalmente se dividen en dos categorías: problemas de permisos de acceso y errores de validación de STAC (Catálogo de activos spatioTemporales). Este artículo le ayuda a identificar y resolver estos errores comunes de ingesta.

Prerrequisitos

Síntomas

Los flujos de trabajo de ingesta de datos fallan debido a códigos de error específicos. Es posible que encuentre dos categorías principales de problemas:

  1. Errores de acceso y permisos: Se produce un error en el proceso de ingesta porque el servicio GeoCatalog no puede leer los datos de origen. Es posible que vea códigos de error como IngestionAuthenticationFailed, IngestionResourceForbiddeno IngestionResourceUriNotFound.
  2. Errores de validación de STAC: Se produce un error en la ingesta porque los metadatos de STAC proporcionados no se ajustan a las reglas estándar o específicas del servicio de STAC. Es posible que vea códigos de error como StacValidationFailed, InvalidStacCatalogo InvalidInputData.

Identificación de errores durante la ingesta

Para la ingesta de un solo elemento, si se produce un error de ingesta, la respuesta de api o la interfaz de usuario devuelve el código de error.

Captura de pantalla de un error de ingesta de un solo elemento, incluido un resaltado de dónde encontrar el código de error.

Para la Ingesta masiva, los errores pueden ser diferentes para cada uno de los elementos individuales del STAC. Para ver los errores individuales, vaya a Azure Portal y busque la configuración de diagnóstico del recurso GeoCatalog. Aquí puede habilitar Ingestion Logs.

Captura de pantalla de la búsqueda de GeoCatalogs en Azure Portal.

Una vez habilitado el registro, vuelva a intentar la ingesta. Si se produce un error en la ingesta, vaya a la ubicación especificada en la configuración de diagnóstico para revisar los errores.

Causa 1: GeoCatalog no puede acceder a los datos de origen

El servicio GeoCatalog carece de los permisos necesarios para leer los metadatos de STAC (por ejemplo, catalog.json) y los recursos de datos asociados (por ejemplo, archivos GeoTIFF). Este error se debe a que un origen de ingesta válido no está configurado para la ubicación de almacenamiento. Los orígenes de ingesta deben configurarse tanto para los archivos de metadatos como para los archivos de recursos si están configurados en ubicaciones diferentes.

Solución 1: Configuración de permisos de origen de ingesta

  1. Comprobación de que existe el origen de ingesta

    • Vaya a la pestaña Configuración de GeoCatalog.
    • Compruebe si un origen de ingesta está configurado para el contenedor de almacenamiento.
    • Si no es así, cree un origen de ingesta.

  2. Validación de credenciales

    Para la identidad administrada:

    • Asegúrese de que la identidad administrada tiene el rol Lector de datos de Storage Blob
    • Compruebe que la asignación de roles está en el ámbito correcto (cuenta de almacenamiento o nivel de contenedor)
    • Compruebe que la identidad administrada está asociada a GeoCatalog.

    Para tokens de SAS:

    • Comprobación de que el token no ha expirado
    • Asegúrese de que el token tiene read permisos y list
    • Confirmación de que el token está en el ámbito del contenedor correcto

  3. Comprobación del acceso a todas las ubicaciones necesarias

    Diagrama de un catálogo de STAC que muestra la jerarquía de dónde GeoCatalog necesita acceso.

    La ingesta masiva admite catálogos de STAC estáticos que hacen referencia a los recursos ubicados en el almacenamiento más allá del contenedor en el que se almacena el archivo catalog.json. Sin embargo, cada contenedor de almacenamiento requiere un origen de ingesta para GeoCatalog para mantener los permisos para ingerir datos.

    Asegúrese de que GeoCatalog tiene permisos para:

    • Archivo JSON del catálogo STAC
    • Todos los archivos JSON del elemento STAC
    • Todos los archivos de recursos a los que se hace referencia en los elementos de STAC

  4. Reintentar ingesta: Después de comprobar y corregir la configuración del origen de ingesta, vuelva a intentar la ingesta.

Causa 2: Error en la validación de metadatos de STAC

El servicio de ingesta aplica estrictamente la especificación de STAC. Se produce un error en la ingesta si los JSONs de STAC Catalog, Collection o Item no se ajustan al estándar o no cumplen con los requisitos específicos de GeoCatalog.

Solución 2.1: Corrección del formato y los valores de STAC no válidos

  1. Validar localmente: Antes de la ingesta, use una biblioteca como pystac para validar los objetos STAC. Este enfoque puede detectar muchos problemas comunes de formato antes de ingerir datos.

  2. Compruebe los campos obligatorios:

    • Asegúrese de que todos los campos STAC obligatorios están presentes en los metadatos.
    • Para la ingesta de un solo elemento, el JSON del elemento de STAC debe incluir el campo collection, con su valor establecido en el identificador de la colección de destino en su GeoCatalog.

  3. Formato de fecha y hora: Verifique que todos los campos datetime cumplan con el estándar ISO 8601 (por ejemplo, YYYY-MM-DDTHH:MM:SSZ). La pystac biblioteca proporciona utilidades para dar formato a las fechas y horas correctamente.

  4. Compruebe si hay caracteres y longitudes no válidos:

    • STAC Item IDsy Asset keys:
      • Solo debe contener los siguientes caracteres:
        • Letras: A-Z, a-z
        • Dígitos: 0-9
        • Símbolos: -, _, +, ,, (, , , ).
      • Todos los demás caracteres no son válidos.
      • Item IDs debe tener menos de 150 caracteres.
      • Asset keys debe tener menos de 256 caracteres.
    • STAC Collection IDs:
      • Solo debe contener los siguientes caracteres:
        • Letras: A-Z, a-z
        • Dígitos: 0-9
        • Símbolos: -, _, .
      • Todos los demás caracteres no son válidos
      • Collection IDs debe tener menos de 243 caracteres.

  5. Reintentar ingesta: Después de corregir los metadatos de STAC, vuelva a intentar la ingesta.

Solución 2.2: Simplificar las extensiones de STAC

  1. Identificar extensiones: Compruebe si los elementos de STAC usan extensiones de STAC. Aunque es eficaz, agregan complejidad a la validación y muchos no están en un estado finalizado.
  2. Quitar extensiones no esenciales: Si sospecha que una extensión está causando un StacValidationFailed error, intente quitarla de la lista del elemento de stac_extensions STAC y los campos asociados.
  3. Vuelva a validar y reintentar: Valide el elemento STAC simplificado localmente y vuelva a intentar la ingesta.

Contenido relacionado

  • Última actualización el