Enviar registros serverless a volúmenes de Unity Catalog

La entrega de registros sin servidor escribe los registros de aplicaciones de trabajos sin servidor a un volumen de Unity Catalog. Los administradores de espacios de trabajo configuran un destino para el espacio de trabajo para que los equipos puedan conservar los registros y procesarlos con sus herramientas de observabilidad. Los registros se entregan de forma asíncrona tras la finalización del trabajo. La entrega puede tardar varios minutos y varía según el procesamiento y el tiempo de subida.

Importante

Esta característica se encuentra en su versión beta. Para usarlo, un administrador del espacio de trabajo debe activar la entrega de registros sin servidor a volúmenes de Unity Catalog desde la página Previews. Consulte Administrar versiones preliminares de Azure Databricks.

Requisitos

  • Un espacio de trabajo con computación serverless y Unity Catalog habilitado.
  • Versión 5 o posterior del entorno serverless.
  • Rol de administrador del espacio de trabajo para configurar la entrega de registros. Consulta Asignar el rol de administrador del espacio de trabajo a un usuario.
  • La vista previa de entrega de registros sin servidor a volúmenes del catálogo de Unity está habilitada para el espacio de trabajo. Puede que ya esté activado. Si está desactivada, un administrador del espacio de trabajo puede activarla en la página Previews. Activar la vista previa hace que la configuración esté disponible; no inicia la entrega.
  • Un volumen de destino. El administrador que configura la entrega necesita USE CATALOG en su catálogo, USE SCHEMA en su esquema y WRITE VOLUME y READ VOLUME en el volumen. Consulte Privilegios para volúmenes del catálogo de Unity.

Note

Configura la entrega solo a un volumen seguro con acceso restringido. Los registros entregados pueden contener información sensible, incluyendo correos electrónicos de usuario, rutas de almacenamiento, trazas de pila, identificadores internos y URLs firmadas temporales. No se garantiza que los registros estén libres de secretos.

Los usuarios con acceso al destino pueden leer los registros entregados, incluidos los registros de trabajos de otros usuarios. Limita el acceso al volumen en consecuencia.

Habilitar la entrega de logs

Un administrador de espacio de trabajo debe habilitar la entrega de registros para dicho espacio.

  1. Abre Configuración desde tu menú de usuario.
  2. En Administrador del espacio de trabajo, haz clic en Compute.
  3. En la sección Entrega de registros, activa la entrega de registros sin servidor.
  4. En Configurar entrega de registros, introduzca una ruta de Volumen, como /Volumes/observability/production/serverless_logs, o haga clic en el icono de carpeta para navegar por los volúmenes.
  5. Haz clic en Guardar. Guardar el destino permite la entrega.

La configuración se aplica a nivel de espacio de trabajo. No necesitas configurar cada trabajo por separado.

Lee los logs recibidos

La salida de la aplicación incluye la salida estándar y el error estándar del código de usuario, incluyendo funciones definidas por el usuario (UDFs). Utiliza el Explorador de Catálogos para navegar por el volumen de destino e inspeccionar los archivos entregados. Consulte cómo trabajar con archivos en volúmenes de Unity Catalog.

La entrega de registros no proporciona métricas de clúster ni perfiles de consulta. Utiliza la página de ejecución de trabajos para investigar el estado y el rendimiento de la ejecución junto con los registros de la aplicación. Consulte Supervisión de trabajos de Lakeflow.

Consultar los registros entregados con SQL

Usa read_files para consultar los archivos de texto entregados. Sustituye la ruta del volumen en este ejemplo por tu ruta de destino. Para leer los registros, necesitas USE CATALOG en el catálogo, USE SCHEMA en el esquema y READ VOLUME en el volumen.

Crea una vista temporal que extraiga los identificadores de trabajo y ejecución de la ruta del archivo y mantenga cada línea de salida de log:

CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
  regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
  regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
  regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
  _metadata.file_name AS file_name,
  value AS log_line
FROM read_files(
  '/Volumes/observability/production/serverless_logs/',
  format => 'text'
);

Encuentra líneas que contienen errores entre las ejecuciones de tareas:

SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';

Identifica los trabajos con más líneas de error:

SELECT
  job_id,
  count(*) AS error_lines,
  count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;

Estas consultas buscan el texto ERRORliteral . Ajusta el filtro para que coincida con el formato de registro de tu aplicación. Consulte read_files función con valores de tabla.

Cambia el destino o desactiva la entrega

Para cambiar el destino, abre Configuración > Compute > Entrega de registros, haz clic en el icono del lápiz junto al nombre del volumen, introduce o navega hasta una nueva ruta y haz clic en Guardar. Guardar un destino permite la entrega, incluso cuando la entrega fue deshabilitada.

Para desactivar la entrega, abre la sección de Configuración > Compute > Log delivery y desactiva la Serverless log delivery. La configuración mantiene el destino para que puedas habilitar el envío de nuevo sin seleccionar otro volumen. Desactivar la entrega no elimina archivos ya escritos en el volumen. Gestiona el acceso y la retención de esos archivos por separado.

Solucionar la falta de logs

Si los logs no aparecen tras completar la tarea:

  1. Comprueba que entrega de logs sin servidor esté habilitada en Configuración > Compute > entrega de logs. Activar solo la vista previa no inicia la entrega.
  2. Comprueba que el volumen configurado existe y que el administrador que configuró la entrega conserva los permisos requeridos.
  3. Confirma que el trabajo utiliza computación serverless y produce la salida de la aplicación. Espere varios minutos tras completar el trabajo para la entrega asincrónica. El tiempo de procesamiento y subida puede retrasar la entrega.

Para la entrega clásica de logs de cómputo, véase Entrega de logs de cómputo.

  • Se actualizó por última vez el