Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Usa una condición SQL para comprobar tus datos antes de que empiece una ejecución de trabajo desencadenada. Cuando se activa el disparador, Azure Databricks ejecuta una consulta SQL guardada en un almacén de SQL que elijas. La ejecución comienza solo si el resultado de la consulta cumple la condición. Por ejemplo, ejecuta un trabajo solo cuando una tabla upstream ha terminado de cargar o se ha aprobado un control de calidad de datos, sin añadir una tarea de verificador separada al trabajo.
Importante
Esta característica se encuentra en su versión beta. Para usarlo, un administrador del área de trabajo debe activar Condiciones SQL para desencadenadores de la página Versiones preliminares. Consulte Administrar versiones preliminares de Azure Databricks.
Requirements
- Debe tener el permiso PUEDE ADMINISTRAR en el trabajo para configurar sus desencadenadores.
- Necesitas una consulta guardada que no use parámetros de consulta. Debes tener acceso a la consulta y poder ejecutarla en el SQL warehouse que selecciones.
- La identidad Run as del trabajo debe poder abrir la consulta guardada, tener CAN USE en el almacén SQL y tener acceso de lectura a todas las tablas que lea la consulta. La consulta de la condición se ejecuta con esta identidad.
Cómo funcionan las condiciones SQL
El activador decide cuándo comprobar. La condición SQL decide si iniciar una ejecución. Una vez que se activa el desencadenador, Azure Databricks ejecuta la consulta en modo de solo lectura. Una ejecución comienza solo cuando se cumplen tanto el disparador como la condición SQL.
Puedes añadir una condición SQL a un disparador programado, de actualización de tabla, de llegada de archivos, de actualización de modelo o de finalización de trabajo. Los disparadores continuos no soportan condiciones SQL.
Elige cómo Azure Databricks evalúa el resultado de la consulta:
| Tipo de condición | Valor de API | Empieza una ejecución cuando | Requisitos de consulta |
|---|---|---|---|
| La consulta devuelve filas | QUERY_RETURNS_ROWS |
El resultado contiene al menos una fila. | None. Cero filas significa que no se cumple la condición. |
| Cambios en el valor del resultado | RESULT_VALUE_CHANGES |
El resultado difiere del valor en la comprobación anterior. | Debe devolver exactamente una fila y una columna. El valor debe ser 1 MiB o menor. |
Para Cambios en el valor del resultado, Azure Databricks ejecuta la consulta en segundo plano justo después de guardar el disparador y almacena el resultado como línea base. Esta comprobación no inicia una ejecución. Las comprobaciones posteriores inician una ejecución cuando el resultado difiere del valor almacenado. Cambiar la consulta, el almacén SQL o el tipo de condición en el trigger reinicia la línea base, y Azure Databricks almacena una nueva de la misma manera. Poner el desencadenador en pausa o modificar otra configuración del mismo también puede restablecerlo. Editar el texto de la consulta guardada no la reinicia.
Cada comprobación funciona de la siguiente manera:
- Una comprobación, que incluye el inicio del almacén SQL, agota el tiempo de espera al cabo de 5 minutos. Si una comprobación supera el tiempo de espera, no se inicia ninguna ejecución, y el desencadenador vuelve a realizar la comprobación en su siguiente evaluación.
- Un disparador se ejecuta como mucho una comprobación a la vez. Si el disparador vence mientras la comprobación sigue en marcha, Azure Databricks omite esa evaluación en lugar de ponerla en cola.
- Si la consulta tiene más de una sentencia, solo se utiliza el resultado de la última sentencia.
- Las condiciones SQL solo se aplican a las ejecuciones que inicia el disparador. Ejecutar ahora y otras ejecuciones manuales no comprueban la condición SQL.
Sugerencia
En La consulta devuelve filas, asegúrese de que la consulta no devuelva cero filas cuando los datos no estén listos. Una consulta como SELECT count(*) > 100 FROM main.sales.orders devuelve una fila incluso cuando el recuento es 100 o menos, por lo que se cumple la condición. Filtra con WHERE o HAVING en su lugar:
SELECT 1
FROM main.sales.orders
WHERE order_date = current_date()
HAVING count(*) > 100
Añadir una condición SQL a un trigger
- En la barra lateral del área de trabajo, haga clic en Trabajos y canalizaciones y luego abra el trabajo.
- En Programaciones y desencadenadores, haz clic en Añadir desencadenador o edita un desencadenador existente.
- Selecciona el tipo de activador y configura el activador.
- Despliega Avanzado y luego haz clic en Añadir condición SQL.
- Selecciona la consulta SQL y el SQL Warehouse.
- En "Activar cuando", selecciona "La consulta devuelve filas" o "El valor del resultado cambia".
- Haz clic en Guardar.
El trigger de prueba comproba que el trabajo puede usar la consulta guardada. Confirma que la consulta existe, no está en la papelera y no tiene parámetros, pero no ejecuta la consulta. Para ver el resultado de la consulta, ejecuta la consulta en el editor SQL.
Para eliminar una condición, edita el desencadenador, expanda Avanzado y haga clic en Eliminar condición SQL.
Configura con la API, CLI o bundles
Establezca sql_condition en sql_query_id, warehouse_id y trigger_mode. Para un disparador programado que utiliza una expresión cron, configúralo en schedule. Para otros tipos de disparador, ponlo en trigger, junto a la configuración de tipo de disparador. Con la Multiple Triggers Beta, configúrala en cada entrada en triggers.
REST API
Guarda esta solicitud como update-job.json y envíala a POST /api/2.2/jobs/update en la API de Jobs. Sustituya los ID por sus ID de trabajo, consulta guardada y almacén SQL.
{
"job_id": 9001,
"new_settings": {
"trigger": {
"pause_status": "UNPAUSED",
"table_update": {
"table_names": ["main.sales.orders"],
"condition": "ANY_UPDATED"
},
"sql_condition": {
"sql_query_id": "fe25e731-92f2-4838-9fb2-1ca364320a3d",
"warehouse_id": "5d409943fcd32c6f",
"trigger_mode": "QUERY_RETURNS_ROWS"
}
}
}
}
CLI
Guarda el cuerpo de la solicitud desde la pestaña API REST como update-job.json, y luego ejecuta:
databricks api post /api/2.2/jobs/update --json @update-job.json
Paquetes
Para los Paquetes de Automatización Declarativa, añade las siguientes configuraciones a un recurso de trabajo existente, junto con sus tareas:
resources:
jobs:
orders_report:
trigger:
pause_status: UNPAUSED
periodic:
interval: 1
unit: DAYS
sql_condition:
sql_query_id: fe25e731-92f2-4838-9fb2-1ca364320a3d
warehouse_id: 5d409943fcd32c6f
trigger_mode: RESULT_VALUE_CHANGES
Las agrupaciones no pueden crear consultas guardadas. Crea primero la consulta en el espacio de trabajo y luego haz referencia a su ID.
Un sql_condition que envías a jobs/update reemplaza al actual en su totalidad, así que incluye todos sus campos. Si omites sql_condition, la condición actual se mantiene. Para actualizar múltiples disparadores, consulta Añadir múltiples disparadores a un trabajo.
Monitorizar comprobaciones de condición SQL
- Para los disparadores programados, el estado del disparador en la página del trabajo muestra si se ha cumplido la última comprobación de condición SQL. Haz clic en Detalles de ejecución de la consulta para abrir la instrucción en el historial de consultas.
- Para leer la última comprobación que se ejecutó sin error, llama a la API Get Job con
include_trigger_state=truey leetrigger_state.sql_condition. Ellatest_condition_evaluation_satisfiedcampo muestra si esa comprobación cumplió la condición elatest_condition_evaluation_sql_statement_ididentifica su instrucción en el historial de consultas. Una comprobación fallida no cambia estos campos. Con múltiples activadores, leetrigger_details[].state.sql_condition. - Para cada ejecución iniciada por una condición SQL, el campo Lanzado en la lista de ejecuciones y en la página de detalles de la ejecución muestra una etiqueta SQL. Haz clic en él y, a continuación, en Detalles de ejecución de la consulta para abrir la comprobación de esa ejecución en el historial de consultas.
- Si una comprobación falla por una razón que puedes arreglar, el error aparece en el estado del activador en la página de la tarea. Azure Databricks también envía el error a las notificaciones de fallo del trabajo, incluyendo destinatarios de correo electrónico y destinos de webhooks. Recibes una notificación cuando una condición de funcionamiento empieza a fallar, no una por cada comprobación fallida. El error permanece hasta la siguiente comprobación exitosa. Consulte Incorporación de notificaciones en un trabajo.
Cada comprobación se ejecuta como una instrucción SQL en su almacén SQL. Para revisar las comprobaciones a lo largo del tiempo, consulte la tabla del sistema de historial de consultas del almacén.
Troubleshooting
| Cuestión | Action |
|---|---|
| El trabajo se ejecuta cada vez que se activa el disparador | En La consulta devuelve filas, cambie la consulta para que no devuelva cero filas cuando los datos no estén listos. |
| Cambios de valor del resultado nunca inicia una ejecución | La línea base es el resultado de la consulta en el momento en que guardaste el disparador. Una ejecución comienza solo después de que el resultado de la consulta haya cambiado respecto a ese valor. |
| La comprobación agota el tiempo de espera | Haz que la consulta sea más rápida, o usa un almacén SQL sin servidor, que empieza más rápido. |
| No aparece Añadir condición SQL | Expanda Avanzado. Si el botón sigue faltando, pide a un administrador de espacio de trabajo que active las condiciones SQL para los triggers. |
Limitations
- Cada disparador soporta una condición SQL.
- Los disparadores continuos no soportan condiciones SQL.
- Las consultas de condición solo se ejecutan en almacenes SQL, en modo de solo lectura.
- Una comprobación, que incluye el inicio del almacén SQL, agota el tiempo de espera al cabo de 5 minutos.
- Un activador solo mantiene su última comprobación, no un historial completo de cada comprobación. Para ver comprobaciones anteriores, use la etiqueta SQL en las ejecuciones donde se inició la condición o el historial de consultas.
- Las comprobaciones se ejecutan en tu almacén SQL y se facturan como uso del almacén SQL. Una comprobación puede iniciar un almacén detenido.
- Los disparadores con condiciones SQL cuentan para el límite del espacio de trabajo de 12.000 disparadores activos.