Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Puede usar desencadenadores de actualización de tablas para desencadenar una ejecución del trabajo cuando se actualizan las tablas de origen. Use esta característica para ejecutar un trabajo cuando los nuevos datos estén listos sin necesidad de ejecutar continuamente un clúster o conocimientos de los procesos que actualizan una tabla.
Funcionamiento de los desencadenadores de actualización de tablas
Un desencadenador de actualización de tabla comprueba si hay actualizaciones de tabla y, cuando se actualiza una tabla, se ejecuta el trabajo. El desencadenador se puede ejecutar cuando se actualiza una tabla o cuando se actualizan todas las tablas supervisadas por el desencadenador. Los desencadenadores de actualización de tablas no incurren en costos adicionales distintos de los costos del proveedor de nube asociados a enumerar tablas y leer actualizaciones desde la ubicación de almacenamiento.
Se puede configurar un desencadenador de actualización de tabla para supervisar una o varias tablas de cambios de datos, como actualizaciones, combinaciones y eliminaciones. Estas tablas pueden ser tablas administradas por Unity Catalog Delta e Iceberg, tablas externas de Unity Catalog respaldadas por Delta Lake, vistas materializadas, tablas de streaming y vistas de Unity Catalog o vistas métricas que dependan de tablas compatibles. Al seleccionar varias tablas, puede especificar si se desencadena un trabajo cuando se actualiza cualquiera o todas las tablas.
También puedes configurar desencadenadores en las tablas y vistas de OpenSharing y en las tablas del sistema. Consulte Añadir un desencadenador a OpenSharing y a las tablas del sistema.
Requisitos
El principal configurado en el campo Run as del trabajo debe tener SELECT permisos en cada objeto que el disparador monitoriza, porque el disparador lee los metadatos y el historial de cambios de cada objeto para detectar actualizaciones. Esto se aplica a todas las fuentes soportadas:
-
Tablas del Catálogo de Unity:
SELECTen la tabla, además deUSE CATALOGyUSE SCHEMAen su catálogo y esquema. -
Vistas de Unity Catalog:
SELECTen las tablas subyacentes de la vista. -
Objetos compartidos y tablas del sistema de OpenSharing:
SELECTen el objeto compartido o la tabla del sistema.
Si la entidad de Ejecutar como no tiene SELECT en un objeto supervisado, el desencadenador no se puede evaluar y el trabajo no se ejecuta. Para revisar o cambiar la identidad con la que se ejecuta un trabajo, consulte Configurar el Ejecutar como usuario para las ejecuciones de trabajo.
Adición de un desencadenador de actualización de tabla
Para agregar un desencadenador de actualización de tabla a un trabajo existente:
En el panel de navegación izquierdo del área de trabajo, haga clic en Trabajos y canalizaciones.
En la lista de trabajos, haga clic en el nombre del trabajo al que desea agregar un desencadenador.
En el panel derecho, en Programaciones y desencadenadores, haga clic en Agregar desencadenador.
En Tipo de desencadenador, seleccione Actualización de tabla.
En Tablas, agregue las tablas que desea supervisar para ver las actualizaciones.
Si selecciona más de una tabla, configure una opción en Activar cuando para especificar si desea que un trabajo se ejecute cuando Todas las tablas estén actualizadas o cuando Cualquiera de las tablas esté actualizada.
(Opcional) Para configurar opciones avanzadas, haga clic en Opciones avanzadas.
- Tiempo mínimo entre desencadenadores en segundos: el tiempo mínimo para esperar a desencadenar una ejecución después de que se complete una ejecución anterior. Las tablas actualizadas durante este período desencadenan una ejecución solo después de que expire el tiempo de espera. Azure Databricks espera esta cantidad de tiempo antes de desencadenar una ejecución, incluso si se actualizan las tablas supervisadas.
- Esperar después del último cambio en segundos: el tiempo de espera para desencadenar una ejecución después de una actualización de tabla. Las actualizaciones de tablas adicionales durante este período restablecen el temporizador. Esta configuración se puede usar cuando las actualizaciones de tabla vienen en lotes y todo el lote debe procesarse después de actualizar todas las tablas.
Nota:
Si se utilizan ambas opciones, el disparador espera el tiempo mínimo entre activaciones y luego espera el tiempo establecido después del último cambio. Por ejemplo, si tiene un tiempo mínimo de 120 segundos y una espera después de los últimos cambios de 60 segundos, no desencadena la ejecución hasta que haya transcurrido al menos 120 segundos, incluso si se produce una actualización de tabla en los primeros 60 segundos. Además, si una actualización entra en 5 segundos y, a continuación, otra a 115 segundos, la espera después del último cambio significa que una ejecución no se desencadena hasta después de 175 segundos.
Para validar la configuración, haga clic en Desencadenador de prueba.
Haz clic en Guardar.
Nota:
También puede configurar desencadenadores de actualización de tablas desde la Jobs API. Agregue un trigger objeto a una jobs/create, jobs/update o jobs/reset operación.
Para editar, pausar o quitar este desencadenador más adelante, use la sección Programaciones y desencadenadores del panel Detalles del trabajo . Consulta Gestionar los desencadenantes existentes.
Para iniciar una ejecución solo cuando tus datos estén listos, puedes añadir una condición SQL a este activador (Beta). Consulte Añadir condiciones SQL a los desencadenadores de trabajos.
Adición de un desencadenador a OpenSharing y tablas del sistema
Además de las tablas locales, puede configurar desencadenadores de actualización de tablas para supervisar los datos compartidos con el área de trabajo a través de OpenSharing y tablas del sistema. Por ejemplo, puede desencadenar un trabajo cada vez que se produzcan nuevos registros de facturación en una tabla del sistema o cada vez que un proveedor actualice una tabla compartida.
Puede activar esta acción para los siguientes objetos compartidos:
- Tablas de openSharing
- Vistas de OpenSharing
- Vistas de métricas de OpenSharing
- Vistas materializadas de OpenSharing
- Tablas de streaming de OpenSharing
- Tablas del sistema
Sigue los pasos en Añadir un activador de actualización de tabla y selecciona las tablas compartidas, vistas o tablas del sistema que quieres monitorizar.
Desencadenadores de actualización de tablas con eventos de archivo
Para obtener el mejor rendimiento y escalabilidad, habilite los eventos de archivo en la ubicación externa donde se almacenan las tablas. Este paso de configuración única mejora la eficacia de los desencadenadores de actualización de tabla y desbloquea otras características, incluidos desencadenadores de carga automática y de llegada de archivos más eficaces.
Cuando se habilitan eventos de archivo, Databricks realiza automáticamente un seguimiento de los metadatos de ingesta mediante notificaciones de cambios del proveedor de nube, lo que da lugar a actualizaciones de tablas más rápidas y eficaces.
Se requieren eventos de archivo para que un disparador pueda monitorizar más de 10 tablas. Consulta cómo las tablas se contabilizan para el límite de activación.
Si las tablas están en el almacenamiento de nivel raíz de metastore, conviértalas primero en una ubicación externa y, a continuación, habilite los eventos de archivo en esa ubicación.
Para preguntas comunes sobre los eventos de archivo, consulte Preguntas más frecuentes sobre eventos de archivo.
Parámetros de trabajo asociados a desencadenadores de actualización de tablas
Cuando se usan desencadenadores de actualización de tablas para un trabajo, hay disponibles tres nuevas referencias de valor dinámico para usarlas como valores de parámetro en el trabajo.
-
{{job.trigger.table_update.updated_tables}}: una lista JSON de tablas actualizadas desde la última ejecución del trabajo. -
{{job.trigger.table_update.`<catalog.schema.table>`.commit_timestamp.iso_datetime}}– la marca de tiempo de confirmación más reciente que desencadenó la ejecución del trabajo. -
{{job.trigger.table_update.`<catalog.schema.table>`.version}}– la versión de confirmación más reciente que desencadenó la ejecución del trabajo.
Para commit_timestamp y version, hay varias versiones de la referencia de valor dinámico. Cada tabla supervisada tiene un <catalog.schema.table> con el nombre completo de la tabla para la que desea datos. Si solo hay una tabla monitorizada en el desencadenador, se muestra un valor sin el <catalog.schema.table>. Por ejemplo, puede usar {{job.trigger.table_update.commit_timestamp.iso_datetime}}.
Para obtener más información sobre los parámetros de trabajo, vea Parametrizar trabajos.
Recibir notificaciones de fallos en los desencadenadores de actualización de tabla
Para recibir una notificación de si un desencadenador de actualización de la tabla devuelve un error en la evaluación, configure las notificaciones de correo electrónico o de destino del sistema en caso de que se produzca un error de trabajo. Consulte Incorporación de notificaciones en un trabajo.
Limitaciones
Los desencadenadores de actualización de tablas tienen las siguientes limitaciones:
- Un disparador puede monitorizar hasta 25 tablas. Para monitorizar más de 10 tablas, es necesario habilitar eventos de archivo para cada tabla monitorizada. Consulta cómo las tablas se contabilizan para el límite de activación.
- En el caso de las tablas que residen en ubicaciones sin eventos de archivo, se puede configurar un máximo de 1000 trabajos con un desencadenador de actualización de tabla.
- Se puede crear un máximo de 1000 desencadenadores de actualización de tabla en objetos OpenSharing o tablas del sistema por área de trabajo.
- OpenSharing entre dominios normativos no es compatible con los desencadenadores de actualización de tablas.
Los desencadenadores en las vistas del catálogo de Unity tienen las siguientes limitaciones adicionales:
Los desencadenadores de actualización de tablas solo admiten la supervisión de vistas de Unity Catalog o de métricas que dependan de tablas que, a su vez, sean compatibles con dichos desencadenadores. En particular, no se admiten las siguientes vistas:
- Vistas que usan
read_files(pueden leer desde una tabla compatible que lee archivos, pero no pueden usarread_filesdirectamente ). - Vistas que dependen de tablas que no están en el catálogo de Unity.
- Vistas que dependen de tablas federadas.
- Vistas que usan
La creación de desencadenadores para vistas que contienen dependencias no admitidas sigue siendo correcta, pero no se desencadena ninguna ejecución de trabajo cuando se actualiza una dependencia no admitida.
Los desencadenadores de actualización de tablas supervisan los cambios en las tablas dependientes de una vista y considera la vista actualizada si se actualiza alguna de las tablas dependientes. Es posible que la ejecución de un trabajo se inicie debido a cambios de datos filtrados por la definición de vista.
Las tablas fuente para una vista cuentan para el límite de 25 tablas por disparador cuando se activan eventos de archivo para cada una de las tablas. Cuando los eventos del archivo están desactivados, el límite es 10.
- Por ejemplo, si una vista depende de 26 tablas, no es posible usarla en un disparador de actualización de tabla. De manera similar, un disparador con dos vistas, cada una de las cuales depende de 14 tablas, cuenta como 28 tablas.
Cómo se contabilizan las tablas para el límite de activadores
El límite de tabla se aplica a las tablas físicas que un trigger supervisa, no al número de objetos que seleccionas:
- Cada tabla, vista materializada o tabla de streaming cuenta como una sola tabla.
- Cada vista o vista métrica cuenta como el número de tablas fuente de las que depende. Las tablas fuente se cuentan por separado para cada vista, por lo que una tabla de la que dependen dos vistas monitorizadas cuenta dos veces.
Para monitorizar más de 10 tablas, activa los eventos de fichero en cada tabla monitorizada, incluidas las tablas de origen de las vistas monitorizadas. Si alguna de estas tablas no tiene habilitados los eventos de archivo, no se podrá guardar un activador que supervise más de 10 tablas o no se evaluará correctamente. Si los eventos de archivo se desactivan posteriormente en una de estas tablas, el disparador no se evalúa hasta que vuelves a activar los eventos de archivo o reduces el disparador a 10 tablas o menos.