Compartir a través de

Notas de lanzamiento de las canalizaciones declarativas de Lakeflow Spark y el proceso de actualización.

En este artículo se explica el proceso de lanzamiento de las canalizaciones declarativas de Spark de Lakeflow, cómo se gestiona el entorno de ejecución de estas canalizaciones, y se proporcionan enlaces a las notas de la versión de cada lanzamiento de canalizaciones declarativas de Spark de Lakeflow.

Canales de ejecución de las canalizaciones declarativas de Spark de Lakeflow

Note

Para ver las versiones de Databricks Runtime que se usan con una versión de Canalizaciones declarativas de Spark de Lakeflow, consulte las notas de la versión de esa versión.

Los clústeres de canalizaciones declarativas de Lakeflow Spark utilizan entornos de ejecución basados en las versiones y compatibilidad indicadas en las notas de la versión de Databricks Runtime. Databricks actualiza automáticamente los entornos de ejecución de las canalizaciones declarativas de Spark de Lakeflow para admitir mejoras y actualizaciones en la plataforma. Puede usar el campo channel en la configuración de las canalizaciones declarativas de Spark de Lakeflow para gestionar la versión del entorno de ejecución que ejecuta su canalización. Los valores admitidos son:

  • current para usar la versión actual del tiempo de ejecución.
  • preview para probar su canalización con los próximos cambios en la versión de tiempo de ejecución.

De forma predeterminada, las canalizaciones se ejecutan mediante la versión current en tiempo de ejecución. Databricks recomienda usar el entorno de ejecución current para cargas de trabajo de producción. Para obtener información sobre cómo usar la preview configuración para probar las canalizaciones con la siguiente versión en tiempo de ejecución, consulte Automatización de las pruebas de las canalizaciones con la siguiente versión en tiempo de ejecución.

Important

Las funciones marcadas como generalmente disponibles o versión preliminar pública están disponibles en el canal current.

Para obtener más información sobre los canales de canalizaciones declarativas de Spark de Lakeflow, consulte el campo en la channelconfiguración de canalizaciones declarativas de Spark de Lakeflow.

Para comprender cómo las canalizaciones declarativas de Spark de Lakeflow administran el proceso de actualización de cada versión, consulte ¿Cómo funcionan las actualizaciones de canalizaciones declarativas de Spark de Lakeflow?.

¿Cómo puedo encontrar la versión de Databricks Runtime para actualizar una canalización?

Puede consultar el registro de eventos de Canalizaciones Declarativas de Lakeflow Spark para encontrar la versión de Databricks Runtime de una actualización de canalización. Consulte Información de tiempo de ejecución.

Notas de la versión de las canalizaciones declarativas de Lakeflow Spark

Las notas de la versión de las Canalizaciones Declarativas de Lakeflow Spark se organizan por año y semana del año. Dado que las canalizaciones declarativas de Spark de Lakeflow son sin versión, tanto el área de trabajo como los cambios en tiempo de ejecución se realizan automáticamente. En las notas de la versión siguientes se proporciona información general sobre los cambios y correcciones de errores en cada versión:

¿Cómo funcionan las actualizaciones de canalizaciones declarativas de Spark de Lakeflow?

Las canalizaciones declarativas de Spark de Lakeflow se consideran un producto sin versión , lo que significa que Databricks actualiza automáticamente el entorno de ejecución de canalizaciones declarativas de Spark de Lakeflow para admitir mejoras y actualizaciones en la plataforma. Databricks recomienda limitar las dependencias externas para las canalizaciones declarativas de Spark de Lakeflow.

Databricks funciona de forma proactiva para evitar que las actualizaciones automáticas introduzcan errores o problemas en canalizaciones declarativas de Spark de Lakeflow de producción. Consulte El proceso de actualización de canalizaciones declarativas de Spark de Lakeflow.

Especialmente para los usuarios que implementan canalizaciones declarativas de Spark de Lakeflow con dependencias externas, Databricks recomienda probar de forma proactiva canalizaciones con preview canales. Consulte Automatización de las pruebas de las canalizaciones con la siguiente versión en tiempo de ejecución.

Proceso de actualización de canalizaciones declarativas de Lakeflow Spark

Databricks administra el Databricks Runtime utilizado por los recursos de cómputo de las canalizaciones declarativas de Lakeflow Spark. Las canalizaciones declarativas de Spark de Lakeflow actualizan automáticamente el tiempo de ejecución en las áreas de trabajo de Azure Databricks y supervisan el estado de las canalizaciones después de la actualización.

Si Las canalizaciones declarativas de Spark de Lakeflow detectan que una canalización no se puede iniciar debido a una actualización, la versión en tiempo de ejecución de la canalización se revierte a la versión anterior que se sabe que es estable y los pasos siguientes se desencadenan automáticamente:

  • El tiempo de ejecución de las canalizaciones declarativas de Spark de Lakeflow está fijado a la versión anterior conocida como buena.
  • Se notifica el problema al soporte técnico de Databricks.
    • Si el problema está relacionado con una regresión en el tiempo de ejecución, Databricks resuelve el problema.
    • Si el problema se debe a una biblioteca personalizada o un paquete usado por la canalización, Databricks se pone en contacto con usted para resolver el problema.
  • Cuando se resuelva el problema, Databricks inicia la actualización de nuevo.

Important

Lakeflow Spark Declarative Pipelines solo revierten las canalizaciones que se ejecutan en modo de producción con el canal configurado en current.

Automatización de las pruebas de sus canalizaciones con la próxima versión de Runtime

Para asegurarse de que los cambios en la siguiente versión del entorno de ejecución de Canalizaciones declarativas de Spark de Lakeflow no afectan a las canalizaciones, use la característica Canales declarativos de Spark de Lakeflow:

  1. Cree una canalización de almacenamiento provisional y establezca el canal en preview.
  2. En la interfaz de usuario de las Canalizaciones Declarativas de Spark en Lakeflow, cree una programación para ejecutar la canalización semanalmente y habilite las alertas para recibir una notificación por correo electrónico de los fallos de la canalización. Databricks recomienda programar ejecuciones de pruebas semanales de canalizaciones, especialmente si usa dependencias de canalización personalizadas.
  3. Si recibe una notificación de error y no puede resolverlo, abra una incidencia de soporte técnico con Databricks.

Dependencias de canalización

Lakeflow Spark Declarative Pipelines admite dependencias externas en las canalizaciones; por ejemplo, puede instalar cualquier paquete de Python mediante el %pip install comando . Las canalizaciones declarativas de Spark de Lakeflow también admiten el uso de scripts de inicialización globales y de ámbito de clúster. Sin embargo, estas dependencias externas, especialmente los scripts de inicialización, aumentan el riesgo de problemas con las actualizaciones en entorno de ejecución. Para mitigar estos riesgos, minimice el uso de scripts de inicialización en las canalizaciones. Si el procesamiento requiere scripts de inicialización, automatice las pruebas de la canalización para detectar problemas al principio; Consulte Automatización de las pruebas de las canalizaciones con la siguiente versión en tiempo de ejecución. Si usa scripts de inicialización, Databricks recomienda aumentar la frecuencia de las pruebas.

  • Last updated on