Configuración de una canalización sin servidor

En este artículo se describen las configuraciones de las canalizaciones sin servidor.

Databricks recomienda desarrollar nuevas canalizaciones sin servidor. Es posible que algunas cargas de trabajo requieran configurar la computación clásica o trabajar con el metastore de Hive heredado. Consulte Configuración clásica de computación para canalizaciones y Uso de Spark Lakeflow para canalizaciones declarativas con el metastore heredado de Hive.

Nota:

• Las canalizaciones sin servidor siempre usan el catálogo de Unity. Consulte Uso del catálogo de Unity con canalizaciones.
• Para conocer las limitaciones de proceso sin servidor, consulte Limitaciones de proceso sin servidor.
• No se puede agregar manualmente la configuración de cómputo en un objeto clusters de la configuración JSON de una canalización sin servidor. Si intentan hacerlo, se producirá un error.

• Si necesita usar una conexión Azure Private Link con las canalizaciones declarativas Lakeflow Spark sin servidor, por favor contacte a su representante de Databricks.

Requisitos

• El área de trabajo debe tener el catálogo de Unity habilitado para usar canalizaciones sin servidor.

• El área de trabajo debe estar en una región habilitada para que no haya servidor.

Configuración recomendada para canalizaciones sin servidor

Importante

El permiso de creación del clúster no es necesario para configurar canalizaciones sin servidor. De forma predeterminada, todos los usuarios del área de trabajo pueden usar canalizaciones sin servidor.

Las canalizaciones sin servidor quitan la mayoría de las opciones de configuración, ya que Azure Databricks administra toda la infraestructura. Al crear una nueva canalización, el valor predeterminado es usar sin servidor. Para obtener información sobre cómo configurar una canalización sin servidor, consulte Configuración de canalizaciones.

También puede convertir canalizaciones existentes configuradas con el catálogo de Unity para usar sin servidor. Consulte Convertir una canalización existente para usarla sin servidor.

Otras consideraciones de configuración

Las siguientes opciones de configuración también están disponibles para canalizaciones sin servidor:

• Puede optar por usar el modo de canalización continua al ejecutar canalizaciones en producción. Consulte Desencadenado frente al modo de canalización continua.
• Agregue Notificaciones para las actualizaciones de correo electrónico en función de las condiciones de éxito o error. Consulte Agregar notificaciones por correo electrónico para eventos de canalización.
• Use el campo Configuración para establecer pares clave-valor para la canalización. Estas configuraciones sirven para dos propósitos:
  • Establezca parámetros arbitrarios a los que puede hacer referencia en el código fuente. Consulte Uso de parámetros con canalizaciones.
  • Configure las opciones de canalización y las configuraciones de Spark. Consulte Referencia de propiedades de canalización.
• Use el canal Vista previa para probar su tubería frente a los cambios pendientes en el tiempo de ejecución de las tuberías declarativas de Lakeflow Spark y experimentar nuevas funciones.

Política de presupuesto sin servidor

Importante

Esta característica está en versión preliminar pública.

Las políticas de presupuesto sin servidor permiten a su organización aplicar etiquetas personalizadas en el uso sin servidor para la atribución de facturación pormenorizada. Después de activar la casilla Serverless, aparece la configuración de la directiva de presupuesto donde puede seleccionar la directiva que desea aplicar a la canalización. Las etiquetas se heredan de la directiva de presupuesto sin servidor y solo los administradores del área de trabajo pueden editar las etiquetas.

Nota:

Después de que se le haya asignado una política de presupuesto sin servidor, sus canalizaciones existentes no se etiquetarán automáticamente con su política. Debe actualizar manualmente las canalizaciones existentes si desea adjuntar una directiva a ellas.

Para obtener más información sobre las directivas presupuestarias sin servidor, consulte Uso de atributos con directivas de presupuesto sin servidor.

Seleccionar un modo de rendimiento

En el caso de las canalizaciones desencadenadas, puede seleccionar el modo de computación sin servidor mediante la configuración Optimización del rendimiento en el programador de canalizaciones. Cuando esta configuración está deshabilitada, la canalización usa el modo de rendimiento estándar. El modo de rendimiento estándar está diseñado para reducir los costos de las cargas de trabajo en las que se acepta una latencia de inicio ligeramente mayor. Las cargas de trabajo sin servidor que usan el modo de rendimiento estándar normalmente se inician en un plazo de cuatro a seis minutos después de desencadenarse, en función de la disponibilidad de proceso y la programación optimizada.

Cuando la optimización del rendimiento está habilitada, la canalización está optimizada para el rendimiento, lo que da lugar a un inicio y ejecución más rápidos para cargas de trabajo sensibles al tiempo.

Ambos modos usan la misma SKU, pero el modo de rendimiento estándar consume menos DBUs, lo que refleja un menor uso de cómputo.

Nota:

Para usar el modo de rendimiento estándar en canalizaciones continuas, póngase en contacto con el equipo de la cuenta de Databricks.

Características de canalización sin servidor

Además de simplificar la configuración, las canalizaciones sin servidor tienen las siguientes características:

• Actualización incremental para vistas materializadas: las actualizaciones de las vistas materializadas se actualizan incrementalmente siempre que sea posible. La actualización incremental tiene los mismos resultados que la recomputación completa. La actualización usa una actualización completa si los resultados no se pueden calcular incrementalmente. Consulte Actualización incremental para obtener vistas materializadas.

• Canalización de flujo: para mejorar el uso, el rendimiento y la latencia de las cargas de trabajo de datos de streaming, como la ingesta de datos, las microbachas se canalizaciones. En otras palabras, en lugar de ejecutar microbatches secuencialmente como el streaming estructurado estándar de Spark, las canalizaciones declarativas de Spark de Lakeflow sin servidor ejecutan microbachas simultáneamente, lo que mejora el uso de recursos de proceso. La canalización de secuencias está habilitada de forma predeterminada en canalizaciones sin servidor.
• Escalado automático vertical: las canalizaciones declarativas de Spark de Lakeflow sin servidor proporcionan un escalado automático mejorado además del escalado horizontal ofrecido por Databricks, asignando automáticamente los tipos de instancia más rentables que pueden ejecutar tu canalización sin fallos debido a errores de falta de memoria. Vea ¿Qué es el escalado automático vertical?

Conversión de una canalización existente para usar sin servidor

Puede convertir las canalizaciones existentes configuradas con El catálogo de Unity en canalizaciones sin servidor. Lleve a cabo los pasos siguientes:

1. En la barra lateral del área de trabajo de Azure Databricks, haga clic en Trabajos y canalizaciones.
2. Haga clic en el nombre de la canalización.
3. Haga clic en Configuración.
4. En la barra lateral derecha, en Proceso, haga clic en
5. Active la casilla situada junto a Sin servidor.
6. Haz clic en Guardar.

Importante

Al activar computación sin servidor, se eliminan las opciones de proceso que haya configurado para una canalización. Si vuelve a cambiar una canalización a actualizaciones sin servidor, debe volver a configurar la configuración de proceso deseada en la configuración de canalización.

¿Cómo puedo encontrar el uso de DBU de una canalización sin servidor?

Puede encontrar el uso de DBU de las canalizaciones declarativas sin servidor de Lakeflow Spark consultando la tabla de uso facturable, que es parte de las tablas del sistema de Azure Databricks. Consulte ¿Qué es el consumo de DBU de una canalización sin servidor?.