Configuración de una canalización de Delta Live Tables sin servidor

En este artículo se describen las configuraciones de canalizaciones de Delta Live Tables sin servidor.

Databricks recomienda desarrollar nuevas canalizaciones mediante sin servidor. Es posible que algunas cargas de trabajo requieran configurar el proceso clásico o trabajar con el metastore de Hive heredado. Consulte Configuración del proceso para una canalización de Delta Live Tables y Uso de canalizaciones de Delta Live Tables con metastore de Hive heredado.

Nota:

• Las canalizaciones sin servidor siempre usan el catálogo de Unity. Unity Catalog for Delta Live Tables está en versión preliminar pública y tiene algunas limitaciones. Consulte Utiliza el Catálogo Unity con tus canalizaciones de Tablas Delta Live.

• No se puede agregar manualmente la configuración de proceso en un clusters objeto de la configuración JSON de una canalización sin servidor. Si intentan hacerlo, se producirá un error.

• Para obtener información sobre la idoneidad y la habilitación de canalizaciones DLT sin servidor, vea Habilitación del proceso sin servidor.

• Si necesita usar una conexión de Azure Private Link con las canalizaciones de DLT sin servidor, póngase en contacto con el representante de Databricks.

Requisitos

• El área de trabajo debe tener el catálogo de Unity habilitado para usar canalizaciones sin servidor.

• El área de trabajo debe estar en una región habilitada para que no haya servidor.

Configuración recomendada para canalizaciones sin servidor

Importante

El permiso de creación del clúster no es necesario para configurar canalizaciones sin servidor. De forma predeterminada, todos los usuarios del área de trabajo pueden usar canalizaciones sin servidor.

Las canalizaciones sin servidor quitan la mayoría de las opciones de configuración, ya que Azure Databricks administra toda la infraestructura. Para configurar una canalización sin servidor, haga lo siguiente:

1. Haga clic en Delta Live Tables (Tablas dinámicas delta) en la barra lateral.
2. Haga clic en Crear canalización.
3. Proporcione un nombre de canalización único.
4. Active la casilla situada junto a Sin servidor.
5. Use el selector de archivos para configurar cuadernos y archivos del área de trabajo como código fuente.
   • Debe agregar al menos un recurso de código fuente.
   • Use el botón Agregar código fuente para agregar recursos de código fuente adicionales.
6. Seleccione un catálogo para publicar datos.
7. Seleccione un esquema en el catálogo. Todas las tablas de streaming y las vistas materializadas definidas en la canalización se crean en este esquema.
8. Haga clic en Crear.

Estas configuraciones recomendadas crean una nueva canalización configurada para ejecutarse en modo desencadenado y en el canal actual . Esta configuración se recomienda para muchos casos de uso, incluido el desarrollo y las pruebas, y es adecuado para cargas de trabajo de producción que se deben ejecutar según una programación. Para más información sobre la programación de canalizaciones, consulte La tarea de canalización de Delta Live Tables para trabajos.

También puede convertir canalizaciones existentes configuradas con el catálogo de Unity para usar sin servidor. Consulte Conversión de una canalización existente para usar sin servidor.

Otras consideraciones de configuración

Las siguientes opciones de configuración también están disponibles para canalizaciones sin servidor:

• Puede optar por usar el modo de canalización continua al ejecutar canalizaciones en producción. Consulte Modo desencadenado frente a canalización continua.
• Agregue Notificaciones para las actualizaciones de correo electrónico en función de las condiciones de éxito o error. Consulte Agregar notificaciones por correo electrónico para eventos de canalización.
• Use el campo Configuración para establecer pares clave-valor para la canalización. Estas configuraciones sirven para dos propósitos:
  • Establezca parámetros arbitrarios a los que puede hacer referencia en el código fuente. Consulte Uso de parámetros con canalizaciones de Delta Live Tables.
  • Configure las opciones de canalización y las configuraciones de Spark. Consulte Referencia de propiedades de Delta Live Tables.
• Use el canal de versión preliminar para probar la canalización con cambios en tiempo de ejecución de Delta Live Tables pendientes y probar nuevas características.

Política presupuestaria

Importante

Esta característica está en versión preliminar pública.

Las directivas de presupuesto permiten a su organización aplicar etiquetas personalizadas en el uso sin servidor para la atribución de facturación pormenorizadas. Después de activar la casilla Sin servidor , aparece la configuración de directiva de presupuesto donde puede seleccionar la directiva que desea aplicar a la canalización. Las etiquetas se heredan de la directiva de presupuesto y solo los administradores del área de trabajo pueden editar las etiquetas.

Nota:

Después de asignar una directiva de presupuesto, las canalizaciones existentes no se etiquetan automáticamente con la directiva. Debe actualizar manualmente las canalizaciones existentes si desea adjuntar una directiva a ellas.

Para obtener más información sobre las directivas de presupuesto, consulte Atributos de uso sin servidor con directivas de presupuesto.

Características de canalización sin servidor

Además de simplificar la configuración, las canalizaciones sin servidor tienen las siguientes características:

• Actualización incremental para vistas materializadas: las actualizaciones de las vistas materializadas se actualizan incrementalmente siempre que sea posible. La actualización incremental tiene los mismos resultados que la recomputación completa. La actualización usa una actualización completa si los resultados no se pueden calcular incrementalmente. Consulte Actualización incremental para vistas materializadas.
• Canalización de flujo: para mejorar el uso, el rendimiento y la latencia del flujo de las cargas de trabajo de datos, como la ingesta de datos, se canalizan microlotes. En otras palabras, en lugar de ejecutar microbatches secuencialmente como el streaming estructurado estándar de Spark, las canalizaciones DLT sin servidor ejecutan microbatches simultáneamente, lo que mejora el uso de recursos de proceso. La canalización de flujo está habilitada de forma predeterminada en canalizaciones de DLT sin servidor.
• Escalado automático vertical: las canalizaciones de DLT sin servidor agregan al escalado automático horizontal proporcionado por Databricks el escalado automático mejorado asignando automáticamente los tipos de instancia más rentables que pueden ejecutar la canalización de Delta Live Tables sin errores debido a errores de memoria insuficiente. Vea ¿Qué es el escalado automático vertical?

¿Qué es el escalado automático vertical?

El escalado automático vertical de canalizaciones de DLT sin servidor asigna automáticamente los tipos de instancia disponibles más rentables para ejecutar las actualizaciones de canalización de Delta Live Tables sin fallos debido a errores de memoria insuficiente. El escalado automático vertical aumenta verticalmente cuando se requieren tipos de instancia más grandes para ejecutar una actualización de canalización y también se reduce verticalmente cuando determina que la actualización se puede ejecutar con tipos de instancia más pequeños. El escalado automático vertical determina si los nodos de controlador, los nodos de trabajo o ambos se deben aumentar o reducir verticalmente.

El escalado automático vertical se usa para todas las canalizaciones de DLT sin servidor, incluidas las canalizaciones que usan las vistas materializadas de Databricks SQL y flujo de tablas.

El escalado automático vertical funciona mediante la detección de actualizaciones de canalización que han fallado debido a errores de memoria insuficiente. El escalado automático vertical asigna tipos de instancia más grandes cuando se detectan estos errores en función de los datos de memoria insuficiente recopilados de la actualización con errores. En el modo de producción, se inicia automáticamente una nueva actualización que usa los nuevos recursos de proceso. En el modo de desarrollo, los nuevos recursos de proceso se usan al iniciar manualmente una nueva actualización.

Si el escalado automático vertical detecta que la memoria de las instancias asignadas está subutilizada de forma coherente, reducirá verticalmente los tipos de instancia que se usarán en la siguiente actualización de canalización.

Conversión de una canalización existente para usar sin servidor

Puede convertir las canalizaciones existentes configuradas con El catálogo de Unity en canalizaciones sin servidor. Complete los pasos siguientes:

1. Haga clic en Delta Live Tables (Tablas dinámicas delta) en la barra lateral.
2. Haga clic en el nombre de la canalización deseada en la lista.
3. Haga clic en Configuración.
4. Active la casilla situada junto a Sin servidor.
5. Haga clic en Guardar e iniciar.

Importante

Al habilitar sin servidor, se quitan las opciones de proceso que haya configurado para una canalización. Si vuelve a cambiar una canalización a actualizaciones sin servidor, debe volver a configurar la configuración de proceso deseada en la configuración de canalización.

¿Cómo puedo encontrar el uso de DBU de una canalización sin servidor?

Para encontrar el uso de DBU de canalizaciones DLT sin servidor, consulte la tabla de uso facturable, parte de las tablas del sistema de Azure Databricks. Consulte ¿Cuál es el consumo de DBU de una canalización DLT sin servidor?