Julio de 2022

Estas características y mejoras de la plataforma Azure Databricks se publicaron en julio de 2022.

Nota:

Las versiones se lanzan en fases. Es posible que su cuenta de Azure Databricks no se actualice hasta después de una semana o más de la fecha de lanzamiento inicial.

Databricks Runtime 11.1 y 11.1 ML son de disponibilidad general

27 de julio de 2022

Databricks Runtime 11.1 y Databricks Runtime 11.1 ML ahora están disponibles con carácter general.

Consulte Databricks Runtime 11.1 (sin soporte técnico) y Databricks Runtime 11.1 para Machine Learning (sin soporte técnico).

Photon tiene disponibilidad general

27 de julio de 2022

Photon ya está disponible con carácter general, a partir de Databricks Runtime 11.1.

Photon es el motor nativo vectorizado de consultas en Azure Databricks, escrito para ser directamente compatible con las API de Apache Spark, por lo que funciona con el código existente. Photon se ha desarrollado en C++ para aprovechar el hardware moderno y usa las técnicas más recientes en el procesamiento vectorizado de consultas para aprovechar el paralelismo de nivel de datos e instrucciones en las CPU, lo que mejora el rendimiento de los datos y las aplicaciones reales, todo ello de forma nativa en el lago de datos.

Photon forma parte de un entorno de ejecución de alto rendimiento que ejecuta las llamadas API SQL y DataFrame existentes más rápidamente y reduce el coste total por carga de trabajo. Photon se usa de forma predeterminada en los almacenes de Databricks SQL.

Consulte Photon está disponible a nivel general en las notas de la versión de Databricks Runtime 11.1.

Notificación tras la finalización del cuaderno

Del 27 de julio al 15 de agosto de 2022

Si se aleja de un cuaderno mientras se ejecuta, ahora aparece una notificación cuando finaliza. Puede habilitar o deshabilitar estas notificaciones en el explorador.

Aumento del límite de trabajos en áreas de trabajo de Azure Databricks

Del 19 al 22 de julio de 2022

Ahora puede crear hasta 10 000 trabajos en un área de trabajo de Azure Databricks al habilitar el botón de alternancia Aumento del número de trabajos en la consola de administración de Azure Databricks. Esta característica también habilita una lista de trabajos paginados al ver trabajos en la interfaz de usuario Trabajos, lo que reduce el tiempo necesario para cargar la vista de lista Trabajos.

Databricks recomienda la API de Jobs 2.1 si habilita el límite de trabajos aumentado. El uso de la API de Jobs 2.0 da como resultado un rendimiento degradado al devolver un gran número de trabajos.

Para obtener información sobre cómo habilitar esta característica, consulte Aumento del límite de trabajos guardados en un área de trabajo.

Los registros de auditoría detallados ahora pueden registrar cuándo se ejecutan las consultas de Databricks SQL.

14 de julio de 2022

Ahora puede configurar registros de auditoría para registrar cuándo se ejecutan consultas de Databricks SQL. Para ello, use el valor de configuración del área de trabajo registros de auditoría detallados. Consulte Habilitar registros de auditoría detallados. Hay un registro de auditoría para enviar una consulta y otro registro para la finalización de la consulta (incluida la cancelación).

Si los registros de auditoría detallados ya estaban habilitados para que el área de trabajo registrara comandos de cuaderno, los registros de auditoría detallados ahora incluyen automáticamente consultas de Databricks SQL para el área de trabajo.

Controlador JDBC 2.6.27 de Databricks

11 de julio de 2022

Hemos publicado la versión 2.6.27 del controlador JDBC de Databricks (descargar). Esta versión actualiza las bibliotecas de terceros, como Apache Arrow 7.0.0. Esta versión también incluye actualizaciones de la guía de configuración e instalación del archivo de licencia.

Además, en esta versión se resuelven los siguientes problemas:

  • En algunos casos en los que una conexión HTTP ha estado activa durante un largo periodo de tiempo, el conector devolvía el error NoHttpResponseException.
  • En algunos casos, las clases sin sombra Log4j del archivo JAR del conector entraban en conflicto con los archivos implementados en el entorno del usuario final. Estas clases sin sombra se han quitado del archivo JAR del conector.
  • Cuando se usaba una clase DataSource, los nombres de subprotocolo no eran los correctos.

Controlador ODBC 2.6.25 de Databricks

11 de julio de 2022

Se ha publicado la versión 2.6.25 del controlador ODBC de Databricks (descargar). En esta versión, se admite configurar el conector con el fin de mitigar las operaciones de descarga de archivos de resultados que vayan rezagadas.

Databricks Runtime 11.1 (beta)

8 de julio de 2022

Ya están disponibles las versiones beta de Databricks Runtime 11.1, 11.1 Photon y 11.1 ML.

Consulte las notas completas de la versión en Databricks Runtime 11.1 (sin soporte técnico) y Databricks Runtime 11.1 para Machine Learning (sin soporte técnico).

Mejoras en las visualizaciones de cuadernos

5 al 11 de julio de 2022: versión 3.75

La compatibilidad integrada con gráficos y visualizaciones en cuadernos ahora admite el uso de varios gráficos y perfiles de datos. Si se ejecuta una celda SQL en un cuaderno o se usa la función display en un elemento DataFrame, el cuaderno mostrará los resultados en pestañas, de forma similar a como se hace en Databricks SQL. Ahora, los cuadernos admiten la creación de visualizaciones tan enriquecidas como las que se pueden crear en Databricks SQL. Para obtener más información, consulte Visualizaciones en cuadernos de Databricks.