Databricks Runtime 6.3 (sin soporte técnico)

Artículo
03/07/2024

Databricks publicó esta imagen en enero de 2020.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 6.3, con tecnología de Apache Spark.

Nuevas características

Delta Lake

Esta versión introduce una simultaneidad mejorada. Las características clave son las siguientes:

Mejora de la simultaneidad para todas las operaciones de Delta Lake: ahora puede ejecutar más operaciones de Delta Lake simultáneamente. El control de simultaneidad optimista de Delta Lake se ha mejorado, al hacer que la detección de conflictos sea más precisa. De este modo, resultará más sencillo ejecutar flujos de trabajo complejos en tablas Delta. Por ejemplo:
- Ejecutar eliminaciones (por ejemplo, para el cumplimiento del RGPD) simultáneamente en particiones antiguas mientras se anexan otras más recientes.
- Ejecutar actualizaciones y combinaciones simultáneamente en conjuntos de particiones no contiguos.
- Ejecutar compactaciones de archivos simultáneamente con anexos.
Consulte Niveles de aislamiento y conflictos de escritura en Azure Databricks.
Mejora de la compatibilidad con la compactación de archivos: ahora puede compactar archivos reescribiéndolos con la opción de DataFrameWriterdataChange establecida en false. Esta opción permite que una operación de compactación se ejecute simultáneamente con otras de procesamiento por lotes y streaming. Para obtener más información, consulte Compactación de archivos.
Mejora del rendimiento para la combinación solo de inserción: Delta Lake ahora proporciona un rendimiento más optimizado para las operaciones de combinación que no tienen cláusulas UPDATE, solo INSERT. Además, Delta Lake garantiza que las escrituras de estas combinaciones solo de inserción únicamente anexen nuevos datos a la tabla. Por lo tanto, ahora puede usar flujos estructurados y combinaciones solo de inserción para realizar una desduplicación continua de datos (por ejemplo, registros). Consulte Desduplicación de datos al escribir en tablas Delta para obtener más información.

Agregación de puertos adicionales a una lista de permitidos cuando el aislamiento de procesos está habilitado

Nota:

Este artículo contiene referencias al término lista de permitidos, el cual Azure Databricks no usa. Cuando se quite el término del software, se quitará también del artículo.

Al habilitar características de seguridad como las ACL de tabla o el acceso directo a credenciales en el clúster, ahora puede especificar puertos de salida adicionales a los que quiera que los procesos de Python tengan acceso. Para ello, establezca la configuración de Spark para spark.databricks.pyspark.iptable.outbound.whitelisted.ports en los puertos que desee permitir. El formato admitido del valor de configuración es [port[:port][,port[:port]]...], por ejemplo: 21,22,9000:9999. El puerto debe estar dentro del intervalo válido, es decir, 0-65535.

Deshabilitación de la salida de trabajos de Scala

La salida de trabajos, como la salida del registro que se emite a stdout, está sujeta a un límite de tamaño de 20 MB. Para impedir que el controlador devuelva stdout a Azure Databricks, establezca la configuración de Spark para spark.databricks.driver.disableScalaOutput en true. La marca controla la salida de celda de los trabajos JAR y los cuadernos de Scala. Consulte Límites de tamaño de salida para trabajos JAR.

Ahora se admiten figuras de Matplotlib insertadas en cuadernos de Azure Databricks (versión preliminar pública)

Ahora puede mostrar automáticamente figuras de Matplotlib sin necesidad de pasarlas al método display. Para obtener más información, consulte Matplotlib.

Nuevo parámetro de Azure Synapse Analytics

El parámetro applicationName se establece de manera predeterminada en Databricks-User-Query. El valor predeterminado impide que la herramienta de supervisión de bases de datos de Azure genere falsas alertas de inyección de código SQL con relación a consultas. Si no se especifica o el valor es una cadena vacía, se agrega el valor predeterminado de la etiqueta a la dirección URL de JDBC. Consulte Referencia de las opciones del conector de Synapse de Azure Databricks.

Mejoras

shutil.copytree ahora es compatible con /dbfs.
Al ejecutar trabajos de producción de flujos estructurados en clústeres en modo de alta simultaneidad, en ocasiones se produce un error al reiniciarse un trabajo, debido a que el que estaba antes en ejecución no se ha finalizado correctamente. Para garantizar que la ejecución anterior se detenga, establezca la configuración de SQL en spark.sql.streaming.stopActiveRunOnRestart true en el clúster. En caso de que la secuencia no se pueda detener correctamente, se producirá una excepción de tiempo de espera transcurridos 15 segundos. En este caso, se recomienda reiniciar el clúster.
Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.

Spark de Apache

Databricks Runtime 6.3 incluye Apache Spark 2.4.4. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 6.2 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

[SPARK-30198][CORE] BytesToBytesMap no aumenta la matriz larga interna según lo previsto.
[SPARK-29918][SQL] RecordBinaryComparator debe comprobar Endianness al compararse con un valor largo.
[SPARK-30274][CORE] Evitar que la búsqueda de bytesToBytesMap se bloquee indefinidamente al mantener claves y alcanzar la capacidad máxima.
[SPARK-25392][CORE][WEBUI] Impedir que aparezca la página de error al acceder a la de grupos desde el servidor de historial.
[SPARK-30263][CORE] No registrar el valor potencialmente confidencial de las propiedades que no son de Spark y se omiten en spark-submit.
[SPARK-28637][SQL] Compatibilidad de Thrift Server con el tipo de intervalo.
[SPARK-30238][SQL] La eliminación de particiones de Hive solo puede admitir tipos integrales y de cadena.
[SPARK-30198][CORE] BytesToBytesMap no aumenta la matriz larga interna según lo previsto.
[SPARK-24666][ML] Corrección de los vectores con el valor "infinity" que genera Word2Vec cuando las numIterations son grandes.
[SPARK-30129][CORE] Establecimiento del identificador del cliente en TransportClient después de la autenticación correcta.
[SPARK-30050][SQL] El análisis y el cambio de nombre de la tabla no deben borrar la información de cubos de una tabla de Hive.
[SPARK-28152][SQL] Asignación de ShortType a SMALLINT y de FloatType a REAL para MsSqlServerDialect.
[SPARK-29971][CORE] Corrección de fugas de búfer en TransportFrameDecoder/TransportCipher.
[SPARK-29970][WEBUI] Mantenimiento del estado open/close de Timelineview.
[SPARK-29949][SQL] Corrección del formato de las marcas de tiempo de los orígenes de datos JSON/CSV.
[SPARK-27558][CORE] Tarea de limpieza correcta cuando se produce un error con la excepción de memoria insuficiente.
[SPARK-29758][SQL] Corrección del truncamiento de los campos de cadena solicitados en json_tuple.
[SPARK-29949][SQL] Corrección del formato de las marcas de tiempo de los orígenes de datos JSON/CSV.
[SPARK-29936][R] Corrección de errores de lint de SparkR y agregación de acción lint-r de GitHub.
[SPARK-29904][SQL] Análisis de marcas de tiempo con una precisión de microsegundos por orígenes de datos JSON/CSV.
[SPARK-29904][SQL] Análisis de marcas de tiempo con una precisión de microsegundos por orígenes de datos JSON/CSV.
[SPARK-26499][SQL] JdbcUtils.makeGetter no controla ByteType.
[SPARK-29682][SQL] Resolución correcta de los atributos en conflicto en Expand.
[SPARK-29875][PYTHON][SQL] Evitar el uso de la API de pyarrow.open_stream en desuso en Spark 2.4.x.
[SPARK-29850][SQL] No se debe producir una fuga de memoria al ordenar/combinar/conectar una tabla vacía.
[SPARK-28939][SQL] Propagación de SQLConf para los planes ejecutados por toRdd.

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 6.3.

Entorno del sistema

Sistema operativo: Ubuntu 16.04.6 LTS
Java: 1.8.0_252
Scala: 2.11.12
Python: 3.7.3
R: versión 3.6.2 de R (2019-12-12)
Delta Lake: 0.5.0