Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Esta página contiene las notas de lanzamiento unificadas de Databricks Runtime 18 LTS, basado en Apache Spark 4.1.0. Enumera todas las características, cambios de comportamiento y correcciones enviadas a lo largo del ciclo de versión de Databricks Runtime 18 LTS.
Note
Las versiones se almacenan provisionalmente. Es posible que su cuenta de Azure Databricks no se actualice durante unos días después de la fecha de lanzamiento inicial.
Acerca de las notas de versión unificadas
Azure Databricks libera las características de forma incremental a lo largo del ciclo de versión sin cambiar el número de versión. En lugar de páginas independientes para cada versión secundaria, todas las actualizaciones aparecen en esta sola página como entradas con fecha. Los clústeres reciben actualizaciones cuando se reinician.
Databricks Runtime 18 es la primera versión para usar este formato unificado. Anteriormente, cada versión de característica (18.0, 18.1, 18.2) tenía su propia página de notas de la versión. Esas páginas permanecen disponibles para referencia. Las características que anteriormente se habrían lanzado como la versión 18.3 o posterior ahora se lanzan como actualizaciones fechadas de Databricks Runtime 18.
A partir de Databricks Runtime 19, las versiones de Databricks Runtime siguen un ciclo de vida desde Beta (evaluación temprana) pasando por GA (desarrollo de funcionalidades, aproximadamente seis meses) hasta LTS (soporte a largo plazo, tres años de correcciones de estabilidad y seguridad). Dado que las versiones 18.0 a 18.2 se lanzaron bajo el modelo anterior, Databricks Runtime 18 es una versión de transición. Hizo la transición de GA a LTS el 23 de julio de 2026, cuando Databricks Runtime 19 estuvo disponible de forma general. Para más información sobre el ciclo de vida completo, consulte Ciclos de vida de soporte técnico de Databricks Runtime.
Databricks Runtime 18: 10 de junio de 2026
Databricks Runtime 18 ahora está disponible con carácter general (GA). Para más información sobre el ciclo de vida, consulte Ciclos de vida de soporte técnico de Databricks Runtime.
Nuevas características y mejoras
Las siguientes características y mejoras están disponibles en esta versión.
- ID de consulta de streaming de Spark Declarative Pipelines en Lakeflow: Las Spark Declarative Pipelines en Lakeflow ahora pueden establecer el ID de consulta de streaming bajo demanda.
-
Nuevas funciones de dirección IP (Vista previa pública): Hay nuevas funciones SQL disponibles para trabajar con direcciones IPv4 e IPv6 y bloques CIDR, incluyendo
ip_host,ip_cidr,ip_version,ip_network,ip_prefix_length,ip_network_last,ip_cidr_contains,ip_as_binary,ip_as_stringytry_*, y variantes para un comportamiento seguro frente a nulos. Consulte ip_host y funciones relacionadas. - Reparticionamiento de estados bajo demanda (Vista previa pública): Structured Streaming ahora permite cambiar el número de particiones de shuffle para consultas con estado sin perder el estado del punto de control. Consulte Repartición de estado bajo demanda para consultas de streaming con estado.
Correcciones y mejoras de Apache Spark
Esta versión incluye las siguientes correcciones de errores y mejoras realizadas en Spark:
- Se ha corregido el manejo incorrecto de null en expresiones
LEFT OUTER JOIN LATERALque contienenEXPLODE. Anteriormente, ciertas entradas generaron valores NULL incorrectos en los resultados. - Photon ahora pospone los errores de duplicado
field_iden la resolución del esquema Parquet hasta que se acceda al campo afectado. Las consultas que no hacen referencia al campo duplicado ahora se ejecutan correctamente en lugar de fallar durante la resolución del esquema.
Databricks Runtime 18: 8 de junio de 2026
Correcciones y mejoras de Apache Spark
Esta versión incluye las siguientes correcciones de errores y mejoras realizadas en Spark:
-
NEAREST BYahora es un tipo de combinación SQL compatible para las consultas más cercanas de K superiores. -
DESCRIBE TABLE ... PARTITIONahora es compatible con las tablas de catálogo v2. Anteriormente, esta sintaxis solo estaba disponible para las tablas v1. -
UPDATElas consultas en las tablas DSv2 ahora incluyen métricas de operación en la salida de la consulta. - Los predicados de partición DSv2 ahora admiten columnas de partición anidadas.
- Se ha corregido un error por el que las consultas de agregado que usaban la ejecución de agregado
PartialMergeoFinalpodían fallar debido a la ausencia de atributos de entrada obligatorios. - Las ordenaciones externas de gran tamaño ahora usan una fusión acotada en k vías para reducir los errores por falta de memoria al volcar datos a disco.
Databricks Runtime 18: 4 de junio de 2026
Cambios de comportamiento
Revise los siguientes cambios, que surten efecto cuando los clústeres se reinicien en este tiempo de ejecución.
-
NATURAL JOINCoincidencia de columnas sin distinción de mayúsculas y minúsculas:NATURAL JOINAhora respeta laspark.sql.caseSensitiveconfiguración (por defecto:false) al emparejar columnas comunes entre los lados izquierdo y derecho de la unión. Anteriormente, la coincidencia de columnas siempre distinguía entre mayúsculas y minúsculas, lo que provocaba que las columnas que solo se diferenciaban por el uso de mayúsculas y minúsculas (por ejemplo,IDfrente aid) no se reconocieran como columnas comunes. Esto dio lugar a una combinación cruzada silenciosa en lugar de la combinación equi-join esperada. La unión equivalenteUSINGya gestionaba esto correctamente. Para restaurar el comportamiento anterior, establezcaspark.sql.legacy.naturalJoinCaseSensitiveColumnMatchingentrue.
Databricks Runtime 18: 29 de mayo de 2026
-
Deduplicación en streaming estructurado con claves
NaN: La deduplicación en streaming estructurado ahora trata los valoresNaN(No-a-Número) que tienen patrones de bits diferentes como duplicados cuando se usa una columnadoubleo una columnafloatcomo clave de deduplicación. Anteriormente,NaNlos valores con diferentes representaciones internas se trataron como distintos y no se desduplicaron. - Se ha corregido un problema por el que los permisos de nivel de tabla se podían eliminar de las tablas de catálogos externos de Unity Catalog (por ejemplo, las tablas de conexión de Snowflake) durante la actualización de metadatos, lo que hacía que las consultas fallaran con errores
INSUFFICIENT_PERMISSIONS. Ahora se conservan los permisos cuando se actualizan los metadatos de la tabla externa.
Databricks Runtime 18: 18 de mayo de 2026
Cambios de comportamiento
Revise los siguientes cambios, que surten efecto cuando los clústeres se reinicien en este tiempo de ejecución.
-
CREATE OR REPLACE TABLE:CREATE OR REPLACE TABLEahora conserva por defecto los comentarios existentes de columnas y tablas. Anteriormente, los comentarios se quitaron al volver a crear una tabla. Las tablas y vistas administradas ahora coinciden con el comportamiento existente de las vistas materializadas y las tablas de streaming. -
Escrituras de DataFrame por nombre:
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions()ywrite.mode("append").saveAsTable()ahora convierten automáticamente las columnas de tipos compatibles (por ejemplo, deintalong) para que coincidan con el esquema de la tabla Delta de destino. Anteriormente, estas operaciones fallaban con un errorDELTA_FAILED_TO_MERGE_FIELDScuando los tipos de columna eran compatibles, pero no idénticos. El comportamiento ahora coincide con SQLINSERT INTO ... BY NAME.save()ysaveAsTable()en modo de sobrescritura no se ven afectados. -
ALTER TABLE SET TBLPROPERTIESparapipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')ahora intenta hacer que la tabla especificada sea elegible para escrituras por parte de la pipeline. Anteriormente, establecer esta propiedad en una tabla normal no tenía ningún efecto. Si la tabla no es apta para escrituras de canalización, el comando produceSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED. -
cloud_files_state: Lacloud_files_statefunción de valores de tabla (TVF) ahora incluye unadiscovery_modecolumna que muestra cómo Auto Loader descubrió cada archivo. Los archivos detectados antes de actualizar tienen unnullvalor en esta columna. -
DESCRIBE EXTENDED AS JSON: Ahora incluye los resultados de la evaluación de la optimización predictiva en su salida. Anteriormente, esta información no se devolvía en la salida JSON. -
Medidas de ventana de la vista de métricas: Ahora devuelven resultados correctos cuando las consultas usan filtros,
GROUP BY,IN/BETWEENo predicados mixtos en la columna de orden de la ventana. Anteriormente, estos patrones de filtro podían producir resultados incorrectos.
Nuevas características y mejoras
Las siguientes características y mejoras están disponibles en esta versión.
- Bibliotecas de clúster: Cuando instalas bibliotecas PyPI, ruedas o archivos requirements.txt en un clúster, la pestaña Bibliotecas y la API REST de Bibliotecas ahora muestran todos los paquetes resueltos e instalados, incluidas las dependencias transitivas. En el caso de las instalaciones que resuelven más de 500 paquetes, la lista se trunca. El informe de instalación completo está disponible en los registros de controladores del clúster.
-
array_sortcon comparadores personalizados: Photon ahora aceleraarray_sortexpresiones que utilizan comparadores personalizados para ordenar matrices de estructuras por uno o más campos. Anteriormente, estas expresiones pasaban a ejecutarse sin Photon. Para habilitar esta optimización, establezcaspark.databricks.photon.rewriteArraySortComparator.enabledentrue.
Correcciones y mejoras de Apache Spark
Esta versión incluye las siguientes correcciones de errores y mejoras realizadas en Spark:
- Las consultas SQL ahora admiten una
QUALIFYcláusula , que permite filtrar los resultados de la función de ventana directamente en la consulta. Anteriormente, esto requería encapsular la consulta en una subconsulta. -
spark.read.json,spark.read.csv, yspark.read.xmlahora acepta un DataFrame como entrada, para que puedas analizar datos en memoria sin guardarlos primero en un archivo. -
DataFrame.changes()ahora está disponible para la lectura de la salida de captura de datos de cambios (CDC) a través de la API DataFrame. - Cuando se hace referencia a una columna DataFrame desde un dataframe incorrecto, el error ahora asigna un nombre a la columna específica. También puede establecer
spark.sql.columnResolution.strictpara que Spark aplique coincidencias de columnas más estrictas y detectar estos errores anteriormente. -
MERGE INTOLa evolución del esquema ahora funciona correctamente cuando la instrucción incluyeWHEN MATCHED THEN DELETEo hace referencia a columnas anidadas mediante alias. Anteriormente, estas combinaciones podrían producir errores o generar resultados incorrectos de forma silenciosa. -
SHOW COLLATIONSLa lista de todos los cotejamientos admitidos y sus propiedades, lo cual es útil al elegir un cotejamiento para ordenar o comparar texto. - El optimizador de consultas de Spark ahora estima correctamente cuánto reducirán los filtros la cantidad de datos. Las estimaciones incorrectas hacían que Spark cargara tablas grandes por completo en memoria durante las uniones, lo que provocaba errores por falta de memoria.
- Las consultas con varias
COUNT(DISTINCT)expresiones se ejecutan más rápido porque Spark ahora reduce los datos anteriormente en el plan de ejecución en lugar de expandirlos primero. - Python UDF que usan la optimización de flechas ya no realizan una conversión de formato de datos innecesaria, lo que reduce la sobrecarga.
- Las uniones no externas entre flujos ahora pueden generar salida en modo de actualización, no solo en modo de anexado, lo que les permite escribir en más destinos de salida.
- Las conexiones JDBC ahora están cerradas correctamente cuando se cancela una tarea. Anteriormente, la cancelación podía dejar abierta una conexión, lo que provocaba que las tareas posteriores se bloquearan.
-
array_insertya no produce resultados incorrectos cuando se le pasa un número negativo muy grande como posición de inserción.
Databricks Runtime 18: 4 de mayo de 2026
Cambios de comportamiento
Revise los siguientes cambios, que surten efecto cuando los clústeres se reinicien en este tiempo de ejecución.
-
XPath: Al evaluar XPath sobre XML, Azure Databricks ya no carga definiciones externas de tipos de documento (DTD). Las consultas que anteriormente no se pudieron realizar solo debido a una referencia de DTD externa inaccesible ahora se pueden realizar correctamente. -
Comportamiento de la estructura NULL con evolución de esquemas: Para
INSERT,MERGE, y escrituras en streaming que utilizan evolución de esquema, una estructura NULL en la fuente ahora se almacena como NULL en el destino. Antes, las estructuras NULL se materializaban incorrectamente como estructuras no nulas con todos los campos establecidos en NULL. Actualice cualquier código que dependa de la recepción de una estructura que no sea NULL con campos all-NULL; esos casos ahora devuelven una estructura NULL. -
NATURAL JOIN: Ahora utiliza correctamente la coincidencia de columnas sin distinguir entre mayúsculas y minúsculas cuandospark.sql.caseSensitiveesfalse(el valor predeterminado). Anteriormente, las columnas que solo difiereban en el caso (por ejemplo,IDfrenteida ) no se reconocían como coincidencias, lo que provocabaNATURAL JOINgenerar resultados de combinación cruzada de forma silenciosa. Esta corrección alinea el comportamiento deNATURAL JOINcon las uniones deUSING. - Dependencias del AWS SDK v1: Ahora reubicadas y ya no están disponibles directamente en el classpath. Si el código depende de las bibliotecas de AWS SDK v1 proporcionadas anteriormente por Databricks Runtime, agréguelas como dependencias explícitas en el proyecto.
- Validación de dependencias UDF SQL en Unity Catalog: Unity Catalog ahora aplica validación de dependencias para funciones SQL definidas por el usuario para evitar la emisión del control de acceso. Las UDF de SQL con configuraciones de dependencia no válidas se bloquean de la ejecución.
-
LEFT OUTER JOIN LATERAL: Se ha corregido un error que eliminaba incorrectamente las filas. Las consultas que usan esta construcción ahora devuelven resultados correctos. Para revertir temporalmente al comportamiento anterior, establezcaspark.databricks.sql.optimizer.lateralJoinPreserveOuterSemanticentrue. -
regr_r2: Ahora trata correctamente el primer parámetro como la variable dependiente. Las consultas que dependían del comportamiento incorrecto anterior devuelven resultados diferentes. -
Las funciones hiperbólicas:
sinh,cosh,tanh, y las funciones hiperbólicas relacionadas ahora devuelvenInfinityen lugar de generar un error de desbordamiento cuando se reciben entradas muy grandes. -
asinhyacosh: Ahora usa el algoritmo fdlibm para la consistencia entre motores. Los resultados pueden diferir ligeramente de versiones anteriores para entradas en casos extremos. -
LIKEcoincidencia de patrones: Ahora maneja correctamente caracteres Unicode suplementarios (puntos de código por encima de U+FFFF). Los patrones que anteriormente coincidían o fallaban incorrectamente con estos caracteres ahora devuelven resultados correctos. -
VOID(NullType) columnas : Las tablas Delta ahora admitenVOID(NullType) columnas.VOIDLas columnas ya no se eliminan del esquema de tabla al ser leidas. Las operaciones de escritura no se ven afectadas.
Nuevas características y mejoras
Las siguientes características y mejoras están disponibles en esta versión.
-
CREATE OR REPLACE TEMP TABLE: Ahora se admite, lo que te permite crear o reemplazar tablas temporales en una sola sentencia. -
agg(): Ahora está disponible como alias para la funciónmeasure(). Las consultas existentes que usanmeasure()continúan funcionando sin modificaciones. -
pyspark.pipelines.testing: Ahora está disponible como alias de conveniencia paradlt.testingAPIs. - Rendimiento de listados de Auto Loader: Auto Loader ahora utiliza un método de listado más eficiente que mejora la velocidad de listado para fuentes de almacenamiento en la nube. Si los disparadores de flujo se superponen debido a las operaciones de listado de larga duración, esta optimización puede dar lugar a un aumento de los costos de la API de listado en la nube.
-
DESCRIBE HISTORYIndicadores de opción de escritura: Historial de la tabla Delta (DESCRIBE HISTORY) ahora incluye los indicadores de opción de escritura enoperationParameterspara las operacionesWRITEyREPLACE TABLE. Las marcas solo aparecen cuandotrue:isDynamicPartitionOverwrite,canOverwriteSchema,canMergeSchema,predicate, yisV1WriterSaveAsTableOverwrite. -
: Ahora disponible como API de conveniencia para crear un vacío sin columnas ni filas. -
TIMESTAMP WITH LOCAL TIME ZONE: Ahora se admite como alias de sintaxis SQL para el tipoTIMESTAMP_LTZ. -
to_jsonsortKeysopción: Lato_jsonfunción ahora acepta unasortKeysopción para producir una salida JSON con las claves ordenadas. -
spark.catalog.*: Los métodos API ahora tienen paridad de características con sus comandos DDL equivalentes para operaciones de catálogo, esquema y tablas. - [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 20 de abril de 2026
- Se ha corregido la autoridad de referencia espacial del CRS para el tipo
GEOMETRY(102100). La autoridad ahora se informa comoESRI:102100en lugar deEPSG:102100. - [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 2 de abril de 2026
- Se ha mejorado el control de errores para las consultas que escriben datos en tablas Delta que contienen una
VOIDcolumna (NullType) dentro de un tipo definido por el usuario (UDT). - Las conexiones del conector de destino JDBC en streaming ahora incorporan un tiempo de espera de socket de 30 segundos, lógica de reintento con retardo exponencial para errores transitorios (errores de conexión, interbloqueos y limitación de tasa) y una reversión controlada cuando se interrumpe la conexión.
- Se han corregido daños en el texto SQL que se producían al usar caracteres Unicode en consultas con parámetros.
-
SHOW CREATE TABLEahora produce una salida correcta para tablas y vistas con una ordenación no predeterminada. - [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 11 de marzo de 2026
Cambios de comportamiento
Revise los siguientes cambios, que surten efecto cuando los clústeres se reinicien en este tiempo de ejecución.
-
Errores de métrica de observación: Ya no causan fallos en la ejecución de consultas. Anteriormente, los errores en las cláusulas
OBSERVE(como la división por cero) podían bloquear o fallar toda la consulta. Ahora, la consulta se completa con éxito y se genera el error al llamar aobservation.get. -
cláusula
FILTERparaMEASURE: Las funciones agregadas MEASURE ahora admiten cláusulas FILTER. Anteriormente, los filtros se omitían de forma silenciosa. -
DESCRIBE FLOW: ElDESCRIBE FLOWcomando ya está disponible. Si tiene una tabla denominadaflow, useDESCRIBE schema.flow,DESCRIBE TABLE flowoDESCRIBE `flow`con comillas invertidas. -
Operaciones de conjunto booleano de SpatialSQL:
ST_Difference,ST_Intersection, yST_Unionusar una nueva implementación con las siguientes mejoras:- Las geometrías de entrada válidas siempre generan un resultado y ya no generan errores.
- Rendimiento aproximadamente 2 veces más rápido.
- Los resultados se normalizan para una salida coherente y comparable.
- Tipos de excepción para SQLSTATE: Los tipos de excepción se actualizan para soportar SQLSTATE. Si el código analiza las excepciones por coincidencias de cadenas o detecta tipos de excepción específicos, actualice la lógica de control de errores.
-
Ensanchamiento automático de tipos de streaming: Las lecturas en streaming en tablas Delta gestionan automáticamente el ensanchamiento de tipos de columna. Para requerir confirmación manual, establezca
spark.databricks.delta.typeWidening.enableStreamingSchemaTrackingentrue.
Nuevas características y mejoras
Las siguientes características y mejoras están disponibles en esta versión.
Eventos de archivo de Auto Loader por defecto: Auto Loader utiliza eventos de archivo por defecto al cargar desde una ubicación externa con eventos de archivo activados, lo que reduce las operaciones de lista y el coste en comparación con la listación de directorios. Consulte Auto Loader con la descripción general de eventos de archivo. Para usar la lista de directorios en su lugar, establezca
useManagedFileEventscomofalse.Evolución del esquema con
INSERT: Usa laWITH SCHEMA EVOLUTIONcláusula con sentencias SQL INSERT para evolucionar automáticamente el esquema de la tabla de destino durante las operaciones de inserción. Se admite paraINSERT INTO,INSERT OVERWRITEyINSERT INTO ... REPLACE. Por ejemplo:INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;Transacciones de múltiples instrucciones de Delta Sharing: las tablas de Delta Sharing que utilizan modos de uso compartido de URL prefirmada o token de nube admiten transacciones de múltiples instrucciones. En el primer acceso dentro de una transacción, la versión de la tabla se ancla y reutiliza para todas las lecturas posteriores de esa transacción.
parse_timestamp: La función SQL parse_timestamp analiza cadenas de marcas de tiempo usando múltiples patrones, con soporte para el motor Photon para mejorar el rendimiento.max_byymin_bycon opcionallimit: Las funciones agregadas max_by y min_by ahora aceptan un tercer argumentolimitopcional (hasta 100.000). Cuando se especifica, las funciones devuelven un array de hastalimitvalores, lo que simplifica las consultas top-K y bottom-K sin funciones de ventana ni CTE.DATETIMEOFFSETpara Azure Synapse : ElDATETIMEOFFSETtipo de dato es compatible con conexiones Microsoft Azure Synapse.Comentarios de las tablas de Google BigQuery: Las descripciones de las tablas de Google BigQuery se resuelven y se exponen como comentarios de tablas.
IGNORE NULLS/RESPECT NULLSparaarray_aggycollect_list: Las funciones agregadasarray_aggycollect_listahora admiten las cláusulasIGNORE NULLSyRESPECT NULLS.PIVOTAlias: LaPIVOTcláusula ahora admite alias, permitiéndote renombrar las expresiones de columnas pivotantes en la salida.Variables de scripting
CURSORSQL: El scripting SQL ahora admiteCURSORvariables para iterar sobre un conjunto de resultados de consulta fila por fila dentro de un bloque de script.Funciones agregadas matemáticas vectoriales: Están disponibles nuevas funciones agregadas matemáticas vectoriales: vector_avg, vector_sum, vector_norm y vector_normalize. Estas funciones trabajan con columnas de vectores densos y admiten cargas de trabajo de aprendizaje automático.
Trigger.AvailableNowen lectores de streaming en Python : los lectores de streaming de fuentes de datos Python ahora soportanTrigger.AvailableNowy Control de Admisión, que permite el procesamiento por lotes único de todos los datos disponibles.API de repartición de estado en PySpark: La API de repartición de estado para
TransformWithStateoperadores de streaming ya está disponible en PySpark, además de Scala. Consulte Repartición de estado bajo demanda para consultas de streaming con estado.applyInPandascorrección de rendimiento: Se ha resuelto una regresión de rendimiento de 3 veces enapplyInPandaspara grupos grandes.
Databricks Runtime 18: 10 de marzo de 2026
- Los mensajes de error para las subconsultas escalares que se usan con
EXEC IMMEDIATEahora identifican la causa específica con mayor claridad. - Se ha corregido una condición de carrera en la compactación del registro de puntos de control de streaming que podía provocar un comportamiento no determinista en las consultas de Structured Streaming.
- [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 26 de febrero de 2026
-
Los comandos SQL
SET METADATA ON COLUMNyUNSET METADATA ON COLUMNya están disponibles para gestionar metadatos semánticos en las columnas de la tabla de Unity Catalog. UseSET METADATA ON COLUMNpara adjuntar propiedades (display_name,formatysynonyms) a columnas. UseUNSET METADATA ON COLUMNpara quitar las propiedades de metadatos establecidas previamente. -
DESCRIBE TABLEahora incluye unametadatacolumna que muestra metadatos semánticos a nivel de columna como cadena JSON. - Se ha corregido un error de importación de PySpark en entornos de Windows causados por una falta de
UnixStreamServer. - [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 19 de febrero de 2026
- Al deducir el esquema de los archivos de Excel, las celdas de cadena ahora se deducen como Spark
StringType, respetando el tipo de celda establecido en Excel. Anteriormente, las cadenas con valores numéricos se convierteban automáticamente en tipos más estrechos comoLongoDecimal. Actualice el código que se basaba en el comportamiento anterior. -
DataFrame.toJSON()Spark Connect ahora está disponible en el cliente Python Spark Connect. - [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 27 de enero de 2026
- El cargador automático ahora informa de
batchSizeNumFiles,batchSizeNumBytesy los estados de procesamiento de archivos (numFilesProcessed,numFilesSkippedCorrupted,numFilesSkippedMissing,numFilesUnknownState) como métricas. -
INSERT INTO ... BY NAMEahora admite la cláusulaREPLACE WHERE. - Se ha cambiado el nombre de la propiedad
spark.sql.xml.legacyXMLParser.enabledde configuración aspark.sql.legacy.useLegacyXMLParser. Actualice cualquier configuración de clúster o sesión que use el nombre anterior. - Cuando
spark.task.resource.gpu.amountes mayor que 1, el distribuidor de Torch inicia ahora untorchrunproceso por GPU en lugar de por tarea. - [Corrección de seguridad] Actualizaciones de seguridad del sistema operativo.
Databricks Runtime 18: 15 de enero de 2026
Databricks Runtime 18 ya está en fase de desarrollo de funcionalidades, basado en Apache Spark 4.1.0. Esta versión incorpora todas las características, mejoras y correcciones de errores de todas las versiones anteriores de Databricks Runtime.
Cambios de comportamiento
Revise los siguientes cambios, que surten efecto cuando los clústeres se reinicien en este tiempo de ejecución.
JDK 21: Databricks Runtime 18 utiliza JDK 21 como el kit de desarrollo Java por defecto. JDK 21 está disponible con carácter general y es una versión de soporte técnico a largo plazo (LTS). Anteriormente, el valor predeterminado era JDK 17. Cambios importantes:
-
Double.toString()yFloat.toString()ahora producen las representaciones de cadena únicas más cortas, que pueden diferir de las salidas de JDK 17 en algunos casos extremos. -
Thread.stop(),Thread.suspend()yThread.resume()ahora lanzanUnsupportedOperationException. - Los datos de configuración regional actualizados (CLDR v42) pueden afectar al formato de fecha, hora y número.
Si encuentra problemas de compatibilidad, vuelva a JDK 17. Para obtener información sobre cómo configurar versiones de JDK, consulte Creación de un clúster con una versión específica de JDK.
-
FSCK REPAIR TABLE: Ahora incluye un paso inicial de reparación de metadatos antes de comprobar si faltan archivos de datos. El comando funciona en tablas con puntos de control dañados o valores de partición no válidos.Anulabilidad de Spark Connect Scala: La nulabilidad de los tipos de matriz y mapa ahora se conserva para literales tipados en el cliente Scala de Spark Connect. Anteriormente, los elementos de matrices y valores de los mapas siempre eran nullables.
FSCK REPAIR TABLE DRY RUN: LadataFilePathcolumna en elFSCK REPAIR TABLE DRY RUNesquema de salida ahora es anulable para soportar el reporte de nuevos tipos de incidencias donde la ruta del archivo de datos no sea aplicable.SHOW TABLES DROPPED: Ahora respeta correctamente laLIMITcláusula.Ejecución de UDF en Python: Los UDF de Python del Catálogo de Unity ahora utilizan Apache Arrow como formato de intercambio predeterminado, mejorando el rendimiento general. Como parte de este cambio,
TIMESTAMPlos valores pasados a UDF de Python ya no incluyen información de zona horaria en el atributodatetimedel objetotzinfo. Los propios valores de marca de tiempo permanecen en UTC, pero ahora se quitan los metadatos de la zona horaria. Si la UDF se basa en la información de zona horaria, restáurela condate = date.replace(tzinfo=timezone.utc). Para más información, consulte Comportamiento de la zona horaria con marca temporal para entradas fila a fila.Viaje en el tiempo y retención de
VACUUM: Azure Databricks ahora bloquea las consultas de viaje en el tiempo más allá del umbral dedeletedFileRetentionDurationpara todas las tablas. ElVACUUMcomando omite el argumento de duración de retención, excepto cuando el valor es 0 horas. No se puede establecerdeletedFileRetentionDurationmás grande quelogRetentionDurationo viceversa.BinaryTypeen PySpark : En PySpark,BinaryTypeahora se asigna de forma consistente a Pythonbytes. Anteriormente, PySpark asignabaBinaryTypeabytesobytearraysegún el contexto. Para restaurar el comportamiento anterior, establezcaspark.sql.execution.pyspark.binaryAsBytesenfalse.NULL structs en Delta MERGE y UPDATE: ahora preservados como NULL en Delta MERGE, UPDATE, y operaciones de escritura en streaming que incluyen casts de tipos struct. Anteriormente, las estructuras NULL se expandían a structs con campos NULL.
Materialización de columnas de partición: Las tablas Delta particionadas ahora materializan columnas de partición en archivos de datos Parquet recién escritos. Anteriormente, los valores de partición se almacenaban en los metadatos del registro de transacciones Delta y se reflejaban en rutas de acceso de directorio, pero no se escribían como columnas en los propios archivos Parquet. Este cambio se ajusta al comportamiento de Apache Iceberg y UniForm, y podría afectar a las cargas de trabajo que leen directamente archivos Parquet escritos por Delta Lake.
Zona horaria de partición con marca de tiempo: Los valores de la partición con marca de tiempo se convertían previamente a UTC usando la zona horaria de la JVM en lugar de la configuración
spark.sql.session.timeZone. Los valores de partición de marca de tiempo ahora se ajustan correctamente mediante la configuración de zona horaria de la sesión de Spark.DESCRIBE TABLEColumna de metadatos: La salida deDESCRIBE TABLE [EXTENDED]ahora incluye una nuevametadatacolumna para todos los tipos de tablas. Esta columna contiene metadatos semánticos (nombre para mostrar, formato y sinónimos) definidos en la tabla como una cadena JSON.
Nuevas características y mejoras
Las siguientes características y mejoras están disponibles en esta versión.
- Scripting SQL: La función de scripting SQL está ahora disponible de forma general.
-
Aislamiento compartido para UDFs Python del catálogo Unity: Los UDF Python del catálogo Unity con el mismo propietario ahora pueden compartir un entorno de aislamiento por defecto. Esto mejora el rendimiento y reduce el uso de memoria al reducir el número de entornos independientes iniciados. Para asegurarse de que una UDF siempre se ejecuta en un entorno totalmente aislado, agregue la
STRICT ISOLATIONcláusula de característica. Consulte Aislamiento del entorno. - Funciones de ventana SQL en vistas métricas: Ahora puedes usar funciones SQL de ventana en vistas métricas para calcular totales en curso, clasificaciones y otros cálculos basados en ventanas.
- Particiones shuffle dinámicas en streaming sin estado: Ahora puedes cambiar el número de particiones shuffle en consultas de streaming sin estado sin tener que reiniciar la consulta.
- AQE y AOS en streaming sin estado: Ejecución Adaptativa de Consultas (AQE) y repartición optimizada automática (AOS) ahora se admiten en consultas de streaming sin estado.
-
Marcadores de parámetro: Ahora puedes usar marcadores de parámetro con nombre (
:param) y no nombrado (?) prácticamente en cualquier lugar donde se pueda usar un valor literal del tipo adecuado. Esto incluye instrucciones DDL comoCREATE VIEW v AS SELECT ? AS c1, tiposDECIMAL(:p, :s)de columna oCOMMENT ON t IS :comment. Consulte Marcadores de parámetros para obtener más información. -
IDENTIFIERcláusula: El alcance de laIDENTIFIERcláusula, que convierte cadenas a nombres de objetos SQL, se ha ampliado a casi todos los lugares donde se permite un identificador. Consulte IDENTIFIER cláusula para obtener más información. -
BITMAP_AND_AGG: La biblioteca existente de funcionesBITMAPahora incluye una nueva función BITMAP_AND_AGG. - Funciones de Theta Sketch: Ahora puedes usar una nueva biblioteca de funciones para operaciones aproximadas de recuento y conjunto distinto usando Datasketches Theta Sketch. Consulte theta_sketch_agg y funciones relacionadas.
- Funciones de KLL Sketch: Ahora puedes usar una nueva biblioteca de funciones para el cálculo aproximado de cuantiles usando KLL Sketches. Consulte kll_sketch_agg_bigint y funciones relacionadas.
- Nuevas funciones geoespaciales: st_azimuth, st_boundary, st_closestpoint y st_geogfromewkt ya están disponibles.
-
GeometryTypeyGeographyType: Apache Spark ahora soporta tipos nativosGeometryTypeyGeographyTypede datos en las APIs de PySpark y Java. Estos tipos admiten la serialización de Arrow y la lectura y escritura en Parquet, y son diferentes de las funciones geoespaciales de SQL. -
approx_top_k: La nueva función de agregado approx_top_k devuelve los valores top-K más frecuentes aproximados en una columna utilizando un algoritmo de boceto eficiente en espacio. - Controlador JDBC de Spark Connect: Apache Spark ahora incluye un controlador JDBC para Spark Connect, que permite que clientes y herramientas basados en JDBC se conecten a Spark a través del protocolo Spark Connect.
-
Iterator[pandas.DataFrame]enapplyInPandas:DataFrame.applyInPandasahora acepta una función con firmaIterator[pandas.DataFrame], reduciendo la sobrecarga al procesar grandes grupos mediante transmisión de datos en lotes. - Restricciones de comprobación: Ahora admiten comparaciones de valores nulos en la expresión de restricción.
-
API de repartición de estado para
TransformWithState: Existe una nueva API de repartición de estado disponible paraTransformWithStateoperadores de streaming en Scala, que te permite cambiar la partición clave de datos con estado a través de reinicios de consultas. Consulte Repartición de estado bajo demanda para consultas de streaming con estado. -
Python 3.14 en
pyspark-connect:pyspark-clientypyspark-connectahora soporta Python 3.14.
Problemas conocidos
El lector rápido Apache Avro puede agotar la memoria del ejecutor en trabajos de larga duración: En Databricks Runtime 18 LTS, Apache Avro 1.12.1 activa por defecto el lector rápido Avro (
org.apache.avro.fastread). Su caché de lector por esquema no se elimina, por lo que una JVM de ejecución prolongada que lee muchos archivos Avro con esquemas de escritor distintos acumula objetos de lector en el montón del ejecutor. Esto afecta a trabajos de ejecución prolongada, como Structured Streaming o trabajos de Auto Loader, que utilizan unmaxFilesPerTriggergrande. A lo largo de varias horas, el nivel mínimo del montón después de la GC aumenta hasta que las tareas fallan conjava.lang.OutOfMemoryError: GC overhead limit exceeded. Databricks Runtime 17.3 y anteriores no se ven afectados porque el lector rápido estaba desactivado por defecto. Esto se rastrea aguas arriba en AVRO-4253.Para solucionar esto, desactiva el lector rápido de Avro añadiendo
-Dorg.apache.avro.fastread=falsea las opciones de la JVM tanto para el driver como para los ejecutores en la configuración de Spark de tu clúster.spark.driver.extraJavaOptionsyspark.executor.extraJavaOptionscontienen cada uno una única cadena separada por espacios, así que añade esta marca a cualquier opción que ya hayas configurado en lugar de reemplazarlas. Por ejemplo, cuando no hay otras opciones:spark.driver.extraJavaOptions -Dorg.apache.avro.fastread=false spark.executor.extraJavaOptions -Dorg.apache.avro.fastread=falseReinicia el clúster para que el cambio haga efecto.
Actualizaciones de bibliotecas
Bibliotecas de Python actualizadas:
- anyio de 4.6.2 a 4.7.0
- asttokens de 2.0.5 a 3.0.0
- azure-core de 1.34.0 a 1.37.0
- Actualización de azure-mgmt-core de la versión 1.5.0 a la 1.6.0
- azure-storage-blob de 12.23.0 a 12.28.0
- azure-storage-file-datalake de 12.17.0 a 12.22.0
- boto3 de 1.36.2 a 1.40.45
- botocore de 1.36.3 a 1.40.45
- certifi de 2025.1.31 a 2025.4.26
- Haga clic entre 8.1.7 y 8.1.8.
- criptografía de 43.0.3 a 44.0.1
- Cython de 3.0.12 a 3.1.5
- databricks-sdk de 0.49.0 a 0.67.0
- En desuso de 1.2.13 a 1.2.18
- ejecutando de 0.8.3 a 1.2.0
- fastapi de 0.115.12 a 0.128.0
- filelock de la versión 3.18.0 a la versión 3.17.0
- google-api-core de 2.20.0 a 2.28.1
- Actualización de google-auth de la versión 2.40.0 a la 2.47.0.
- google-cloud-core de 2.4.3 a 2.5.0
- google-cloud-storage de 3.1.0 a 3.7.0
- google-crc32c de 1.7.1 a 1.8.0
- google-resumable-media de 2.7.2 a 2.8.0
- h11 de 0.14.0 a 0.16.0
- httpcore de 1.0.2 a 1.0.9
- httpx de 0.27.0 a 0.28.1
- isodate de 0.6.1 a 0.7.2
- Jinja2 de 3.1.5 a 3.1.6
- jupyter-events de 0.10.0 a 0.12.0
- jupyter-lsp de 2.2.0 a 2.2.5
- jupyter_server de 2.14.1 a 2.15.0
- jupyter_server_terminals desde la versión 0.4.4 hasta la versión 0.5.3
- mistune de 2.0.4 a 3.1.2
- mlflow-skinny de 3.0.1 a 3.8.1
- mmh3 de 5.1.0 a 5.2.0
- msal de 1.32.3 a 1.34.0
- nbclient de 0.8.0 a 0.10.2
- nbconvert de 7.16.4 a 7.16.6
- nodeenv de 1.9.1 a 1.10.0
- notebook_shim de 0.2.3 a 0.2.4
- opentelemetry-api de 1.32.1 a 1.39.1
- opentelemetry-sdk de 1.32.1 a 1.39.1
- opentelemetry-semantic-conventions from 0.53b1 a 0.60b1
- platformdirs de 3.10.0 a 4.3.7
- prometheus_client de 0.21.0 a 0.21.1
- proto-plus de 1.26.1 a 1.27.0
- psycopg2 de 2.9.3 a 2.9.11
- pyarrow de 19.0.1 a 21.0.0
- Pygments de 2.15.1 a 2.19.1
- pyiceberg de 0.9.0 a 0.10.0
- python-lsp-server de 1.12.0 a 1.12.2
- rope de 1.12.0 a 1.13.0
- s3transfer de 0.11.3 a 0.14.0
- Actualización de scipy de la versión 1.15.1 a la 1.15.3
- setuptools de 74.0.0 a 78.1.1
- seis de 1.16.0 a 1.17.0
- sqlparse de 0.5.3 a 0.5.5
- stack-data de 0.2.0 a 0.6.3
- starlette de 0.46.2 a 0.50.0
- tornado de 6.4.2 a 6.5.1
- types-python-dateutil de 2.9.0.20241206 a 2.9.0.20251115
- uvicorn de 0.34.2 a 0.40.0
- webcolors de 24.11.1 a 25.10.0
Bibliotecas de R actualizadas:
- arrow de 19.0.1 a 22.0.0
- base de 4.4.2 a 4.5.1
- bigD de 0.3.0 a 0.3.1
- actualización de broom de la versión 1.0.7 a la 1.0.10
- reloj de 0.7.2 a 0.7.3
- commonmark de la versión 1.9.5 a la versión 2.0.0
- compilador de 4.4.2 a 4.5.1
- credentials de 2.0.2 a 2.0.3
- curl de 6.4.0 a 7.0.0
- data.table de 1.17.0 a 1.17.8
- conjuntos de datos de 4.4.2 a 4.5.1
- dbplyr de 2.5.0 a 2.5.1
- devtools de 2.4.5 a 2.4.6
- diffobj de 0.3.5 a 0.3.6
- digest de 0.6.37 a 0.6.39
- downlit de 0.4.4 a 0.4.5
- dtplyr de 1.3.1 a 1.3.2
- evaluar de 1.0.3 a 1.0.5
- fansi de 1.0.6 a 1.0.7
- forcats de 1.0.0 a 1.0.1
- fs de 1.6.5 a 1.6.6
- future de 1.34.0 a 1.68.0
- future.apply de 1.11.3 a 1.20.0
- Cambiar "gargle" de la versión 1.5.2 a la 1.6.0
- Actualización de gert de la versión 2.1.4 a la 2.2.0
- ggplot2 de 3.5.1 a 4.0.1
- gh de 1.4.1 a 1.5.0
- git2r de 0.35.0 a 0.36.2
- glmnet de 4.1-8 a 4.1-10
- googledrive de 2.1.1 a 2.1.2
- googlesheets4 de 1.1.1 a 1.1.2
- gráficos de 4.4.2 a 4.5.1
- grDevices de 4.4.2 a 4.5.1
- cuadrícula de 4.4.2 a 4.5.1
- gt de 0.11.1 a 1.1.0
- hardhat de 1.4.1 a 1.4.2
- haven de 2.5.4 a 2.5.5
- hms de 1.1.3 a 1.1.4
- httpuv de 1.6.15 a 1.6.16
- httr2 de 1.1.1 a 1.2.1
- jsonlite de 1.9.1 a 2.0.0
- más adelante de 1.4.1 a 1.4.4
- lava de 1.8.1 a 1.8.2
- listenv de 0.9.1 a 0.10.0
- magrittr de 2.0.3 a 2.0.4
- Markdown de 1.13 a 2.0
- métodos de 4.4.2 a 4.5.1
- miniUI de 0.1.1.1 a 0.1.2
- mlflow de 2.20.4 a 3.6.0
- openssl de 2.3.3 a 2.3.4
- paralelo de 4.4.2 a 4.5.1
- en paralelo de 1.42.0 a 1.45.1
- pillar de 1.11.0 a 1.11.1
- pkgbuild de 1.4.6 a 1.4.8
- Actualización de pkgdown de la versión 2.1.1 a la 2.2.0
- pkgload desde la versión 1.4.0 a la versión 1.4.1
- pROC de 1.18.5 a 1.19.0.1
- prodlim de 2024.06.25 a 2025.04.28
- progressr: de 0.15.1 a 0.18.0
- promesas de 1.3.2 a 1.5.0
- ps de 1.9.0 a 1.9.1
- purrr de 1.0.4 a 1.2.0
- ragg de 1.3.3 a 1.5.0
- Rcpp de 1.0.14 a 1.1.0
- readr de 2.1.5 a 2.1.6
- recetas de 1.2.0 a 1.3.1
- reshape2 de 1.4.4 a 1.4.5
- rmarkdown de 2.29 a 2.30
- roxygen2 de 7.3.2 a 7.3.3
- rprojroot de 2.0.4 a 2.1.1
- RSQLite de 2.3.9 a 2.4.4
- versiones de 2.1.2 a 3.0.0
- rvest de 1.0.4 a 1.0.5
- sass de 0.4.9 a 0.4.10
- escala de 1.3.0 a 1.4.0
- shiny: de 1.10.0 a 1.11.1
- Actualización de sparklyr de la versión 1.9.1 a la 1.9.3
- SparkR de 4.0.0 a 4.1.0
- sparsevctrs de 0.3.1 a 0.3.4
- splines de 4.4.2 a 4.5.1
- estadísticas de 4.4.2 a 4.5.1
- estadísticas4 de 4.4.2 a 4.5.1
- stringr de 1.5.1 a 1.6.0
- systemfonts de 1.2.1 a 1.3.1
- tcltk de 4.4.2 a 4.5.1
- testthat de 3.2.3 a 3.3.0
- textshaping de 1.0.0 a 1.0.4
- timeDate de 4041.110 a 4051.111
- tinytex de 0,56 a 0,58
- herramientas de 4.4.2 a 4.5.1
- usethis de 3.1.0 a 3.2.1
- utilidades de 4.4.2 a 4.5.1
- V8 de 6.0.2 a 8.0.1
- vroom de 1.6.5 a 1.6.6
- waldo de 0.6.1 a 0.6.2
- xfun de 0,51 a 0,54
- xml2 de 1.3.8 a 1.5.0
- zeallot de 0.1.0 a 0.2.0
- zip de 2.3.2 a 2.3.3
Bibliotecas de Java actualizadas:
- com.amazonaws.amazon-kinesis-client de 1.12.0 a 1.15.3
- com.amazonaws.aws-java-sdk-autoscaling: actualización de la versión 1.12.638 a la 1.12.681
- com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-config de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-core de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-datapipeline de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-directconnect de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-directory de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-ec2 de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-ecs de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-efs de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-elasticache de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-emr de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-glacier de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-glue de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-iam de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-importexport de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-kinesis de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-kms de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-lambda de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-logs de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-opsworks de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-rds de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-redshift de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-route53 de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-s3 de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-ses de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-simpledb de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-sns de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-sqs de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-ssm de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-sts de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-support de 1.12.638 a 1.12.681
- com.amazonaws.aws-java-sdk-workspaces de 1.12.638 a 1.12.681
- com.amazonaws.jmespath-java de 1.12.638 a 1.12.681
- com.databricks.databricks-sdk-java de 0.27.0 a 0.53.0
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 a 2.18.3
- com.github.luben.zstd-jni de 1.5.6-10 a 1.5.7-6
- com.google.flatbuffers.flatbuffers-java de 24.3.25 a 25.2.10
- com.google.guava.failureaccess de 1.0.2 a 1.0.3
- com.google.guava.guava de 33.4.0-jre a 33.4.8-jre
- com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 a 12.8.0.jre8
- commons-cli.commons-cli de 1.9.0 a 1.10.0
- commons-codec.commons-codec de 1.17.2 a 1.19.0
- commons-fileupload.commons-fileupload de 1.5 a 1.6.0
- commons-io.commons-io de 2.18.0 a 2.21.0
- dev.ludovic.netlib.arpack de 3.0.3 a 3.0.4
- dev.ludovic.netlib.blas de 3.0.3 a 3.0.4
- dev.ludovic.netlib.lapack de 3.0.3 a 3.0.4
- io.dropwizard.metrics.metrics-annotation de 4.2.30 a 4.2.37
- io.dropwizard.metrics.metrics-core de 4.2.30 a 4.2.37
- io.dropwizard.metrics.metrics-graphite de 4.2.30 a 4.2.37
- io.dropwizard.metrics.metrics-healthchecks actualiza de la versión 4.2.30 a la versión 4.2.37
- io.dropwizard.metrics.metrics-jmx de 4.2.30 a 4.2.37
- io.dropwizard.metrics.metrics-json de 4.2.30 a 4.2.37
- io.dropwizard.metrics.metrics-jvm de 4.2.30 a 4.2.37
- io.dropwizard.metrics.metrics-servlets de 4.2.30 a 4.2.37
- io.delta.delta-sharing-client_2.13 de 1.3.10 a 1.3.11
- io.netty.netty-all de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-buffer de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-codec de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-codec-http de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-codec-http2 de la versión 4.1.118.Final a la versión 4.2.7.Final
- io.netty.netty-codec-socks de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-common actualizado de la versión 4.1.118.Final a la versión 4.2.7.Final
- io.netty.netty-handler de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-handler-proxy de la versión 4.1.118.Final a la versión 4.2.7.Final
- io.netty.netty-resolver de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-tcnative-boringssl-static de 2.0.70.Final-db-r0-windows-x86_64 a 2.0.74.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes de 2.0.70.Final a 2.0.74.Final
- io.netty.netty-transport de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-transport-classes-epoll de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-transport-classes-kqueue de 4.1.118.Final a 4.2.7.Final
- io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 a 4.2.7.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 a 4.2.7.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.118.Final a 4.2.7.Final
- joda-time.joda-time de 2.13.0 a 2.14.0
- org.apache.arrow.arrow-format de 18.2.0 a 18.3.0
- org.apache.arrow.arrow-memory-core de 18.2.0 a 18.3.0
- org.apache.arrow.arrow-memory-netty de 18.2.0 a 18.3.0
- org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 a 18.3.0
- org.apache.arrow.arrow-vector de 18.2.0 a 18.3.0
- org.apache.avro.avro de 1.12.0 a 1.12.1
- org.apache.avro.avro-ipc de 1.12.0 a 1.12.1
- org.apache.avro.avro-mapred de 1.12.0 a 1.12.1
- org.apache.commons.commons-collections4 de 4.4 a 4.5.0
- org.apache.commons.commons-compress de 1.27.1 a 1.28.0
- org.apache.commons.commons-lang3 de 3.17.0 a 3.19.0
- org.apache.commons.commons-text de 1.13.0 a 1.14.0
- org.apache.curator.curator-client de 5.7.1 a 5.9.0
- org.apache.curator.curator-framework de 5.7.1 a 5.9.0
- org.apache.curator.curator-recipes de 5.7.1 a 5.9.0
- org.apache.datasketches.datasketches-java de 6.1.1 a 6.2.0
- org.apache.hadoop.hadoop-client-runtime de 3.4.1 a 3.4.2
- org.apache.orc.orc-core de 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
- org.apache.orc.orc-format de 1.1.0-shaded-protobuf a 1.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
- org.apache.orc.orc-shims de 2.1.1 a 2.2.0
- org.apache.xbean.xbean-asm9-shaded de 4.26 a 4.28
- org.apache.zookeeper.zookeeper actualizado de la versión 3.9.3 a la versión 3.9.4
- org.apache.zookeeper.zookeeper-jute de 3.9.3 a 3.9.4
- org.eclipse.jetty.jetty-client de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-http de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-io de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 a 10.0.26
- Actualización de org.eclipse.jetty.jetty-plus de la versión 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-proxy desde la versión 9.4.53.v20231009 a la 10.0.26
- org.eclipse.jetty.jetty-security de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-server de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-util de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 a 10.0.26
- org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 a 10.0.26
- org.mlflow.mlflow-spark_2.13 de 2.9.1 a 2.22.1
- org.objenesis.objenesis de 3.3 a 3.4
- org.scala-lang.modules.scala-xml_2.13 de 2.3.0 a 2.4.0
Compatibilidad con el controlador ODBC/JDBC de Databricks
Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).
Entorno del sistema
- Sistema operativo: Ubuntu 24.04.4 LTS
- Java: Zulu21.42+19-CA
- Scala: 2.13.16
- Python: 3.12.3
- R: 4.5.1
- Delta Lake: 4.2.0
Bibliotecas de Python instaladas
Esta lista incluye paquetes de Python que los paquetes de sistema de Ubuntu instalan, como unattended-upgrades y ssh-import-id.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| documento anotado | 0.0.4 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| arrow | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 24.3.0 | autocommand | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.28.0 |
| azure-storage-file-datalake | 12.22.0 | babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | black | 24.10.0 | bleach | 6.2.0 |
| blinker | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer | 3.3.2 | click | 8.1.8 |
| cloudpickle | 3.0.0 | comm | 0.2.1 | contourpy | 1.3.1 |
| cryptography | 44.0.1 | cycler | 0.11.0 | Cython | 3.1.5 |
| databricks-agents | 1.9.1 | databricks-sdk | 0.67.0 | dataclasses-json | 0.6.7 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | deltalake | 1.1.4 | Deprecated | 1.2.18 |
| distlib | 0.3.9 | docstring-to-markdown | 0.11 | executing | 1.2.0 |
| facets-overview | 1.1.1 | fastapi | 0.128.0 | fastjsonschema | 2.21.1 |
| filelock | 3.17.0 | fonttools | 4.55.3 | fqdn | 1.5.1 |
| frozenlist | 1.5.0 | fsspec | 2023.5.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.28.1 | google-auth | 2.47.0 |
| google-cloud-core | 2.5.0 | google-cloud-storage | 3.7.0 | google-crc32c | 1.8.0 |
| google-resumable-media | 2.8.0 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | hf-xet | 1.2.0 |
| httpcore | 1.0.9 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface_hub | 1.2.4 | idna | 3.7 | importlib_metadata | 8.5.0 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.7.2 | isoduration | 20.11.0 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.19.2 | Jinja2 | 3.1.6 |
| jiter | 0.12.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| json5 | 0.9.25 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | jsonschema-specifications | 2023.7.1 | jupyter-events | 0.12.0 |
| jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.15.0 | jupyter_server_terminals | 0.5.3 | jupyterlab | 4.3.4 |
| jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 | jupyterlab_widgets | 1.1.11 |
| kiwisolver | 1.4.8 | langchain-core | 1.2.6 | langchain-openai | 1.1.6 |
| langsmith | 0.6.1 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | litellm | 1.75.9 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | malvavisco | 3.26.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | mccabe | 0.7.0 | mdurl | 0.1.0 |
| mistune | 3.1.2 | mlflow-skinny | 3.8.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | msal | 1.34.0 | msal-extensions | 1.3.1 |
| multidict | 6.1.0 | mypy-extensions | 1.0.0 | nbclient | 0.10.2 |
| nbconvert | 7.16.6 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.10.0 | portátil | 7.3.2 | notebook_shim | 0.2.4 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | openai | 2.14.0 |
| opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 | opentelemetry-sdk | 1.39.1 |
| opentelemetry-semantic-conventions | 0.60b1 | orjson | 3.11.5 | overrides | 7.4.0 |
| packaging | 24.2 | pandas | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | patsy | 1.0.1 |
| pexpect | 4.8.0 | pillow | 11.1.0 | pip | 25.0.1 |
| platformdirs | 4.3.7 | plotly | 5.24.1 | pluggy | 1.5.0 |
| prometheus_client | 0.21.1 | prompt-toolkit | 3.0.43 | propcache | 0.3.1 |
| proto-plus | 1.27.0 | protobuf | 5.29.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.11 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 21.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.19.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.10.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing | 3.2.0 | pyright | 1.1.394 |
| pyroaring | 1.0.3 | pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 |
| python-dotenv | 1.2.1 | python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.12.2 | pytoolconfig | 1.2.6 | pytz | 2024.1 |
| PyYAML | 6.0.2 | pyzmq | 26.2.0 | referencing | 0.30.2 |
| regex | 2024.11.6 | requests | 2.32.3 | requests-toolbelt | 1.0.0 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | rich | 13.9.4 |
| rope | 1.13.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.14.0 | scikit-learn | 1.6.1 | scipy | 1.15.3 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 78.1.1 |
| Shellingham | 1.5.4 | seis | 1.17.0 | smmap | 5.0.0 |
| sniffio | 1.3.0 | sortedcontainers | 2.4.0 | soupsieve | 2.5 |
| sqlparse | 0.5.5 | ssh-import-id | 5.11 | stack-data | 0.6.3 |
| starlette | 0.50.0 | strictyaml | 1.7.3 | tenacity | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tiktoken | 0.12.0 |
| tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 | tokenizadores | 0.22.2 |
| tomli | 2.0.1 | tornado | 6.5.1 | tqdm | 4.67.1 |
| traitlets | 5.14.3 | typeguard | 4.3.0 | typer-slim | 0.21.1 |
| types-python-dateutil | 2.9.0.20251115 | typing-inspect | 0.9.0 | typing_extensions | 4.12.2 |
| tzdata | 2024.1 | ujson | 5.10.0 | unattended-upgrades | 0,1 |
| uri-template | 1.3.0 | urllib3 | 2.3.0 | uuid_utils | 0.12.0 |
| uvicorn | 0.40.0 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webcolors | 25.10.0 | webencodings | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| cuando quiera | 0.7.3 | widgetsnbextension | 3.6.6 | wrapt | 1.17.0 |
| yapf | 0.40.2 | yarl | 1.18.0 | zipp | 3.21.0 |
| zstandard | 0.23.0 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit en PACKAGES.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| arrow | 22.0.0 | askpass | 1.2.1 | assertthat | 0.2.1 |
| backports | 1.5.0 | base | 4.5.1 | base64enc | 0.1 - 3 |
| bigD | 0.3.1 | bit | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | BLOB | 1.2.4 | boot | 1.3-30 |
| brew | 1.0-10 | brio | 1.1.5 | broom | 1.0.10 |
| bslib | 0.9.0 | cachem | 1.1.0 | callr | 3.7.6 |
| caret | 7.0-1 | cellranger | 1.1.0 | chron | 2.3-62 |
| class | 7.3-22 | cli | 3.6.5 | clipr | 0.8.0 |
| clock | 0.7.3 | cluster | 2.1.6 | codetools | 0.2-20 |
| commonmark | 2.0.0 | compiler | 4.5.1 | config | 0.3.2 |
| conflicted | 1.2.0 | cpp11 | 0.5.2 | crayon | 1.5.3 |
| credenciales | 2.0.3 | curl | 7.0.0 | data.table | 1.17.8 |
| datasets | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| desc | 1.4.3 | devtools | 2.4.6 | diagram | 1.6.5 |
| diffobj | 0.3.6 | digest | 0.6.39 | downlit | 0.4.5 |
| dplyr | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| ellipsis | 0.3.2 | evaluate | 1.0.5 | fansi | 1.0.7 |
| farver | 2.1.2 | fastmap | 1.2.0 | fontawesome | 0.5.3 |
| forcats | 1.0.1 | foreach | 1.5.2 | foreign | 0.8-86 |
| fs | 1.6.6 | future | 1.68.0 | future.apply | 1.20.0 |
| gargle | 1.6.0 | generics | 0.1.4 | gert | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | globals | 0.18.0 |
| glue | 1.8.0 | googledrive | 2.1.2 | googlesheets4 | 1.1.2 |
| gower | 1.0.2 | graphics | 4.5.1 | grDevices | 4.5.1 |
| grid | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | hardhat | 1.4.2 |
| haven | 2.5.5 | highr | 0.11 | hms | 1.1.4 |
| htmltools | 0.5.8.1 | htmlwidgets | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-15 | isoband | 0.2.7 |
| iterators | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| juicyjuice | 0.1.0 | KernSmooth | 2.23-22 | knitr | 1.50 |
| labeling | 0.4.3 | later | 1.4.4 | lattice | 0.22-5 |
| lava | 1.8.2 | lifecycle | 1.0.4 | listenv | 0.10.0 |
| litedown | 0.8 | lubridate | 1.9.4 | magrittr | 2.0.4 |
| markdown | 2.0 | MASS | 7.3-60.0.1 | Matrix | 1.6-5 |
| memoise | 2.0.1 | methods | 4.5.1 | mgcv | 1.9-1 |
| mime | 0.13 | miniUI | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv | 2016.8-1.1 | openssl | 2.3.4 |
| otel | 0.2.0 | parallel | 4.5.1 | parallelly | 1.45.1 |
| pillar | 1.11.1 | pkgbuild | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | plogr | 0.2.0 |
| plyr | 1.8.9 | praise | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | processx | 3.8.6 | prodlim | 2025.04.28 |
| profvis | 0.4.0 | progress | 1.2.3 | progressr | 0.18.0 |
| promises | 1.5.0 | proto | 1.0.0 | proxy | 0.4-27 |
| ps | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| ragg | 1.5.0 | randomForest | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | reactable | 0.4.4 | reactR | 0.6.1 |
| readr | 2.1.6 | readxl | 1.4.5 | recipes | 1.3.1 |
| rematch | 2.0.0 | rematch2 | 2.1.2 | remotes | 2.5.0 |
| reprex | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown | 2,30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | rversions | 3.0.0 |
| rvest | 1.0.5 | S7 | 0.2.1 | sass | 0.4.10 |
| scales | 1.4.0 | selectr | 0.4-2 | sessioninfo | 1.2.3 |
| shape | 1.4.6.1 | shiny | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| spatial | 7.3-17 | splines | 4.5.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.5.1 | stats4 | 4.5.1 |
| stringi | 1.8.7 | stringr | 1.6.0 | survival | 3.5-8 |
| swagger | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.3.1 |
| tcltk | 4.5.1 | testthat | 3.3.0 | textshaping | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse | 2.0.0 | timechange | 0.3.0 | timeDate | 4051.111 |
| tinytex | 0.58 | tools | 4.5.1 | tzdb | 0.5.0 |
| urlchecker | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| utils | 4.5.1 | uuid | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| waldo | 0.6.2 | whisker | 0.4.1 | withr | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | yaml | 2.3.10 | zeallot | 0.2.0 |
| zip | 2.3.3 |
Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)
| Identificador de grupo | Id. de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.clearspring.analytics | stream | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.5.1 |
| com.fasterxml.jackson.core | jackson-annotations | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1. nativos |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1. nativos |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1. nativos |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1. nativos |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.auth | google-auth-library-credentials | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | auto-value-annotations | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | tink | 1.16.0 |
| com.google.errorprone | error_prone_annotations | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | failureaccess | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | SparseBitSet | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec | commons-codec | 1.19.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | blas | 3.0.4 |
| dev.ludovic.netlib | lapack | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.11 |
| io.dropwizard.metrics | métricas-anotación | 4.2.37 |
| io.dropwizard.metrics | metrics-core | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.37 |
| io.dropwizard.metrics | metrics-jetty10 | 4.2.37 |
| io.dropwizard.metrics | metrics-jmx | 4.2.37 |
| io.dropwizard.metrics | metrics-json | 4.2.37 |
| io.dropwizard.metrics | metrics-jvm | 4.2.37 |
| io.dropwizard.metrics | metrics-servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.2.7.Final |
| io.netty | netty-buffer | 4.2.7.Final |
| io.netty | netty-codec | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | netty-codec-compression | 4.2.7.Final |
| io.netty | netty-codec-http | 4.2.7.Final |
| io.netty | netty-codec-http2 | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-marshalling | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks | 4.2.7.Final |
| io.netty | netty-common | 4.2.7.Final |
| io.netty | netty-handler | 4.2.7.Final |
| io.netty | netty-handler-proxy | 4.2.7.Final |
| io.netty | netty-resolver | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.74.Final |
| io.netty | netty-transport | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | simpleclient_common | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | collector | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-compression | 18.3.0 |
| org.apache.arrow | arrow-format | 18.3.0 |
| org.apache.arrow | arrow-memory-core | 18.3.0 |
| org.apache.arrow | arrow-memory-netty | 18.3.0 |
| org.apache.arrow | arrow-memory-netty-buffer-patch | 18.3.0 |
| org.apache.arrow | arrow-vector | 18.3.0 |
| org.apache.avro | avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | commons-collections4 | 4.5.0 |
| org.apache.commons | commons-compress | 1.28.0 |
| org.apache.commons | commons-configuration2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.14.0 |
| org.apache.curator | curator-client | 5.9.0 |
| org.apache.curator | curator-framework | 5.9.0 |
| org.apache.curator | curator-recipes | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | datasketches-memory | 3.0.2 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.4.2 |
| org.apache.hive | hive-beeline | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | hive-shims | 2.3.10 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | orc-core | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-format | 1.1.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-shims | 2.2.0 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.9.4 |
| org.apache.zookeeper | zookeeper-jute | 3.9.4 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | Cliente Jetty-ALPN | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | jetty-http | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy | 10.0.26 |
| org.eclipse.jetty | jetty-security | 10.0.26 |
| org.eclipse.jetty | jetty-server | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | jetty-util | 10.0.26 |
| org.eclipse.jetty | jetty-webapp | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.41 |
| org.glassfish.jersey.core | jersey-client | 2.41 |
| org.glassfish.jersey.core | jersey-common | 2.41 |
| org.glassfish.jersey.core | jersey-server | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3.4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | spire_2.13 | 0.18.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| stax | stax-api | 1.0.1 |