Comparteix via

Databricks Runtime 17.3 LTS

En las notas de la versión siguientes se proporciona información sobre Databricks Runtime 17.3 LTS, con tecnología de Apache Spark 4.0.0.

Azure Databricks publicó esta versión LTS en octubre de 2025.

Nuevas características y mejoras

EXECUTE IMMEDIATE uso de expresiones constantes

Ahora puede pasar expresiones constantes como cadena de SQL y como argumentos a marcadores de parámetros en instrucciones EXECUTE IMMEDIATE.

LIMIT ALL compatibilidad con CTE recursivos

Ahora puede usar LIMIT ALL para quitar la restricción de tamaño total en expresiones de tabla comunes recursivas (CTE).

JDK 21 para computación clásica (versión preliminar pública)

El Kit de Desarrollo de Java (JDK) 21 está en versión preliminar pública para la computación clásica. Para habilitarlo, consulte Creación de un clúster con una versión específica de JDK.

Anexar a archivos en volúmenes del catálogo de Unity devuelve un error correcto

Cualquier código que intente anexar contenido a un archivo de volumen del catálogo de Unity ahora produce un error con un mensaje de error "Búsqueda no válida". Anteriormente, se produjo un error incorrecto de "operación no admitida".

TABLE compatibilidad de argumentos para UDTF de Python del Catálogo de Unity

Las UDF de Python del catálogo de Unity ahora admiten TABLE argumentos, lo que permite que las funciones acepten tablas completas como parámetros de entrada, lo que permite transformaciones y agregaciones de datos más complejas en conjuntos de datos estructurados. Consulte Funciones de tabla definidas por el usuario (UDF) de Python en el catálogo de Unity. La compatibilidad con argumentos de tabla se ha devuelto a Databricks Runtime 17.2.

st_dump soporte para funciones

Ahora puede usar la st_dump función para obtener una matriz que contenga las geometrías únicas de la geometría de entrada. Consulte la st_dump función.

Ahora se admiten funciones de anillo interno de polígono

Ahora puede usar las siguientes funciones para trabajar con anillos interiores de polígono:

  • st_numinteriorrings: obtiene el número de límites internos (anillos) de un polígono. Consulte la st_numinteriorrings función.
  • st_interiorringn: extraiga el límite interno n-ésimo de un polígono y lo devuelva como una cadena de líneas. Consulte la st_interiorringn función.

remote_query Función con valores de tabla (versión preliminar pública)

Ahora puede usar la remote_query función con valores de tabla para ejecutar consultas en motores de base de datos remotos y devolver resultados tabulares. Esta función captura datos de sistemas remotos mediante credenciales de conexiones de Catálogo de Unity y admite varias opciones de conector para bases de datos SQL y NoSQL. Consulte remote_query función con valores de tabla.

Cambios de comportamiento

input_file_name la función ya no se admite y está sujeta a la eliminación futura

La input_file_name función ha quedado en desuso desde Databricks Runtime 13.3 LTS porque no es confiable. La función ya no se admite en Databricks Runtime 17.3 LTS y versiones posteriores porque no es confiable. En su lugar, use _metadata.file_name .

Cambio predeterminado de la lista incremental del cargador automático

El valor predeterminado de la opción en desuso cloudFiles.useIncrementalListing ha cambiado de auto a false. Azure Databricks ahora realiza listados de directorios completos en lugar de listados incrementales para evitar archivos omitidos debido a la ordenación no lexicográfica. Por ejemplo, 10-01-2025.csv viene antes de 8-01-2025.csv lexicográficamente.

Databricks recomienda migrar a eventos de archivos para una detección de archivos más rápida y confiable.

Para conservar el comportamiento anterior, establezca explícitamente cloudFiles.useIncrementalListing en auto.

Compatibilidad con la información de actualización de MV/ST en DESCRIBE EXTENDED AS JSON

Azure Databricks ahora genera una sección para la información de actualización de la vista materializada y la tabla de streaming en la DESCRIBE EXTENDED AS JSON salida, incluida la hora de la última actualización, el tipo de actualización, el estado y la programación.

Agregar columna de metadatos a DESCRIBE QUERY y DESCRIBE TABLE

Azure Databricks ahora incluye una columna de metadatos en la salida de DESCRIBE QUERY y DESCRIBE TABLE para los metadatos semánticos.

Para DESCRIBE QUERY, al describir una consulta con vistas de métricas, los metadatos semánticos se propagan a través de la consulta si se hace referencia directamente a las dimensiones y las medidas usan la MEASURE() función .

Para DESCRIBE TABLE, la columna de metadatos solo aparece para las vistas de métricas, no para otros tipos de tabla.

Corrección de la conversión de valores temporales en literales de estructura al usar el modo Connect

En el modo Spark Connect, los literales de estructura de TypedLit ahora controlan correctamente los valores temporales en lugar de lanzar excepciones. Anteriormente, al intentar usar valores temporales (como fechas o marcas de tiempo) en literales estructurados, se generaba una excepción.

Cambiar la precisión decimal y la escala a SYSTEM_DEFAULT en modo Connect

Cuando se usa el modo Spark Connect en Scala, la precisión decimal y la escala en los literales de matriz y mapa ahora se cambian a SYSTEM_DEFAULT (38, 18). Este cambio solo afecta al plan lógico (por ejemplo, la salida del comando) y no afecta a los resultados de la explain() consulta.

Compatibilidad con tipos complejos en observaciones en el cliente Scala de Spark Connect

El cliente Scala de Spark Connect ahora admite tipos de matriz, asignación y estructura en observaciones, lo que proporciona un comportamiento en línea con clústeres dedicados. Anteriormente, al intentar usar estos tipos complejos en observaciones, se produciría una excepción.

Conservar valores NULL en literales de matriz, mapa y estructura

En el modo Spark Connect, los valores NULL dentro de los literales de matriz, asignación y estructura ahora se conservan en lugar de reemplazarse por valores predeterminados de protobuf. Anteriormente, los valores NULL se reemplazaban incorrectamente por valores predeterminados, como 0 para enteros, cadenas vacías para tipos de cadena y false para tipos booleanos.

Conservar la nullidad de los literales tipados

El cliente Scala de Spark Connect ahora conserva correctamente la nulabilidad de los tipos de matriz y mapa para los literales tipados. Anteriormente, los elementos de arreglos y los valores de mapas siempre se trataron como anulables, independientemente de la definición de tipo real.

Corrección de la conversión de clases de casos en literales de matriz y mapa

En el modo Spark Connect, los literales de matriz y mapa ahora TypedLit controlan correctamente los valores de clase de caso en lugar de lanzar excepciones. Anteriormente, al intentar usar valores de clase case en literales de matrices o mapas, se produciría una excepción.

Control correcto de estructuras con valor nulo al eliminar columnas NullType.

Al escribir en tablas Delta, Azure Databricks conserva correctamente los valores de estructura nula al quitar NullType columnas del esquema. Anteriormente, los structs nulos se reemplazaban incorrectamente por valores de structs no nulos, donde todos los campos se establecían en NULL. Por ejemplo, la inserción de un valor de estructura nulo se leería más adelante como una estructura con campos nulos en lugar de una estructura nula.

Manejo mejorado de estructuras nulas en Parquet

Azure Databricks ahora detecta correctamente las estructuras nulas cuando todos los campos de estructura solicitados faltan en un archivo Parquet, lo que hace que el comportamiento sea coherente entre los lectores de Photon y los no Photon. Anteriormente, los lectores que no eran Photon devolverían NULL para toda la estructura en lugar de una estructura con campos NULL al leer archivos Parquet en los que faltaban todos los campos solicitados, pero otros campos estaban presentes.

Actualización de la biblioteca aws-msk-iam-auth para Kafka

La aws-msk-iam-auth biblioteca se ha actualizado a la versión 2.0.1 para admitir la configuración de un punto de conexión regional del Servicio de Token de Seguridad (STS) para la autenticación de IAM en Managed Streaming para Apache Kafka (MSK). La nueva awsStsRegion opción solo está disponible cuando está habilitada la configuración de Spark correspondiente. Esta actualización no presenta ningún cambio de comportamiento para las cargas de trabajo existentes.

Actualizaciones de bibliotecas

Bibliotecas de Python actualizadas:

No se actualizaron bibliotecas de Python en esta versión.

Bibliotecas de R actualizadas:

No se actualizaron bibliotecas de R en esta versión.

Bibliotecas de Java actualizadas:

No se actualizaron bibliotecas de Java en esta versión.

Apache Spark

Databricks Runtime 17.3 LTS incluye Apache Spark 4.0.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en la versión 17.2, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • SPARK-44856 Revertir "[SC-195808][python] Mejorar el rendimiento del serializador de flecha UDTF de Python"
  • SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Corrección del control de valores NULL en LiteralValueProtoConverter
  • SPARK-53507 Añadir información sobre cambios significativos a los errores
  • SPARK-53574 Arreglo de la eliminación de AnalysisContext durante la resolución de planes anidados
  • SPARK-53444 Reelaborar la ejecución inmediata
  • SPARK-53560 Bucle de fallos al reintentar lotes no confirmados en la fuente de Kafka y el activador AvailableNow
  • SPARK-53127 Habilitar LIMIT ALL para invalidar el límite de filas de recursividad
  • SPARK-53574 Revertir "[SC-206548] Corregir AnalysisContext que se está borrando...
  • SPARK-53674 Gestionar los LCAs del analizador de paso único al asignar alias
  • SPARK-53492 Rechazar el segundo ExecutePlan con un ID de operación que ya se ha completado
  • SPARK-53677 Mejora de la depuración para el origen de datos JDBC cuando la consulta contiene un error de sintaxis
  • SPARK-53490 Corrección de la conversión de Protobuf en métricas observadas
  • SPARK-53671 Excluir argumentos 0 de la inferencia de tipo @udf eval
  • SPARK-53592 Reelaborar "Hacer que la UDF de soporte sea vectorizada"
  • SPARK-53654 Reestructurar "Compatibilidad de semilla en la función uuid"
  • SPARK-53429 Compatibilidad con la creación de particiones de acceso directo en la API de dataframe de PySpark
  • SPARK-53372 Paquete de entorno de ejecución compartido para pruebas de LDP
  • SPARK-53574 Arreglo de la eliminación de AnalysisContext durante la resolución de planes anidados
  • SPARK-53654 Revertir "[SC-207022][sql][PYTHON] Soporte de seed en la función uuid"
  • SPARK-53574 Revertir "[SC-206548] Corregir que el AnalysisContext se limpie mientras se resuelve el plan anidado"
  • SPARK-53559 Corregir las actualizaciones del croquis HLL para usar los bytes de clave de intercalación sin procesar
  • SPARK-53654 Compatibilidad seed con la función uuid
  • SPARK-52449 Hacer opcionales los tipos de datos para Expression.Literal.Map/Array
  • SPARK-53574 Arreglo de la eliminación de AnalysisContext durante la resolución de planes anidados
  • SPARK-53625 Propagación de columnas de metadatos a través de proyecciones para abordar la incompatibilidad ApplyCharTypePadding
  • SPARK-53558 Revertir "[SC-206544][sql] Mostrar el nombre completo de la tabla en el mensaje de excepción, incluyendo el nombre del catálogo, cuando no se encuentra la tabla".
  • SPARK-53558 Mostrar el nombre completo de la tabla, incluido el nombre del catálogo en el mensaje de excepción cuando no se encuentra la tabla
  • SPARK-53357 Actualización pandas a la versión 2.3.2
  • SPARK-52659Mensaje engañoso de error de módulo en modo ANSI
  • SPARK-53592 Revertir "[SC-206971][python] Hacer que @udf admita UDF vectorizado"
  • SPARK-53592 Hacer @udf UDF compatibles con la vectorización
  • SPARK-52601 Compatibilidad con tipos primitivos en TransformEncoder
  • SPARK-53355 corregir el 'repr' de numpy 1.x en pruebas de tipos
  • SPARK-53387 Adición de compatibilidad con UDTF de Arrow con PARTITION BY
  • SPARK-52991 Implementar MERGE INTO con SCHEMA EVOLUTION para la fuente de datos V2
  • SPARK-53568 Corrección de varios errores pequeños en la lógica de control de errores del cliente python de Spark Connect
  • SPARK-43579 optim: almacenar en caché el convertidor entre Flecha y pandas para su reutilización
  • SPARK-53524 Corrección de la conversión de valores temporales en LiteralValueProtoConverter
  • SPARK-53600 Revisión del SessionHolder mensaje de registro de la hora de último acceso
  • SPARK-53529 Corrección pyspark del cliente de conexión para admitir IPv6
  • SPARK-53537 Añadiendo soporte para analizar CONTINUE HANDLER
  • SPARK-53623 mejora el rendimiento de la lectura de las propiedades de grandes tablas
  • SPARK-53523 Los parámetros nombrados respetan spark.sql.caseSensitive
  • SPARK-53449 Opciones sencillas para clases relacionadas con el análisis de orígenes de datos integrados
  • SPARK-53620 SparkSubmit debe imprimir stacktrace cuando se llama a exitFn
  • SPARK-53518 Sin truncamiento para catalogString de tipo definido por el usuario
  • SPARK-53568 Revertir "[SC-206538][connect][PYTHON] Corregir varios errores pequeños en la lógica de control de errores del cliente python de Spark Connect"
  • SPARK-53602 Mejora del volcado de perfiles y corrección de documentos del generador de perfiles
  • SPARK-53402 Compatibilidad con la API de partición de acceso directo para conjuntos de datos en Spark Connect usando Scala
  • SPARK-53491 Corrección del formato exponencial de inputRowsPerSecond y processedRowsPerSecond en las métricas de progreso JSON
  • SPARK-53413 Limpieza de reordenamiento para comandos
  • SPARK-53518 Revertir "[SC-205989][sql] No truncation for catalogString of User Defined Type"
  • SPARK-53568 Corrección de varios errores pequeños en la lógica de control de errores del cliente python de Spark Connect
  • SPARK-53552 Optimizar la función SQL substr
  • SPARK-53527 Mejorar el mecanismo de respaldo de analyzeExistenceDefaultValue
  • SPARK-53584 Mejora de la validación de process_column_param y docstring del parámetro de columna
  • SPARK-53498 Referencia pyspark/pipelines/cli.py correcta de spark-pipelines Binary
  • SPARK-53518 Sin truncamiento para catalogString de tipo definido por el usuario
  • SPARK-53233 Hacer que el código relacionado con streaming use el nombre de paquete correcto
  • SPARK-53598 Compruebe la existencia de numParts antes de leer la propiedad de tabla grande.
  • SPARK-53372 Conjunto de pruebas de un extremo a otro de SDP
  • SPARK-53563 Optimizar: sql_processor evitando la concatenación ineficaz de cadenas
  • SPARK-53323 Habilitación de pruebas de Spark Connect para df.asTable() en Arrow UDTF
  • SPARK-53157 Desacoplar intervalos de sondeo de controlador y ejecutor
  • SPARK-53555 Corrección: SparkML-connect no puede cargar el modelo guardado de SparkML (modo heredado)
  • SPARK-53361 Optimización de la comunicación de JVM-Python en TWS mediante la agrupación de varias claves en un lote de flecha
  • SPARK-53233 Revert "[SC-203716][sql][SS][mllib][CONNECT] Make the code related to streaming uses the correct package name" (Revertir "[SC-203716][sql][SS][mllib][CONNECT] Hacer que el código relacionado con use el nombre de paquete correcto"
  • SPARK-53233 Hacer que el código relacionado con streaming use el nombre de paquete correcto
  • SPARK-53525 Fragmentación de resultados de ArrowBatch de Spark Connect
  • SPARK-53444 Revertir "[SC-206536][sql] Reformular ejecución inmediata"
  • SPARK-53594 Hacer que la UDF de Arrow respete el tipo de evaluación especificado por el usuario
  • SPARK-53444 Reelaborar la ejecución inmediata
  • SPARK-53582 Extender isExtractable para que se pueda aplicar en UnresolvedExtractValue
  • SPARK-53572 Evitar lanzar desde ExtractValue.isExtractable
  • SPARK-52346 Corrección de la lógica de inicialización e incremento de contadores para reintentos de flujo
  • SPARK-53561 Detectar excepción de interrupción en TransformWithStateInPySparkStateServer durante outputStream.flush para evitar el bloqueo de trabajo
  • SPARK-53512 Mejor unificación de DSv2 PushDownUtils
  • SPARK-53459 Uso de ReadOnlySparkConf en más lugares
  • SPARK-53549 Cierre siempre el asignador de flecha cuando se complete el proceso de solicitud de estado de lista.
  • SPARK-53332 Habilitar StateDataSource con el punto de control de estado v2 (solo opción snapshotStartBatchId)
  • SPARK-53550 El particionamiento de salida de la unión debe comparar los atributos canónicos
  • SPARK-53506 Prohibir % entre Decimal y float según ANSI
  • SPARK-52238 Cambiar el nombre del campo de especificación de canalización "definiciones" a "bibliotecas"
  • SPARK-53538ExpandExec debe inicializar las proyecciones no seguras
  • SPARK-53521 Refactorización de la expresión Star
  • SPARK-53358 Mejora del mensaje de error de desajuste del tipo de salida UDTF de Python en Arrow
  • SPARK-53531 Mensaje de error mejor para HadoopRDD.getInputFormat
  • SPARK-53434 La función get de ColumnarRow también debe verificar isNullAt
  • SPARK-53008 Adición de la validación rutinaria de acceso a datos de UDF de OSS SQL
  • SPARK-44856 Mejora del rendimiento del serializador de flecha UDTF de Python
  • SPARK-53488 Actualice CollationTypeCoercion para que sea compatible con la lógica del analizador de paso único
  • SPARK-53029 Compatibilidad con la coerción de tipos de retorno para UDTFs de Python de Arrow
  • SPARK-53479 Alinear el comportamiento con pandas al comparar con un escalar en ANSI
  • SPARK-53497 No permitir /|//|* entre Decimal y Flotante según el estándar ANSI
  • SPARK-53441 Bools |/&/^ Ninguno debería fallar bajo ANSI
  • SPARK-53474 Agregar DATA_SOURCE_V2_EXPR_FOLDING conf
  • SPARK-53333 Habilitar StateDataSource con el punto de control de estado v2 (solo "readChangeFeed")
  • SPARK-53502 Mejora de la nomenclatura de métodos en LiteralValueProtoConverter
  • SPARK-52694 Agregar o.a.s.sql.Encoders#udtAPI
  • SPARK-53499 from_arrow_type debe respetar containsNull en ArrayType
  • SPARK-53515 Eliminar elemento no utilizado private lazy val de SchemaOfCsv/Xml
  • SPARK-53480 Refactorización del código de ejecutor de Python de flecha
  • SPARK-53481 Creación de una clase de cola híbrida
  • SPARK-53401 Habilitación de la creación de particiones de acceso directo en la API DataFrame
  • SPARK-52930 Usar DataType.Array/Map para los literales de matriz/mapa
  • SPARK-52346 Propagación de columnas de partición desde el destino para BatchTableWrite
  • SPARK-53342 Corregir el convertidor de Arrow para gestionar varios lotes de registros en una sola secuencia IPC
  • SPARK-53421 Propagación del identificador de plan lógico en el análisis de SDP
  • SPARK-53408 Eliminación de funciones no usadas de QueryCompilationErrors
  • SPARK-53044 Cambiar la convención de alias para la importación de las canalizaciones declarativas de "sdp" a "dp"
  • SPARK-53450 Los valores NULL se rellenan inesperadamente después de convertir el examen de la tabla de Hive en relación lógica
  • SPARK-53290 Corrección de la interrupción de la compatibilidad con versiones anteriores de metadatos
  • SPARK-52982 Prohibir la combinación lateral con UDTFs de Python de Arrow
  • SPARK-52851 Eliminación de API públicas para anexar flujos una vez
  • SPARK-52511 Compatibilidad con el modo de ejecución seca en el comando spark-pipelines
  • SPARK-53290 Revertir "[SC-204277][sql][CONNECT] Corregir la interrupción de la compatibilidad con versiones anteriores de metadatos"
  • SPARK-53290 Corrección de la interrupción de la compatibilidad con versiones anteriores de metadatos
  • SPARK-52577 Añadir pruebas para Pipelines Declarativas DatasetManager con el catálogo de Hive
  • SPARK-53012 Compatibilidad con el UDTF de Python de flecha en Spark Connect
  • SPARK-53251 Activar pruebas de API de DataFrame con asTable() para UDTFs de Arrow Python
  • SPARK-52432 Delimitar DataflowGraphRegistry a la Sesión
  • SPARK-52853 Evitar métodos imperativos de PySpark en canalizaciones declarativas
  • SPARK-52745 Asegúrese de que uno de los schema y columns en la interfaz Table se implemente y columns sea preferible
  • SPARK-52991 Revertir "[SC-204944][sql] Implementar MERGE INTO con SCHEMA EVOLUTION para el origen de datos V2"
  • SPARK-52981 Añadir compatibilidad de argumentos de tabla para UDTF de Python de Apache Arrow
  • SPARK-53487 Mejora de los comentarios en NormalizePlan.scala
  • SPARK-52991 Implementar MERGE INTO con SCHEMA EVOLUTION para la fuente de datos V2
  • SPARK-52281 Cambio ALTER TABLE ALTER COLUMN TYPE STRING para no aplicar la intercalación predeterminada si el tipo de datos original era una instancia de StringType
  • SPARK-52759 Se produce una excepción si la canalización no tiene tablas ni vistas persistentes
  • SPARK-51575 Combinar la optimización de consulta del origen de datos de Python y la planificación de trabajadores de lectura
  • SPARK-53359 Modificar el UDTF de Arrow para manejar los resultados como iterador
  • SPARK-52757 Cambie el nombre del campo "plan" de DefineFlow a "relation"
  • SPARK-52431 Toques finales en el ejecutor de canalizaciones declarativas
  • SPARK-52591 Validación del streaming de las DFs devueltas por la tabla SDP y las definiciones de flujo independientes
  • SPARK-53030 Compatibilidad con el writer de Arrow para transmisión de orígenes de datos de Python
  • SPARK-52980 Compatibilidad con UDTFs de Python de Arrow
  • SPARK-42841Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2005
  • SPARK-52423 Agregue el nombre del paquete golang que falta a pipelines.proto.
  • SPARK-52409 Usar solo PipelineRunEventBuffer en las pruebas
  • SPARK-52533 Compatibilidad con la habilitación solo del generador de perfiles de controlador
  • SPARK-52716 Quitar comentario del rasgo de Flow y las referencias
  • SPARK-52348 Adición de compatibilidad con controladores de Spark Connect para comandos de canalización
  • SPARK-52281 Revertir "[SC-198058][sql] Cambiar ALTER TABLE ALTER COLUMN TYPE STRING para no aplicar la intercalación predeterminada si el tipo de datos original era la instancia de StringType"
  • SPARK-49386 Adición de umbrales basados en memoria para el desbordamiento aleatorio
  • SPARK-52281 Cambio ALTER TABLE ALTER COLUMN TYPE STRING para no aplicar la intercalación predeterminada si el tipo de datos original era una instancia de StringType
  • SPARK-53329 Mejora del control de excepciones al agregar artefactos
  • SPARK-52772 Revertir "[SC-202707][engrm-327][SQL] Control de atributos de tabla incoherentes durante las actualizaciones"
  • SPARK-52772 Control de atributos de tabla incoherente durante las actualizaciones
  • SPARK-51739 Validar el esquema de Arrow en mapInArrow y mapInPandas y DataSource
  • Spark-53355 probar el comportamiento del tipo udf de Python
  • SPARK-53443 Actualización de Python a SPDX-license
  • SPARK-49968 La función split genera resultados incorrectos con una expresión regular vacía y un límite.
  • SPARK-52582 Mejora del uso de memoria del analizador XML
  • SPARK-53452from_arrow_type debe respetar valueContainsNull
  • SPARK-53103 Revertir "[SC-204946][ss] Lanza un error si el directorio de estado no está vacío cuando se inicia la consulta"
  • SPARK-53103 Se produce un error si el directorio de estado no está vacío cuando se inicia la consulta
  • SPARK-51575 Revertir "[SC-192406][python] Combinar la inserción del origen de datos de Python y planear trabajos de lectura"
  • SPARK-51575 Combinar la optimización de consulta del origen de datos de Python y la planificación de trabajadores de lectura
  • SPARK-53095 Compatibilidad con HMS v4.1
  • SPARK-53126 Refactorizar SparkErrorUtils#stackTraceToString para gestionar null la entrada y utilizarla para sustituir ExceptionUtils#getStackTrace
  • SPARK-49489 El cliente HMS respeta hive.thrift.client.maxmessage.size
  • SPARK-53108 Implementación de la función time_diff en Scala
  • SPARK-45265 Compatibilidad con metastore de Hive 4.0
  • SPARK-53255 Prohibir org.apache.parquet.Preconditions
  • SPARK-52142 Mostrar restricciones de tabla en SHOW CREATE TABLE COMMAND
  • SPARK-52875 Simplificación de la traducción de expresiones V2 si la entrada es plegable independiente del contexto
  • SPARK-53240 Bloqueo com.google.common.collect.(ArrayList)?Multimap
  • SPARK-52875 Revertir "[SC-201880][sql] Simplificar la traducción de expresiones V2 si la entrada es plegable y no depende del contexto"
  • SPARK-52141 Mostrar restricciones en comandos DESC
  • SPARK-53386 Compatibilidad con el parámetro de consulta que termina con punto y coma en conectores JDBC
  • SPARK-52875 Simplificación de la traducción de expresiones V2 si la entrada es plegable independiente del contexto
  • SPARK-53437 InterpretUnsafeProjection estableceráNull4Bytes para el campo YearMonthIntervalType.
  • SPARK-53341 Expansión de la cobertura de pruebas doradas en DECLARE multivariable
  • SPARK-53156 Seguimiento de las métricas de memoria del controlador cuando finaliza la aplicación
  • SPARK-52689 Envío de métricas DML a V2Write
  • SPARK-52641 Las columnas de clave principal no deben ser nulas
  • SPARK-48547 Incorporar una opción para permitir que SparkSubmit llame automáticamente a System.exit después de que el método `main` del código de usuario finalice.
  • SPARK-52575 Introducción del atributo contextIndependentFoldable para expresiones
  • SPARK-52860 Compatibilidad con la evolución del esquema de escritura V2 en InMemoryTable
  • SPARK-53435 Corrección de la condición de carrera en CachedRDDBuilder
  • SPARK-51987 Expresiones DSv2 en los valores predeterminados de columna al escribir
  • SPARK-52235 Añadir conversión implícita a las expresiones DefaultValue V2 pasadas a DSV2
  • SPARK-52236 Estandarizar análisis de excepciones para el valor predeterminado
  • SPARK-53294 Habilitar StateDataSource con el punto de comprobación de estado v2 (solo opción batchId)
  • SPARK-52095 Alter table alter column para transferir V2Expression a DSV2
  • SPARK-53415 Opciones sencillas para FileFormats integrados
  • SPARK-53318 Soportar el tipo de tiempo mediante make_timestamp_ltz()
  • SPARK-53143 Corrección de la autocombinación en DataFrame API: la combinación no es la única salida esperada del analizador
  • SPARK-53423 Mover todas las etiquetas relacionadas con el resolutor de paso único a ResolverTag
  • SPARK-52116 Mejora de la excepción para valores predeterminados no deterministas
  • SPARK-51906 Expresiones Dsv2 en alterar tabla agregar columnas
  • SPARK-53403 Mejora de las pruebas add/sub en ANSI
  • SPARK-53418 Soporte TimeType en ColumnAccessor
  • SPARK-52777 Habilitación de la configuración del modo de limpieza aleatorio en Spark SQL
  • SPARK-52485 Limpieza de código de canalizaciones declarativas
  • SPARK-53236 Uso de constructores de Java ArrayList en lugar de Lists.newArrayList en código Java
  • SPARK-53392 Mover el manejo de SpecializedArray a connect-common
  • SPARK-53176 El iniciador de Spark debe respetar --load-spark-defaults
  • SPARK-53237 Uso de Java Base64 en lugar de instancia org.apache.commons.codec.binary.Base64
  • SPARK-53390 Generar un error cuando los valores booleanos con None astype se convierten a enteros bajo ANSI.
  • SPARK-53109 Soporte para TIME en las funciones make_timestamp_ntz y try_make_timestamp_ntz en Scala
  • SPARK-53393 Deshabilitar el perfilador de memoria para los UDF de iterador escalar de Arrow
  • SPARK-53367 agrega int a la coerción decimal para las UDF de flecha
  • SPARK-53365 Unificar código para conservar las configuraciones en vistas y UDF
  • SPARK-53228 Uso de constructores de Java Map en lugar de Maps.new*HashMap()
  • SPARK-53197 Usar java.util.Objects#requireNonNull en lugar de com.google.common.base.Preconditions#checkNotNull
  • SPARK-53216 Mover is*(Blank|Empty) de object SparkStringUtils a trait SparkStringUtils
  • SPARK-53385 Refactorización de evaluación del identificador
  • SPARK-53384 Refactorización para extraer la resolución de variables
  • SPARK-53195 Uso de Java InputStream.readNBytes en lugar de ByteStreams.read
  • SPARK-53205 Soporte técnico createParentDirs en SparkFileUtils
  • SPARK-53196 Uso de Java OutputStream.nullOutputStream en lugar de ByteStreams.nullOutputStream
  • SPARK-53381 Evitar la creación de colecciones temporales en toCatalystStruct
  • SPARK-53275 Gestionar expresiones con estado al ordenar en modo interpretado
  • SPARK-51585 El dialecto de Oracle admite operaciones de pushdown para funciones datetime
  • SPARK-53200 Uso de Java Files.newInputStream en lugar de Files.asByteSource().openStream()
  • SPARK-53190 Uso de Java InputStream.transferTo en lugar de ByteStreams.copy
  • SPARK-53188 Soporte readFully en SparkStreamUtils y JavaUtils
  • SPARK-53354 Simplificar LiteralValueProtoConverter.toCatalystStruct
  • SPARK-52873 Restringir aún más cuándo el semi/anti join de SHJ puede omitir las claves duplicadas en el lado de construcción.
  • SPARK-53180 Uso de Java InputStream.skipNBytes en lugar de ByteStreams.skipFully
  • SPARK-53369 Corrección del mensaje de error para UDFs con CHAR/VARCHAR tipo de retorno
  • SPARK-53330 Corrección de UDF de Arrow con DayTimeIntervalType (límites != inicio/fin)
  • SPARK-53366 Aplicación de reglas de formato a sql/connect/shims
  • SPARK-53348 Conservar siempre el valor ANSI al crear una vista o asumirlo al consultar si no se almacena
  • SPARK-53119 Soporte touch en SparkFileUtils
  • SPARK-52592 Compatibilidad con la creación de un ps. Series de un ps. Serie
  • SPARK-53360 Una vez que la estrategia con la idempotencia de ConstantFolding no debe romperse
  • SPARK-53135 Soporte técnico copyURLToFile en SparkFileUtils y JavaUtils
  • SPARK-53150 Mejorar list(File|Path)s para manejar datos no existentes, que no son directorios y de enlaces simbólicos
  • SPARK-53135 Revert "[SC-203164][core][SQL] Soporte de copyURLToFile en SparkFileUtils y JavaUtils"
  • SPARK-53137 Soporte forceDeleteOnExit en SparkFileUtils y JavaUtils
  • SPARK-53352 Refinar el mensaje de error para el tipo de valor devuelto no admitido
  • SPARK-53353 Error de UDF de flecha de iterador escalar con 0-arg
  • SPARK-53135 Soporte técnico copyURLToFile en SparkFileUtils y JavaUtils
  • SPARK-53101 Soporte (left|right)Pad en SparkStringUtils
  • SPARK-53117 Soporte técnico moveDirectory en SparkFileUtils y JavaUtils
  • SPARK-53121 Usar deleteRecursively en lugar de FileUtils.forceDelete
  • SPARK-53100 Uso de Java String.substring en lugar de StringUtils.substring
  • SPARK-53092 Prohibición org.apache.commons.lang3.SystemUtils
  • SPARK-53328 Mejora de la depuración para SparkML-connect
  • SPARK-52065 Generar otro árbol de plan con columnas de salida (nombre, tipo de datos, nulabilidad) en el registro de cambios del plan
  • SPARK-51182 DataFrameWriter debe iniciar dataPathNotSpecifiedError cuando no se especifica la ruta de acceso
  • SPARK-52410 Marcar como obsoleto PipelineConf y usar SqlConf directamente
  • SPARK-52852 Quitar spark_conf sin usar en create_streaming_table
  • SPARK-52714 Quitar los argumentos de comentario sin usar en el decorador append_flow
  • SPARK-52663 Introducir el campo de nombre en la especificación de canalización
  • SPARK-53091 Prohibición org.apache.commons.lang3.Strings
  • SPARK-52393 Registro de elementos de SQL Graph de canalización
  • SPARK-52912 Mejorar SparkStringUtils para admitir is(Not)?(Blank|Empty)
  • SPARK-53307 Eliminación del error RetriesExceeded de los clientes de Python y Scala de Spark Connect
  • SPARK-52346 Ejecución de canalización DataflowGraph declarativa y registro de eventos
  • SPARK-52877 Mejora del rendimiento del serializador de flecha de UDF de Python
  • SPARK-51920 Corregir tipo compuesto/anidado en el estado de valor para Python TWS
  • SPARK-52741 El modo RemoveFiles ShuffleCleanup no funciona con una ejecución no adaptable
  • SPARK-52238 Cliente de Python para canalizaciones declarativas
  • SPARK-51926 Agregar la clase de error INVALID_CONF_VALUE.subXXX a los errores de configuración
  • SPARK-53155 La agregación global inferior no debe reemplazarse por un proyecto
  • SPARK-52911 Eliminar StringUtils.(split|chop) uso
  • SPARK-51926 Revertir "[SC-195096][core][SQL] Añadir la clase de error INVALID_CONF_VALUE.subXXX a los errores de configuración"
  • SPARK-53346 Evite crear colecciones temporales en toCatalystArray/toCatalystMap
  • SPARK-51926 Agregar la clase de error INVALID_CONF_VALUE.subXXX a los errores de configuración
  • SPARK-53136 tryWithResource y tryInitializeResource cerrarán el recurso de forma silenciosa
  • SPARK-53132 Soporte list(File|Path)s en SparkFileUtils y JavaUtils
  • SPARK-51896 Agregar compatibilidad con enumeración de Java para TypedConfigBuilder
  • SPARK-53311 Hacer que PullOutNonDeterministic use expresiones canonicalizadas
  • SPARK-51527 Hacer que el nivel de registro de codegen sea configurable mediante SQLConf
  • SPARK-52223 Adición de prototipos de SDP Spark Connect
  • SPARK-52283 Creación y resolución de canalizaciones DataflowGraph declarativas
  • SPARK-52880 Mejorar toString por JEP-280 en lugar de ToStringBuilder
  • SPARK-53284 Ajuste de las importaciones de la configuración de Spark en las pruebas
  • SPARK-53050 Habilite MultiIndex.to_series() para devolver la estructura de cada entrada.
  • SPARK-52988 Corregir las condiciones de carrera en CREATE TABLE y FUNCTION cuando se utiliza IF NOT EXISTS
  • SPARK-52874 Compatibilidad con o.a.s.util.Pair el registro de Java
  • SPARK-52710DESCRIBE SCHEMA debe imprimir el orden de clasificación
  • SPARK-49984 Solución supplementJava(Module|IPv6)Options para actualizar extraJavaOptions solamente

Compatibilidad con controladores ODBC/JDBC de Azure Databricks

Azure Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime.

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
tipos anotados 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 "asttokens" 2.0.5
astunparse 1.6.3 async-lru 2.0.4 atributos 24.3.0
comando automático 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 Servicio de Azure Storage File Data Lake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 negro 24.10.0
blanquear 6.2.0 intermitente 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certifi 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
Haz clic 8.1.7 cloudpickle 3.0.0 Comunicación 0.2.1
contourpy 1.3.1 criptografía 43.0.3 ciclista 0.11.0
Cython 3.0.12 SDK de Databricks 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 decorator 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 distlib 0.3.9 Conversión de docstring a markdown 0.11
executing 0.8.3 visión general de las facetas 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 bloqueo de archivos 3.18.0 fonttools 4.55.3
fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth 2.40.0
google-cloud-core 2.4.3 Google Cloud Storage (almacenamiento en la nube de Google) 3.1.0 google-crc32c 1.7.1
google-resumable-media (medios reanudables de Google) 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 idna 3.7
importlib-metadata 6.6.0 importlib_resources 6.4.0 inflect 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 isoduration 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpointer 3.0.0 jsonschema 4.23.0
jsonschema-specifications 2023.7.1 jupyter_events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.3 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 jupyterlab_server (servidor de JupyterLab) 2.27.3 kiwisolver 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
mistune 2.0.4 mlflow-skinny 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
oauthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
convenciones-semánticas-de-opentelemetry 0.53b1 overrides 7.4.0 embalaje 24,2
Pandas 2.2.3 pandocfilters 1.5.0 parso 0.8.4
pathspec 0.10.3 chivo expiatorio 1.0.1 pexpect 4.8.0
almohada 11.1.0 pip 25.0.1 platformdirs 3.10.0
plotly 5.24.1 pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing 3.2.0
pyright 1.1.394 pytest 8.3.5 Python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.12.0
configuración de herramienta Python 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referencing 0.30.2 solicitudes 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rico 13.9.4
cuerda 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy 1.15.1
biblioteca de visualización de datos de Python llamada seaborn 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
six 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2,5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 Starlette 0.46.2
statsmodels (paquete de Python para análisis estadístico) 0.14.4 strictyaml 1.7.3 tenacidad 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
unattended-upgrades 0,1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolores 24.11.1 codificaciones web 0.5.1
cliente de websocket 1.8.0 ¿Qué es el parche? 1.0.2 rueda 0.45.1
widgetsnbextension 3.6.6 envuelto 1.17.0 yapf 0.40.2
zipp 3.21.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2025-03-20.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 19.0.1 askpass 1.2.1 asegúrate de que 0.2.1
backports 1.5.0 base 4.4.2 base64enc 0.1-3
bigD 0.3.0 bit 4.6.0 bit 64 4.6.0-1
bitops 1.0-9 mancha 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 escoba 1.0.7
bslib 0.9.0 cachemir 1.1.0 callr 3.7.6
caret 7.0-1 cellranger (herramienta de análisis de datos celulares) 1.1.0 chron 2.3-62
class 7.3-22 Interfaz de línea de comandos (CLI) 3.6.5 clipr 0.8.0
reloj 0.7.2 conglomerado 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.5 compilador 4.4.2
config 0.3.2 Confuso 1.2.0 cpp11 0.5.2
crayón 1.5.3 credentials 2.0.2 curl 6.4.0
tabla de datos 1.17.0 Conjuntos de datos 4.4.2 DBI 1.2.3
dbplyr 2.5.0 descripción 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digerir 0.6.37
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-16 elipsis 0.3.2 evaluar 1.0.3
fans 1.0.6 colores 2.1.2 fastmap 1.2.0
fontawesome 0.5.3 forcats 1.0.0 foreach 1.5.2
extranjero 0,8-86 forge 0.2.0 fs 1.6.5
futuro 1.34.0 aplicación futura 1.11.3 gargle 1.5.2
genéricos 0.1.4 gert 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.18.0 pegamento 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.2
gráficos 4.4.2 grDevices 4.4.2 grid 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
gtable 0.3.6 hardhat 1.4.1 refugio 2.5.4
más alto 0.11 hms 1.1.3 herramientas de HTML 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.50 etiquetado 0.4.3
más tarde 1.4.1 retícula 0.22-5 lava 1.8.1
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.4
magrittr 2.0.3 Formato Markdown 1.13 MASA 7.3-60.0.1
Matrix 1.6-5 memorización 2.0.1 métodos 4.4.2
mgcv 1.9-1 mime 0,13 miniUI (Interfaz de Usuario) 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-164 nnet 7.3-19
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.3.3 paralelo 4.4.2
Paralelamente 1.42.0 pilar 1.11.0 pkgbuild 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.6
prodlim 2024.06.25 profvis 0.4.0 progreso 1.2.3
progressr 0.15.1 promesas 1.3.2 prototipo 1.0.0
intermediario 0.4-27 ps 1.9.0 ronroneo 1.0.4
R6 2.6.1 ragg 1.3.3 Bosque Aleatorio (randomForest) 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 r-reactable 0.4.4
reactR 0.6.1 readr 2.1.5 readxl 1.4.5
recetas 1.2.0 partido de revancha 2.0.0 segunda revancha 2.1.2
remotes 2.5.0 ejemplo reproducible 2.1.1 reshape2 1.4.4
rlang 1.1.6 rmarkdown 2,29 RODBC 1.3-26
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-15 RSQLite 2.3.9 rstudioapi 0.17.1
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
balanzas 1.3.0 selectr 0.4-2 información de sesión 1.2.3
forma 1.4.6.1 brillante 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 sparsevctrs 0.3.1
spatial 7.3-17 splines 4.4.2 sqldf 0.4-11
SQUAREM 2021.1 Estadísticas 4.4.2 estadísticas4 4.4.2
stringi 1.8.7 stringr 1.5.1 supervivencia 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
tcltk 4.4.2 testthat 3.2.3 Formateo de texto 1.0.0
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 cambio de hora 0.3.0 timeDate 4041.110
tinytex 0.56 herramientas 4.4.2 tzdb 0.5.0
verificador de URL 1.0.1 usa esto 3.1.0 utf8 1.2.6
utils 4.4.2 Identificador Único Universal (UUID) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.5
Waldo 0.6.1 whisker 0.4.1 withr 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.1.0
archivo comprimido 2.3.2

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)

Identificador de grupo Id. de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws SDK de AWS para Java - Soporte 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics flujo 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1. nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1. nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1. nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1. nativos
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone anotaciones_propensas_a_errores 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava failureaccess 1.0.2
com.google.guava guayaba 33.4.0-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi código fuente_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics metrics-annotation 4.2.30
io.dropwizard.metrics núcleo de métricas 4.2.30
io.dropwizard.metrics metrics-graphite 4.2.30
io.dropwizard.metrics métricas y verificaciones de salud 4.2.30
io.dropwizard.metrics metrics-jetty9 4.2.30
io.dropwizard.metrics metrics-jmx 4.2.30
io.dropwizard.metrics metrics-json 4.2.30
io.dropwizard.metrics metrics-jvm 4.2.30
io.dropwizard.metrics metrics-servlets 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.1.118.Final
io.netty netty-buffer 4.1.118.Final
io.netty netty-codec 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty netty-common 4.1.118.Final
io.netty netty-handler 4.1.118.Final
io.netty netty-handler-proxy 4.1.118.Final
io.netty netty-resolver 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus cliente_simple_común 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx coleccionista 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lanzador de aplicaciones Ant 1.10.11
org.apache.arrow arrow-format 18.2.0
org.apache.arrow núcleo de memoria de flecha 18.2.0
org.apache.arrow arrow-memory-netty 18.2.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.2.0
org.apache.arrow arrow-vector 18.2.0
org.apache.avro avro 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.13.0
org.apache.curator curador-cliente 5.7.1
org.apache.curator marco de trabajo para curadores 5.7.1
org.apache.curator recetas del curador 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derbi 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.4.1
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive Hive-shims 2.3.10
org.apache.hive API de almacenamiento de hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hiedra 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.1.1-shaded-protobuf
org.apache.orc orc-format 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce 2.1.1-shaded-protobuf
org.apache.orc calzos de orco 2.1.1
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4,26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus Anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.9.3
org.apache.zookeeper Zookeeper-Jute 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation 9.4.53.v20231009
org.eclipse.jetty jetty-http 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty jetty-plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy 9.4.53.v20231009
org.eclipse.jetty Seguridad de Jetty 9.4.53.v20231009
org.eclipse.jetty servidor Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty jetty-util 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Aplicación web de Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-API 9.4.53.v20231009
org.eclipse.jetty.websocket cliente de websocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-common 9.4.53.v20231009
org.eclipse.jetty.websocket servidor de websocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator validador de hibernación 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis objenesis 3.3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatible con ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Sugerencia

Para ver las notas de las versiones de Databricks Runtime que han llegado al fin de soporte (EoS), consulte las Notas de lanzamiento de fin de soporte de Databricks Runtime. Las versiones de EoS Databricks Runtime se han retirado y es posible que no se actualicen.

  • Last updated on