Compartir a través de


Databricks Runtime 18.0 (beta)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 18.0 (Beta).

Azure Databricks publicó esta versión en diciembre de 2025.

Importante

Databricks Runtime 18.0 está en beta. El contenido de los entornos admitidos puede cambiar durante la versión Beta. Los cambios pueden incluir la lista de paquetes o versiones de paquetes instalados.

Nuevas características y mejoras

El scripting de SQL ya está disponible con carácter general

La característica Scripting de SQL ahora está disponible con carácter general.

Controlador JDBC de Redshift actualizado a la versión 2.1.0.28

El controlador JDBC de Redshift se ha actualizado a la versión 2.1.0.28.

Entorno de ejecución de aislamiento compartido para UDFs de Python de Unity Catalog

Las UDF de Python del catálogo de Unity con el mismo propietario ahora pueden compartir un entorno de aislamiento de forma predeterminada. Esto puede mejorar el rendimiento y reducir el uso de memoria al reducir el número de entornos independientes que deben iniciarse.

Para asegurarse de que una UDF siempre se ejecuta en un entorno totalmente aislado, agregue la STRICT ISOLATION cláusula de característica. Consulte Aislamiento del entorno.

Funciones de ventana SQL en vistas de métricas

Ahora puede usar funciones de ventana SQL en vistas de métricas para calcular los totales en ejecución, las clasificaciones y otros cálculos basados en ventanas.

Apagado correcto para aplicaciones Spark

Las aplicaciones de Spark ahora admiten el apagado controlado, permitiendo que las tareas en curso se completen antes de que finalice la aplicación.

Ajuste dinámico de particiones aleatorias en consultas de streaming sin estado

Ahora puede cambiar el número de particiones de reordenamiento en consultas de streaming sin estado sin reiniciar la consulta.

Ejecución de consultas adaptativas y shuffle optimizado automáticamente en consultas de streaming sin estado

La ejecución de consultas adaptables (AQE) y el orden aleatorio optimizado automáticamente (AOS) ahora se admiten en consultas de streaming sin estado.

FILTER cláusula para medir funciones de agregado en vistas de métricas

Ahora puede usar la FILTER cláusula con funciones de agregado de medidas en vistas métricas para definir filtros específicos de agregados al hacer referencia a medidas de vistas métricas.

Combinación de cadenas literales en todas partes

La capacidad de fusionar literales de cadena secuenciales, como 'Hello' ' World' en 'Hello World', se ha expandido de expresiones a cualquier lugar donde se permitan literales de cadena. Por ejemplo: COMMENT 'This' ' is a ' 'comment'. Véase STRING tipo para obtener más información.

Marcadores de parámetros en todas partes

Ahora puede usar marcadores de parámetro con nombre (:param) y sin nombre (?) prácticamente en cualquier lugar donde se pueda usar un valor literal del tipo adecuado. Esto incluye marcadores de parámetro en instrucciones DDL como CREATE VIEW v AS SELECT ? AS c1, tipos DECIMAL(:p, :s)de columna o COMMENT ON t IS :comment. Con esta capacidad, puede parametrizar una gran variedad de instrucciones SQL sin exponer el código a ataques por inyección de código SQL. Consulte Marcadores de parámetros para obtener más información.

IDENTIFIER cláusula en todas partes

El alcance de la IDENTIFIER cláusula , que convierte cadenas en nombres de objeto de SQL, se ha expandido a casi todas partes donde se permite un identificador. Junto con las mejoras en la cadena literal que combina los marcadores de parámetros, ahora puede parametrizar cualquier cosa desde alias de columna (AS IDENTIFIER(:name)) a definiciones de columna (IDENTIFIER(:pk) BIGINT NOT NULL). Consulte IDENTIFIER cláusula para obtener más información.

Nueva función de BITMAP_AND_AGG

La biblioteca existente de BITMAP funciones se ha redondeado con una nueva función BITMAP_AND_AGG .

Nueva biblioteca de funciones de KLL_Sketch

Ahora puede usar una nueva biblioteca de funciones que crea bocetos KLL para calcular cuantiles aproximados:

Biblioteca de Apache Parquet actualizada a la versión 1.16.0

La biblioteca apache Parquet se ha actualizado a la versión 1.16.0.

Cambios de comportamiento

JDK 21 es ahora el kit de desarrollo de Java predeterminado.

Databricks Runtime 18.0 usa JDK 21 como kit de desarrollo de Java predeterminado. JDK 21 es una versión de soporte técnico a largo plazo (LTS). Anteriormente, el valor predeterminado era JDK 17, que ahora está disponible como opción de reserva.

Para obtener información sobre cómo configurar versiones de JDK para los clústeres, consulte Creación de un clúster con una versión específica de JDK.

FSCK REPAIR TABLE incluye la reparación de metadatos de forma predeterminada

El FSCK REPAIR TABLE comando ahora incluye un paso de reparación de metadatos inicial antes de comprobar si faltan archivos de datos. El comando puede trabajar en tablas con puntos de control dañados o valores de partición no válidos.

Nulabilidad preservada para los tipos de array y map en el cliente Scala de Spark Connect

La nulabilidad de los tipos de matriz y mapa ahora se conserva para los literales con tipo en el cliente Scala de Spark Connect. Anteriormente, los elementos de matrices y valores de los mapas siempre eran nullables.

FSCK REPAIR TABLE DRY RUN esquema de salida actualizado

La columna dataFilePath en el esquema de salida FSCK REPAIR TABLE DRY RUN ahora es anulable para informar sobre nuevos tipos de problemas donde la ruta del archivo de datos no es aplicable.

SHOW TABLES DROPPED respeta la cláusula LIMIT

El SHOW TABLES DROPPED comando ahora respeta correctamente la LIMIT cláusula .

Factores de proración alineados entre lecturas y escrituras optimizadas automáticamente

Los factores de proración para el ajuste de tamaño de partición ahora usan valores fraccionarios de forma coherente entre operaciones de lectura y escrituras optimizadas automáticamente. Este cambio puede dar lugar a un número diferente de tareas para las operaciones de lectura.

Ejecución de UDF de Python unificada en PySpark y el catálogo de Unity

Las UDF de Python del catálogo de Unity ahora usan Apache Arrow como formato de intercambio predeterminado, lo que mejora el rendimiento general y se alinea con el comportamiento de las UDF de Python optimizadas para Arrow en Apache Spark. Como parte de este cambio, TIMESTAMP los valores pasados a UDF de Python ya no incluyen información de zona horaria en el datetime atributo del tzinfo objeto. Los propios valores de marca de tiempo permanecen en UTC, pero ahora se quitan los metadatos de la zona horaria.

Si su UDF se basa en los datos de zona horaria, necesita restaurarlos con date = date.replace(tzinfo=timezone.utc). Para obtener más información, consulte Comportamiento de zona horaria de marca de tiempo para las entradas.

Mensajes de error mejorados para problemas del módulo de inicio de sesión del conector de Kafka

Al usar el conector de Kafka con una clase de módulo de inicio de sesión no sombreada, Azure Databricks ahora proporciona mensajes de error que sugieren usar el prefijo de clase sombreada correcto (kafkashaded.org.apache.kafka o kafkashaded.software.amazon.msk.auth.iam).

Restricciones del viaje en el tiempo y VACUUM comportamiento de retención

Azure Databricks ahora bloquea las consultas de retroceso temporal más allá del deletedFileRetentionDuration umbral para todas las tablas. El VACUUM comando omite el argumento de duración de retención, excepto cuando el valor es 0 horas. No se puede establecer deletedFileRetentionDuration más grande que logRetentionDuration o viceversa.

BinaryType se asigna a bytes de forma predeterminada en PySpark

BinaryType ahora se asigna de forma coherente a Python bytes en PySpark. Anteriormente, PySpark asignaba BinaryType a bytes o bytearray según el contexto. Para restaurar el comportamiento anterior, establezca spark.sql.execution.pyspark.binaryAsBytes en false.

Estructuras NULL conservadas en operaciones Delta MERGE, UPDATE y de escritura en streaming

Las estructuras NULL ahora se conservan como NULL en las operaciones de MERGE delta, UPDATE, y en las operaciones de escritura de streaming que incluyen conversiones de tipo de estructura. Anteriormente, las estructuras NULL se expandían a structs con campos NULL. Por ejemplo, una estructura NULL ahora sigue siendo NULL en lugar de expandirse a una estructura con todos los valores de campo NULL.

Columnas de partición materializadas en archivos Parquet

Las tablas Delta con particiones ahora materializan las columnas de partición en los archivos de datos Parquet recién escritos. Anteriormente, los valores de partición se almacenaban en los metadatos del registro de transacciones Delta y se reflejaban en rutas de acceso de directorio, pero no se escribían como columnas en los propios archivos Parquet. Este cambio se alinea con el comportamiento de Apache Iceberg y UniForm y podría afectar a las cargas de trabajo que leen directamente los archivos Parquet escritos por Delta Lake, ya que los nuevos archivos escritos incluyen columnas de partición adicionales.

Actualizaciones de bibliotecas

Bibliotecas de Python actualizadas:

  • anyio de 4.6.2 a 4.7.0
  • asttokens de 2.0.5 a 3.0.0
  • azure-core de 1.34.0 a 1.36.0
  • Actualización de azure-mgmt-core de la versión 1.5.0 a la 1.6.0
  • azure-storage-blob de 12.23.0 a 12.27.1
  • azure-storage-file-datalake de 12.17.0 a 12.22.0
  • boto3 de 1.36.2 a 1.40.45
  • botocore de 1.36.3 a 1.40.45
  • certifi de 2025.1.31 a 2025.4.26
  • Haga clic entre 8.1.7 y 8.1.8.
  • criptografía de 43.0.3 a 44.0.1
  • Cython de 3.0.12 a 3.1.5
  • databricks-sdk de 0.49.0 a 0.67.0
  • En desuso de 1.2.13 a 1.2.18
  • executing de 0.8.3 a 1.2.0
  • fastapi de 0.115.12 a 0.121.0
  • google-api-core de 2.20.0 a 2.28.1
  • google-auth de 2.40.0 a 2.43.0
  • google-cloud-core de 2.4.3 a 2.5.0
  • google-cloud-storage de 3.1.0 a 3.5.0
  • h11 de 0.14.0 a 0.16.0
  • httpcore de 1.0.2 a 1.0.9
  • httpx de 0.27.0 a 0.28.1
  • isodate de 0.6.1 a 0.7.2
  • Jinja2 de 3.1.5 a 3.1.6
  • jupyter-events de 0.10.0 a 0.12.0
  • jupyter-lsp de 2.2.0 a 2.2.5
  • jupyter_server de 2.14.1 a 2.15.0
  • jupyter_server_terminals desde la versión 0.4.4 hasta la versión 0.5.3
  • mistune de 2.0.4 a 3.1.2
  • mlflow-skinny de 3.0.1 a 3.5.1
  • mmh3 de 5.1.0 a 5.2.0
  • msal de 1.32.3 a 1.34.0
  • nbclient de 0.8.0 a 0.10.2
  • nbconvert de 7.16.4 a 7.16.6
  • notebook_shim de 0.2.3 a 0.2.4
  • opentelemetry-api de 1.32.1 a 1.38.0
  • opentelemetry-sdk de 1.32.1 a 1.38.0
  • opentelemetry-semantic-conventions de 0,53b1 a 0,59b0
  • platformdirs de 3.10.0 a 4.3.7
  • prometheus_client de 0.21.0 a 0.21.1
  • psycopg2 de 2.9.3 a 2.9.11
  • pyarrow de 19.0.1 a 21.0.0
  • Pygments de 2.15.1 a 2.19.1
  • pyiceberg de 0.9.0 a 0.10.0
  • python-lsp-server de 1.12.0 a 1.12.2
  • cuerda de 1.12.0 a 1.13.0
  • s3transfer de 0.11.3 a 0.14.0
  • Actualización de scipy de la versión 1.15.1 a la 1.15.3
  • setuptools de 74.0.0 a 78.1.1
  • seis de 1.16.0 a 1.17.0
  • stack-data versión 0.2.0 a 0.6.3
  • starlette de 0.46.2 a 0.49.3
  • tornado de 6.4.2 a 6.5.1
  • types-python-dateutil de 2.9.0.20241206 a 2.9.0.20251008
  • uvicorn de 0.34.2 a 0.38.0
  • webcolors de 24.11.1 a 25.10.0

Bibliotecas de R actualizadas:

  • flecha de 19.0.1 a 22.0.0
  • base de 4.4.2 a 4.5.1
  • bigD de 0.3.0 a 0.3.1
  • actualización de broom de la versión 1.0.7 a la 1.0.10
  • reloj de 0.7.2 a 0.7.3
  • commonmark de la versión 1.9.5 a la versión 2.0.0
  • compilador de 4.4.2 a 4.5.1
  • credenciales de 2.0.2 a 2.0.3
  • curl de 6.4.0 a 7.0.0
  • data.table de 1.17.0 a 1.17.8
  • conjuntos de datos de 4.4.2 a 4.5.1
  • dbplyr de 2.5.0 a 2.5.1
  • devtools de 2.4.5 a 2.4.6
  • diffobj de 0.3.5 a 0.3.6
  • digest de 0.6.37 a 0.6.39
  • downlit de 0.4.4 a 0.4.5
  • dtplyr de 1.3.1 a 1.3.2
  • evaluar de 1.0.3 a 1.0.5
  • fansi de 1.0.6 a 1.0.7
  • forcats de 1.0.0 a 1.0.1
  • fs de 1.6.5 a 1.6.6
  • future de 1.34.0 a 1.68.0
  • future.apply de 1.11.3 a 1.20.0
  • Cambiar "gargle" de la versión 1.5.2 a la 1.6.0
  • Actualización de gert de la versión 2.1.4 a la 2.2.0
  • ggplot2 de 3.5.1 a 4.0.1
  • gh de 1.4.1 a 1.5.0
  • git2r de 0.35.0 a 0.36.2
  • glmnet de 4.1-8 a 4.1-10
  • googledrive de 2.1.1 a 2.1.2
  • googlesheets4 de 1.1.1 a 1.1.2
  • gráficos de 4.4.2 a 4.5.1
  • grDevices de 4.4.2 a 4.5.1
  • cuadrícula de 4.4.2 a 4.5.1
  • gt de 0.11.1 a 1.1.0
  • hardhat de 1.4.1 a 1.4.2
  • haven de 2.5.4 a 2.5.5
  • hms de 1.1.3 a 1.1.4
  • httpuv de 1.6.15 a 1.6.16
  • httr2 de 1.1.1 a 1.2.1
  • jsonlite de 1.9.1 a 2.0.0
  • más adelante de 1.4.1 a 1.4.4
  • lava de 1.8.1 a 1.8.2
  • listenv de 0.9.1 a 0.10.0
  • magrittr de 2.0.3 a 2.0.4
  • Markdown de 1.13 a 2.0
  • métodos de 4.4.2 a 4.5.1
  • miniUI de 0.1.1.1 a 0.1.2
  • mlflow de 2.20.4 a 3.6.0
  • openssl de 2.3.3 a 2.3.4
  • paralelo de 4.4.2 a 4.5.1
  • en paralelo de 1.42.0 a 1.45.1
  • pilar de 1.11.0 a 1.11.1
  • pkgbuild de 1.4.6 a 1.4.8
  • Actualización de pkgdown de la versión 2.1.1 a la 2.2.0
  • pkgload desde la versión 1.4.0 a la versión 1.4.1
  • pROC de 1.18.5 a 1.19.0.1
  • prodlim de 2024.06.25 a 2025.04.28
  • progressr versión 0.15.1 a 0.18.0
  • promesas de 1.3.2 a 1.5.0
  • ps de 1.9.0 a 1.9.1
  • purrr de 1.0.4 a 1.2.0
  • ragg de 1.3.3 a 1.5.0
  • Rcpp de 1.0.14 a 1.1.0
  • readr de 2.1.5 a 2.1.6
  • recetas de 1.2.0 a 1.3.1
  • reshape2 de 1.4.4 a 1.4.5
  • rmarkdown de 2.29 a 2.30
  • roxygen2 de 7.3.2 a 7.3.3
  • rprojroot de 2.0.4 a 2.1.1
  • RSQLite de 2.3.9 a 2.4.4
  • versiones de 2.1.2 a 3.0.0
  • rvest de 1.0.4 a 1.0.5
  • sass de 0.4.9 a 0.4.10
  • escala de 1.3.0 a 1.4.0
  • brillante de 1.10.0 a 1.11.1
  • Actualización de sparklyr de la versión 1.9.1 a la 1.9.3
  • SparkR de 4.0.0 a 4.1.0
  • sparsevctrs de 0.3.1 a 0.3.4
  • splines de 4.4.2 a 4.5.1
  • estadísticas de 4.4.2 a 4.5.1
  • estadísticas4 de 4.4.2 a 4.5.1
  • stringr de 1.5.1 a 1.6.0
  • systemfonts de 1.2.1 a 1.3.1
  • tcltk de 4.4.2 a 4.5.1
  • testthat de 3.2.3 a 3.3.0
  • textshaping de 1.0.0 a 1.0.4
  • timeDate de 4041.110 a 4051.111
  • tinytex de 0,56 a 0,58
  • herramientas de 4.4.2 a 4.5.1
  • usethis de 3.1.0 a 3.2.1
  • utilidades de 4.4.2 a 4.5.1
  • V8 de 6.0.2 a 8.0.1
  • vroom de 1.6.5 a 1.6.6
  • waldo de 0.6.1 a 0.6.2
  • xfun de 0,51 a 0,54
  • xml2 de 1.3.8 a 1.5.0
  • zeallot de 0.1.0 a 0.2.0
  • zip de 2.3.2 a 2.3.3

Bibliotecas de Java actualizadas:

  • com.amazonaws.amazon-kinesis-client de 1.12.0 a 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling: actualización de la versión 1.12.638 a la 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-config de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-core de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sql-scriptdatapipeline de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directory de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ecs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-efs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-emr de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-glacier de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-glue de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-iam de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-importexport de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kms de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-lambda de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-logs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-rds de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-redshift de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-route53 de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-s3 de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ses de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sns de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sqs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ssm de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sts de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-support de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.638 a 1.12.681
  • com.amazonaws.jmespath-java de 1.12.638 a 1.12.681
  • com.databricks.databricks-sdk-java de 0.27.0 a 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 a 2.18.3
  • com.github.luben.zstd-jni de 1.5.6-10 a 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java de 24.3.25 a 25.2.10
  • com.google.guava.failureaccess de 1.0.2 a 1.0.3
  • com.google.guava.guava de 33.4.0-jre a 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 a 12.8.0.jre8
  • commons-cli.commons-cli de 1.9.0 a 1.10.0
  • commons-codec.commons-codec de 1.17.2 a 1.19.0
  • commons-fileupload.commons-fileupload de 1.5 a 1.6.0
  • commons-io.commons-io de 2.18.0 a 2.21.0
  • dev.ludovic.netlib.arpack de 3.0.3 a 3.0.4
  • dev.ludovic.netlib.blas de 3.0.3 a 3.0.4
  • dev.ludovic.netlib.lapack de 3.0.3 a 3.0.4
  • io.delta.delta-sharing-client_2.13 de 1.3.5 a 1.3.6
  • io.dropwizard.metrics.metrics-annotation de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-core de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-graphite de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks actualiza de la versión 4.2.30 a la versión 4.2.37
  • io.dropwizard.metrics.metrics-jmx de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-json de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-jvm de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-servlets de 4.2.30 a 4.2.37
  • io.netty.netty-all de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-buffer de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec-http de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec-http2 de la versión 4.1.118.Final a la versión 4.2.7.Final
  • io.netty.netty-codec-socks de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-common actualizado de la versión 4.1.118.Final a la versión 4.2.7.Final
  • io.netty.netty-handler de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-handler-proxy de la versión 4.1.118.Final a la versión 4.2.7.Final
  • io.netty.netty-resolver de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static de 2.0.70.Final-db-r0-windows-x86_64 a 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes de 2.0.70.Final a 2.0.74.Final
  • io.netty.netty-transport de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-epoll de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 a 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 a 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.118.Final a 4.2.7.Final
  • joda-time.joda-time de 2.13.0 a 2.14.0
  • org.apache.arrow.arrow-format de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-core de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-vector de 18.2.0 a 18.3.0
  • org.apache.avro.avro de 1.12.0 a 1.12.1
  • org.apache.avro.avro-ipc de 1.12.0 a 1.12.1
  • org.apache.avro.avro-mapred de 1.12.0 a 1.12.1
  • org.apache.commons.commons-collections4 de 4.4 a 4.5.0
  • org.apache.commons.commons-compress de 1.27.1 a 1.28.0
  • org.apache.commons.commons-lang3 de 3.17.0 a 3.19.0
  • org.apache.commons.commons-text de 1.13.0 a 1.14.0
  • org.apache.curator.curator-client de 5.7.1 a 5.9.0
  • org.apache.curator.curator-framework de 5.7.1 a 5.9.0
  • org.apache.curator.curator-recipes de 5.7.1 a 5.9.0
  • org.apache.datasketches.datasketches-java de 6.1.1 a 6.2.0
  • org.apache.hadoop.hadoop-client-runtime de 3.4.1 a 3.4.2
  • org.apache.orc.orc-core de 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format de 1.1.0-shaded-protobuf a 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims de 2.1.1 a 2.2.0
  • org.apache.xbean.xbean-asm9-shaded de 4.26 a 4.28
  • org.apache.zookeeper.zookeeper actualizado de la versión 3.9.3 a la versión 3.9.4
  • org.apache.zookeeper.zookeeper-jute de 3.9.3 a 3.9.4
  • org.eclipse.jetty.jetty-client de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-http de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-io de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 a 10.0.26
  • Actualización de org.eclipse.jetty.jetty-plus de la versión 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-proxy desde la versión 9.4.53.v20231009 a la 10.0.26
  • org.eclipse.jetty.jetty-security de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-server de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-util de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 a 10.0.26
  • org.mlflow.mlflow-spark_2.13 de 2.9.1 a 2.22.1
  • org.objenesis.objenesis de 3.3 a 3.4
  • org.scala-lang.modules.scala-xml_2.13 de 2.3.0 a 2.4.0

Apache Spark

Databricks Runtime 18.0 (Beta) incluye Apache Spark 4.0.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en la versión anterior, así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:

  • SPARK-54536 Tiempo de espera al buscar en Shuffle carece de costo de creación/espera de cliente/recopilación.
  • SPARK-54534 Migración de códigos de error heredados relacionados con Hive a condiciones de error adecuadas
  • SPARK-54565 SparkBuildInfo debería cargar spark-version-info.properties desde su propio cargador de clases.
  • SPARK-54533 Asignar el valor correcto a la métrica ExecutorSource.METRIC_RESULT_SIZE
  • SPARK-54478 Volver a habilitar pruebas de transmisión en flujo para la prueba de compatibilidad del CI de integración continua
  • SPARK-54552 Corregir SparkConnectResultSet.getString para manejar el tipo de datos BINARY con UTF_8
  • SPARK-54501 Mejora de la gestión de errores para fallos en el filtro de partición del metastore de Hive
  • SPARK-54550 Gestionar ConnectException con suavidad en SparkConnectStatement.close()
  • SPARK-54020 Compatibilidad con spark.sql(...) la API de Python dentro de las funciones de consulta para la canalización declarativa de Spark
  • SPARK-53127 Corregir LIMIT ALL para la recursividad ilimitada con normalización de CTE
  • SPARK-50072 Control de ArithmeticException en el análisis de intervalos con valores grandes
  • SPARK-54299 Corrección de la consulta de ejemplo incorrecta en WindowGroupLimit
  • SPARK-54505 Corrija el orden de argumentos de la llamada createMetrics en makeNegative
  • SPARK-54462 Agregar SupportsV1OverwriteWithSaveAsTable mixin para TableProvider
  • SPARK-54540 Algunas correcciones menores para el controlador JDBC de Connect
  • SPARK-54508 Solución spark-pipelines para resolver spec la ruta de acceso del archivo de manera más robusta
  • SPARK-54087 La tarea de lanzamiento del ejecutor de Spark falló y debería devolver un mensaje de tarea finalizada.
  • SPARK-53797 Corrección FileStreamSource.takeFilesUntilMax para usar zipWithIndex para evitar indices el uso
  • SPARK-54418 Corrección de mensajes de error y formato de código
  • SPARK-54114 Compatibilidad con getColumns para SparkConnectDatabaseMetaData
  • SPARK-54209 Compatibilidad con el tipo TIMESTAMP en SparkConnectResultSet
  • SPARK-54208 Compatibilidad con el tipo TIME en SparkConnectResultSet
  • SPARK-54528 Cierre URLClassLoader diligentemente para evitar OOM
  • SPARK-54464 Eliminación de llamadas duplicadas output.reserve en assembleVariantBatch
  • SPARK-53635 Compatibilidad con UDF de Scala con argumentos de entrada de tipo Seq[Row]
  • SPARK-54493 Corrección de assertSchemaEqual para MapType
  • SPARK-52515 Probar approx_top_k con indicador activado y desactivado
  • SPARK-54413 Actualizar Bootstrap v4.4.1 a v4.6.2
  • SPARK-54497 Aplicar functools.lru_cache en el almacenamiento en caché del convertidor
  • SPARK-54306 Anotar las columnas de Variant con la anotación de tipo lógico de Variant
  • SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION debe estar basado en 1
  • SPARK-54130 Adición de mensajes de error detallados para errores de aserción de catálogo
  • SPARK-54220 Compatibilidad con tipos NullType/VOID/UNKNOWN en Parquet
  • SPARK-54163 Canonización para escaneo de la información de particionamiento y ordenación
  • SPARK-54377 Solucionar COMMENT ONTABLE IS NULL para quitar correctamente el comentario de la tabla
  • SPARK-52767 Optimización de maxRows y maxRowsPerPartition para unión y unión
  • SPARK-54063 Activar instantánea para el siguiente lote cuando haya retraso en la carga
  • SPARK-54384 Modernización del método _batched para BatchedSerializer
  • SPARK-54378 Quitar CreateXmlParser.scala del catalyst módulo
  • SPARK-53103 Revertir "[SC-204946][ss] Lanza un error si el directorio de estado no está vacío cuando se inicia la consulta"
  • SPARK-53103 Se produce un error si el directorio de estado no está vacío cuando se inicia la consulta
  • SPARK-54397 Hacer posible que UserDefinedType sea hashable
  • SPARK-54440 Asigne un nombre más idiomático al archivo de especificación de canalización predeterminado, spark-pipeline.yml
  • SPARK-54324 Adición de pruebas para client-user-context-extensions
  • SPARK-54456 Importar módulo trabajador tras proceso de bifurcación para evitar bloqueo
  • SPARK-54427 Permitir que ColumnarRow llame copy con tipos variantes
  • SPARK-54136 Extraer la lógica de fusión de planes de MergeScalarSubqueries a PlanMerger
  • SPARK-54389 Corrección del error de sello no válido del almacén de estado de RocksDB cuando la tarea se marca como fallida durante la inicialización.
  • SPARK-54346 Introducción a la API de repartición de estado y al ejecutor de repartición de particiones
  • SPARK-53809 Agregar canonicidad para DataSourceV2ScanRelation
  • SPARK-54280 Requerir que el dir de almacenamiento del punto de control de canalización sea una ruta de acceso absoluta
  • SPARK-54206 Compatibilidad con datos de tipo BINARY en SparkConnectResultSet
  • SPARK-54319 BHJ LeftAnti actualiza incorrectamente numOutputRows cuando se desactiva el codegen
  • SPARK-54355 Crear spark.connect.session.planCompression.defaultAlgorithm para admitir NONE
  • SPARK-54341 Recordar la especificación TimeTravelSpec para las tablas cargadas a través de TableProvider
  • SPARK-54280 Revertir "[SC-212148][sdp] Requerir que el dir de almacenamiento del punto de control de canalización sea una ruta de acceso absoluta"
  • SPARK-54354 Solución para el bloqueo de Spark cuando no hay suficiente memoria del montón de JVM para la relación transmitida con hash
  • SPARK-54439 Error de coincidencia de tamaño de clave de combinación y keyGroupedPartitioning
  • SPARK-54280 Requerir que el dir de almacenamiento del punto de control de canalización sea una ruta de acceso absoluta
  • SPARK-54395 La clase RemoteBlockPushResolver inicializa repetidamente ObjectMapper.
  • SPARK-54207 Admite datos de tipo date en SparkConnectResultSet
  • SPARK-54182 Optimización de la conversión sin flecha de df.toPandas
  • SPARK-54312 Evitar la programación repetida de tareas para SendHeartbeat/WorkDirClean en un trabajo independiente
  • SPARK-54394 Mover isJavaVersionAtMost17 y isJavaVersionAtLeast21 de core a common/utils
  • SPARK-53927 Actualización del cliente kinesis
  • SPARK-54358 Los directorios de punto de control colisionan cuando las tablas de transmisión en diferentes esquemas tienen el mismo nombre.
  • SPARK-54310 Revertir "[SC-212003][sql] Agregar numSourceRows métrica para MergeIntoExec"
  • SPARK-54310 Agregar numSourceRows métrica para MergeIntoExec
  • SPARK-53322 Seleccione una keyGroupedShuffleSpec solo cuando se puedan insertar completamente las posiciones de clave de combinación.
  • SPARK-54270 Los métodos get* de SparkConnectResultSet deben llamar a checkOpen y verificar el límite del índice.
  • SPARK-53849 Actualización de netty y netty tc nativo
  • SPARK-54205 Admite datos de tipo decimal en SparkConnectResultSet
  • SPARK-54417 Corrección del mensaje de error para la subconsulta escalar en la IDENTIFIER cláusula
  • SPARK-54113 Compatibilidad con getTables para SparkConnectDatabaseMetaData
  • SPARK-54303 Canonicalizar la condición de error MISSING_CATALOG_ABILITY
  • SPARK-54153 Compatibilidad con las UDF de Python basadas en iteradores de generación de perfiles
  • SPARK-54349 Refactorizar código un poco para simplificar la extensión de integración de faulthandler
  • SPARK-54317 Unificar la lógica de conversión de Arrow para Classic y Connect toPandas
  • SPARK-54339 Corregir AttributeMap no determinista
  • SPARK-54112 Compatibilidad con getSchemas para SparkConnectDatabaseMetaData
  • SPARK-54180 Invalidación de toString de BinaryFileFormat
  • SPARK-54213 Eliminación de Python 3.9 de Spark Connect
  • SPARK-54215 Adición del rasgo SessionStateHelper a FilePartition
  • SPARK-54115 Aumentar la prioridad de visualización de los hilos de operación del servidor de conexión en la página de volcado de hilos
  • SPARK-54193 En desuso spark.shuffle.server.finalizeShuffleMergeThreadsPercent
  • SPARK-54149 Active la recursividad de cola siempre que sea posible.
  • SPARK-54185 En desuso spark.shuffle.server.chunkFetchHandlerThreadsPercent
  • SPARK-54056 resuelve la sustitución de los ajustes de SQLConf en Catálogos
  • SPARK-54147 Establezca OMP_NUM_THREADS en spark.task.cpus de forma predeterminada en BaseScriptTransformationExec.
  • SPARK-54229 Hacer que PySparkLogger en UDF almacene una entrada de registro por llamada de función de registro
  • SPARK-53337 XSS: asegúrese de que el nombre de la aplicación en la página del historial obtenga escape.
  • SPARK-54229 Revertir "[SC-211321][python] Hacer que PySparkLogger en UDF almacene una entrada de registro por llamada de función de registro"
  • SPARK-54373 Ampliar el atributo SVG viewBox de la inicialización DAG del trabajo
  • SPARK-54323 Cambiar la forma de acceder a los registros a TVF en lugar de a la vista del sistema
  • SPARK-54229 Hacer que PySparkLogger en UDF almacene una entrada de registro por llamada de función de registro
  • SPARK-53978 Compatibilidad con el registro en los trabajadores del lado controlador
  • SPARK-54146 Limpiar el uso de la API de Jackson en desuso
  • SPARK-54383 Agregar variante de esquema precomputado para el util InternalRowComparableWrapper
  • SPARK-54030 Adición de un mensaje de aserción fácil de usar para ver los metadatos dañados
  • SPARK-54144 Inferencias de tipo de evaluación de cortocircuito
  • SPARK-54030 Revertir "[SC-210301][sql] Agregar mensaje de aserción fácil de usar para ver los metadatos dañados"
  • SPARK-54028 Usar un esquema vacío al modificar una vista que no es compatible con Hive
  • SPARK-54030 Adición de un mensaje de aserción fácil de usar para ver los metadatos dañados
  • SPARK-54085 Corrección initialize para agregar CREATE la opción además en DriverRunner
  • SPARK-53482MERGE INTO compatibilidad con cuando el origen tiene menos campo anidado que el destino
  • SPARK-53905 Refactorización de RelationResolution para habilitar la reutilización de código
  • SPARK-53732 Recordar TimeTravelSpec en DataSourceV2Relation
  • SPARK-54014 Compatibilidad con el número máximo de filas para SparkConnectStatement
  • SPARK-50906 Corrección de la verificación de nulabilidad de Avro para los campos de estructura reordenados
  • SPARK-54396 Optimización de llamadas py4J en Dataframe.toArrow
  • SPARK-54344 Mata al trabajador si el vaciado falla en daemon.py
  • SPARK-53977 Compatibilidad con el registro en UDTFs
  • SPARK-52515 Volver a aplicar "[SC-199815][sql] Agregar approx_top_k función"
  • SPARK-54340 Adición de la capacidad para usar viztracer en el demonio o los trabajadores de pyspark
  • SPARK-54379 Mover el enlace lambda a un objeto independiente LambdaBinder
  • SPARK-54029 Adición de un mensaje de error detallado para daños en los metadatos de la tabla para facilitar la depuración
  • SPARK-54002 Soporte para la integración de BeeLine con el controlador JDBC Connect
  • SPARK-54336 Arreglar la comprobación del tipo de entrada con BloomFilterMightContain
  • SPARK-53406 Evitar la combinación aleatoria innecesaria en el identificador de orden aleatorio directo
  • SPARK-54347 Optimización de llamadas py4J en dataframe clásico
  • SPARK-54062 Limpieza de código MergeScalarSubqueries
  • SPARK-54054 Soporte para la posición de fila en SparkConnectResultSet
  • SPARK-54330 Optimización de llamadas py4J en spark.createDataFrame
  • SPARK-54332 No es necesario adjuntar PlanId en la agrupación de nombres de columna en rollup/cube/groupingSets
  • SPARK-53976 Compatibilidad con el registro en UDF de Pandas/Arrow
  • SPARK-54123 Agregar zona horaria para que la marca de tiempo sea una hora absoluta
  • SPARK-54356 Corrección de EndToEndAPISuite causada por la falta de esquema raíz de almacenamiento
  • SPARK-54292 Compatibilidad con funciones agregadas y GROUP BY en |>SELECT operadores de tubería (#180106) (#180368)
  • SPARK-54376 Marcar la mayoría de las opciones de configuración de canalización como internas
  • SPARK-53975 Agrega compatibilidad básica con el registro de trabajo de Python
  • SPARK-54361 Ajustar la versión de Spark al valor previsto de 4.2.0 para el parámetro spark.sql.parser.singleCharacterPipeOperator.enabled
  • SPARK-51518 Soporte | como alternativa a |> para el token del operador de canalización de SQL
  • SPARK-53535 Corrección del problema de interpretar estructuras faltantes siempre como nulos
  • SPARK-54294 Normalizar la dirección IP impresa del servidor Connect
  • SPARK-52439 Compatibilidad con la restricción check con un valor NULL
  • SPARK-54352 Introducir SQLConf.canonicalize para centralizar la normalización de cadenas
  • SPARK-54183 Volver a revertir "[SC-211824][python][CONNECT] Evitar un marco de datos temporal intermedio durante la conexión de Spark a Pandas()"
  • SPARK-53573IDENTIFIER en todas partes
  • SPARK-53573 Permitir literales de cadena coalescentes en cualquier parte
  • SPARK-54240 Traducción de la expresión de catalizador del elemento de matriz a la expresión del conector
  • SPARK-54334 Mover la validación de expresiones de subconsulta en funciones lambda y de orden superior a SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
  • SPARK-54183 Revertir "[SC-211824][python][CONNECT] Evitar un marco de datos temporal intermedio durante la conexión de Spark aPandas()"
  • SPARK-54183 Evitar un DataFrame temporal intermedio durante la conexión de Spark a Pandas()
  • SPARK-54264 El operador DeDup puede usar keyExists() de RocksDB.
  • SPARK-54269 Actualización cloudpickle a 3.1.2 para Python 3.14
  • SPARK-54300 Optimización de llamadas py4J en df.toPandas
  • SPARK-54307 Generar un error si se reinicia la consulta de streaming con operación con estado, pero hay un directorio de estado vacío.
  • SPARK-54117 Generar un mensaje de error más claro para indicar que TWS solo es compatible con el proveedor de almacenamiento de estado RocksDB.
  • SPARK-53917 Compatibilidad con relaciones locales de gran tamaño: seguimientos
  • SPARK-54275 Limpieza del código sin usar del pipeline módulo
  • SPARK-54287 Adición de compatibilidad con Python 3.14 en pyspark-client y pyspark-connect
  • SPARK-53614 Adición Iterator[pandas.DataFrame] de compatibilidad a applyInPandas
  • SPARK-54191 Agregar una vez a Defineflow Proto
  • SPARK-54234 No es necesario adjuntar PlanId en los nombres de columna de agrupación en df.groupBy
  • SPARK-54231 Rellenar huecos en los documentos de SDP
  • SPARK-54199 Añadir soporte para la API DataFrame para las nuevas funciones de esquemas de cuantiles KLL (#178526)
  • SPARK-52463 Volver a aplicar "[SC-211221][sdp] Se ha agregado compatibilidad para cluster_by en las API de canalizaciones de Python".
  • SPARK-52463 Revertir "[SC-211221][sdp] Incorporar soporte para cluster_by en Python Pipelines APIs"
  • SPARK-53786 El valor predeterminado con el nombre de columna especial no debe entrar en conflicto con la columna real.
  • SPARK-54200 Actualice KafkaConsumerPoolRealTimeModeSuite para usar groupIdPrefix para la seguridad de ejecuciones simultáneas
  • SPARK-52463 Adición de compatibilidad con cluster_by en las API de canalizaciones de Python
  • SPARK-52509 Limpieza de shuffles individuales del almacenamiento de respaldo en el RemoveShuffle evento
  • SPARK-54187 Volver a aplicar "[SC-211150][python][CONNECT] Obtener todas las configuraciones de un lote en toPandas"
  • SPARK-53942 Compatibilidad con el cambio de particiones aleatorias sin estado tras reiniciar la consulta de streaming
  • SPARK-52515 Revertir "[SC-199815][sql] Agregar función approx_top_k"
  • SPARK-52515 Agregar función approx_top_k
  • SPARK-54078 Nueva prueba para StateStoreSuite SPARK-40492: maintenance before unload y quitar la infraestructura de la prueba anterior
  • SPARK-54178 Mejora del error de ResolveSQLOnFile
  • SPARK-53455 Agregar CloneSession RPC
  • SPARK-54178 Revertir "[SC-211111][sql] Mejorar el mensaje de error para ResolveSQLOnFile"
  • SPARK-53489 Quitar usando v2ColumnsToStructType en ApplyDefaultCollationToStringType
  • SPARK-54178 Mejora del error de ResolveSQLOnFile
  • SPARK-54187 Revert "[SC-211150][python][CONNECT] Obtener todas las configuraciones de un batch en toPandas"
  • SPARK-53942 Revertir "[SC-209873][ss] Compatibilidad para cambiar particiones de shuffle sin estado tras reiniciar la consulta de streaming"
  • SPARK-54187 Obtener todas las configuraciones de un lote en toPandas
  • SPARK-54145 Solucionar la verificación de columnas de tipo anidado en la agregación numérica.
  • SPARK-53942 Compatibilidad con el cambio de particiones aleatorias sin estado tras reiniciar la consulta de streaming
  • SPARK-53991 Se ha agregado compatibilidad con SQL para funciones de cuantiles de KLL basadas en DataSketches (#178089) (#178234)
  • SPARK-53128 Incluir bytes de memoria no administrados en el registro de uso antes de la memoria de ejecución OOM
  • SPARK-53731 Actualización de las sugerencias de tipo de las API de iterador
  • SPARK-53967 Evitar la creación intermedia de dataframes de pandas en df.toPandas
  • SPARK-53455 Revertir "[SC-208758][connect] Agregar CloneSession RPC"
  • SPARK-54108 Revisión de los métodos execute* de SparkConnectStatement
  • SPARK-54052 Agregar un objeto puente para solucionar la limitación de Py4J
  • SPARK-54128 Convertir IllegalArgumentException en SparkException con clases de error adecuadas en el servidor de Spark Connect
  • SPARK-53880 Solucionar DSv2 en PushVariantIntoScan añadiendo SupportsPushDownVariants
  • SPARK-541111 Compatibilidad con getCatalogs para SparkConnectDatabaseMetaData
  • SPARK-53455 Agregar CloneSession RPC
  • SPARK-54118 Mejora de la operación put/merge en ListState cuando hay varios valores
  • SPARK-54038 Compatibilidad con getSQLKeywords para SparkConnectDatabaseMetaData
  • SPARK-54013 Implementación de métodos sencillos de SparkConnectDatabaseMetaData
  • SPARK-53934 Implementación inicial del controlador JDBC de Connect
  • SPARK-53959 Iniciar un error del lado cliente al crear un dataframe a partir de un dataframe de Pandas con un índice, pero sin datos
  • SPARK-53573 Revertir "[SC-210255][sql] Permitir unir literales de cadena en cualquier lugar"
  • SPARK-54094 Extracción de métodos comunes a KafkaOffsetReaderBase
  • SPARK-53573 Permitir literales de cadena coalescentes en cualquier parte
  • SPARK-54039 Agregar información de TaskContext a los registros de liberación de KafkaDataConsumer para mejorar la depuración
  • SPARK-54031 Adición de nuevas pruebas de archivos dorados para el análisis de casos perimetrales
  • SPARK-54067 Mejora SparkSubmit para invocar exitFn con la causa principal en lugar de SparkUserAppException
  • SPARK-54047 Usar un error de diferencia cuando se agota el tiempo de espera de inactividad
  • SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
  • SPARK-54061 Encapsular IllegalArgumentException con el código de error adecuado para patrones de fecha y hora no válidos
  • SPARK-54031 Revertir "[SC-210084][sql] Agregar nuevas pruebas de archivos dorados para el análisis de casos perimetrales"
  • SPARK-54075 Hacer ResolvedCollation evaluable
  • SPARK-54001 Optimización del uso de memoria en la clonación de sesiones con relaciones locales almacenadas en caché con recuento de referencias
  • SPARK-54031 Adición de nuevas pruebas de archivos dorados para el análisis de casos perimetrales
  • SPARK-53923 Rebautizar spark.executor.(log -> logs).redirectConsoleOutputs
  • SPARK-54007 Uso de Java Set.of en lugar de Collections.emptySet
  • SPARK-53755 Adición de compatibilidad con registros en BlockManager
  • SPARK-54041 Refactorización de validación de argumentos de ParameterizedQuery
  • SPARK-53696 Valor predeterminado de bytes para BinaryType en PySpark
  • SPARK-53921 Introducción de GeometryType y GeographyType a pySpark API
  • SPARK-53788 Mover VersionUtils al common módulo
  • SPARK-53999 Compatibilidad con transporte KQueue nativo en BSD/MacOS
  • SPARK-54021 Implementación de descriptores de acceso Geography y Geometry en Catalyst
  • SPARK-53921 Revertir "[SC-209482][geo][PYTHON] Introduce GeometryType y GeographyType a pySpark API"
  • SPARK-53920 Introducción de GeometryType y GeographyType a la API de Java
  • SPARK-53610 Limitar los tamaños de lote de Arrow en applyInPandas y applyInArrow
  • SPARK-53659 Inferir el esquema de desglose de Variant al escribir en Parquet
  • SPARK-53922 Introducción de tipos físicos de geometría y geografía
  • SPARK-54059 Reducir el tamaño de página predeterminado en LONG_ARRAY_OFFSET si se utilizan ZGC o ShenandoahGC y ON_HEAP.
  • SPARK-53921 Introducción de GeometryType y GeographyType a pySpark API
  • SPARK-54048 Actualización dev/requirements.txt para instalar torch(vision) en Python 3.14
  • SPARK-53917 Soporte para grandes relaciones locales
  • SPARK-53760 Introducción a GeometryType y GeographyType
  • SPARK-53530 Limpieza del código inútil relacionado con TransformWithStateInPySparkStateServer
  • SPARK-53636 Corrección del problema de seguridad de subprocesos en SortShuffleManager.unregisterShuffle
  • SPARK-52762 Adición del mensaje PipelineAnalysisContext para admitir el análisis de canalización durante la ejecución de consultas de Spark Connect
  • SPARK-53631 Optimización de la memoria y rendimiento en el arranque de SHS
  • SPARK-53857 Habilitar la propagación de messageTemplate a SparkThrowable
  • SPARK-53891 API de resumen de confirmación del modelo DSV2
  • SPARK-53966 Adición de funciones de utilidad para detectar GCs de JVM
  • SPARK-53149 Corrección de las pruebas de si el proceso de BeeLine se ejecuta en segundo plano
  • SPARK-53738 Corrección de la escritura planeada cuando la salida de la consulta contiene ordenes plegables
  • SPARK-53949 Usar Utils.getRootCause en lugar de Throwables.getRootCause
  • SPARK-53696 Revertir "[SC-209330][python][CONNECT][sql] Default to bytes for BinaryType en PySpark"
  • SPARK-53804 Compatibilidad con la ordenación radix de TIME
  • SPARK-54004 Solución para deshacer el almacenamiento en caché de la tabla por su nombre sin cascada
  • SPARK-53261 Uso de Java String.join|StringJoiner en lugar de Guava Joiner
  • SPARK-53319 Soportar el tipo de tiempo mediante try_make_timestamp_ltz()
  • SPARK-53280 Uso de Java instanceof en lugar de Throwables.throwIf* métodos
  • SPARK-53696 Valor predeterminado de bytes para BinaryType en PySpark
  • SPARK-53258 Usar el JavaUtils de check(Argument|State)
  • SPARK-53773 Recuperación del orden alfabético de reglas en RuleIdCollection
  • SPARK-53256 Promover check(Argument|State) a JavaUtils
  • SPARK-54008 Omitir QO para DESCRIBE QUERY
  • SPARK-53573 Uso del preprocesador para el control generalizado de marcadores de parámetros
  • SPARK-53980 Agregar SparkConf.getAllWithPrefix(String, String => K) API
  • SPARK-54009 Apoyo spark.io.mode.default
  • SPARK-51903 Validación de datos al agregar una restricción CHECK
  • SPARK-53573 Revertir "[SC-209126][sql] Usar Preprocesador para el manejo generalizado de marcadores de parámetros"
  • SPARK-53573 Uso del preprocesador para el control generalizado de marcadores de parámetros
  • SPARK-53573 Revertir "[SC-209126][sql] Usar Preprocesador para el manejo generalizado de marcadores de parámetros"
  • SPARK-53956 Soporte para TIME en la función try_make_timestamp en PySpark
  • SPARK-53930 Soporte de TIME en la función make_timestamp en PySpark
  • SPARK-53573 Uso del preprocesador para el control generalizado de marcadores de parámetros
  • SPARK-53564 Evite las salidas de DAGScheduler debido al tiempo de espera rpc de blockManager en DAGSchedulerEventProcessLoop
  • SPARK-53879 Actualización Ammonite a la versión 3.0.3
  • SPARK-53938 Corrección del escalado decimal en LocalDataToArrowConversion
  • SPARK-53845 Sumideros de SDP
  • SPARK-53908 Corrección de observaciones en Spark Connect con caché de planes
  • SPARK-53841 Implementar transform() en Column API
  • SPARK-53929 Compatibilidad con TIME en las funciones de make_timestamp y try_make_timestamp en Scala
  • SPARK-53902 Agregar bits de patrón de nodo de árbol para expresiones admitidas en la lista de argumentos ParameterizedQuery
  • SPARK-53064 Reescritura de la clave de registro de MDC en Java
  • SPARK-53762 Agregar regla simplificadora de conversiones de fecha y hora al optimizador
  • SPARK-53916 Desduplicar las variables en PythonArrowInput
  • SPARK-53690 Corrección del formato exponencial de avgOffsetsBehindLatest y estimatedTotalBytesBehindLatest en el objeto de orígenes de Kafka en curso json
  • SPARK-53789 Canonicalizar la condición de error CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53720 Simplificación de la extracción de tabla de DataSourceV2Relation (52460)
  • SPARK-45530 Usar java.lang.ref.Cleaner en lugar de finalize para NioBufferedFileInputStream
  • SPARK-53789 Revertir "[SC-208902][sql][CONNECT] Condición de error canónica CANNOT_MODIFY_STATIC_CONFIG"
  • SPARK-53789 Canonicalizar la condición de error CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-531111 Implementación de la función time_diff en PySpark
  • SPARK-53896 Habilitar spark.io.compression.lzf.parallel.enabled de forma predeterminada
  • SPARK-53856 Eliminación de denylist nombres de configuración alternativos
  • SPARK-53611 Limitar los tamaños de lote de Arrow en las UDFs de ventanas de agregación
  • SPARK-53575 Reintentar todas las etapas del consumidor cuando se detecta un desajuste de suma de comprobación para una tarea de mapa de dispersión reintentada
  • SPARK-53867 Limitar los tamaños de lote de Arrow en SQL_GROUPED_AGG_ARROW_UDF
  • SPARK-53877 Introducción de BITMAP_AND_AGG función
  • SPARK-51426 Corrección de "Establecer metadatos en dict vacío no funciona".
  • SPARK-53868 Usar la comprobación de longitud de matriz en lugar de la comprobación de referencia directa en V2ExpressionBuilder
  • SPARK-53609 Limitar los tamaños de lote de Arrow en SQL_GROUPED_AGG_PANDAS_UDF
  • SPARK-53892 Uso DescribeTopicsResult.allTopicNames en lugar de la API en desuso all
  • SPARK-53878 Corrección del problema de condición de carrera relacionado con ObservedMetrics
  • SPARK-53796 Añadir un campo a algunos protos de canalización para admitir la compatibilidad hacia adelante
  • SPARK-53850 Definir proto para sumideros y cambiar el nombre de DefineDataset a DefineOutput
  • SPARK-53812 Refactorización de DefineDataset y DefineFlow protos para agrupar propiedades relacionadas y pruebas futuras
  • SPARK-53870 Se ha corregido un error de lectura parcial para mensajes proto grandes en TransformWithStateInPySparkStateServer.
  • SPARK-53751 Ubicación explícita de punto de control con versiones
  • SPARK-52407 Agregar compatibilidad con Theta Sketch (#171135)
  • SPARK-53779 Implementar transform() en Column API
  • SPARK-49547 Adición de iterador de RecordBatch API a applyInArrow
  • SPARK-53802 Compatibilidad con valores de cadena para el esquema especificado por el usuario en tablas SDP
  • SPARK-53865 Extraer lógica común de la regla ResolveGenerate
  • SPARK-53113 Admitir el tipo de tiempo mediante try_make_timestamp()
  • SPARK-53868 Usar solo la firma con expression[] de visitAggregateFunction en V2ExpressionSQBuilder
  • SPARK-53792 Corregir rocksdbPinnedBlocksMemoryUsage cuando la memoria está limitada…
  • SPARK-53248 Soporte checkedCast en JavaUtils
  • SPARK-52640 Propagación de la ubicación del código fuente de Python
  • SPARK-52924 Compatibilidad con ZSTD_strategy para la compresión
  • SPARK-53562 Vuelva a aplicar "[SC-207233][python] Limit Arrow batch sizes in applyInArrow and applyInPandas"
  • SPARK-51272 Abortar en lugar de continuar fase de resultados indeterminada parcialmente completada en ResubmitFailedStages
  • SPARK-53795 Eliminación de parámetros sin usar en LiteralValueProtoConverter
  • SPARK-53808 Permitir pasar argumentos opcionales de JVM a spark-connect-scala-client
  • SPARK-52614 Compatibilidad con RowEncoder dentro de Product Encoder
  • SPARK-53833 Actualización dev/requirements.txt para omitir torch/torchvision en Python 3.14
  • SPARK-53715 Refactorización de getWritePrivileges para MergeIntoTable
  • SPARK-53516 Corrección spark.api.mode del proceso arg en SparkPipelines
  • SPARK-53507 No use la clase case para BreakingChangeInfo
  • SPARK-53645 Implemente skipna el parámetro para ps. DataFrame any()
  • SPARK-53717 Revisar MapType.valueContainsNull el comentario de parámetros de manera más correcta
  • SPARK-53700 Quitar redundancia en DataSourceV2RelationBase.simpleString
  • SPARK-53667 Solución EXPLAIN de CALL con IDENTIFIER
  • SPARK-53562 Revertir "[SC-207233][python] Limitar tamaños de batch de Arrow en applyInArrow y applyInPandas"
  • SPARK-51169 Adición de compatibilidad con Python 3.14 en Spark clásico
  • SPARK-53562 Limitar tamaños de lote de Arrow en applyInArrow y applyInPandas
  • SPARK-53806 Permitir que la entrada vacía en el descifrado de AES tenga una clase de error
  • SPARK-51756 Calcula RowBasedChecksum en ShuffleWriters
  • SPARK-52807 Cambios de proto para admitir el análisis dentro de las funciones de consulta de canalizaciones declarativas
  • SPARK-53728 Imprimir mensaje PipelineEvent con error en la prueba
  • SPARK-53207 Enviar evento de canalización al cliente de forma asincrónica
  • SPARK-53829 Compatibilidad datetime.time con operadores de columna
  • SPARK-53638 Limitar el tamaño de bytes del lote de flecha para TWS para evitar OOM
  • SPARK-53593 Solución: Usar sin comillas para los campos de respuesta
  • SPARK-53734 Preferir la columna de la tabla sobre LCA cuando se resuelve el índice de la matriz
  • SPARK-53593 Agregar campo de respuesta para DefineDataset y DefineFlow RPC
  • SPARK-53734 Revertir "[SC-207697][sql] Preferir columna de tabla sobre LCA al resolver el índice de matriz"
  • SPARK-53621 Agregar soporte para la ejecución de CONTINUE HANDLER
  • SPARK-53734 Preferir la columna de la tabla sobre LCA cuando se resuelve el índice de la matriz
  • SPARK-53507 Añadir información sobre cambios significativos a los errores
  • SPARK-53707 Mejorar el manejo de metadatos de atributo.
  • SPARK-53629 Implementación de la ampliación de tipos para MERGE INTO WITH SCHEMA EVOLUTION
  • SPARK-53719 Mejora de la comprobación de tipos en la _to_col función
  • SPARK-53735 Ocultar las trazas de la pila JVM del lado del servidor por defecto en la salida de las canalizaciones de Spark
  • SPARK-53651 Agregar soporte para vistas persistentes en canalizaciones
  • SPARK-53678 Corrección de NPE cuando se crea una subclase de ColumnVector con un valor DataType null
  • SPARK-46679 Corrección para SparkUnsupportedOperationException No se encontró un codificador del tipo T, cuando se usa la clase Parametrizada
  • SPARK-53444 Reestructurar ejecutar inmediato reestructurar ejecutar inmediato
  • SPARK-53578 Simplificación del control de tipos de datos en LiteralValueProtoConverter
  • SPARK-53438 Usar CatalystConverter en LiteralExpressionProtoConverter
  • SPARK-53444 Revertir "[SC-206535][sql][CORE] Reestructurar ejecución inmediata, reestructurar ejecución inmediata"
  • SPARK-53444 Reestructurar ejecutar inmediato reestructurar ejecutar inmediato
  • SPARK-53112 Soporte para TIME en las funciones make_timestamp_ntz y try_make_timestamp_ntz en PySpark
  • SPARK-53492 Rechazar el segundo ExecutePlan con un ID de operación que ya se ha completado
  • SPARK-52772 Corrección anticipada de archivos de referencia
  • SPARK-53591 Simplificación de la coincidencia de glob en el patrón de especificación de la tubería
  • SPARK-53553 Corrección del control de valores NULL en LiteralValueProtoConverter
  • SPARK-52772 Control de atributos de tabla incoherente durante las actualizaciones
  • SPARK-53544 Compatibilidad con tipos complejos en observaciones
  • SPARK-53357 Actualización pandas a la versión 2.3.2
  • SPARK-53402 Compatibilidad con la API de partición de acceso directo para conjuntos de datos en Spark Connect usando Scala
  • SPARK-53372 Conjunto de pruebas de un extremo a otro de SDP
  • SPARK-53402 Revertir "[SC-206163][conectar] Soporte para la API de Conjunto de Datos con Particionamiento Directo en Spark Connect en Scala"
  • SPARK-53402 Compatibilidad con la API de partición de acceso directo para conjuntos de datos en Spark Connect usando Scala
  • SPARK-53233 Hacer que el código relacionado con streaming use el nombre de paquete correcto
  • SPARK-53233 Revert "[SC-203716][sql][SS][mllib][CONNECT] Make the code related to streaming uses the correct package name" (Revertir "[SC-203716][sql][SS][mllib][CONNECT] Hacer que el código relacionado con use el nombre de paquete correcto"
  • SPARK-53233 Hacer que el código relacionado con streaming use el nombre de paquete correcto
  • SPARK-53561 Detectar excepción de interrupción en TransformWithStateInPySparkStateServer durante outputStream.flush para evitar el bloqueo de trabajo
  • SPARK-53486 Evitar la configuración weights_only=False en la carga del modelo de antorcha
  • SPARK-53391 Quitar PrimitiveKeyOpenHashMap sin usar
  • SPARK-52431 Toques finales en el ejecutor de canalizaciones declarativas
  • SPARK-52980 Compatibilidad con UDTFs de Python de Arrow
  • SPARK-53453 Desbloquear 'torch<2.6.0'
  • SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Mejorar el uso de memoria del analizador XML"
  • SPARK-52582 Revertir "[SC-199314][sc-204581][SQL] Mejorar el uso de memoria del analizador XML"
  • SPARK-52582 Mejora del uso de memoria del analizador XML
  • SPARK-51906 Expresiones Dsv2 en alterar tabla agregar columnas
  • SPARK-53150 Mejorar list(File|Path)s para manejar datos no existentes, que no son directorios y de enlaces simbólicos
  • SPARK-53091 Prohibición org.apache.commons.lang3.Strings
  • SPARK-52844 Actualización de numpy a 1.22
  • SPARK-52912 Mejorar SparkStringUtils para admitir is(Not)?(Blank|Empty)
  • SPARK-52877 Mejora del rendimiento del serializador de flecha de UDF de Python
  • SPARK-52877 Revertir "[SC-201914][python] Mejorar el rendimiento del serializador de flecha de UDF de Python"
  • SPARK-52238 Cliente de Python para canalizaciones declarativas
  • SPARK-52877 Mejora del rendimiento del serializador de flecha de UDF de Python
  • SPARK-53287 Agregar guía de migración de ANSI
  • SPARK-52110 Implementación de la compatibilidad con la sintaxis SQL para canalizaciones
  • SPARK-52897 Actualización pandas a la versión 2.3.1
  • SPARK-52451 Revertir "[SC-202894][connect][SQL] Hacer que WriteOperation en SparkConnectPlanner esté libre de efectos secundarios"
  • SPARK-52976 Solucionar la UDF de Python que no acepta la cadena ordenada como tipo de parámetro/tipo de retorno de entrada
  • SPARK-52904 Habilitar convertToArrowArraySafely de forma predeterminada
  • Coerción del tipo de valor devuelto spark-52821 int-DecimalType> pyspark udf
  • SPARK-52971 Limitar el tamaño de la cola de trabajo de Python inactiva
  • SPARK-53013 Corrección de la UDTF de Python optimizada para flechas que no devuelve ninguna fila en la combinación lateral
  • SPARK-51834 Sincronización del sistema operativo: compatibilidad con la restricción de tabla de un extremo a otro alter add/drop
  • SPARK-52675 Interrumpir controladores de ML colgados en pruebas
  • SPARK-52959 Compatibilidad con UDT en UDT de Python optimizado para flechas UDTF
  • SPARK-52961 Corrección de la UDTF de Python optimizada para Arrow con evaluación de 0 argumentos en unión lateral
  • SPARK-52949 Evitar la conversión de ida y vuelta entre RecordBatch y Table en el UDTF de Python optimizado para Arrow
  • SPARK-52946 Corregir UDTF de Python optimizado por Arrow para admitir tipos de var grandes
  • SPARK-52934 Permitir la producción de valores escalares con UDTF de Python optimizado para Arrow
  • SPARK-52861 Omitir la creación de objetos Row en la ejecución de UDTF optimizada para Arrow.
  • SPARK-51834 Sincronizar el soporte de OSS de extremo a extremo para crear/reemplazar tabla con restricción
  • SPARK-44856 Mejora del rendimiento del serializador de flecha UDTF de Python
  • SPARK-51834 Revertir "[SQL] Corregir TableSpec mediante la adición de constructor"
  • SPARK-51834 Corrección de TableSpec mediante la adición del constructor
  • SPARK-51834 Revertir "[SQL] Sync OSS (parcial): compatibilidad con la restricción de tabla de un extremo a otro en la tabla create/replace"
  • SPARK-51834 Sincronización OSS (parcial): compatibilidad con la restricción completa de tabla en CREATE/REPLACE TABLE
  • SPARK-52885 Implementación de las funciones hour, minute y second en Scala para el tipo TIME
  • SPARK-51834 Sincronización de llamadas resueltas de actualización del sistema operativo ResolvedIdentifier
  • SPARK-44856 Revertir "[SC-195808][python] Mejorar el rendimiento del serializador de flecha UDTF de Python"
  • SPARK-51834 Revertir "[SQL] Actualización de OSS de sincronización de llamadas resueltasIdentifier sin aplicación"
  • SPARK-44856 Mejora del rendimiento del serializador de flecha UDTF de Python
  • SPARK-51834 Sincronización de llamadas resueltas de actualización del sistema operativo ResolvedIdentifier
  • SPARK-52787 Reorganización del directorio de ejecución de streaming en torno al entorno de ejecución y las áreas de punto de control
  • SPARK-51695 Sincronizar OSS crear/reemplazar/modificar tabla para restricción única a través de DSv2
  • SPARK-51695 Restricción de eliminación de OSS de sincronización mediante DSv2
  • SPARK-51695 Introducción de cambios del analizador para las restricciones table (CHECK, PK, FK)
  • SPARK-51695 Revertir "[SQL] Introducir cambios en el analizador para restricciones de tabla (CHECK, PK, FK)"
  • SPARK-51695 Introducción de cambios del analizador para las restricciones table (CHECK, PK, FK)
  • SPARK-49428 Mover el cliente de Scala de Connect desde Connector a SQL
  • SPARK-52422 Actualización pandas a la versión 2.3.0
  • SPARK-52228 Integrar el microbenchmark de interacción de estado en Quicksilver (TCP)
  • SPARK-52300 Hacer que la resolución UDTVF de SQL use configuraciones coherentes con la resolución de vistas
  • SPARK-52228 Construir el servidor de estado de TWS diseñado para pruebas comparativas, con implementaciones de estado en memoria y el código de la prueba en Python.
  • SPARK-52174 Habilitar spark.checkpoint.compress de forma predeterminada
  • SPARK-52224 Introducción de pyyaml como dependencia para el cliente de Python
  • SPARK-52122 Corrección de la vulnerabilidad de RCE DefaultParamsReader
  • SPARK-51147 Refactorización de clases relacionadas con el streaming en un directorio de streaming dedicado
  • SPARK-51789 Respetar spark.api.mode y spark.remote correctamente al analizar argumentos en el envío de Spark
  • SPARK-51212 Adición de un paquete pySpark separado para Spark Connect de forma predeterminada
  • SPARK-50762 Agregar regla del analizador para resolver UDF escalares de SQL
  • SPARK-49748 Agregar getCondition y dejar de usar getErrorClass en SparkThrowable
  • SPARK-50605 Compatibilidad con el modo de API de SQL para facilitar la migración a Spark Connect
  • SPARK-50458 Control de errores adecuado para sistemas de archivos no compatibles al leer archivos
  • SPARK-49700 Interfaz unificada de Scala para Connect y Clásico
  • SPARK-51779 Utilizar familias de columnas virtuales para la unión de dos secuencias de flujo
  • SPARK-51820 Mover la construcción UnresolvedOrdinal antes del análisis para evitar problemas al agrupar por ordinal
  • SPARK-51814 Introducción de una nueva API transformWithState en PySpark
  • SPARK-51635 Combinar PushProjectionThroughLimit e PushProjectionThroughOffset
  • SPARK-51165 Habilitar spark.master.rest.enabled de forma predeterminada
  • SPARK-51688 Uso del socket de dominio unix entre la comunicación de Python y JVM
  • SPARK-51503 Compatibilidad con el tipo Variant en el escaneo de XML
  • SPARK-50564 Actualización del protobuf paquete de Python a la versión 5.29.1
  • SPARK-50359 Actualización de PyArrow a la versión 18.0
  • SPARK-51340 Estimación del tamaño del modelo
  • SPARK-50657 Actualización de la versión mínima de pyarrow a 11.0.0
  • SPARK-49282 Cree una interfaz sparkSessionBuilder compartida.
  • SPARK-51371 Cambiar toString a toPrettySQL al crear alias en ResolveAggregateFunctions
  • SPARK-50694 Soporte para cambios de nombre en subconsultas
  • SPARK-50601 Revert "[SC-186342][sql] Support withColumns / withColumnsRenamed in subconsultas"
  • SPARK-50601 Compatibilidad con withColumns / withColumnsRenamed en subconsultas

Compatibilidad con controladores ODBC/JDBC de Azure Databricks

Azure Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime.

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Delta Lake: 4.0.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
documento anotado 0.0.3 tipos anotados 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
flecha 1.3.0 "asttokens" 3.0.0 astunparse 1.6.3
async-lru 2.0.4 atributos 24.3.0 comando automático 2.2.2
azure-common 1.1.28 azure-core 1.36.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.27.1
Servicio de Azure Storage File Data Lake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 negro 24.10.0 blanquear 6.2.0
intermitente 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 Haz clic 8.1.8
cloudpickle 3.0.0 Comunicación 0.2.1 contourpy 1.3.1
criptografía 44.0.1 ciclista 0.11.0 Cython 3.1.5
databricks-agents 1.4.0 databricks-connect 17.3.1 SDK de Databricks 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
decorator 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 Conversión de docstring a markdown 0.11
executing 1.2.0 visión general de las facetas 1.1.1 fastapi 0.121.0
fastjsonschema 2.21.1 bloqueo de archivos 3.18.0 fonttools 4.55.3
Fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.43.0
google-cloud-core 2.5.0 Google Cloud Storage (almacenamiento en la nube de Google) 3.5.0 google-crc32c 1.7.1
google-resumable-media (medios reanudables de Google) 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 idna 3.7
importlib-metadata 6.6.0 inflect 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isoduration 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 jiter 0.11.1 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 jsonschema-specifications 2023.7.1
jupyter_events 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_server 2.15.0 jupyter_server_terminals 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server (servidor de JupyterLab) 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.0.3
langchain-openai 1.0.2 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 markdown-it-py 2.2.0
MarkupSafe 3.0.2 malvavisco 3.26.1 matplotlib 3.10.0
matplotlib-inline 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.5.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.4 numpy 2.1.3
oauthlib 3.2.2 openai 2.7.1 opentelemetry-api 1.38.0
opentelemetry-proto 1.38.0 opentelemetry-sdk 1.38.0 convenciones-semánticas-de-opentelemetry 0,59b0
orjson 3.11.4 overrides 7.4.0 embalaje 24,2
Pandas 2.2.3 pandocfilters 1.5.0 parso 0.8.4
pathspec 0.10.3 chivo expiatorio 1.0.1 pexpect 4.8.0
almohada 11.1.0 pip 25.0.1 platformdirs 4.3.7
plotly 5.24.1 pluggy 1.5.0 prometheus_client 0.21.1
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser 2.21 pydantic 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 piroaring 1.0.3
pytest 8.3.5 Python-dateutil 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.12.2
configuración de herramienta Python 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referencing 0.30.2 regex 2024.11.6
solicitudes 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rico 13.9.4 cuerda 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy 1.15.3 biblioteca de visualización de datos de Python llamada seaborn 0.13.2
Send2Trash 1.8.2 setuptools 78.1.1 six 1.17.0
smmap 5.0.0 sniffio 1.3.0 sortedcontainers 2.4.0
soupsieve 2,5 sqlparse 0.5.3 ssh-import-id 5.11
stack-data 0.6.3 Starlette 0.49.3 strictyaml 1.7.3
tenacidad 9.0.0 terminado 0.17.1 threadpoolctl 3.5.0
tiktoken 0.12.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20251008
inspección de escritura 0.9.0 typing_extensions 4.12.2 tzdata 2024.1
ujson 5.10.0 unattended-upgrades 0,1 uri-template 1.3.0
urllib3 2.3.0 uvicorn 0.38.0 virtualenv 20.29.3
wadllib 1.3.6 wcwidth 0.2.5 webcolores 25.10.0
codificaciones web 0.5.1 cliente de websocket 1.8.0 ¿Qué es el parche? 1.0.2
rueda 0.45.1 cuando quiera 0.7.3 widgetsnbextension 3.6.6
envuelto 1.17.0 yapf 0.40.2 zipp 3.21.0
zstandard 0.23.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2025-03-20.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 22.0.0 askpass 1.2.1 asegúrate de que 0.2.1
backports 1.5.0 base 4.5.1 base64enc 0.1-3
bigD 0.3.1 bit 4.6.0 bit 64 4.6.0-1
bitops 1.0-9 mancha 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 escoba 1.0.10
bslib 0.9.0 cachemir 1.1.0 callr 3.7.6
caret 7.0-1 cellranger (herramienta de análisis de datos celulares) 1.1.0 chron 2.3-62
class 7.3-22 Interfaz de línea de comandos (CLI) 3.6.5 clipr 0.8.0
reloj 0.7.3 conglomerado 2.1.6 codetools 0.2-20
commonmark 2.0.0 compilador 4.5.1 config 0.3.2
Confuso 1.2.0 cpp11 0.5.2 crayón 1.5.3
credentials 2.0.3 curl 7.0.0 tabla de datos 1.17.8
Conjuntos de datos 4.5.1 DBI 1.2.3 dbplyr 2.5.1
descripción 1.4.3 devtools 2.4.6 diagrama 1.6.5
diffobj 0.3.6 digerir 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
elipsis 0.3.2 evaluar 1.0.5 fans 1.0.7
colores 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 extranjero 0,8-86
fs 1.6.6 futuro 1.68.0 aplicación futura 1.20.0
gargle 1.6.0 genéricos 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
pegamento 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 gráficos 4.5.1 grDevices 4.5.1
grid 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 hardhat 1.4.2
refugio 2.5.5 más alto 0.11 hms 1.1.4
herramientas de HTML 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
Iteradores 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 knitr 1.50
etiquetado 0.4.3 más tarde 1.4.4 retícula 0.22-5
lava 1.8.2 ciclo de vida 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
Formato Markdown 2.0 MASA 7.3-60.0.1 Matrix 1.6-5
memorización 2.0.1 métodos 4.5.1 mgcv 1.9-1
mime 0,13 miniUI (Interfaz de Usuario) 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv 2016.8-1.1 openssl (software de cifrado) 2.3.4
otel 0.2.0 paralelo 4.5.1 Paralelamente 1.45.1
pilar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 elogio 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 progreso 1.2.3 progressr 0.18.0
promesas 1.5.0 prototipo 1.0.0 intermediario 0.4-27
ps 1.9.1 ronroneo 1.2.0 R6 2.6.1
ragg 1.5.0 Bosque Aleatorio (randomForest) 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 r-reactable 0.4.4 reactR 0.6.1
readr 2.1.6 readxl 1.4.5 recetas 1.3.1
partido de revancha 2.0.0 segunda revancha 2.1.2 remotes 2.5.0
ejemplo reproducible 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2,30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 sass 0.4.10
balanzas 1.4.0 selectr 0.4-2 información de sesión 1.2.3
forma 1.4.6.1 brillante 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spatial 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 Estadísticas 4.5.1 estadísticas4 4.5.1
stringi 1.8.7 stringr 1.6.0 supervivencia 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 Formateo de texto 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 cambio de hora 0.3.0 timeDate 4051.111
tinytex 0.58 herramientas 4.5.1 tzdb 0.5.0
verificador de URL 1.0.1 usa esto 3.2.1 utf8 1.2.6
utils 4.5.1 Identificador Único Universal (UUID) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.6
Waldo 0.6.2 whisker 0.4.1 withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
archivo comprimido 2.3.3

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)

Identificador de grupo Id. de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.15.3
com.amazonaws aws-java-sdk-autoscaling 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws aws-java-sdk-cloudhsm 1.12.681
com.amazonaws aws-java-sdk-cloudsearch 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline 1.12.681
com.amazonaws aws-java-sdk-directconnect 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws aws-java-sdk-glacier 1.12.681
com.amazonaws aws-java-sdk-glue 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-importexport 1.12.681
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.681
com.amazonaws aws-java-sdk-kms 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.681
com.amazonaws aws-java-sdk-machinelearning 1.12.681
com.amazonaws aws-java-sdk-opsworks 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm 1.12.681
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws SDK de AWS para Java - Soporte 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics flujo 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1. nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1. nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1. nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1. nativos
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value anotaciones de valor automático 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone anotaciones_propensas_a_errores 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava guayaba 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi código fuente_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 2.0.2
io.delta delta-sharing-client_2.13 1.3.6
io.dropwizard.metrics metrics-annotation 4.2.37
io.dropwizard.metrics núcleo de métricas 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics métricas y verificaciones de salud 4.2.37
io.dropwizard.metrics metrics-jetty10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics metrics-servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty serialización de códecs de netty 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus cliente_simple_común 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx coleccionista 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lanzador de aplicaciones Ant 1.10.11
org.apache.arrow arrow-format 18.3.0
org.apache.arrow núcleo de memoria de flecha 18.3.0
org.apache.arrow arrow-memory-netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.14.0
org.apache.curator curador-cliente 5.9.0
org.apache.curator marco de trabajo para curadores 5.9.0
org.apache.curator recetas del curador 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derbi 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive Hive-shims 2.3.10
org.apache.hive API de almacenamiento de hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hiedra 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc calzos de orco 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus Anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.9.4
org.apache.zookeeper Zookeeper-Jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Cliente Jetty-ALPN 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty jetty-plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty Seguridad de Jetty 10.0.26
org.eclipse.jetty servidor Jetty 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty Aplicación web de Jetty 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator validador de hibernación 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatible con ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Sugerencia

Para ver las notas de las versiones de Databricks Runtime que han llegado al fin de soporte (EoS), consulte las Notas de lanzamiento de fin de soporte de Databricks Runtime. Las versiones de EoS Databricks Runtime se han retirado y es posible que no se actualicen.