Databricks Runtime 18.0 (bêta)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 18.0 (bêta).

Azure Databricks a publié cette version en décembre 2025.

Important

Databricks Runtime 18.0 est en version bêta. Le contenu des environnements pris en charge peut changer pendant la version bêta. Les modifications peuvent inclure la liste des packages ou des versions des packages installés.

Nouvelles fonctionnalités et améliorations

Le script SQL est désormais en disponibilité générale
Pilote JDBC Redshift mis à niveau vers la version 2.1.0.28
Environnement d’isolation partagée pour les UDF Python du Unity Catalog
Fonctions de fenêtre SQL dans les vues de métriques
Arrêt en douceur pour les applications Spark
Ajustement dynamique de partition de mélange aléatoire dans les requêtes de diffusion en continu sans conservation d'état
Exécution adaptative de requêtes et auto-optimisation du transfert dans les requêtes de streaming sans état
FILTER clause pour mesurer les fonctions d’agrégation dans les vues de métriques
Concaténation de chaînes littérales partout
Marqueurs de paramètres partout
IDENTIFIER la clause partout
Nouvelle fonction BITMAP_AND_AGG
Nouvelle bibliothèque de fonctions KLL_Sketch
Bibliothèque Apache Parquet mise à niveau vers la version 1.16.0

Le script SQL est désormais en disponibilité générale

La fonctionnalité de script SQL est désormais en disponibilité générale.

Pilote JDBC Redshift mis à niveau vers la version 2.1.0.28

Le pilote JDBC Redshift a été mis à niveau vers la version 2.1.0.28.

Environnement d'exécution isolé partagé pour les fonctions définies par l'utilisateur Python du Unity Catalog

Les fonctions définies par l'utilisateur Python du catalogue Unity ayant le même propriétaire peuvent désormais partager un même environnement d'isolation par défaut. Cela peut améliorer les performances et réduire l’utilisation de la mémoire en réduisant le nombre d’environnements distincts qui doivent être lancés.

Pour garantir qu’une fonction UDF s’exécute toujours dans un environnement entièrement isolé, ajoutez la STRICT ISOLATION clause caractéristique. Consultez l’isolation de l’environnement.

Fonctions de fenêtre SQL dans les vues de métriques

Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues de métriques pour calculer les totaux en cours d’exécution, les classements et d’autres calculs basés sur des fenêtres.

Arrêt en douceur pour les applications Spark

Les applications Spark prennent désormais en charge l’arrêt normal, ce qui permet aux tâches en cours de se terminer avant la fin de l’application.

Ajustement dynamique de partition aléatoire dans les requêtes de diffusion en continu sans état

Vous pouvez maintenant modifier le nombre de partitions de mélange dans les requêtes de streaming sans état sans redémarrer la requête.

Exécution de requêtes adaptatives et shuffle optimisé automatiquement dans les requêtes de streaming sans état

L’exécution de requêtes adaptatives (AQE) et le shuffle optimisé automatiquement (AOS) sont désormais pris en charge dans les requêtes de streaming sans état.

`FILTER` clause pour mesurer les fonctions d’agrégation dans les vues de métriques

Vous pouvez maintenant utiliser la clause FILTER avec des fonctions d’agrégation de mesures dans les vues métriques pour définir des filtres par agrégation lors du référencement des mesures de vues métriques.

Fusion ou combinaison de chaînes littérales partout

La possibilité de fusionner des littéraux de chaîne séquentiels, tels que 'Hello' ' World' en 'Hello World', a été élargie des expressions à tout endroit où les littéraux de chaîne sont autorisés. Par exemple : COMMENT 'This' ' is a ' 'comment'. Consultez STRING type pour des détails.

Marqueurs de paramètres partout

Vous pouvez désormais utiliser des marqueurs de paramètres nommés (:param) et non nommés (?) pratiquement partout où une valeur littérale du type approprié peut être utilisée. Cela inclut des marqueurs de paramètres dans des instructions DDL telles que CREATE VIEW v AS SELECT ? AS c1, les types DECIMAL(:p, :s)de colonnes ou COMMENT ON t IS :comment. Grâce à cette possibilité, vous pouvez paramétrer une grande variété d’instructions SQL sans exposer votre code aux attaques par injection SQL. Pour plus d’informations, consultez les marqueurs de paramètres .

IDENTIFIER clause partout

La portée de la IDENTIFIER clause, qui convertit les chaînes en noms d’objets SQL, a été étendue à presque partout où un identificateur est autorisé. En plus des améliorations apportées à la coalescence des chaînes littérales et des marqueurs de paramètres, vous pouvez désormais paramétrer n'importe quoi, des alias de colonne (AS IDENTIFIER(:name)) aux définitions de colonne (IDENTIFIER(:pk) BIGINT NOT NULL). Pour plus d’informations, consultez IDENTIFIERclause.

Nouvelle fonction BITMAP_AND_AGG

La bibliothèque existante de fonctions BITMAP a été complétée par une nouvelle fonction BITMAP_AND_AGG.

Nouvelle bibliothèque de fonctions KLL_Sketch

Vous pouvez maintenant utiliser une nouvelle bibliothèque de fonctions qui créent des croquis KLL pour un calcul quantile approximatif :

Bibliothèque Apache Parquet mise à niveau vers la version 1.16.0

La bibliothèque Apache Parquet a été mise à niveau vers la version 1.16.0.

Changements comportementaux

JDK 21 est désormais le Kit de développement Java par défaut
FSCK REPAIR TABLE inclut la réparation des métadonnées par défaut
Nullabilité conservée pour les types de tableau et de carte dans le client Scala Spark Connect
FSCK REPAIR TABLE DRY RUN schéma de sortie mis à jour
SHOW TABLES DROPPED respecte la clause LIMIT
Facteurs de proration alignés entre les lectures et les écritures optimisées automatiquement
Exécution UDF Python unifiée sur PySpark et le catalogue Unity
Amélioration des messages d’erreur pour les problèmes de module de connexion du connecteur Kafka
Restrictions de voyage dans le temps et VACUUM comportement de rétention
BinaryType mappe à bytes par défaut dans PySpark
Structs NULL conservés dans Delta MERGE, UPDATEet opérations d’écriture en streaming
Colonnes de partition matérialisées dans les fichiers Parquet

JDK 21 est désormais le Kit de développement Java par défaut

Databricks Runtime 18.0 utilise JDK 21 comme kit de développement Java par défaut. JDK 21 est une version de support à long terme (LTS). Auparavant, la valeur par défaut était JDK 17, qui est désormais disponible en tant qu’option de secours.

Pour plus d’informations sur la configuration des versions JDK pour vos clusters, consultez Créer un cluster avec une version JDK spécifique.

`FSCK REPAIR TABLE` inclut la réparation des métadonnées par défaut

La FSCK REPAIR TABLE commande inclut désormais une étape de réparation des métadonnées initiale avant de vérifier les fichiers de données manquants. La commande peut fonctionner sur des tables avec des points de contrôle endommagés ou des valeurs de partition non valides.

Possibilité de valeur Null conservée pour les types de tableau et de mappage dans le client Scala Spark Connect

La nullabilité des types de tableaux et de cartes est désormais préservée pour les littéraux typés dans le client Spark Connect Scala. Auparavant, les éléments des tableaux et des valeurs des cartes étaient toujours nullables.

`FSCK REPAIR TABLE DRY RUN` schéma de sortie mis à jour

La dataFilePath colonne du FSCK REPAIR TABLE DRY RUN schéma de sortie est désormais nullable pour prendre en charge la création de nouveaux types de problèmes où le chemin d’accès au fichier de données n’est pas applicable.

`SHOW TABLES DROPPED` respecte la disposition de `LIMIT`

La SHOW TABLES DROPPED commande respecte maintenant correctement la LIMIT clause.

Facteurs de proration alignés entre les lectures et les écritures optimisées automatiquement

Les facteurs de proration pour le dimensionnement de partition utilisent désormais des valeurs fractionnaires de manière cohérente entre les opérations de lecture et les écritures optimisées automatiquement. Cette modification peut entraîner un nombre différent de tâches pour les opérations de lecture.

Exécution UDF Python unifiée sur PySpark et le catalogue Unity

Les fonctions définies par l'utilisateur Python du catalogue Unity utilisent désormais Apache Arrow comme format d'échange par défaut, ce qui améliore les performances globales et s'aligne avec le comportement des fonctions définies par l'utilisateur Python optimisées par Apache Arrow dans Apache Spark. Dans le cadre de cette modification, TIMESTAMP les valeurs transmises aux fonctions UDF Python ne contiennent plus d'informations sur le fuseau horaire dans l'attribut de l'objet datetimetzinfo. Les valeurs d’horodatage elles-mêmes restent au format UTC, mais les métadonnées de fuseau horaire sont désormais supprimées.

Si votre fonction UDF s’appuie sur les informations de fuseau horaire, vous devez la restaurer avec date = date.replace(tzinfo=timezone.utc). Pour plus d’informations, consultez le comportement du fuseau horaire timestamp pour les entrées.

Lorsque vous utilisez le connecteur Kafka avec une classe de module de connexion non éclipsée, Azure Databricks fournit désormais des messages d’erreur qui suggèrent d’utiliser le préfixe de classe ombré correct (kafkashaded.org.apache.kafka ou kafkashaded.software.amazon.msk.auth.iam).

Restrictions de voyage dans le temps et `VACUUM` comportement de rétention

Azure Databricks bloque désormais les requêtes de voyage dans le temps au-delà du deletedFileRetentionDuration seuil pour toutes les tables. La VACUUM commande ignore l’argument de durée de rétention, sauf lorsque la valeur est de 0 heures. Vous ne pouvez pas définir deletedFileRetentionDuration plus grand que logRetentionDuration ou inversement.

`BinaryType` est mappé à `bytes` par défaut dans PySpark

BinaryType mappe désormais de façon cohérente à Python bytes dans PySpark. Auparavant, PySpark mappait BinaryType à bytes ou bytearray en fonction du contexte. Pour restaurer l’ancien comportement, définissez spark.sql.execution.pyspark.binaryAsBytes sur false.

Structs NULL conservés dans Delta MERGE, UPDATEet opérations d’écriture en streaming

Les structs NULL sont désormais conservés comme NULL dans Delta MERGE, UPDATE, et les opérations d'écriture en streaming qui incluent des casts de type struct. Auparavant, les structs NULL ont été développés en structs avec des champs NULL. Par exemple, un struct NULL reste désormais NULL au lieu d’être développé vers un struct avec toutes les valeurs de champ NULL.

Colonnes de partition matérialisées dans des fichiers Parquet

Les tables Delta partitionnées matérialisent désormais les colonnes de partition dans les fichiers de données Parquet récemment écrits. Auparavant, les valeurs de partition étaient stockées dans les métadonnées du journal des transactions Delta et reflétées dans les chemins d’accès au répertoire, mais pas écrites en tant que colonnes dans les fichiers Parquet eux-mêmes. Cette modification s’aligne sur le comportement Apache Iceberg et UniForm et peut affecter les charges de travail qui lisent directement les fichiers Parquet écrits par Delta Lake, car les fichiers nouvellement écrits incluent des colonnes de partition supplémentaires.

Mises à niveau de la bibliothèque

Bibliothèques Python mises à niveau :

anyio de 4.6.2 à 4.7.0
asttokens de 2.0.5 à 3.0.0
azure-core de 1.34.0 à 1.36.0
azure-mgmt-core de 1.5.0 à 1.6.0
azure-storage-blob de 12.23.0 à 12.27.1
azure-storage-file-datalake de 12.17.0 à 12.22.0
boto3 de 1.36.2 à 1.40.45
botocore de 1.36.3 à 1.40.45
certifi de 2025.1.31 à 2025.4.26
cliquez entre 8.1.7 et 8.1.8
chiffrement de 43.0.3 à 44.0.1
Cython de 3.0.12 à 3.1.5
databricks-sdk de 0.49.0 à 0.67.0
Déconseillé de 1.2.13 à 1.2.18
exécution de 0.8.3 à 1.2.0
fastapi de 0.115.12 à 0.121.0
google-api-core de 2.20.0 à 2.28.1
google-auth de 2.40.0 à 2.43.0
google-cloud-core de 2.4.3 à 2.5.0
google-cloud-storage de 3.1.0 à 3.5.0
h11 de 0.14.0 à 0.16.0
httpcore de 1.0.2 à 1.0.9
httpx de 0.27.0 à 0.28.1
isodate de 0.6.1 à 0.7.2
Jinja2 de 3.1.5 à 3.1.6
jupyter-events de 0.10.0 à 0.12.0
jupyter-lsp de 2.2.0 à 2.2.5
jupyter_server de 2.14.1 à 2.15.0
jupyter_server_terminals de 0.4.4 à 0.5.3
mistune de 2.0.4 à 3.1.2
mlflow-skinny de 3.0.1 à 3.5.1
mmh3 de 5.1.0 à 5.2.0
msal de 1.32.3 à 1.34.0
nbclient de 0.8.0 à 0.10.2
nbconvert de 7.16.4 à 7.16.6
notebook_shim de 0.2.3 à 0.2.4
opentelemetry-api de 1.32.1 à 1.38.0
opentelemetry-sdk de 1.32.1 à 1.38.0
opentelemetry-semantic-conventions de 0.53b1 à 0,59b0
platformdirs de 3.10.0 à 4.3.7
prometheus_client de 0.21.0 à 0.21.1
psycopg2 de 2.9.3 à 2.9.11
pyarrow de 19.0.1 à 21.0.0
Pygments de 2.15.1 à 2.19.1
pyiceberg de 0.9.0 à 0.10.0
python-lsp-server de 1.12.0 à 1.12.2
corde de 1.12.0 à 1.13.0
s3transfer de 0.11.3 à 0.14.0
scipy de 1.15.1 à 1.15.3
setuptools de 74.0.0 à 78.1.1
six de 1.16.0 à 1.17.0
stack-data de 0.2.0 à 0.6.3
starlette de 0.46.2 à 0.49.3
tornado de 6.4.2 à 6.5.1
types-python-dateutil de 2.9.0.20241206 à 2.9.0.20251008
uvicorn de 0.34.2 à 0.38.0
webcolors de 24.11.1 à 25.10.0

Bibliothèques R mises à niveau :

flèche de 19.0.1 à 22.0.0
base comprise entre 4.4.2 et 4.5.1
BigD de 0.3.0 à 0.3.1
broom de 1.0.7 à 1.0.10
horloge de la version 0.7.2 à 0.7.3
commonmark de 1.9.5 à 2.0.0
compilateur de 4.4.2 à 4.5.1
informations d’identification de 2.0.2 à 2.0.3
curl de 6.4.0 à 7.0.0
data.table de 1.17.0 à 1.17.8
jeux de données de 4.4.2 à 4.5.1
dbplyr de 2.5.0 à 2.5.1
devtools de 2.4.5 à 2.4.6
diffobj de 0.3.5 à 0.3.6
digest de 0.6.37 à 0.6.39
downlit de 0.4.4 à 0.4.5
dtplyr de 1.3.1 à 1.3.2
évaluer de 1.0.3 à 1.0.5
fansi de 1.0.6 à 1.0.7
forcats de la version 1.0.0 à la version 1.0.1
fs de 1.6.5 à 1.6.6
future de 1.34.0 à 1.68.0
future.apply de 1.11.3 à 1.20.0
bascule de 1.5.2 à 1.6.0
gert de 2.1.4 à 2.2.0
ggplot2 de 3.5.1 à 4.0.1
gh de 1.4.1 à 1.5.0
git2r de 0.35.0 à 0.36.2
glmnet de 4.1-8 à 4.1-10
googledrive de 2.1.1 à 2.1.2
googlesheets4 de 1.1.1 à 1.1.2
graphiques de 4.4.2 à 4.5.1
grDevices de 4.4.2 à 4.5.1
grille comprise entre 4.4.2 et 4.5.1
gt de 0.11.1 à 1.1.0
Mise à jour de hardhat de la version 1.4.1 à la version 1.4.2
haven de 2.5.4 à 2.5.5.5
hms de 1.1.3 à 1.1.4
httpuv de 1.6.15 à 1.6.16
httr2 de 1.1.1 à 1.2.1
jsonlite de 1.9.1 à 2.0.0
plus tard de 1.4.1 à 1.4.4
lave de 1.8.1 à 1.8.2
listenv de 0.9.1 à 0.10.0
magrittr de 2.0.3 à 2.0.4
Markdown de 1.13 à 2.0
méthodes comprises entre 4.4.2 et 4.5.1
miniUI de 0.1.1.1 à 0.1.2
mlflow de 2.20.4 à 3.6.0
openssl de 2.3.3 à 2.3.4
parallèle de 4.4.2 à 4.5.1
parallèlement de 1.42.0 à 1.45.1
pilier de 1.11.0 à 1.11.1
pkgbuild de 1.4.6 à 1.4.8
Mise à jour de pkgdown de la version 2.1.1 à la version 2.2.0
pkgload de 1.4.0 à 1.4.1
pROC de 1.18.5 à 1.19.0.1
prodlim de 2024.06.25 à 2025.04.28
progressr de 0.15.1 à 0.18.0
promesses comprises entre 1.3.2 et 1.5.0
ps de 1.9.0 à 1.9.1
purrr de 1.0.4 à 1.2.0
ragg de 1.3.3 à 1.5.0
Rcpp de 1.0.14 à 1.1.0
readr de 2.1.5 à 2.1.6
recettes comprises entre 1.2.0 et 1.3.1
reshape2 de 1.4.4 à 1.4.5
rmarkdown de 2.29 à 2.30
roxygen2 de 7.3.2 à 7.3.3
rprojroot de 2.0.4 à 2.1.1
RSQLite de 2.3.9 à 2.4.4
rversions de 2.1.2 à 3.0.0
rvest de 1.0.4 à 1.0.5
sass de 0.4.9 à 0.4.10
va de 1.3.0 à 1.4.0
brillant de 1.10.0 à 1.11.1
sparklyr de 1.9.1 à 1.9.3
SparkR de 4.0.0 à 4.1.0
sparsevctrs de 0.3.1 à 0.3.4
splines de 4.4.2 à 4.5.1
statistiques comprises entre 4.4.2 et 4.5.1
stats4 de 4.4.2 à 4.5.1
stringr de 1.5.1 à 1.6.0
systemfonts de 1.2.1 à 1.3.1
tcltk de 4.4.2 à 4.5.1
testthat de 3.2.3 à 3.3.0
Textshaping de 1.0.0 à 1.0.4
timeDate de 4041.110 à 4051.111
tinytex de 0,56 à 0,58
outils de 4.4.2 à 4.5.1
usethis de 3.1.0 à 3.2.1
utils de 4.4.2 à 4.5.1
V8 de 6.0.2 à 8.0.1
vroom de 1.6.5 à 1.6.6
waldo de 0.6.1 à 0.6.2
xfun de 0,51 à 0,54
xml2 de 1.3.8 à 1.5.0
zeallot de 0.1.0 à 0.2.0
zip de 2.3.2 à 2.3.3

Bibliothèques Java mises à niveau :

com.amazonaws.amazon-kinesis-client de 1.12.0 à 1.15.3
com.amazonaws.aws-java-sdk-autoscaling de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-config de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-core de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-sql-scriptdatapipeline de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-directconnect de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-directory de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-ec2 de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-ecs de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-efs de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-elasticache de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-emr de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-glacier de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-glue de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-iam de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-importexport de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-kinesis de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-kms de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-lambda de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-logs de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-opsworks de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-rds de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-redshift de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-route53 de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-s3 de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-ses de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-simpledb de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-sns de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-sqs de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-ssm de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-sts de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-support de 1.12.638 à 1.12.681
com.amazonaws.aws-java-sdk-workspaces de 1.12.638 à 1.12.681
com.amazonaws.jmespath-java de 1.12.638 à 1.12.681
com.databricks.databricks-sdk-java de 0.27.0 à 0.53.0
com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 à 2.18.3
com.github.luben.zstd-jni de 1.5.6-10 à 1.5.7-6
com.google.flatbuffers.flatbuffers-java de 24.3.25 à 25.2.10
com.google.guava.failureaccess de 1.0.2 à 1.0.3
com.google.guava.guava de 33.4.0-jre à 33.4.8-jre
com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 à 12.8.0.jre8
commons-cli.commons-cli de 1.9.0 à 1.10.0
commons-codec.commons-codec de la version 1.17.2 à la version 1.19.0
commons-fileupload.commons-fileupload de 1.5 à 1.6.0
commons-io.commons-io de 2.18.0 à 2.21.0
dev.ludovic.netlib.arpack de 3.0.3 à 3.0.4
dev.ludovic.netlib.blas de 3.0.3 à 3.0.4
dev.ludovic.netlib.lapack de 3.0.3 à 3.0.4
io.delta.delta-sharing-client_2.13 de 1.3.5 à 1.3.6
io.dropwizard.metrics.metrics-annotation de 4.2.30 à 4.2.37
io.dropwizard.metrics.metrics-core de 4.2.30 à 4.2.37
io.dropwizard.metrics.metrics-graphite de 4.2.30 à 4.2.37
io.dropwizard.metrics.metrics-healthchecks de 4.2.30 à 4.2.37
io.dropwizard.metrics.metrics-jmx de 4.2.30 à 4.2.37
io.dropwizard.metrics.metrics-json de la version 4.2.30 à la version 4.2.37
io.dropwizard.metrics.metrics-jvm de 4.2.30 à 4.2.37
io.dropwizard.metrics.metrics-servlets de 4.2.30 à 4.2.37
io.netty.netty-all de 4.1.118.Final à 4.2.7.Final
io.netty.netty-buffer de 4.1.118.Final à 4.2.7.Final
io.netty.netty-codec de 4.1.118.Final à 4.2.7.Final
io.netty.netty-codec-http de 4.1.118.Final à 4.2.7.Final
io.netty.netty-codec-http2 de 4.1.118.Final à 4.2.7.Final
io.netty.netty-codec-socks de la version 4.1.118.Final à la version 4.2.7.Final
io.netty.netty-common de 4.1.118.Final à 4.2.7.Final
io.netty.netty-handler de 4.1.118.Final à 4.2.7.Final
io.netty.netty-handler-proxy de 4.1.118.Final à 4.2.7.Final
io.netty.netty-resolver de 4.1.118.Final à 4.2.7.Final
io.netty.netty-tcnative-boringssl-static from 2.0.70.Final-db-r0-windows-x86_64 to 2.0.74.Final-db-r0-windows-x86_64
io.netty.netty-tcnative-classes de 2.0.70.Final à 2.0.74.Final
io.netty.netty-transport de 4.1.118.Final à 4.2.7.Final
io.netty.netty-transport-classes-epoll de 4.1.118.Final à 4.2.7.Final
io.netty.netty-transport-classes-kqueue de 4.1.118.Final à 4.2.7.Final
io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 à 4.2.7.Final-linux-x86_64
io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 à 4.2.7.Final-osx-x86_64
io.netty.netty-transport-native-unix-common de 4.1.118.Final à 4.2.7.Final
joda-time.joda-time de 2.13.0 à 2.14.0
org.apache.arrow.arrow-format de 18.2.0 à 18.3.0
org.apache.arrow.arrow-memory-core de 18.2.0 à 18.3.0
org.apache.arrow.arrow-memory-netty de 18.2.0 à 18.3.0
org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 à 18.3.0
org.apache.arrow.arrow-vector de 18.2.0 à 18.3.0
org.apache.avro.avro de 1.12.0 à 1.12.1
org.apache.avro.avro-ipc de 1.12.0 à 1.12.1
org.apache.avro.avro-mapred de 1.12.0 à 1.12.1
org.apache.commons.commons-collections4 de 4.4 à 4.5.0
org.apache.commons.commons-compress de 1.27.1 à 1.28.0
org.apache.commons.commons-lang3 de 3.17.0 à 3.19.0
org.apache.commons.commons-text de 1.13.0 à 1.14.0
org.apache.curator.curator-client de 5.7.1 à 5.9.0
Mise à jour de org.apache.curator.curator-framework de la version 5.7.1 à la version 5.9.0
org.apache.curator.curator-recipes de 5.7.1 à 5.9.0
org.apache.datasketches.datasketches-java de 6.1.1 à 6.2.0
org.apache.hadoop.hadoop-client-runtime de 3.4.1 à 3.4.2
org.apache.orc.orc-core de 2.1.1-shaded-protobuf à 2.2.0-shaded-protobuf
org.apache.orc.orc-format de 1.1.0-shaded-protobuf à 1.1.1-shaded-protobuf
org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf à 2.2.0-shaded-protobuf
org.apache.orc.orc-shims de 2.1.1 à 2.2.0
org.apache.xbean.xbean-asm9-shaded de 4.26 à 4.28
org.apache.zookeeper.zookeeper de 3.9.3 à 3.9.4
org.apache.zookeeper.zookeeper-jute de 3.9.3 à 3.9.4
org.eclipse.jetty.jetty-client de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-http de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-io de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-security de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-server de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-util, de la version 9.4.53.v20231009 à la version 10.0.26
org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 à 10.0.26
org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 à 10.0.26
org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.22.1
org.objenesis.objenesis de 3.3 à 3.4
org.scala-lang.modules.scala-xml_2.13 de 2.3.0 à 2.4.0

Apache Spark

Databricks Runtime 18.0 (bêta) inclut Apache Spark 4.0.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans la version précédente, ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

SPARK-54536 Coût du temps d'attente shuffle FetchWaitTime manquant pour collecter/créer un client/d'attente
SPARK-54534 Migrer des codes d’erreur hérités liés à Hive vers des conditions d’erreur appropriées
SPARK-54565 SparkBuildInfo doit être chargé à partir de son propre chargeur de classe
SPARK-54533 Définir le paramètre de métrique "ExecutorSource.METRIC_RESULT_SIZE" avec la bonne valeur
SPARK-54478 Réactiver les tests de diffusion en continu pour le test de compatibilité CI
SPARK-54552 Correction SparkConnectResultSet.getString pour gérer le type de données BINARY avec UTF_8
SPARK-54501 Améliorer la gestion des erreurs pour les échecs du filtre de partition dans le metastore Hive
SPARK-54550 Gérer ConnectException correctement dans SparkConnectStatement.close()
SPARK-54020 Prise en charge de l’API Python dans les fonctions de requête pour le pipeline déclaratif Spark
SPARK-53127 Corriger LIMIT ALL pour la récursivité nonlimée avec la normalisation CTE
SPARK-50072 Gérer l’ArithmeticException dans l’analyse d’intervalles avec des valeurs volumineuses
SPARK-54299 Correction de l’exemple de requête incorrect dans WindowGroupLimit
SPARK-54505 Corriger l’ordre des arguments de l’appel createMetrics dans makeNegative
SPARK-54462 Ajouter un mixin SupportsV1OverwriteWithSaveAsTable pour TableProvider
SPARK-54540 Couple de correctifs mineurs pour le pilote JDBC Connect
SPARK-54508 Correction pour améliorer la robustesse de la résolution du chemin d’accès au fichier
SPARK-54087 L'échec du lancement de la tâche de l'exécuteur Spark doit retourner le message indiquant que la tâche a été arrêtée
SPARK-53797 Correction FileStreamSource.takeFilesUntilMax à utiliser zipWithIndex pour éviter l'indices utilisation
SPARK-54418 Corriger les messages d’erreur et la mise en forme du code
SPARK-54114 Support de getColumns pour SparkConnectDatabaseMetaData
SPARK-54209 Prise en charge du type TIMESTAMP dans SparkConnectResultSet
SPARK-54208 Prise en charge du type TIME dans SparkConnectResultSet
SPARK-54528 Fermez URLClassLoader de manière proactive pour éviter une erreur de mémoire insuffisante (OOM)
SPARK-54464 Supprimer les appels en double output.reserve dans assembleVariantBatch
SPARK-53635 Prise en charge des fonctions définies par l'utilisateur Scala avec des arguments d'entrée de type Seq[Row]
SPARK-54493 Corriger assertSchemaEqual pour MapType
SPARK-52515 Tester approx_top_k avec indicateur activé et désactivé
SPARK-54413 Mettre à niveau Bootstrap v4.4.1 vers v4.6.2
SPARK-54497 Appliquer functools.lru_cache dans la mise en cache du convertisseur
SPARK-54306 Annoter les colonnes Variant avec l’annotation de type logique Variant
SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION doit être basé sur 1
SPARK-54130 Ajout de messages d’erreur détaillés pour les échecs d’assertion de catalogue.
SPARK-54220 Prise en charge des types NullType/VOID/UNKNOWN dans Parquet
SPARK-54163 Analyse de la canonicalisation pour le partitionnement et l'ordre des données
SPARK-54377 Correction COMMENT ONTABLE de la valeur IS NULL pour supprimer correctement le commentaire de table
SPARK-52767 Optimiser maxRows et maxRowsPerPartition pour les opérations de jointure et d'union
SPARK-54063 Déclencher un instantané pour le lot suivant en cas de retard de téléchargement
SPARK-54384 Moderniser la méthode _batched pour BatchedSerializer
SPARK-54378 Supprimer CreateXmlParser.scala du catalyst module
SPARK-53103 Annuler « [SC-204946][ss] Lever une erreur si le répertoire d’état n’est pas vide au démarrage de la requête »
SPARK-53103 Lève une erreur si le répertoire d’état n’est pas vide au démarrage de la requête
SPARK-54397 Rendre UserDefinedType hachable
SPARK-54440 Donnez au fichier de spécifications de pipeline par défaut un nom idiomatique, spark-pipeline.yml
SPARK-54324 Ajouter un test pour les extensions client-user-context-extensions
SPARK-54456 Importer le module Worker après la duplication pour éviter tout blocage
SPARK-54427 Autoriser ColumnarRow à appeler copy avec des types de variantes
SPARK-54136 Extraire la logique de fusion du plan de MergeScalarSubqueries vers PlanMerger
SPARK-54389 Correction d'une erreur d'empreinte non valide du magasin d'état RocksDB lorsque la tâche est marquée comme échouée lors de l'initialisation.
SPARK-54346 Introduire l’API de redistribution d'état et le gestionnaire de redistribution.
SPARK-53809 Ajouter une canonicalisation pour DataSourceV2ScanRelation
SPARK-54280 Exiger que le répertoire de stockage du point de contrôle du pipeline soit un chemin absolu
SPARK-54206 Prise en charge des données de type BINARY dans SparkConnectResultSet
SPARK-54319 Erreur de mise à jour de BHJ LeftAnti : numOutputRows lorsque codegen est désactivé
SPARK-54355 Permettre spark.connect.session.planCompression.defaultAlgorithm de prendre en charge NONE
SPARK-54341 Mémoriser TimeTravelSpec pour les tables chargées via TableProvider
SPARK-54280 Rétablir « [SC-212148][sdp] Exiger que le répertoire de stockage du point de contrôle du pipeline soit un chemin absolu »
SPARK-54354 Corriger le blocage de Spark lorsqu’il n’y a pas suffisamment de mémoire de tas JVM pour la relation de hachage diffusée
SPARK-54439 Incompatibilité de taille de clé entre KeyGroupedPartitioning et la clé de jointure.
SPARK-54280 Exiger que le répertoire de stockage du point de contrôle du pipeline soit un chemin absolu
SPARK-54395 RemoteBlockPushResolver, classe initialise à plusieurs reprises ObjectMapper
SPARK-54207 Prend en charge les données de type Date dans SparkConnectResultSet
SPARK-54182 Optimiser la conversion sans flèche de df.toPandas
SPARK-54312 Évitez de planifier des tâches répétées pour SendHeartbeat/WorkDirClean dans un worker autonome
SPARK-54394 Déplacer isJavaVersionAtMost17 et isJavaVersionAtLeast21 passer core à common/utils
SPARK-53927 Mettre à niveau le client Kinesis
SPARK-54358 Les répertoires de point de contrôle entrent en collision lorsque les tables de streaming dans des schémas différents ont le même nom
SPARK-54310 Annuler « [SC-212003][sql] Ajouter numSourceRows métrique pour MergeIntoExec »
SPARK-54310 Ajouter une numSourceRows métrique pour MergeIntoExec
SPARK-53322 Sélectionnez un KeyGroupedShuffleSpec uniquement lorsque les positions de clé de jointure peuvent être entièrement poussées vers le bas
SPARK-54270 Les méthodes Get* SparkConnectResultSet doivent appeler checkOpen et vérifier la limite d’index
SPARK-53849 Mettre à jour netty et netty tc native
SPARK-54205 Prend en charge les données de type décimal dans SparkConnectResultSet
SPARK-54417 Correction du message d’erreur pour la sous-requête scalaire dans la IDENTIFIER clause
SPARK-54113 Prise en charge de la fonction getTables pour SparkConnectDatabaseMetaData
SPARK-54303 Canonicaliser la condition d’erreur MISSING_CATALOG_ABILITY
SPARK-54153 Prise en charge du profilage de l'itérateur basé sur des UDF Python
SPARK-54349 Refactoriser le code un peu pour simplifier l’extension d’intégration du gestionnaire d’erreurs
SPARK-54317 Unifier la logique de conversion Arrow pour Classic et Connect toPandas
SPARK-54339 Corriger le non-déterminisme AttributeMap
SPARK-54112 Support de getSchemas pour SparkConnectDatabaseMetaData
SPARK-54180 Remplacer la toString de BinaryFileFormat
SPARK-54213 Supprimer Python 3.9 de Spark Connect
SPARK-54215 Ajouter la caractéristique SessionStateHelper à FilePartition
SPARK-54115 Augmenter la priorité d’affichage des threads d’opération du serveur de connectivité dans la page de décharge de threads
SPARK-54193 Déprécié spark.shuffle.server.finaliseShuffleMergeThreadsPercent
SPARK-54149 Activer la récursion terminale autant que possible
SPARK-54185 Obsolète spark.shuffle.server.chunkFetchHandlerThreadsPercent
Spark-54056 résout la substitution pour les paramètres SQLConf dans les catalogues
SPARK-54147 Définissez OMP_NUM_THREADS sur spark.task.cpus par défaut dans BaseScriptTransformationExec
SPARK-54229 Faire que PySparkLogger dans les UDF stocke une entrée de log par appel à la fonction log
SPARK-53337 XSS : Vérifiez que le nom de l’application dans la page d’historique est échappé
SPARK-54229 Rétablir « [SC-211321][python] Rendre PySparkLogger dans les UDFs stocker une entrée de journal par appel de fonction de journal »
SPARK-54373 Agrandir l’attribut SVG viewBox de l’initialisation du DAG de travail
SPARK-54323 Modifier la façon d’accéder aux journaux d’activité à TVF au lieu de la vue système
SPARK-54229 Faire que PySparkLogger dans les UDF stocke une entrée de log par appel à la fonction log
SPARK-53978 Prise en charge de la journalisation dans les workers côté pilote
SPARK-54146 Nettoyer l’utilisation de l’API Jackson déconseillée
SPARK-54383 Ajouter une variante de schéma précomputée pour InternalRowComparableWrapper util
SPARK-54030 Ajouter un message d’assertion convivial pour afficher l’altération des métadonnées
SPARK-54144 Inférences de type d'évaluation en court-circuit
SPARK-54030 Rétablir « [SC-210301][sql] Ajouter un message d’assertion convivial pour afficher l’altération des métadonnées »
SPARK-54028 Utiliser un schéma vide lors de la modification d’une vue qui n’est pas compatible Hive
SPARK-54030 Ajouter un message d’assertion convivial pour afficher l’altération des métadonnées
SPARK-54085 Correction initialize pour ajouter en plus l’option CREATE dans DriverRunner
SPARK-53482MERGE INTO prise en charge lorsque la source a moins de champs imbriqués que la cible
SPARK-53905 Refactoriser RelationResolution pour activer la réutilisation du code
SPARK-53732 Mémoriser TimeTravelSpec dans DataSourceV2Relation
SPARK-54014 Prise en charge du nombre maximal de lignes pour SparkConnectStatement
SPARK-50906 Correction de la vérification de la nullabilité Avro pour les champs de structure réorganisés
SPARK-54396 Optimiser les appels Py4J dans Dataframe.toArrow
SPARK-54344 Arrêter le processus de travail si le vidage échoue dans daemon.py
SPARK-53977 Prise en charge du logging dans les UDTFs
SPARK-52515 Réappliquer « [SC-199815][sql] Ajouter la fonction approx_top_k »
SPARK-54340 Ajouter la fonctionnalité d’utilisation de viztracer sur les démons/travailleurs de pyspark
SPARK-54379 Déplacer la liaison lambda vers un objet distinct LambdaBinder
SPARK-54029 Ajouter un message d’erreur détaillé pour la corruption des métadonnées de table pour faciliter le débogage
SPARK-54002 Prise en charge de l’intégration de BeeLine avec le pilote JDBC Connect
SPARK-54336 Corriger BloomFilterMightContain la vérification du type d’entrée avec ScalarSubqueryReference
SPARK-53406 Évitez les jointures aléatoires inutiles dans l’ID de shuffle direct passthrough
SPARK-54347 Optimiser les appels Py4J dans un dataframe classique
SPARK-54062 Nettoyage du code MergeScalarSubqueries
SPARK-54054 Prise en charge de la position de ligne pour SparkConnectResultSet
SPARK-54330 Optimiser les appels Py4J dans spark.createDataFrame
SPARK-54332 Il n’est pas nécessaire d’attacher PlanId dans le regroupement des noms de colonnes dans rollup/cube/groupingSets
SPARK-53976 Prise en charge de la journalisation dans Pandas/Arrow UDFs
SPARK-54123 Ajouter un fuseau horaire pour que l’horodatage soit un temps absolu
SPARK-54356 Corriger EndToEndAPISuite provoqué par un schéma racine de stockage manquant
SPARK-54292 Prendre en charge les fonctions d’agrégation et les opérateurs de pipeGROUP BY> (#180106) (#180368)
SPARK-54376 Marquer la plupart des options de configuration de pipeline comme internes
SPARK-53975 Ajoute la prise en charge de base de la journalisation des processus Python
SPARK-54361 Révision de la version Spark pour la fixer à la valeur prévue de 4.2.0 pour spark.sql.parser.singleCharacterPipeOperator.enabled
SPARK-51518 Prise en charge | comme alternative à |> pour le jeton d’opérateur de tube SQL
SPARK-53535 Correction des structs manquants toujours supposés comme null
SPARK-54294 Normaliser l’adresse IP imprimée du serveur Connect
SPARK-52439 Prise en charge de la contrainte de vérification avec la valeur Null
SPARK-54352 Introduire SQLConf.canonicalize pour centraliser la normalisation des chaînes
SPARK-54183 Rétablir « [SC-211824][python][CONNECT] Éviter une trame de données temporaire intermédiaire pendant spark connect toPandas() »
SPARK-53573IDENTIFIER partout
SPARK-53573 Permettre la combinaison des littéraux de chaîne partout
SPARK-54240 Traduire l’expression de catalyseur d’élément de tableau en expression de connecteur
SPARK-54334 Déplacer la validation des expressions de sous-requête sous les fonctions lambda et d’ordre supérieur vers SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
SPARK-54183 Rétablir « [SC-211824][python][CONNECT] Éviter une trame de données temporaire intermédiaire pendant Spark Connect toPandas() »
SPARK-54183 Évitez une trame de données temporaire intermédiaire pendant la connexion Spark àPandas()
SPARK-54264 L’opérateur DeDup peut utiliser la cléExists() de RocksDB
SPARK-54269 Mise à niveau cloudpickle vers la version 3.1.2 pour Python 3.14
SPARK-54300 Optimiser les appels Py4J dans df.toPandas
SPARK-54307 Provoque une erreur si la requête de diffusion en continu est redémarrée avec une opération d'état, mais qu'il n’y ait pas de répertoire d’état.
SPARK-54117 Lancer une erreur plus claire pour indiquer que TWS est uniquement pris en charge avec le fournisseur de stockage d'état RocksDB.
SPARK-53917 Prendre en charge de grandes relations locales - suivis
SPARK-54275 Nettoyer le code inutilisé à partir du pipeline module
SPARK-54287 Ajouter la prise en charge de Python 3.14 dans pyspark-client et pyspark-connect
SPARK-53614 Ajouter la prise en charge de Iterator[pandas.DataFrame] à applyInPandas
SPARK-54191 Ajouter une fois pour Defineflow Proto
SPARK-54234 Il n’est pas nécessaire d’attacher PlanId dans le regroupement de noms de colonnes dans df.groupBy
SPARK-54231 Combler les lacunes dans les documents SDP
SPARK-54199 Ajouter la prise en charge de l'API DataFrame pour les nouvelles fonctions d'esquisse de quantiles KLL (#178526)
SPARK-52463 Réappliquez « [SC-211221][sdp] Ajouter la prise en charge des cluster_by dans les API Python Pipelines »
SPARK-52463 Annuler « [SC-211221][sdp] Ajouter la prise en charge du cluster_by dans les API Pipelines Python »
SPARK-53786 La valeur par défaut avec un nom de colonne spécial ne doit pas entrer en conflit avec une colonne réelle
SPARK-54200 Mettre à jour KafkaConsumerPoolRealTimeModeSuite pour utiliser groupIdPrefix pour la sécurité des exécutions simultanées
SPARK-52463 Ajouter la prise en charge de cluster_by dans les API Python Pipelines
SPARK-52509 Purger les shuffles individuels du stockage de secours lors de l’événement RemoveShuffle
SPARK-54187 Réappliquer « [SC-211150][python][CONNECT] Obtenir tous les paramètres par lot dans toPandas »
SPARK-53942 Prise en charge de la modification des partitions shuffle sans état lors du redémarrage d'une requête de streaming
SPARK-52515 Retourner « [SC-199815][sql] Ajouter la fonction approx_top_k »
SPARK-52515 Ajouter approx_top_k fonction
SPARK-54078 Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression d’infra de l’ancien test
SPARK-54178 Améliorer l’erreur pour ResolveSQLOnFile
SPARK-53455 Ajouter CloneSession RPC
SPARK-54178 Annuler « [SC-211111][sql] Améliorer le message d'erreur pour ResolveSQLOnFile »
SPARK-53489 Supprimer l’utilisation v2ColumnsToStructType dans ApplyDefaultCollationToStringType
SPARK-54178 Améliorer l’erreur pour ResolveSQLOnFile
SPARK-54187 Annuler « [SC-211150][python][CONNECT] Extraire toutes les configurations par lots vers toPandas »
SPARK-53942 Rétablir « [SC-209873][ss] Prise en charge de la modification des partitions de shuffle sans état au redémarrage de la requête de streaming »
SPARK-54187 Obtenir toutes les configurations par lot via toPandas
SPARK-54145 Correction de la vérification de colonne du type imbriqué dans l’agrégation numérique
SPARK-53942 Prise en charge de la modification des partitions shuffle sans état lors du redémarrage d'une requête de streaming
SPARK-53991 Ajouter la prise en charge de SQL pour les fonctions quantiles KLL basées sur DataSketches (#178089) (#178234)
SPARK-53128 Inclure des octets de mémoire non managés dans le journal d’utilisation avant l’exécution de la mémoire OOM
SPARK-53731 Mettre à jour les indicateurs de type des API d’itérateur
SPARK-53967 Éviter la création de DataFrames pandas intermédiaires dans df.toPandas
SPARK-53455 Annuler « [SC-208758][connect] Ajouter CloneSession RPC »
SPARK-54108 Réviser les méthodes execute* de SparkConnectStatement
SPARK-54052 Ajouter un objet pont pour contourner la limitation Py4J
SPARK-54128 Convertir IllegalArgumentException en SparkException avec des classes d’erreur appropriées dans le serveur Spark Connect
SPARK-53880 Corriger DSv2 dans PushVariantIntoScan en ajoutant SupportsPushDownVariants
SPARK-54111 Prise en charge de getCatalogs pour SparkConnectDatabaseMetaData
SPARK-53455 Ajouter CloneSession RPC
SPARK-54118 Améliorer l’opération put/merge dans ListState lorsqu’il existe plusieurs valeurs
SPARK-54038 Assistance pour getSQLKeywords pour SparkConnectDatabaseMetaData
SPARK-54013 Implémenter des méthodes simples SparkConnectDatabaseMetaData
SPARK-53934 Implémentation initiale du pilote JDBC Connect
SPARK-53959 Lever une erreur côté client lors de la création d’une trame de données à partir d’un dataframe pandas avec un index, mais aucune donnée
SPARK-53573 Rétablir « [SC-210255][sql] Autoriser les littéraux de chaîne de coalescence partout »
SPARK-54094 Extraire les méthodes courantes dans KafkaOffsetReaderBase
SPARK-53573 Permettre la combinaison des littéraux de chaîne partout
SPARK-54039 Ajouter des informations TaskContext aux logs de release KafkaDataConsumer pour améliorer le débogage
SPARK-54031 Ajouter de nouveaux tests de fichiers dorés pour l’analyse des cas de périphérie
SPARK-54067 Améliorer SparkSubmit pour invoquer exitFn avec la cause première au lieu de SparkUserAppException
SPARK-54047 Utiliser une erreur de différence lorsque kill-on-idle-timeout
SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
SPARK-54061 Wrap IllegalArgumentException avec le code d’erreur approprié pour les modèles de date et d'heure non valides
SPARK-54031 Rétablir « [SC-210084][sql] Ajouter de nouveaux tests de fichier doré pour l’analyse des cas de périphérie »
SPARK-54075 Rendre ResolvedCollation évaluable
SPARK-54001 Optimiser l’utilisation de la mémoire dans le clonage de session avec des relations locales mises en cache recomptées
SPARK-54031 Ajouter de nouveaux tests de fichiers dorés pour l’analyse des cas de périphérie
SPARK-53923 Renommer spark.executor.(log -> logs).redirectConsoleOutputs
SPARK-54007 Utiliser Java Set.of au lieu de Collections.emptySet
SPARK-53755 Ajouter le support de la journalisation dans BlockManager
SPARK-54041 Refactorisation et validation des arguments ParameterizedQuery
SPARK-53696 Valeur par défaut pour BinaryType dans PySpark
SPARK-53921 Présenter GeometryType et GeographyType à l’API PySpark
SPARK-53788 Déplacer VersionUtils vers le common module
SPARK-53999 Prise en charge du transport KQueue natif sur BSD/MacOS
SPARK-54021 Implémenter des accesseurs Geography et Geometry sur Catalyst
SPARK-53921 Rétablir « [SC-209482][geo][PYTHON] Introduire GeometryType et GeographyType à l’API PySpark »
SPARK-53920 Présenter GeometryType et GeographyType à l’API Java
SPARK-53610 Limiter les tailles de lots pour Arrow dans CoGrouped applyInPandas et applyInArrow
SPARK-53659 Inférer le schéma de décomposition des variantes lors de l’écriture dans Parquet
SPARK-53922 Introduire des types géométrie et géographie physiques
SPARK-54059 Réduire la taille de page par défaut par LONG_ARRAY_OFFSET si ZGC ou ShenandoahGC et ON_HEAP sont utilisés
SPARK-53921 Présenter GeometryType et GeographyType à l’API PySpark
SPARK-54048 Mise à jour dev/requirements.txt pour l’installation torch(vision) dans Python 3.14
SPARK-53917 Prendre en charge les relations locales importantes
SPARK-53760 Introduire GeometryType et GeographyType
SPARK-53530 Nettoyer le code inutile lié à TransformWithStateInPySparkStateServer
SPARK-53636 Résoudre le problème de sécurité des threads dans SortShuffleManager.unregisterShuffle
SPARK-52762 Ajouter un message PipelineAnalysisContext pour prendre en charge l’analyse de pipeline pendant l’exécution de la requête Spark Connect
SPARK-53631 Optimiser la mémoire et la performance sur SHS bootstrap
SPARK-53857 Activer la propagation de messageTemplate vers SparkThrowable
SPARK-53891 API de récapitulatif d'engagement d'écriture pour le modèle DSV2
SPARK-53966 Ajouter des fonctions utilitaires pour détecter les GC de la JVM
SPARK-53149 Correction du test de l’exécution du processus BeeLine en arrière-plan
SPARK-53738 Correction de l'écriture planifiée lorsque la sortie de la requête contient un ordre pouvant être replié
SPARK-53949 Utiliser Utils.getRootCause au lieu de Throwables.getRootCause
SPARK-53696 Rétablir « [SC-209330][python][CONNECT][sql] Valeur par défaut à octets pour BinaryType dans PySpark »
SPARK-53804 Prise en charge du tri radix TIME
SPARK-54004 Correction de la suppression du cache d'une table par son nom sans propagation
SPARK-53261 Utiliser Java String.join|StringJoiner au lieu de Guava Joiner
SPARK-53319 Prendre en charge le type 'timestamp' avec try_make_timestamp_ltz()
SPARK-53280 Utiliser Java instanceof au lieu de Throwables.throwIf* méthodes
SPARK-53696 Valeur par défaut pour BinaryType dans PySpark
SPARK-53258 Utiliser JavaUtils de check(Argument|State)
SPARK-53773 Récupérer l’ordre alphabétique des règles dans RuleIdCollection
SPARK-53256 Promouvoir check(Argument|State) vers JavaUtils
SPARK-54008 Passer QO pour DESCRIBE QUERY
SPARK-53573 Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres
SPARK-53980 Ajouter une SparkConf.getAllWithPrefix(String, String => K) API
SPARK-54009 Soutien spark.io.mode.default
SPARK-51903 Valider les données sur l’ajout d’une contrainte CHECK
SPARK-53573 Rétablir « [SC-209126][sql] Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres »
SPARK-53573 Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres
SPARK-53573 Rétablir « [SC-209126][sql] Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres »
SPARK-53956 Supporter TIME dans la fonction try_make_timestamp de PySpark
SPARK-53930 Prendre en charge TIME dans la fonction make_timestamp de PySpark
SPARK-53573 Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres
SPARK-53564 Éviter les arrêts de DAGScheduler en raison du délai d'expiration de blockManager RPC dans DAGSchedulerEventProcessLoop
SPARK-53879 Mise à niveau Ammonite vers la version 3.0.3
SPARK-53938 Correction de la mise à l’échelle décimale dans LocalDataToArrowConversion
SPARK-53845 Récepteurs SDP
SPARK-53908 Corriger les observations sur Spark Connect avec le cache de plan
SPARK-53841 Implémenter transform() dans l’API column
SPARK-53929 Ajouter la prise en charge de TIME dans les fonctions make_timestamp et try_make_timestamp en Scala
SPARK-53902 Ajouter des bits de modèle de nœud d’arborescence pour les expressions prises en charge dans la ParameterizedQuery liste d’arguments
SPARK-53064 Réécrire MDC LogKey en Java
SPARK-53762 Ajouter une règle de simplification des conversions de date et d’heure à l’optimiseur
SPARK-53916 Dédupliquer les variables dans PythonArrowInput
SPARK-53690 Correction de la mise en forme exponentielle de avgOffsetsBehindLatest et estimatedTotalBytesBehindLatest dans l'objet json des sources Kafka en cours
SPARK-53789 Canonicaliser la condition d’erreur CANNOT_MODIFY_STATIC_CONFIG
SPARK-53720 Simplifier l’extraction de table à partir de DataSourceV2Relation (#52460)
SPARK-45530 Utiliser java.lang.ref.Cleaner au lieu de finalizeNioBufferedFileInputStream
SPARK-53789 Rétablir « [SC-208902][sql][CONNECT] Canonicalize error condition CANNOT_MODIFY_STATIC_CONFIG »
SPARK-53789 Canonicaliser la condition d’erreur CANNOT_MODIFY_STATIC_CONFIG
SPARK-53111 Implémenter la fonction time_diff dans PySpark
SPARK-53896 Activer spark.io.compression.lzf.parallel.enabled par défaut
SPARK-53856 Supprimer d’autres denylist noms de configuration
SPARK-53611 Limiter les tailles des lots Arrow dans les fonctions d'agrégation de fenêtre définies par l'utilisateur
SPARK-53575 Réessayez les phases complètes de consommation lors de la détection d’une incompatibilité de somme de contrôle pour une tâche de mappage shuffle réessayée
SPARK-53867 Limiter la taille des lots Arrow dans SQL_GROUPED_AGG_ARROW_UDF
SPARK-538777 Introduire BITMAP_AND_AGG fonction
SPARK-51426 Correction du problème « Définir les métadonnées sur un dictionnaire vide ne fonctionne pas »
SPARK-53868 Utiliser la vérification de longueur du tableau au lieu d’une vérification de référence directe dans V2ExpressionBuilder
SPARK-53609 Limiter les tailles de lot Arrow dans SQL_GROUPED_AGG_PANDAS_UDF
SPARK-53892 Utiliser DescribeTopicsResult.allTopicNames au lieu de l’API déconseillée all
SPARK-53878 Résoudre le problème de condition de concurrence lié à ObservedMetrics
SPARK-53796 Ajouter extension un champ à quelques protos de pipeline pour prendre en charge la compatibilité avancée
SPARK-53850 Définir le proto pour les éviers et renommer DefineDataset en DefineOutput
SPARK-53812 Refactoriser DefineDataset et DefineFlow protos pour regrouper les propriétés associées et la preuve future
SPARK-53870 Correction d’un bogue de lecture partiel pour les messages proto volumineux dans TransformWithStateInPySparkStateServer
SPARK-53751 Emplacement de point de contrôle versionné explicite
SPARK-52407 Ajouter la prise en charge de Theta Sketch (#171135)
SPARK-53779 Implémenter transform() dans l’API column
SPARK-49547 Ajouter un itérateur d’API RecordBatch à applyInArrow
SPARK-53802 Prendre en charge les valeurs de type chaîne pour le schéma spécifié par l’utilisateur au sein des tables SDP
SPARK-53865 Extraire la logique courante de la règle ResolveGenerate
SPARK-53113 Prendre en charge le type temporel par try_make_timestamp()
SPARK-53868 Utiliser uniquement la signature avec Expression[] dans visitAggregateFunction V2ExpressionSQBuilder
SPARK-53792 Correction de rocksdbPinnedBlocksMemoryUsage dans le contexte de la mémoire limitée ...
SPARK-53248 Prise en charge checkedCast dans JavaUtils
SPARK-52640 Propager l'emplacement du code source en Python
SPARK-52924 La prise en charge de ZSTD_strategy pour la compression
SPARK-53562 Réappliquer « [SC-207233][python] Limiter les tailles de lot dans Arrow dans applyInArrow et applyInPandas »
SPARK-51272 Abandonner au lieu de poursuivre l’étape de résultat indéterminée partiellement terminée au niveau de ResubmitFailedStages
SPARK-53795 Supprimer les paramètres inutilisés dans LiteralValueProtoConverter
SPARK-53808 Autoriser à passer des arguments JVM facultatifs à spark-connect-scala-client
SPARK-52614 Prise en charge de RowEncoder dans Product Encoder
SPARK-53833 Mise à jour dev/requirements.txt pour ignorer torch/torchvision python 3.14
SPARK-53715 Refactoriser getWritePrivileges pour MergeIntoTable
SPARK-53516 Corriger le processus des arguments dans SparkPipelines
SPARK-53507 Ne pas utiliser la classe de cas pour BreakingChangeInfo
SPARK-53645 Implémenter le skipna paramètre pour ps. DataFrame any()
SPARK-53717 Réviser MapType.valueContainsNull le commentaire des paramètres plus correctement
SPARK-53700 Supprimer la redondance dans DataSourceV2RelationBase.simpleString
SPARK-53667 Correctif EXPLAIN pour CALL avec IDENTIFIER
SPARK-53562 Annuler « [SC-207233][python] Limiter les tailles de batch d'Arrow dans applyInArrow et applyInPandas »
SPARK-51169 Ajouter la prise en charge de Python 3.14 dans Spark Classic
SPARK-53562 Limiter la taille des lots Arrow dans applyInArrow et applyInPandas
SPARK-53806 Permettre qu’une entrée vide dans le déchiffrement AES génère une classe d’erreur
SPARK-51756 Calcule RowBasedChecksum dans ShuffleWriters
SPARK-52807 Modifications du protocole pour supporter l'analyse dans les fonctions de requête des pipelines déclaratifs
SPARK-53728 Imprimer le message de PipelineEvent avec une erreur dans le test
SPARK-53207 Envoyer un événement de pipeline au client de manière asynchrone
SPARK-53829 Prise en charge par les opérateurs de colonnedatetime.time
SPARK-53638 Limiter la taille en octets du lot Arrow pour TWS afin d’éviter OOM
SPARK-53593 Correctif : Utiliser unquoted pour les champs de réponse
SPARK-53734 Préférer la colonne de table à LCA lors de la résolution de l’index de tableau
SPARK-53593 Ajouter un champ de réponse pour DefineDataset et DefineFlow RPC
SPARK-53734 Rétablir « [SC-207697][sql] Préférer la colonne de table à LCA lors de la résolution de l’index de tableau »
SPARK-53621 Ajout de la prise en charge de l’exécution de CONTINUE HANDLER
SPARK-53734 Préférer la colonne de table à LCA lors de la résolution de l’index de tableau
SPARK-53507 Ajouter des informations sur les changements majeurs aux erreurs
SPARK-53707 Améliorez la gestion des métadonnées d’attribut.
SPARK-53629 Implémenter l’élargissement du type pour MERGE INTO WITH SCHEMA EVOLUTION
SPARK-53719 Améliorer la vérification de type dans la _to_col fonction
SPARK-53735 Masquer les traces de pile JVM côté serveur par défaut dans la sortie spark-pipelines
SPARK-53651 Ajouter la prise en charge des vues persistantes dans les pipelines
SPARK-53678 Correction de NPE lorsque la sous-classe columnVector est créée avec Null DataType
SPARK-46679 Correctif pour SparkUnsupportedOperationException Non trouvé un encodeur du type T, dans une classe paramétrée.
SPARK-53444 Réexécutez l’exécution immédiate d’un travail de remaniement immédiat
SPARK-53578 Simplifier la gestion des types de données dans LiteralValueProtoConverter
SPARK-53438 Utiliser CatalystConverter dans LiteralExpressionProtoConverter
SPARK-53444 Rétablir « [SC-206535][sql][CORE] Rework execute immediate rework execute immediate execute immediate »
SPARK-53444 Réexécutez l’exécution immédiate d’un travail de remaniement immédiat
SPARK-53112 Supporter TIME dans les fonctions make_timestamp_ntz et try_make_timestamp_ntz de PySpark
SPARK-53492 Rejeter le second ExecutePlan avec un ID d’opération déjà terminé
SPARK-52772 Correction anticipée des fichiers de référence
SPARK-53591 Simplifier la correspondance glob du modèle de spécification de pipeline
SPARK-53553 Correction de la gestion des valeurs Null dans LiteralValueProtoConverter
SPARK-52772 Gestion incohérente des attributs de table pendant les mises à jour
SPARK-53544 Prise en charge des types complexes pour les observations
SPARK-53357 Mise à jour vers pandas la version 2.3.2
SPARK-53402 Prise en charge de l'API de partitionnement avec passage direct des jeux de données dans Spark Connect en Scala
SPARK-53372 SDP End to End Testing Suite
SPARK-53402 Rétablir « [SC-206163][connect] Prise en charge de l'API de jeu de données de partitionnement direct par passage direct dans Spark Connect en Scala »
SPARK-53402 Prise en charge de l'API de partitionnement avec passage direct des jeux de données dans Spark Connect en Scala
SPARK-53233 Faire en sorte que le code concernant streaming utilise le nom de package correct
SPARK-53233 Rétablir « [SC-203716][sql][SS][mllib][CONNECT] Assurer que le code lié à streaming utilise le nom de package correct »
SPARK-53233 Faire en sorte que le code concernant streaming utilise le nom de package correct
SPARK-53561 Intercepter l’exception d’interruption dans TransformWithStateInPySparkStateServer pendant outputStream.flush pour éviter le blocage du worker
SPARK-53486 Éviter de définir weights_only=False lors du chargement du modèle Torch
SPARK-53391 Supprimer PrimitiveKeyOpenHashMap inutilisée
SPARK-52431 Touches finales sur l’exécuteur de pipelines déclaratifs
SPARK-52980 Prise en charge des fonctions de table définies par l’utilisateur Arrow Python
SPARK-53453 Débloquer 'torch<2.6.0'
SPARK-52582 Remerge « [SC-199314][sc-204581][SQL] Améliorer l’utilisation de la mémoire de l’analyseur XML »
SPARK-52582 Rétablir « [SC-199314][sc-204581][SQL] Améliorer l’utilisation de la mémoire de l’analyseur XML »
SPARK-52582 Améliorer l’utilisation de la mémoire de l’analyseur XML
SPARK-51906 Expressions Dsv2 dans alter table ajouter des colonnes
SPARK-53150 Améliorer list(File|Path)s pour gérer les entrées symboliques, inexistantes ou non-répertoires
SPARK-53091 Interdiction org.apache.commons.lang3.Strings
SPARK-52844 Mettre à jour numpy vers la version 1.22
SPARK-52912 Améliorer SparkStringUtils pour la prise en charge de is(Not)?(Blank|Empty)
SPARK-52877 Améliorer les performances du sérialiseur de flèche UDF Python
SPARK-52877 Rétablir « [SC-201914][python] Améliorer les performances du sérialiseur de flèche UDF Python »
SPARK-52238 Client Python pour les pipelines déclaratifs
SPARK-52877 Améliorer les performances du sérialiseur de flèche UDF Python
SPARK-53287 Ajouter un guide de migration ANSI
SPARK-52110 Implémenter la prise en charge de la syntaxe SQL pour les pipelines
SPARK-52897 Mise à jour vers pandas la version 2.3.1
SPARK-52451 Rétablir « [SC-202894][connect][SQL] Rendre WriteOperation dans SparkConnectPlanner sans effet secondaire »
SPARK-52976 Correction de l’UDF Python qui n’accepte pas la chaîne triée en tant que type de paramètre d'entrée/de retour
SPARK-52904 Activer convertToArrowArraySafely par défaut
Spark-52821 ajouter int-DecimalType> pyspark udf type de contrainte de type de retour
SPARK-52971 Limiter la taille de file d’attente de travail Python inactive
SPARK-53013 Correction de l’UDTF Python optimisé pour les flèches retournant aucune ligne sur la jointure latérale
SPARK-51834 Synchroniser OSS : prise en charge de la contrainte de table de bout en bout alter add/drop
SPARK-52675 Interrompre les gestionnaires ML suspendus dans les tests
SPARK-52959 Prise en charge de l’UDT dans Python UDTF optimisé par flèche
SPARK-52961 Correction de l'UDTF Python optimisé par Apache Arrow avec évaluation 0-arg sur la jointure latérale
SPARK-52949 Évitez un aller-retour entre RecordBatch et Table dans un UDTF Python optimisé par Arrow
SPARK-52946 Correction de l’UDTF Python optimisée par Arrow pour prendre en charge les types de variables volumineux
SPARK-52934 Autoriser la production de valeurs scalaires avec UDTF Python optimisé par Arrow
SPARK-52861 Ignorer la création d’objets Row dans l’exécution UDTF optimisée par Arrow
SPARK-51834 Synchroniser la table de création/remplacement de bout en bout du support OSS par contrainte
SPARK-44856 Améliorer les performances du sérialiseur de flèche UDTF Python
SPARK-51834 Rétablir « [SQL] Corriger TableSpec en ajoutant un constructeur »
SPARK-51834 Corriger TableSpec en ajoutant un constructeur
SPARK-51834 Rétablir « [SQL] Synchroniser OSS (partiel) : Prise en charge de la contrainte de table de bout en bout dans la table create/replace »
SPARK-51834 Synchronisation OSS (partielle) : support de la contrainte de table de bout en bout pour la création/remplacement de tables
SPARK-52885 Implémenter les fonctions d’heure, de minute et de seconde dans Scala pour le type TIME
SPARK-51834 Synchroniser les appels nonapply de la mise à jour d’OSS ResolvedIdentifier
SPARK-44856 Annuler « [SC-195808][python] Améliorer les performances du sérialiseur Python UDTF Arrow »
SPARK-51834 Rétablir les appels nonapply « [SQL] Synchroniser la mise à jour OSS ResolvedIdentifier »
SPARK-44856 Améliorer les performances du sérialiseur de flèche UDTF Python
SPARK-51834 Synchroniser les appels nonapply de la mise à jour d’OSS ResolvedIdentifier
SPARK-52787 Réorganiser l’exécution de streaming dir autour des zones d’exécution et de point de contrôle
SPARK-51695 Synchroniser la table de création/remplacement/modification du système d’exploitation pour une contrainte unique via DSv2
SPARK-51695 Synchroniser la contrainte de suppression OSS via DSv2
SPARK-51695 Introduire les modifications de l’analyseur pour les contraintes de table (CHECK, PK, FK)
SPARK-51695 Revenir à « [SQL] Introduire des changements de l'analyseur pour contraintes de table (CHECK, PK, FK) »
SPARK-51695 Introduire les modifications de l’analyseur pour les contraintes de table (CHECK, PK, FK)
SPARK-49428 Déplacer le client Scala de Connect vers SQL
SPARK-52422 Mise à jour vers pandas la version 2.3.0
SPARK-52228 Intégrer le microbenchmark d’interaction d’état dans Quicksilver (TCP)
SPARK-52300 S'assurer que la résolution SQL UDTVF utilise des configurations cohérentes par rapport à la résolution des vues
SPARK-52228 Construire le serveur d’état TWS à usage benchmark avec des imples d’état en mémoire et le code de benchmark en python
SPARK-52174 Activer spark.checkpoint.compress par défaut
SPARK-52224 Introduire pyyaml en tant que dépendance pour le client Python
SPARK-52122 Correction de la vulnérabilité RCE DefaultParamsReader
SPARK-51147 Réorganiser les classes liées au streaming dans un répertoire dédié au streaming
SPARK-51789 Respectez spark.api.mode et spark.remote correctement lors de l’analyse des arguments dans l’envoi Spark
SPARK-51212 Ajouter un package PySpark séparé pour Spark Connect par défaut
SPARK-50762 Ajouter une règle d’Analyseur pour la résolution des fonctions scalaires SQL définies par l’utilisateur
SPARK-49748 Ajouter getCondition et déprécier getErrorClass dans SparkThrowable
SPARK-50605 Prise en charge du mode API SQL pour faciliter la migration vers Spark Connect
SPARK-50458 Gestion des erreurs appropriée pour le système de fichiers non pris en charge lors de la lecture des fichiers
SPARK-49700 Interface Scala unifiée pour Connect et Classic
SPARK-51779 Utiliser des familles de colonnes virtuelles pour les jointures entre flux
SPARK-51820 Déplacement de la construction UnresolvedOrdinal avant l’analyse pour éviter le problème lié au groupement ordinal
SPARK-51814 Présentation d’une nouvelle API transformWithState dans PySpark
SPARK-51635 Fusionner PushProjectionThroughLimit et PushProjectionThroughOffset
SPARK-51165 Activer spark.master.rest.enabled par défaut
SPARK-51688 Utiliser le socket de domaine Unix entre la communication Python et JVM
SPARK-51503 Prise en charge du type variant dans l’analyse XML
SPARK-50564 Mettre à niveau protobuf le package Python vers la version 5.29.1
SPARK-50359 Mettre à niveau PyArrow vers la version 18.0
SPARK-51340 Estimation de la taille du modèle
SPARK-50657 Mettre à niveau la version minimale de pyarrow 11.0.0
SPARK-49282 Créez une interface SparkSessionBuilder partagée.
SPARK-51371 Changer toString en toPrettySQL lors de la création des alias dans ResolveAggregateFunctions
SPARK-50694 Prise en charge des renommages dans les sous-requêtes
SPARK-50601 Rétablir la prise en charge de « [SC-186342][sql] avecColumns / withColumnsRenamed in subqueries »
SPARK-50601 Prise en charge de withColumns / withColumnsRenamed dans les sous-requêtes

Prise en charge du pilote ODBC/JDBC d'Azure Databricks

Azure Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez les mises à jour de maintenance de Databricks Runtime.

Environnement du système

Système d’exploitation : Ubuntu 24.04.3 LTS
Java : Zulu21.42+19-CA
Scala : 2.13.16
Python : 3.12.3
R : 4.5.1
Delta Lake : 4.0.0

Bibliothèques Python installées

Bibliothèque	Version	Bibliothèque	Version	Bibliothèque	Version
document annoté	0.0.3	annotated-types	0.7.0	anyio	4.7.0
argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0	arro3-core	0.6.5
flèche	1.3.0	asttokens	3.0.0	astunparse	1.6.3
async-lru	2.0.4	attributs	24.3.0	commande automatique	2.2.2
azure-common	1.1.28	azure-core	1.36.0	azure-identity	1.20.0
azure-mgmt-core	1.6.0	azure-mgmt-web	8.0.0	azure-storage-blob (service de stockage de blobs Azure)	12.27.1
Azure Storage File Data Lake	12.22.0	babel	2.16.0	backports.tarfile	1.2.0
bellesoupe4	4.12.3	black	24.10.0	bleach	6.2.0
clignotant	1.7.0	boto3	1.40.45	botocore	1.40.45
cachetools	5.5.1	certifi	2025.4.26	cffi	1.17.1
chardet	4.0.0	charset-normalizer	3.3.2	cliquez	8.1.8
cloudpickle	3.0.0	comm	0.2.1	contourpy	1.3.1
cryptographie	44.0.1	cycliste	0.11.0	Cython	3.1.5
databricks-agents	1.4.0	databricks-connect	17.3.1	Kit de développement logiciel Databricks (SDK)	0.67.0
dataclasses-json	0.6.7	dbus-python	1.3.2	debugpy	1.8.11
décorateur	5.1.1	defusedxml	0.7.1	deltalake	1.1.4
Deprecated	1.2.18	distlib	0.3.9	Conversion de docstring en markdown	0.11
executing	1.2.0	aperçu des facettes	1.1.1	fastapi	0.121.0
validation rapide des schémas JSON (fastjsonschema)	2.21.1	verrou de fichier	3.18.0	outils de police	4.55.3
fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.28.1	google-auth	2.43.0
google-cloud-core	2.5.0	google-cloud-storage (Stockage dans le cloud de Google)	3.5.0	google-crc32c	1.7.1
google-resumable-media	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.16.0	httpcore	1.0.9
httplib2	0.20.4	httpx	0.28.1	IDNA	3.7
importlib-metadata	6.6.0	inflect	7.3.1	iniconfig	1.1.1
ipyflow-core	0.0.209	ipykernel	6.29.5	ipython	8.30.0
ipython-genutils	0.2.0	ipywidgets	7.8.1	isodate	0.7.2
isoduration	20.11.0	jaraco.collections	5.1.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	Jedi	0.19.2
Jinja2	3.1.6	jiter	0.11.1	jmespath	1.0.1
joblib	1.4.2	json5	0.9.25	jsonpatch	1.33
jsonpointer	3.0.0	jsonschema	4.23.0	spécifications du schéma JSON	2023.7.1
événements Jupyter	0.12.0	jupyter-lsp	2.2.5	jupyter_client	8.6.3
jupyter_core	5.7.2	serveur Jupyter	2.15.0	jupyter_server_terminals	0.5.3
jupyterlab	4.3.4	jupyterlab_pygments	0.3.0	jupyterlab_server	2.27.3
jupyterlab_widgets	1.1.11	kiwisolver	1.4.8	langchain-core	1.0.3
langchain-openai	1.0.2	langsmith	0.4.41	launchpadlib	1.11.0
lazr.restfulclient	0.14.6	lazr.uri	1.0.6	markdown-it-py	2.2.0
MarkupSafe	3.0.2	guimauve	3.26.1	matplotlib	3.10.0
matplotlib-inline	0.1.7	Mccabe	0.7.0	mdurl	0.1.0
mistune	3.1.2	mlflow-skinny (version légère de mlflow)	3.5.1	mmh3	5.2.0
more-itertools	10.3.0	msal	1.34.0	msal-extensions	1.3.1
mypy-extensions	1.0.0	nbclient	0.10.2	nbconvert	7.16.6
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
notebook	7.3.2	notebook_shim	0.2.4	numpy	2.1.3
oauthlib	3.2.2	openai	2.7.1	opentelemetry-api	1.38.0
opentelemetry-proto	1.38.0	opentelemetry-sdk	1.38.0	opentelemetry-semantic-conventions	0,59b0
orjson	3.11.4	remplace	7.4.0	empaquetage	24,2
Pandas	2.2.3	pandocfilters	1.5.0	parso	0.8.4
pathspec	0.10.3	patsy	1.0.1	pexpect	4.8.0
pillow	11.1.0	pip	25.0.1	platformdirs	4.3.7
plotly	5.24.1	pluggy	1.5.0	prometheus_client	0.21.1
prompt-toolkit	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.11	ptyprocess	0.7.0
pure-eval	0.2.2	py4j	0.10.9.9	pyarrow	21.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.71
pycparser	2.21	pydantic	2.10.6	pydantic_core	2.27.2
pyflakes	3.2.0	Pygments	2.19.1	PyGObject	3.48.2
pyiceberg	0.10.0	PyJWT	2.10.1	pyodbc	5.2.0
pyparsing	3.2.0	pyright	1.1.394	pyroaring	1.0.3
pytest	8.3.5	python-dateutil	2.9.0.post0	python-dotenv	1.2.1
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.2
pytoolconfig	1.2.6	pytz	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	référencement	0.30.2	regex	2024.11.6
requests	2.32.3	requests-toolbelt	1.0.0	RFC3339 validateur	0.1.4
rfc3986-validator	0.1.1	rich	13.9.4	corde	1.13.0
rpds-py	0.22.3	Rsa	4.9.1	s3transfer	0.14.0
scikit-learn	1.6.1	scipy (bibliothèque Python pour le calcul scientifique)	1.15.3	seaborn	0.13.2
Send2Trash	1.8.2	setuptools	78.1.1	six	1.17.0
smmap	5.0.0	sniffio	1.3.0	sortedcontainers	2.4.0
soupsieve	2.5	sqlparse	0.5.3	ssh-import-id	5.11
données en pile	0.6.3	starlette	0.49.3	strictyaml	1.7.3
ténacité	9.0.0	terminé	0.17.1	threadpoolctl	3.5.0
tiktoken	0.12.0	tinycss2	1.4.0	tokenize_rt	6.1.0
tomli	2.0.1	tornade	6.5.1	tqdm	4.67.1
Traitlets	5.14.3	typeguard	4.3.0	types-python-dateutil	2.9.0.20251008
saisie-inspection	0.9.0	typing_extensions	4.12.2	tzdata	2024.1
ujson	5.10.0	unattended-upgrades	0.1	uri-template	1.3.0
urllib3	2.3.0	uvicorn	0.38.0	virtualenv	20.29.3
wadllib	1.3.6	wcwidth	0.2.5	webcolores	25.10.0
webencodings	0.5.1	websocket-client	1.8.0	c’est quoi le patch	1.0.2
roue	0.45.1	chaque fois que	0.7.3	widgetsnbextension	3.6.6
enveloppé	1.17.0	yapf	0.40.2	zipp	3.21.0
zstandard	0.23.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l'instantané CRAN du gestionnaire de packages en date du 20-03-2025.

Bibliothèque	Version	Bibliothèque	Version	Bibliothèque	Version
flèche	22.0.0	Askpass	1.2.1	assertthat	0.2.1
backports	1.5.0	base	4.5.1	base64enc	0.1-3
bigD	0.3.1	bit	4.6.0	bit 64	4.6.0-1
bitops	1.0-9	objet BLOB	1.2.4	boot	1.3-30
brew	1.0-10	brio	1.1.5	balai	1.0.10
bslib	0.9.0	cachemire	1.1.0	callr	3.7.6
caret	7.0-1	cellranger	1.1.0	chron	2.3-62
classe	7.3-22	cli	3.6.5	clipr	0.8.0
horloge	0.7.3	cluster	2.1.6	codetools	0,2-20
commonmark	2.0.0	compilateur	4.5.1	config	0.3.2
En conflit	1.2.0	cpp11	0.5.2	crayon	1.5.3
credentials	2.0.3	friser	7.0.0	data.table	1.17.8
ensembles de données	4.5.1	DBI	1.2.3	dbplyr	2.5.1
desc	1.4.3	devtools	2.4.6	diagramme	1.6.5
diffobj	0.3.6	digérer	0.6.39	downlit	0.4.5
dplyr	1.1.4	dtplyr	1.3.2	e1071	1.7-16
ellipse	0.3.2	évaluer	1.0.5	fans	1.0.7
couleurs	2.1.2	carte rapide	1.2.0	fontawesome	0.5.3
condamnés	1.0.1	foreach	1.5.2	foreign	0.8-86
fs	1.6.6	futur	1.68.0	future.apply	1.20.0
gargle	1.6.0	produits génériques	0.1.4	gert	2.2.0
ggplot2	4.0.1	gh	1.5.0	git2r	0.36.2
gitcreds	0.1.2	glmnet	4.1-10	éléments globaux	0.18.0
colle	1.8.0	googledrive	2.1.2	googlesheets4	1.1.2
gower	1.0.2	graphisme	4.5.1	grDevices	4.5.1
grid	4.5.1	gridExtra	2.3	gsubfn	0.7
gt	1.1.0	gtable	0.3.6	hardhat	1.4.2
haven	2.5.5	highr	0.11	hms	1.1.4
outils HTML	0.5.8.1	htmlwidgets	1.6.4	httpuv	1.6.16
httr	1.4.7	httr2	1.2.1	ids	1.0.1
ini	0.3.1	ipred	0.9-15	isoband	0.2.7
itérateurs	1.0.14	jquerylib	0.1.4	jsonlite	2.0.0
juicyjuice	0.1.0	KernSmooth	2.23-22	knitr	1,50
étiquetage	0.4.3	plus tard	1.4.4	lattice	0.22-5
lave	1.8.2	cycle de vie	1.0.4	listenv	0.10.0
litedown	0.8	lubridate	1.9.4	magrittr	2.0.4
markdown	2.0	MASS	7.3-60.0.1	Matrix	1.6-5
memoise	2.0.1	méthodes	4.5.1	mgcv	1.9-1
mime	0,13	miniUI	0.1.2	mlflow	3.6.0
ModelMetrics	1.2.2.2	modèleur	0.1.11	nlme	3.1-164
nnet	7.3-19	numDeriv	2016.8-1.1	openssl	2.3.4
otel	0.2.0	parallèle	4.5.1	parallèlement	1.45.1
pilier	1.11.1	pkgbuild	1.4.8	pkgconfig	2.0.3
pkgdown	2.2.0	pkgload	1.4.1	plogr	0.2.0
plyr (un package logiciel pour le traitement de données)	1.8.9	éloge	1.0.0	prettyunits	1.2.0
pROC	1.19.0.1	processx	3.8.6	prodlim	2025.04.28
profvis	0.4.0	progrès	1.2.3	progressr	0.18.0
promesses	1.5.0	proto	1.0.0	mandataire	0,4-27
p.s.	1.9.1	purrr	1.2.0	R6	2.6.1
ragg	1.5.0	randomForest (algorithme d'apprentissage automatique)	4.7-1.2	rappdirs	0.3.3
rcmdcheck	1.4.0	RColorBrewer	1.1-3	Rcpp	1.1.0
RcppEigen	0.3.4.0.2	réactif	0.4.4	reactR	0.6.1
readr	2.1.6	readxl	1.4.5	recettes	1.3.1
match retour	2.0.0	revanche2	2.1.2	remotes	2.5.0
exemple reproductible	2.1.1	reshape2	1.4.5	rlang	1.1.6
rmarkdown	2.30	RODBC	1.3-26	roxygen2	7.3.3
rpart	4.1.23	rprojroot	2.1.1	Rserve	1.8-15
RSQLite	2.4.4	rstudioapi	0.17.1	rversions	3.0.0
rvest	1.0.5	S7	0.2.1	sass	0.4.10
écailles	1.4.0	selectr	0,4-2	informations sur la session	1.2.3
forme	1.4.6.1	brillant	1.11.1	sourcetools	0.1.7-1
sparklyr	1.9.3	SparkR	4.1.0	sparsevctrs	0.3.4
spatial	7.3-17	splines	4.5.1	sqldf	0.4-11
SQUAREM	2021.1	Statistiques	4.5.1	statistiques4	4.5.1
chaine	1.8.7	stringr	1.6.0	survie	3.5-8
swagger	5.17.14.1	sys	3.4.3	systemfonts	1.3.1
tcltk	4.5.1	testthat	3.3.0	mise en forme de texte	1.0.4
tibble	3.3.0	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	changement d'heure	0.3.0	date-heure	4051.111
tinytex	0.58	outils	4.5.1	tzdb	0.5.0
vérificateur d'URL	1.0.1	Utilise ça	3.2.1	utf8	1.2.6
utilitaires	4.5.1	Identifiant unique universel (UUID)	1.2-1	V8	8.0.1
vctrs	0.6.5	viridisLite	0.4.2	Vroom	1.6.6
Waldo	0.6.2	vibrisse	0.4.1	flétrir	3.0.2
xfun	0.54	xml2	1.5.0	xopen	1.0.1
xtable	1.8-4	yaml	2.3.10	zeallot	0.2.0
fichier ZIP	2.3.3

Bibliothèques Java et Scala installées (version du cluster Scala 2.13)

ID de groupe	ID d’artefact	Version
antlr	antlr	2.7.7
com.amazonaws	Amazon Kinesis Client	1.15.3
com.amazonaws	aws-java-sdk-autoscaling	1.12.681
com.amazonaws	aws-java-sdk-cloudformation	1.12.681
com.amazonaws	aws-java-sdk-cloudfront	1.12.681
com.amazonaws	aws-java-sdk-cloudhsm	1.12.681
com.amazonaws	aws-java-sdk-cloudsearch	1.12.681
com.amazonaws	aws-java-sdk-cloudtrail	1.12.681
com.amazonaws	aws-java-sdk-cloudwatch	1.12.681
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.681
com.amazonaws	aws-java-sdk-codedeploy	1.12.681
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.681
com.amazonaws	aws-java-sdk-cognitosync	1.12.681
com.amazonaws	aws-java-sdk-config	1.12.681
com.amazonaws	aws-java-sdk-core	1.12.681
com.amazonaws	aws-java-sdk-datapipeline	1.12.681
com.amazonaws	aws-java-sdk-directconnect	1.12.681
com.amazonaws	aws-java-sdk-directory	1.12.681
com.amazonaws	aws-java-sdk-dynamodb	1.12.681
com.amazonaws	aws-java-sdk-ec2	1.12.681
com.amazonaws	aws-java-sdk-ecs	1.12.681
com.amazonaws	aws-java-sdk-efs	1.12.681
com.amazonaws	aws-java-sdk-elasticache	1.12.681
com.amazonaws	AWS Java SDK pour Elastic Beanstalk	1.12.681
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.681
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.681
com.amazonaws	aws-java-sdk-emr	1.12.681
com.amazonaws	aws-java-sdk-glacier	1.12.681
com.amazonaws	aws-java-sdk-glue	1.12.681
com.amazonaws	aws-java-sdk-iam	1.12.681
com.amazonaws	aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation)	1.12.681
com.amazonaws	aws-java-sdk-kinesis	1.12.681
com.amazonaws	aws-java-sdk-kms	1.12.681
com.amazonaws	aws-java-sdk-lambda	1.12.681
com.amazonaws	aws-java-sdk-logs	1.12.681
com.amazonaws	aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java)	1.12.681
com.amazonaws	aws-java-sdk-opsworks	1.12.681
com.amazonaws	aws-java-sdk-rds	1.12.681
com.amazonaws	aws-java-sdk-redshift	1.12.681
com.amazonaws	aws-java-sdk-route53	1.12.681
com.amazonaws	aws-java-sdk-s3	1.12.681
com.amazonaws	aws-java-sdk-ses	1.12.681
com.amazonaws	aws-java-sdk-simpledb	1.12.681
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.681
com.amazonaws	aws-java-sdk-sns	1.12.681
com.amazonaws	aws-java-sdk-sqs	1.12.681
com.amazonaws	aws-java-sdk-ssm	1.12.681
com.amazonaws	aws-java-sdk-storagegateway	1.12.681
com.amazonaws	aws-java-sdk-sts	1.12.681
com.amazonaws	aws-java-sdk-support	1.12.681
com.amazonaws	aws-java-sdk-workspaces	1.12.681
com.amazonaws	jmespath-java	1.12.681
com.clearspring.analytics	ruisseau	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.53.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	kryo-shaded	4.0.3
com.esotericsoftware	minlog	1.3.0
com.fasterxml	Camarade de classe	1.5.1
com.fasterxml.jackson.core	jackson-annotations	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.3
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	caféine	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1 natifs
com.github.fommil.netlib	système_natif-java	1.1
com.github.fommil.netlib	système_natif-java	1.1 natifs
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1 natifs
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1 natifs
com.github.luben	zstd-jni	1.5.7-6
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.auth	google-auth-library-credentials	1.20.0
com.google.auth	google-auth-library-oauth2-http	1.20.0
com.google.auto.value	annotations de valeur automatique	1.10.4
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	tink	1.16.0
com.google.errorprone	annotations_sujettes_aux_erreurs	2.36.0
com.google.flatbuffers	flatbuffers-java	25.2.10
com.google.guava	failureaccess	1.0.3
com.google.guava	goyave	33.4.8-jre
com.google.http-client	google-http-client	1.43.3
com.google.http-client	google-http-client-gson	1.43.3
com.google.j2objc	j2objc-annotations	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	profileur	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake)	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (compression utilisant l'algorithme LZF)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-analyseurs	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.10.0
commons-codec	commons-codec	1.19.0
commons-collections (bibliothèque de collections communes)	commons-collections (bibliothèque de collections communes)	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.6.0
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.21.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.4
dev.ludovic.netlib	blas	3.0.4
dev.ludovic.netlib	lapack	3.0.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	compresseur d'air	2.0.2
io.delta	delta-sharing-client_2.13	1.3.6
io.dropwizard.metrics	annotation des métriques	4.2.37
io.dropwizard.metrics	métriques de base	4.2.37
io.dropwizard.metrics	metrics-graphite	4.2.37
io.dropwizard.metrics	métriques-vérifications de santé	4.2.37
io.dropwizard.metrics	metrics-jetty10	4.2.37
io.dropwizard.metrics	Metrics-JMX	4.2.37
io.dropwizard.metrics	metrics-json	4.2.37
io.dropwizard.metrics	metrics-jvm	4.2.37
io.dropwizard.metrics	servlets de métriques	4.2.37
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.2.7.Final
io.netty	netty-buffer	4.2.7.Final
io.netty	netty-codec	4.2.7.Final
io.netty	netty-codec-base	4.2.7.Final
io.netty	netty-codec-classes-quic	4.2.7.Final
io.netty	netty-codec-compression	4.2.7.Final
io.netty	netty-codec-http	4.2.7.Final
io.netty	netty-codec-http2	4.2.7.Final
io.netty	netty-codec-http3	4.2.7.Final
io.netty	netty-codec-marshalling	4.2.7.Final
io.netty	netty-codec-native-quic	4.2.7.Final-linux-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-linux-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-windows-x86_64
io.netty	netty-codec-protobuf	4.2.7.Final
io.netty	netty-codec-socks	4.2.7.Final
io.netty	netty-common	4.2.7.Final
io.netty	netty-handler	4.2.7.Final
io.netty	netty-handler-proxy	4.2.7.Final
io.netty	netty-resolver	4.2.7.Final
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes	2.0.74.Final
io.netty	netty-transport	4.2.7.Final
io.netty	netty-transport-classes-epoll	4.2.7.Final
io.netty	netty-transport-classes-io_uring	4.2.7.Final
io.netty	netty-transport-classes-kqueue	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-x86_64
io.netty	transport-netty-natif-commun-unix	4.2.7.Final
io.opencensus	opencensus-api	0.31.1
io.opencensus	opencensus-contrib-http-util	0.31.1
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleclient_common	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	collectionneur	0.18.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.media	jai_core	jai_core_dummy
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.14.0
net.java.dev.jna	jna	5.8.0
net.razorvine	conserve	1,5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk (module d'ingestion de Snowflake)	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	stringtemplate	3.2.1
org.apache.ant	fourmi	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	18.3.0
org.apache.arrow	arrow-memory-core	18.3.0
org.apache.arrow	arrow-memory-netty	18.3.0
org.apache.arrow	arrow-memory-netty-buffer-patch	18.3.0
org.apache.arrow	vecteur-flèche	18.3.0
org.apache.avro	Avro	1.12.1
org.apache.avro	avro-ipc	1.12.1
org.apache.avro	avro-mapred	1.12.1
org.apache.commons	commons-collections4	4.5.0
org.apache.commons	commons-compress	1.28.0
org.apache.commons	commons-configuration2	2.11.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.19.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	texte commun	1.14.0
org.apache.curator	curateur-client	5.9.0
org.apache.curator	curator-framework	5.9.0
org.apache.curator	créateur de recettes	5.9.0
org.apache.datasketches	datasketches-java	6.2.0
org.apache.datasketches	datasketches-memory (mémoire de croquis de données)	3.0.2
org.apache.derby	match de derby	10.14.2.0
org.apache.hadoop	environnement d'exécution du client Hadoop	3.4.2
org.apache.hive	hive-beeline (outil de ligne de commande d'Apache Hive)	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	hive-shims	2.3.10
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	Composant commun de hive-shims	2.3.10
org.apache.hive.shims	programmeur de cales de hive	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	lierre	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.2.0-shaded-protobuf
org.apache.orc	orc-format	1.1.1-shaded-protobuf
org.apache.orc	orc-mapreduce	2.2.0-shaded-protobuf
org.apache.orc	orc-shims	2.2.0
org.apache.poi	poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.28
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	gardien de zoo	3.9.4
org.apache.zookeeper	zookeeper-jute	3.9.4
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	compilateur commun	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-alpn-client	10.0.26
org.eclipse.jetty	jetty-client	10.0.26
org.eclipse.jetty	jetty-http	10.0.26
org.eclipse.jetty	jetty-io	10.0.26
org.eclipse.jetty	jetty-jndi	10.0.26
org.eclipse.jetty	jetty-plus	10.0.26
org.eclipse.jetty	jetty-proxy	10.0.26
org.eclipse.jetty	jetty-security (sécurité de quai)	10.0.26
org.eclipse.jetty	serveur jetty	10.0.26
org.eclipse.jetty	jetty-servlet	10.0.26
org.eclipse.jetty	jetty-servlets	10.0.26
org.eclipse.jetty	jetty-util	10.0.26
org.eclipse.jetty	jetty-webapp	10.0.26
org.eclipse.jetty	jetty-xml	10.0.26
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	OSGi Localisateur de Ressources	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	servlet de conteneur jersey	2.41
org.glassfish.jersey.containers	jersey-container-servlet-core	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	jersey-common	2.41
org.glassfish.jersey.core	jersey-server	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	hibernate-validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.locationtech.jts	jts-core	1.20.0
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.22.1
org.objenesis	objenèse	3.4
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.4.0
org.scala-sbt	interface de test	1,0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	compatible avec scalatest	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1,10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly.openssl	1.1.3.Finale
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1,5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.5.0-linux-x86_64
stax	stax-api	1.0.1

Conseil / Astuce

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin de la prise en charge (EoS), consultez les notes de publication des versions de Databricks Runtime ayant atteint la fin de la prise en charge. Les versions d’EoS Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Commentaires

Cette page a-t-elle été utile ?

Last updated on 2025-12-16