Mises à jour de maintenance de Databricks Runtime

Cette page répertorie les mises à jour de maintenance pour les versions de Databricks Runtime prises en charge. Pour ajouter une mise à jour de maintenance à un cluster existant, redémarrez le cluster. Pour connaître les mises à jour de maintenance sur les versions non prises en charge de Databricks Runtime, consultez Mises à jour de maintenance pour Databricks Runtime (archivé).

Les publications sont échelonnées. Votre compte Azure Databricks peut ne pas être mis à jour pendant quelques jours après la date de publication initiale.

Note

À compter de Databricks Runtime 19, les mises à jour de maintenance sont publiées directement sur la page des notes de publication unifiées de chaque version. Cette page couvre Databricks Runtime 18 et versions antérieures uniquement. Consultez les cycles de vie de prise en charge de Databricks Runtime.

Versions de Databricks Runtime

Mises à jour de maintenance par version :

Databricks Runtime 18 LTS

Consultez Databricks Runtime 18 LTS.

  • 10 novembre 2026

    • Bibliothèques de Python mises à jour :
      • HF-XET de la version 1.2.0 à la 1.3.2
      • Pytz de 2024.1 à 2026.5
      • Tzdata de 2024.1 à 2026.5
    • [SPARK-59242][SQL] Protégez le nettoyage DAGScheduler dans SQLExecution contre un SparkContext arrêté
    • [SPARK-58175] Mettre en cache les descripteurs FileDescriptorSet analysés
    • [SPARK-57988][SQL] Mettre entre parenthèses IN et autres opérandes de prédicats non comparatifs de IS [NOT] NULL dans V2ExpressionSQLBuilder
    • [SPARK-58204][SQL] Corrections d’expressions avec état par backport
    • Mises à jour de sécurité du système d’exploitation
  • 3 novembre 2026

    • [SPARK-59580][SQL] Réduire l’allocation du cache TreeNode
    • [SPARK-60228][SQL] Éviter les recherches quadratiques de cache par nom de table dans CacheManager
    • [SPARK-60246][CORE] Fermer le canal de téléchargement lorsque fetchFile échoue
    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2026

    • Bibliothèques de Java mises à jour :
      • org.apache.zookeeper.zookeeper de 3.9.4 à 3.9.5
      • org.apache.zookeeper.zookeeper-jute de 3.9.4 à 3.9.5
    • Bibliothèques de Python mises à jour :
      • certifi du 26/04/2025 au 19/10/2026
    • [SPARK-57547][SQL] Correction du NPE dans PartitionKeyedAccumulator lors d’une condition de concurrence à l’initialisation
    • [SPARK-59998][CORE] Rendez la concaténation LogEntry paresseuse
    • Mises à jour de sécurité du système d’exploitation
  • 8 octobre 2026

    • Pour les vues gérées par Unity Catalog, CREATE OR REPLACE VIEW prend désormais en charge les clauses COPY * et NOCOPY *. Ces instructions déterminent si le remplacement préserve les métadonnées de la vue existante, telles que les autorisations, les commentaires et les tags. Voir CREATE VIEW.
  • 29 septembre 2026

    • [SPARK-57540][SQL] Instancier Woodstox WstxOutputFactory ombré directement dans StaxXmlGenerator
    • Mises à jour de sécurité du système d’exploitation
  • 15 septembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 1er septembre 2026

    • (Changement de comportement) RESTORE et CLONE les commandes qui modifient la partition d’une table peuvent être bloquées si la table source et la table cible partagent un fichier commun.
    • [SPARK-58751][SPARK-58977] Rétroportage du nettoyage des workers Python et de l’arrêt du serveur d’état
    • [SPARK-58386][SS] Rétablir la rétrocompatibilité de SupportsRealTimeRead.nextWithTimeout
    • [SPARK-51268][SQL] Rendre TreeNode sans verrouillage
    • [SPARK-58531][SQL][CONNECT] Faites de spark.sql.artifact.copyFromLocalToFs.allowDestLocal une conf statique
    • Mises à jour de sécurité du système d’exploitation
  • 18 août 2026

    • [SPARK-58292][CORE] Recréer le travailleur EventLoopGroup netty lorsqu’un thread de la boucle d’événements du worker meurt
    • Mises à jour de sécurité du système d’exploitation
  • 4 août 2026

    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.4.0 à 1.4.1
    • Revert « [SPARK-57778][TEST UNIQUEMENT] Ajouter une couverture HiFi pour les objets Oracle JDBC non sélectionnables »
    • [SPARK-58107] Rétroporter la déduplication et le scellement du point de contrôle local + la vérification de la somme de contrôle de la source matérialisée MERGE
    • [SPARK-57547][SQL] Réappliquer InMemoryRelation la correction de matérialisation concurrente
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2026

    • (Modification du comportement) Les utilisateurs qui s’appuient sur des types personnalisés ou de tiers dans les fermetures DStream doivent désormais appliquer spark.streaming.checkpoint.allowedClasses à ces types avant la reprise depuis un point de contrôle.
    • Correction d’un bogue d’exactitude où les min/max fenêtrées sur une colonne BinaryType avec une fenêtre glissante (toute fenêtre RANGE, ou une fenêtre ROWS de taille 10 ou plus) renvoyaient la valeur cumulée globale min/max au lieu de la valeur de chaque fenêtre.
    • [SPARK-53454][SQL][backport] Handle AlwaysTrue/AlwaysFalse in JDBCSQLBuilder
    • [SPARK-57778][SQL] Gérer les objets Oracle JDBC qui ne sont pas sélectionnables en tant que tables
    • Mises à jour de sécurité du système d’exploitation
  • 10 juillet 2026

    • [SPARK-57195][SQL] Surface MALFORMED_CSV_RECORD au lieu d’ArrayIndexOutOfBoundsException dans l’inférence du schéma CSV
    • [SPARK-57593][SQL][PYTHON] Limiter en octets et instrumenter le lot d’entrée du pickle Python UDF
    • [SPARK-57243][18.3.2][SQL] Encadrer IsNull et IsNotNull entre parenthèses pour le constructeur SQL V2
    • Divers correctifs de bogues.
  • 29 juin 2026
    • (Modification du comportement) Les vues de métrique rejettent désormais les mesures de fenêtre qui font référence à d’autres mesures de fenêtre. Auparavant, ce schéma réussissait au moment de CREATE, mais échouait silencieusement ou produisait des résultats incorrects au moment de la requête. Désormais, Azure Databricks renvoie une erreur claire au moment de CREATE ou de ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Pour désactiver cette validation, définissez spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled sur false.
    • [SPARK-57088][SQL] Autoriser une expression de classement non déterministe pour EXACT NEAREST BY
    • [SPARK-56652][SQL] Émettez toujours RELY/NORELY dans la sortie de contrainte DESCRIBE EXTENDED
    • [SPARK-57355][PYTHON] Corriger la vérification du module dans le profileur UDF
    • [SPARK-56720][SS] Échec des écritures asynchrones suivantes après un échec antérieur dans le suivi de progression asynchrone
    • [SPARK-56977][SQL] RewriteNearestByJoin doit respecter joinType dans la jointure synthétique
    • [SPARK-57371][Connect] Corriger une condition de concurrence dans ArrowDeserializers
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 17.3 LTS

Consultez Databricks Runtime 17.3 LTS.

  • 10 novembre 2026

    • Bibliothèques de Python mises à jour :
      • Pytz de 2024.1 à 2026.5
      • Tzdata de 2024.1 à 2026.5
    • [SPARK-58204][SQL] Corrections d’expressions avec état par backport
    • [SPARK-55062] Rétroportage des extensions proto2 vers les fonctions protobuf
    • [SPARK-58175] Mettre en cache les descripteurs FileDescriptorSet analysés
    • Mises à jour de sécurité du système d’exploitation
  • 3 novembre 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8, 11.2.3.jre8 à 11.2.4.jre8, 11.2.4.jre8
    • [SPARK-55133][CONNECT] Corriger la condition de concurrence dans la gestion du cycle de vie de l’état IsolatedSessionState
    • [SPARK-60246][CORE] Fermer le canal de téléchargement lorsque fetchFile échoue
    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.2.jre8, 11.2.3.jre8 à 11.2.3.jre8, 11.2.3.jre8
      • org.apache.zookeeper.zookeeper de 3.9.3 à 3.9.5
      • org.apache.zookeeper.zookeeper-jute de 3.9.3 à 3.9.5
    • Bibliothèques de Python mises à jour :
      • certifi du 26/04/2025 au 19/10/2026
    • [SPARK-57547][SQL] Corriger NPE dans PartitionKeyedAccumulator pendant la condition de course d’initialisation
    • Mises à jour de sécurité du système d’exploitation
  • 29 septembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 15 septembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 1er septembre 2026

    • (Changement de comportement) RESTORE et CLONE les commandes qui modifient la partition d’une table peuvent être bloquées si la table source et la table cible partagent un fichier commun.
    • Bibliothèques de Java mises à jour :
      • io.netty.netty-all du 4.1.118.Finale au 4.1.137.Finale
      • io.netty.netty-buffer de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-codec de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-codec-http de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-codec-http2 de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-codec-socks de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-common du 4.1.118.Final au 4.1.137.Final
      • io.netty.netty-handler du 4.1.118.Finale au 4.1.137.Finale
      • io.netty.netty-handler-proxy du 4.1.118.Final au 4.1.137.Final
      • io.netty.netty-resolver du 4.1.118.Final au 4.1.137.Final
      • io.netty.netty-transport du 4.1.118.Finale au 4.1.137.Finale
      • io.netty.netty-transport-classes-epoll de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-transport-classes-kqueue de 4.1.118.Final à 4.1.137.Final
      • io.netty.netty-transport-native-epoll du 4.1.118.Final, 4.1.118.Final, 4.1.118.Final, 4.1.118.Final à 4.1.137.Final, 4.1.137.Final, 4.1.137.Final, 4.1.137.Final
      • io.netty.netty-transport-native-kqueue de 4.1.118.Final, 4.1.118.Final à 4.1.137.Final, 4.1.137.Final
      • io.netty.netty-transport-native-unix-common du 4.1.118.Final au 4.1.137.Final
      • org.eclipse.jetty.jetty-client de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty - suite de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server de 9.4.53.v20231009 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet de 9.4.53.v20231009 à 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Rendre spark.sql.artifact.copyFromLocalToFs.allowDestLocal une configuration statique
    • [SPARK-58751][SPARK-58977] Rétroportage de nettoyage d'agent Python et arrêt de serveur d’état
    • [SPARK-58292][CORE] Recréer le worker netty EventLoopGroup lorsqu’un thread de la boucle d’événements du worker meurt
    • Mises à jour de sécurité du système d’exploitation
  • 18 août 2026

    • Mises à jour de sécurité du système d’exploitation
  • 4 août 2026

    • [SPARK-57778][TEST UNIQUEMENT] Corriger le test HiFi Oracle non sélectionnable instable (schéma dédié)
    • [SPARK-58107] Rétroporter la déduplication et le scellement du point de contrôle local + la vérification de la somme de contrôle de la source matérialisée MERGE
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2026

    • Correction d’un bogue d’exactitude où les min/max fenêtrées sur une colonne BinaryType avec une fenêtre glissante (toute fenêtre RANGE, ou une fenêtre ROWS de taille 10 ou plus) renvoyaient la valeur cumulée globale min/max au lieu de la valeur de chaque fenêtre.
    • [SPARK-57778][SQL] Gérer les objets Oracle JDBC qui ne sont pas sélectionnables en tant que tables
    • [SPARK-57371][Connect] Corrige une situation de concurrence dans ArrowDeserializers
    • Mises à jour de sécurité du système d’exploitation
  • 10 juillet 2026

    • [SPARK-57547][SQL] Rétroportage du correctif de matérialisation concurrente InMemoryRelation vers la version 17.3 (avec kill switch)
    • Divers correctifs de bogues.
  • 29 juin 2026
    • (Modification du comportement) Les vues de métrique rejettent désormais les mesures de fenêtre qui font référence à d’autres mesures de fenêtre. Auparavant, ce schéma réussissait au moment de CREATE, mais échouait silencieusement ou produisait des résultats incorrects au moment de la requête. Désormais, Azure Databricks renvoie une erreur claire au moment de CREATE ou de ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Pour désactiver cette validation, définissez spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled sur false.
    • Mises à jour de sécurité du système d’exploitation
  • 9 juin 2026
    • (Modification du comportement) SET TAG est maintenant idempotent. La répétition d’une SET TAG opération sur une ressource qui a déjà la balise ne génère plus d’erreur.
    • Mises à jour de sécurité du système d’exploitation
  • 26 mai 2026
    • [SPARK-34591][ML] Ajouter l’élagage de l’arbre de décision comme paramètre
    • Mises à jour de sécurité du système d’exploitation
  • 13 mai 2026
    • (Changement de comportement) Le listage des tables à l’aide d’un modèle de schéma n’actualise plus les métadonnées de Unity Catalog pour les tables externes (par exemple, SQL Server, PostgreSQL ou AWS Glue). Cette modification affecte SHOW TABLES IN SCHEMA LIKE ..., les appels getMetaData.getTables dans le pilote JDBC lorsqu’un modèle de schéma est fourni, ainsi que l’API Thrift SparkGetTablesOperation. Si votre charge de travail dépend de l’actualisation des métadonnées avec un modèle de schéma, contactez le support Databricks.
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.10 à 1.3.11
    • [SPARK-56361][SS] Fournir une meilleure erreur lors de la journalisation sur NPE dans la jointure flux-flux
    • Divers correctifs de bogues.
  • 20 avril 2026

    • Correction de l'autorité CRS pour le type GEOMETRY(102100). L'autorité est maintenant signalée comme ESRI:102100 au lieu de EPSG:102100.
    • Correction d’un problème d’intégrité des données dans MERGE et UPDATE, ainsi que les requêtes d’écriture en streaming où les structures NULL dans la source étaient étendues en structures non NULL avec des champs NULL dans la cible. Les structures NULL dans la source sont désormais conservées comme NULL dans la cible. Le correctif s’applique aux opérations suivantes :
      • MERGE avec des actions UPDATE SET t.structCol = s.structCol qui utilisent des conversions de type de structure.
      • MERGE lorsque UPDATE SET * l’évolution du schéma est activée et que la structure cible n’a pas de champs supplémentaires ou était à l’origine NULL.
      • MERGE avec UPDATE SET * EXCEPT lorsque la structure n’a pas de champs dans la EXCEPT liste.
      • MERGE avec des actions INSERT (structCol) VALUES (s.structCol) qui utilisent des conversions de type de structure.
      • MERGE avec INSERT * [EXCEPT] des actions qui utilisent des casts de type struct.
      • UPDATE Requêtes avec des casts de type struct.
      • Opérations d'écriture en streaming avec conversions de type structure.
  • 2 avril 2026

    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.9 à 1.3.10
    • [SPARK-55811] [SQL] Catch NonFatal au lieu d’UnresolvedException lors de l’appel de nodeWithOutputColumnsString
    • [SPARK-55892][SS] Correction de l’impossibilité de charger le stockage d’état car le fichier SST réutilisé a été supprimé par la maintenance
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Prendre en charge les identificateurs structurés pour les flux dans les protocoles d’analyse immédiate SDP
    • Mises à jour de sécurité du système d’exploitation
  • 10 mars 2026

    • [SPARK-55493] [SS] Ne pas mkdirs dans le répertoire d’état des points de contrôle en streaming dans StateDataSource
    • [SPARK-55111][SS] Nouvelle vérification de la détection du repartitionnement inachevé lors du redémarrage de la requête
    • [SPARK-55701] ES-1694761[SS] Corriger la condition de concurrence dans CompactibleFileStreamLog.allFiles
    • Mises à jour de sécurité du système d’exploitation
  • 26 février 2026

    • Bibliothèques de Java mises à jour :
      • org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.20.4
    • Mises à jour de sécurité du système d’exploitation
  • 19 février 2026

    • Lorsque vous déduisez le schéma des fichiers Excel, les cellules de texte sont désormais déduites en tant que Spark StringType. Cela respecte le type de cellule défini dans Excel. Auparavant, les chaînes avec des valeurs numériques étaient converties automatiquement en types plus étroits comme Long ou Decimal.
    • [SPARK-54887][CONNECT] Toujours définir un SQLSTATE dans le client Spark Connect
    • [SPARK-54887][CONNECT] Ajouter un sqlstate optionnel à sparkthrowables
    • [SPARK-55097][SQL] Correction : réajouter des artefacts mis en cache laisse tomber des blocs en silence
    • [SPARK-55282][PYTHON][CONNECT] Éviter d’utiliser worker_util côté pilote
    • [SPARK-49110][SQL] Simplification de SubqueryAlias.metadataOutput pour toujours propager les colonnes de métadonnées
    • [SPARK-55243][CONNECT] Autoriser la définition des en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026

    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.8 à 1.3.9
    • Voir ci-dessus
    • [SPARK-54768][SS]La source de données de flux Python doit classer l'erreur si les données retournées ne correspondent pas au schéma configuré
    • [SPARK-54803] Support BY NAME avec INSERT ... REPLACE WHERE
    • [SPARK-53564][CORE] Éviter les sorties de DAGScheduler en raison du délai d’expiration RPC du blockManager dans DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Corriger le calcul de numFields de decodeRemainingKey dans PrefixKeyScanStateEncoder
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • Bibliothèques de Python mises à jour :
      • pmdarima de 2.0.4 à 2.1.1
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.6 à 1.3.8
    • Vous pouvez désormais utiliser des fonctions de fenêtre SQL comme fonction scalaire dans les dimensions de la vue métrique et les expressions de mesure.
    • [SPARK-54562][SDP][17.3 backport] Bloquer l’analyse / l’exécution hâtives à l’intérieur de la fonction de flux depuis le côté serveur
    • [SPARK-54679][SQL] Renommer spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Ajouter un délai d’attente pour la connexion du worker créé par le démon
    • [SPARK-53127][SQL] Corriger LIMIT ALL pour la récursivité illimée avec la normalisation CTE
    • [SPARK-54708] Optimiser le nettoyage du cache ML avec une création paresseuse de répertoires
    • [SPARK-54581][SQL] Rendre l’option fetchsize insensible à la majuscule pour le connecteur Postgres
    • [SPARK-41916] [ML] distributeur Torch : prend en charge plusieurs processus torchrun par tâche si task.gpu.amount > 1
    • [SPARK-54564] [SQL] Faire de QueryPlanningTracker un champ de HybridAnalyzer
    • [SPARK-54620][SQL] Ajouter une vérification de sécurité dans ObservationManager pour éviter le blocage d’observation
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.5 à 1.3.6
    • [SPARK-50906][SQL] Corriger la vérification de nullabilité Avro pour les champs de struct réordonnés
    • [SPARK-54180][SQL] Remplacer la toString de BinaryFileFormat
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variante
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence à l’arrêt en cas d’inactivité
    • [SPARK-52762][SDP] Ajouter le message PipelineAnalysisContext pour supporter l’analyse du pipeline lors de l’exécution de requêtes Spark Connect
    • [SPARK-54156][PROTOBUF] Classifier les erreurs pour l’échec de transtypage de ProtobufOptions
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infra de l’ancien test
    • [SPARK-54015][PYTHON] Assouplir l’exigence Py4J pour py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] Le parseur de variante XML doit revenir à une chaîne en cas d’erreurs d’analyse décimale
    • [SPARK-54191][17.3 Backport][SDP] Ajouter "once" à Defineflow Proto
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53729][PYTHON][CONNECT] Corriger la sérialisation de pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Correction de SparkUnsupportedOperationException « Aucun encodeur trouvé de type T » lors de l’utilisation d’une classe paramétrée
    • [SPARK-53973][Avro] Classifier les erreurs pour un échec de conversion booléenne d’AvroOptions
    • [SPARK-53794][SS] Ajouter une option pour limiter les suppressions par opération de maintenance associée au fournisseur d’état rocksdb
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache du plan
    • [SPARK-53972][SS] Correction d'une régression de recentProgress des requêtes de streaming dans PySpark classique
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 16.4 LTS

Consultez Databricks Runtime 16.4 LTS.

  • 10 novembre 2026

    • Bibliothèques de Python mises à jour :
      • Pytz de 2024.1 à 2026.5
      • Ajout de tzdata 2026.5
    • Mises à jour de sécurité du système d’exploitation
  • 3 novembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.2.jre8, 11.2.3.jre8 à 11.2.3.jre8, 11.2.3.jre8
    • Bibliothèques de Python mises à jour :
      • certifi du 26/04/2025 au 19/10/2026
    • [SPARK-57547][SQL] Correction d’une NPE dans PartitionKeyedAccumulator lors d’une condition de concurrence à l’initialisation
    • Mises à jour de sécurité du système d’exploitation
  • 29 septembre 2026

    • [SPARK-53069][SS] Correction des métriques incorrectes du stockage d’état avec des familles de colonnes virtuelles
    • Mises à jour de sécurité du système d’exploitation
  • 15 septembre 2026

    • Bibliothèques de Java mises à jour :
      • org.apache.zookeeper.zookeeper de 3.9.2 à 3.9.5
      • org.apache.zookeeper.zookeeper-jute de 3.9.2 à 3.9.5
    • Mises à jour de sécurité du système d’exploitation
  • 1er septembre 2026

    • (Changement de comportement) RESTORE et CLONE les commandes qui modifient la partition d’une table peuvent être bloquées si la table source et la table cible partagent un fichier commun.
    • Bibliothèques de Java mises à jour :
      • org.eclipse.jetty.jetty-client de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-suite de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet de 9.4.52.v20230823 à 9.4.57.v20241219
    • [SPARK-58292][CORE] Recréer le travailleur EventLoopGroup netty lorsqu’un thread de la boucle d’événements du worker meurt
    • [SPARK-58531][SQL][CONNECT] Rendre spark.sql.artifact.copyFromLocalToFs.allowDestLocal une configuration statique
    • Mises à jour de sécurité du système d’exploitation
  • 18 août 2026

    • Mises à jour de sécurité du système d’exploitation
  • 4 août 2026

    • [SPARK-57547][SQL] Rétroportage InMemoryRelation Correction de la matérialisation concurrente pour la version 16.4 (avec kill switch)
    • [SPARK-58107] Backport : déduplication et scellement de local-checkpoint + vérification de la somme de contrôle de la source matérialisée de MERGE
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2026

    • Correction d’un bogue d’exactitude où les min/max fenêtrées sur une colonne BinaryType avec une fenêtre glissante (toute fenêtre RANGE, ou une fenêtre ROWS de taille 10 ou plus) renvoyaient la valeur cumulée globale min/max au lieu de la valeur de chaque fenêtre.
    • Mises à jour de sécurité du système d’exploitation
  • 10 juillet 2026

    • Divers correctifs de bogues.
  • 29 juin 2026

    • (Modification du comportement) Les vues de métrique rejettent désormais les mesures de fenêtre qui font référence à d’autres mesures de fenêtre. Auparavant, ce schéma réussissait au moment de CREATE, mais échouait silencieusement ou produisait des résultats incorrects au moment de la requête. Désormais, Azure Databricks renvoie une erreur claire au moment de CREATE ou de ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Pour désactiver cette validation, définissez spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled sur false.

    • Correction d’un problème d’intégrité des données où des valeurs NULL de structure dans la source étaient incorrectement transformées en structures non NULL avec des champs NULL dans la cible, dans MERGE, UPDATE et les requêtes d’écriture en streaming. Après la modification, les structs NULL dans la source sont correctement conservés comme NULL dans la cible.

      Opérations affectées :

      • MERGE requêtes avec UPDATE SET t.structCol = s.structCol actions avec des casts de type struct
      • MERGE requêtes avec UPDATE SET * lorsque l’évolution du schéma est activée (lorsque la structure source est NULL, écraser la cible par NULL lorsque la structure cible n’a pas de champs supplémentaires ou était initialement NULL)
      • MERGE requêtes avec UPDATE SET * EXCEPT (Lorsque la structure source est NULL, écraser la cible par NULL lorsqu’elle n’a aucun champ dans la liste EXCEPT)
      • MERGE requêtes avec INSERT (structCol) VALUES (s.structCol) actions avec des casts de type struct
      • MERGE requêtes avec INSERT * [EXCEPT] actions avec des casts de type struct
      • UPDATE requêtes avec casts de type struct
      • Opérations d'écriture en streaming avec conversions de type structure
    • Mises à jour de sécurité du système d’exploitation

  • 9 juin 2026

    • (Modification du comportement) SET TAG est maintenant idempotent. La répétition d’une SET TAG opération sur une ressource qui a déjà la balise ne génère plus d’erreur.
    • Mises à jour de sécurité du système d’exploitation
  • 26 mai 2026
    • [SPARK-34591][ML] Ajouter l’élagage de l’arbre de décision comme paramètre
    • Mises à jour de sécurité du système d’exploitation
  • 13 mai 2026
    • (Changement de comportement) Le listage des tables à l’aide d’un modèle de schéma n’actualise plus les métadonnées de Unity Catalog pour les tables externes (par exemple, SQL Server, PostgreSQL ou AWS Glue). Cette modification affecte SHOW TABLES IN SCHEMA LIKE ..., les appels getMetaData.getTables dans le pilote JDBC lorsqu’un modèle de schéma est fourni, ainsi que l’API Thrift SparkGetTablesOperation. Si votre charge de travail dépend de l’actualisation des métadonnées avec un modèle de schéma, contactez le support Databricks.
    • Bibliothèques de Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.11 à 1.2.12
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.11 à 1.2.12
    • [SPARK-56361][SS] Fournir une meilleure erreur lors de la journalisation sur NPE dans la jointure flux-flux
    • Divers correctifs de bogues.
  • 29 avril 2026
    • Divers correctifs de bogues.
  • 20 avril 2026
    • Divers correctifs de bogues.
  • 2 avril 2026

    • Bibliothèques de Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.10 à 1.2.11
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.10 à 1.2.11
    • [SPARK-55701]ES-1694761[SS] Corriger la condition de concurrence dans CompactibleFileStreamLog.allFiles
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Prendre en charge les identificateurs structurés pour les flux dans les protocoles d’analyse immédiate SDP
    • Mises à jour de sécurité du système d’exploitation
  • 10 mars 2026

    • [SPARK-55111][SS] Revérification de la détection du repartitionnement inachevé lors du redémarrage de la requête
    • [SPARK-55493] [SS] Ne pas créer de répertoires dans le répertoire d’état du point de contrôle de streaming dans StateDataSource
    • Mises à jour de sécurité du système d’exploitation
  • 26 février 2026

    • Mises à jour de sécurité du système d’exploitation
  • 19 février 2026

    • [SPARK-55282][PYTHON][CONNECT] Évitez d’utiliser worker_util côté Driver
    • [SPARK-55243][CONNECT] Autoriser la définition des en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • Bibliothèques de Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.9 à 1.2.10
      • (Scala 2.12 uniquement) org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.19.0
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.9 à 1.2.10
      • (Scala 2.13 uniquement) org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.19.0
    • [SPARK-55015][SS][SQL] Corriger le calcul de numFields de decodeRemainingKey dans PrefixKeyScanStateEncoder
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • Bibliothèques de Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.8 à 1.2.9
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.8 à 1.2.9
    • [SPARK-54620][SQL] Ajouter une vérification de sécurité dans ObservationManager pour éviter le blocage d’observation
    • [SPARK-54711][PYTHON] Ajoutez un délai d’attente pour la connexion du worker créée par un démon
    • [SPARK-41916] [ML] distributeur Torch : prend en charge plusieurs processus torchrun par tâche si task.gpu.amount > 1
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • À l'avenir, les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • Pour le connecteur Snowflake et Snowflake Lakehouse Federation, TIMESTAMP_NTZ les littéraux (d’horodatage sans fuseau horaire) ne sont plus transférés vers Snowflake. Cette modification empêche les échecs de requête causés par la gestion des horodatages incompatibles et améliore la fiabilité des requêtes affectées.
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types variants
    • [SPARK-54180][SQL] Écraser la toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54099][SQL] Le parseur de variante XML doit revenir à une chaîne en cas d’erreurs d’analyse décimale
    • [SPARK-54015][PYTHON] Assouplir l’exigence Py4J pour py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infra de l’ancien test
    • [SPARK-54156][PROTOBUF] Classifier les erreurs pour l’échec du transtypage de ProtobufOptions
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence à l’arrêt en cas d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 16.1.0 à 21.0.0
    • [SPARK-53973][Avro] Classifier les erreurs pour un échec de conversion booléenne d’AvroOptions
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bugs dans la logique de gestion des erreurs du client Spark Connect Python
    • [SPARK-53574] Correction de l’effacement de AnalysisContext lors de la résolution du plan imbriqué
    • [SPARK-53623][SQL] améliorer la lecture de la proprié… de grande table
    • [SPARK-53598][SQL] Vérifiez l’existence des numParts avant de lire la propriété de la grande table
    • [SPARK-53549][SS] Fermez toujours l’allocateur Arrow lorsque le processus de demande d’état de liste est terminé
    • Mises à jour de sécurité du système d’exploitation
  • 16 septembre 2025
    • Le connecteur Snowflake utilise désormais la INFORMATION_SCHEMA table au lieu de la SHOW SCHEMAS commande pour répertorier les schémas. Cette modification supprime la limite de 10 000 schémas de l’approche précédente et améliore la prise en charge des bases de données avec un grand nombre de schémas.
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • Corrige une erreur temporaire dans le chargeur automatique qui peut entraîner l’échec des travaux
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de la chaîne jackson JSON
    • [SPARK-51821][CORE] Appeler interrupt() sans maintenir uninterruptibleLock pour éviter un éventuel blocage
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques de Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.7 à 1.2.8
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.7 à 1.2.8
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd corrompus
    • [SPARK-53192][CONNECT] Toujours mettre en cache une DataSource dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour indiquer si une tâche sera interrompue lorsqu’elle est tuée
    • [SPARK-52833][SQL] Correction VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Toujours afficher les métriques de numéros de partition vides dans AQEShuffleReadExec
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • [SPARK-52753][SQL] Rendre parseDataType compatible au niveau binaire avec les versions précédentes
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52579][PYTHON] Définir un vidage périodique de traceback pour les travailleurs Python
    • [SPARK-52553][SS] Correction NumberFormatException lors de la lecture du journal des modifications v1
    • [SPARK-52450] Améliorer les performances de la deepcopy du schéma
    • [SPARK-52503][SQL][CONNECT] Corriger drop lorsque la colonne d’entrée n’existe pas
    • [SPARK-52599][PYTHON] Prise en charge du dump périodique de traceback dans les travailleurs côté conducteur
    • Mises à jour de sécurité du système d’exploitation
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [SPARK-52521][SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de source de données de fichiers
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • Correction des problèmes d’autorisation du catalogue Unity pour les requêtes sur les vues temporaires.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID du plan
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • [SPARK-52195][PYTHON][SS] Corriger le problème de suppression de la colonne d’état dans l’état initial pour Python TWS
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence des tables pour les dialectes jdbc
    • Divers correctifs de bogues.
  • 7 mai 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.2.3 à 1.2.7
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$['key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Correction du comportement paresseux des itérateurs dans df.collect() interprété.
    • [SPARK-51921][SS][PYTHON] Utiliser le type long pour la durée TTL en milliseconde dans transformWithState
    • [SPARK-51940][SS] Ajout d’interface pour la gestion des métadonnées de points de contrôle en streaming
    • [SPARK-52049] Corrigez le bug qui empêche les attributs XML d’être analysés comme Variant
    • [SPARK-51904][SS] Supprimer la purge asynchrone des métadonnées pour StateSchemaV3 et ignorer les fichiers non batch lors du listage des fichiers OperatorMetadata
    • [SPARK-51869][SS] Créer une classification pour les erreurs utilisateur dans les UDF pour Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Correction d’un bug pour MapState clear() dans Python TWS
    • [SPARK-51922] [SS] Correction de l’UTFDataFormatException lancée depuis StateStoreChangelogReaderFactory pour v1
    • [SPARK-51848][SQL] Correction de l’analyse des enregistrements XML avec un schéma défini de tableau/structs/carte de Variant
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 15.4 LTS

Consultez Databricks Runtime 15.4 LTS.

  • 10 novembre 2026

    • Bibliothèques de Python mises à jour :
      • Pytz de 2022.7 à 2026.5
      • Tzdata de 2022.1 à 2026.5
    • Bibliothèques de Java mises à jour :
      • Ajouté at.yawk.lz4.lz4-java 1.8.1
      • Suppression de org.lz4.lz4-java 1.8.0
    • Mises à jour de sécurité du système d’exploitation
  • 3 novembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2026

    • Bibliothèques de Python mises à jour :
      • certifi du 26/04/2025 au 19/10/2026
    • [SPARK-57547][SQL] Corriger le NPE dans PartitionKeyedAccumulator dû à une condition de concurrence lors de l’initialisation
    • Mises à jour de sécurité du système d’exploitation
  • 29 septembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 15 septembre 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8, 11.2.3.jre8 à 11.2.3.jre8, 11.2.4.jre8
    • [SPARK-41246][CORE] Échec rapide en cas de débordement d’ID RDD ; analyse des identifiants de blocs négatifs comme filet de sécurité (cherry-pick vers dbr-branch-15.4)
    • Mises à jour de sécurité du système d’exploitation
  • 1er septembre 2026

    • (Changement de comportement) RESTORE et CLONE les commandes qui modifient la partition d’une table peuvent être bloquées si la table source et la table cible partagent un fichier commun.
    • Bibliothèques de Java mises à jour :
      • org.eclipse.jetty.jetty-client de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-suite de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet de 9.4.52.v20230823 à 9.4.57.v20241219
    • [SPARK-58292][CORE] Recréer le worker Netty EventLoopGroup lorsqu’un thread de boucle d’événements du worker se termine
    • [SPARK-58531][SQL][CONNECT] Faites de spark.sql.artifact.copyFromLocalToFs.allowDestLocal une conf statique
    • Mises à jour de sécurité du système d’exploitation
  • 18 août 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.2.jre8, 11.2.3.jre8 à 11.2.3.jre8, 11.2.3.jre8
    • Mises à jour de sécurité du système d’exploitation
  • 4 août 2026

    • [SPARK-58107] Rétroporter la déduplication et le scellement du point de contrôle local + la vérification de la somme de contrôle de la source matérialisée MERGE
    • [SPARK-57547][SQL] Rétroportage de la correction de matérialisation concurrente InMemoryRelation vers 15.4 (avec kill switch)
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2026

    • Mises à jour de sécurité du système d’exploitation
  • 10 juillet 2026

    • Mises à jour de sécurité du système d’exploitation
  • 29 juin 2026

    • (Modification du comportement) Les vues de métrique rejettent désormais les mesures de fenêtre qui font référence à d’autres mesures de fenêtre. Auparavant, ce schéma réussissait au moment de CREATE, mais échouait silencieusement ou produisait des résultats incorrects au moment de la requête. Désormais, Azure Databricks renvoie une erreur claire au moment de CREATE ou de ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Pour désactiver cette validation, définissez spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled sur false.

    • Correction d’un problème d’intégrité des données où des valeurs NULL de structure dans la source étaient incorrectement transformées en structures non NULL avec des champs NULL dans la cible, dans MERGE, UPDATE et les requêtes d’écriture en streaming. Après la modification, les structs NULL dans la source sont correctement conservés comme NULL dans la cible.

      Opérations affectées :

      • MERGE requêtes avec UPDATE SET t.structCol = s.structCol actions avec des casts de type struct
      • MERGE requêtes avec UPDATE SET * lorsque l’évolution du schéma est activée (lorsque la structure source est NULL, écraser la cible par NULL lorsque la structure cible n’a pas de champs supplémentaires ou était initialement NULL)
      • MERGE requêtes avec UPDATE SET * EXCEPT (Lorsque la structure source est NULL, écraser la cible par NULL alors qu’elle n’a pas de champs dans la liste EXCEPTÉ)
      • MERGE requêtes avec INSERT (structCol) VALUES (s.structCol) actions avec des casts de type struct
      • MERGE requêtes avec INSERT * [EXCEPT] actions avec des casts de type struct
      • UPDATE requêtes avec casts de type struct
      • Opérations d'écriture en streaming avec conversions de type structure
    • Mises à jour de sécurité du système d’exploitation

  • 9 juin 2026

    • Mises à jour de sécurité du système d’exploitation
  • 26 mai 2026
    • Mises à jour de sécurité du système d’exploitation
  • 13 mai 2026
    • (Changement de comportement) Le listage des tables à l’aide d’un modèle de schéma n’actualise plus les métadonnées de Unity Catalog pour les tables externes (par exemple, SQL Server, PostgreSQL ou AWS Glue). Cette modification affecte SHOW TABLES IN SCHEMA LIKE ..., les appels getMetaData.getTables dans le pilote JDBC lorsqu’un modèle de schéma est fourni, ainsi que l’API Thrift SparkGetTablesOperation. Si votre charge de travail dépend de l’actualisation des métadonnées avec un modèle de schéma, contactez le support Databricks.
    • Mises à jour de sécurité du système d’exploitation
  • 29 avril 2026
    • Divers correctifs de bogues.
  • 20 avril 2026
    • Divers correctifs de bogues.
  • 2 avril 2026

    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.10 à 1.1.11
    • Le chargeur automatique inclut deux nouvelles fonctionnalités liées à la gestion de l’emplacement source et à la visibilité dans DBR 16.3 : 1. Enregistrer les changements d’événements : avec ce changement, les clients pourront utiliser le cloud_files_state TVF pour consulter les détails de découverte et de traitement des fichiers tels que l’heure de découverte initiale d’un fichier, l’heure à laquelle il a été engagé, son archivage, etc. Voir la documentation publique actuelle de ce TVF ici. 2. Source propre : Avec cette fonctionnalité, les clients peuvent indiquer à Auto Loader de supprimer automatiquement les fichiers qui ont été traités. Les clients peuvent opter pour cette fonctionnalité à l’aide de l’option cloudFiles.cleanSource Chargeur automatique. Pour plus d’informations, consultez la documentation sur les options du chargeur automatique ici.
    • Mises à jour de sécurité du système d’exploitation
  • 10 mars 2026

    • [SPARK-55701] ES-1694761[SS] Corriger la condition de concurrence dans CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminé au redémarrage de la requête
    • Mises à jour de sécurité du système d’exploitation
  • 26 février 2026

    • Bibliothèques de Java mises à jour :
      • org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.11.3
    • Mises à jour de sécurité du système d’exploitation
  • 19 février 2026

    • [SPARK-55243][CONNECT] Autoriser la définition des en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • [SPARK-55282][PYTHON][CONNECT] Évitez d’utiliser worker_util côté pilote
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • Bibliothèques de Java mises à jour :
      • io.delta.sharing-client_2.12 de 1.1.9 à 1.1.10
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • À l'avenir, les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54620][SQL] Ajouter une vérification de sécurité dans ObservationManager pour éviter le blocage de l’observation
    • [SPARK-54711][PYTHON] Ajoutez un délai d’attente pour la connexion de travailleur créée par un démon
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.7 à 1.1.9
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types variants
    • [SPARK-52579][PYTHON] Définir un vidage périodique de traceback pour les travailleurs Python
    • [SPARK-54180][SQL] Remplacer la toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infra de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence à l’arrêt en cas d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 14.0.0.2 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Le critère de photonisation du scan est mis à jour pour autoriser la photonisation du scan quand la vérification du checksum est requise.
      Déterminer si la vérification de la somme de contrôle est requise relève désormais de la configuration Hadoop plutôt que de la configuration SQLConf.
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Corrige plusieurs petits bugs dans la logique de gestion des erreurs du client Spark Connect Python
    • [SPARK-53574] Correction de l’effacement de AnalysisContext lors de la résolution du plan imbriqué
    • Divers correctifs de bogues.
  • 16 septembre 2025
    • Le connecteur Snowflake utilise désormais la INFORMATION_SCHEMA table au lieu de la SHOW SCHEMAS commande pour répertorier les schémas. Cette modification supprime la limite de 10 000 schémas de l’approche précédente et améliore la prise en charge des bases de données avec un grand nombre de schémas.
    • [SPARK-50870][SQL] Ajouter le fuseau horaire lors du casting à l’horodatage dans V2ScanRelationPushDown
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • Corrige une erreur temporaire dans le chargeur automatique qui peut entraîner l’échec des travaux
    • [SPARK-51821][CORE] Appeler interrupt() sans maintenir uninterruptibleLock pour éviter un éventuel blocage
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de la chaîne jackson JSON
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.6 à 1.1.7
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd corrompus
    • [SPARK-53192][CONNECT] Toujours mettre en cache une DataSource dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour indiquer si une tâche sera interrompue lorsqu’elle est tuée
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 21 juillet 2025

    • Pour le calcul activé pour Photon ou utilise le processeur Arm64, mlflow-skinny est mis à niveau vers la version 2.19.0, ray est mis à niveau vers la version 2.37.0 et databricks-feature-engineering est mis à niveau vers 0.8.0.
  • 15 juillet 2025

    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52503][SQL][CONNECT] Corriger drop lorsque la colonne d’entrée n’existe pas
  • 1 juillet 2025
    • Bibliothèques de Java mises à jour :
      • org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.11.3
      • Suppression de com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Suppression de org.slf4j.slf4j-simple 1.7.25
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [SPARK-52521][SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de source de données de fichiers
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-49646][SQL] corriger la décorrelation de sous-requête pour les opérations union/set lorsque parentOuterReferences a des références non couvertes dans collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID du plan
  • 3 juin 2025
    • Bibliothèques de Python mises à jour :
      • cryptography de 3.4.8, 41.0.3 vers 41.0.3
      • filelock de 3.13.4, 3.15.4 vers 3.13.4
      • importlib-metadata de 4.6.4, 6.0.0 vers 6.0.0
      • platformdirs de 3.10.0, 3.11.0 vers 3.10.0
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • zipp de 1.0.0, 3.11.0 vers 3.11.0
      • Ajout de pip 23.2.1
      • Ajout de setuptools 68.0.0
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.38.4
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques de Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 vers 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 vers 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 vers 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf vers 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf vers 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 à 1.6.2
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence des tables pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.5 à 1.1.6
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$['key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Correction du comportement paresseux des itérateurs dans df.collect() interprété.
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • Bibliothèques de Java mises à jour :
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • Annuler « [SPARK-47895][SQL] group by alias doit être idempotent » dans les versions 15.4, 16.0, 16.1, 16.2 et 16.3
    • [SPARK-50682][SQL] L’alias interne doit être canonisé
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025
    • (Behavioral change) Pour appliquer de manière critique les correctifs de sécurité, la version par défaut de Python est mise à jour de Python 3.11.0rc1 à Python 3.11.11. Cette mise à jour peut avoir un impact sur certaines charges de travail exécutées sur Databricks Runtime 15.4 LTS, telles que les charges de travail qui utilisent Python sérialisation pour stocker et restaurer l’état entre les exécutions ou les charges de travail qui épinglent à la version 3.11.0 Python.
    • Bibliothèques de Java mises à jour :
      • Suppression de io.starburst.openjson.openjson 1.8-e.12
      • Suppression de io.starburst.openx.data.json-serde 1.3.9-e.12
      • Suppression de io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] groupe par alias devrait être idempotent
    • [SPARK-51624][SQL] Propager les métadonnées GetStructField dans CreateNamedStruct.dataType
    • Mises à jour de sécurité du système d’exploitation
  • 31 mars 2025
    • Pour le calcul non activé pour Photon, databricks-feature-engineering est mis à niveau vers la version 0.8.0. Pour le calcul Photon, databricks-feature-engineering reste à 0.6.0.
  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • [SPARK-50985][SS] Classer l’erreur de décalage d’horodatage Kafka au lieu d’asserter et de lever une erreur en cas de serveur manquant dans KafkaTokenProvider
    • [SPARK-50791][SQL] Correction de la NPE dans la gestion des erreurs du State Store
    • [SPARK-50310][PYTHON] Améliorer les performances de la colonne lorsque le DQC est désactivé
    • [SPARK-51222][SQL] Optimize ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Amélioration mineure de la journalisation pour l’écouteur ListenerBus de requête en streaming côté serveur
    • [SPARK-51084][SQL] Attribuer la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50492][SS] Corriger java.util.NoSuchElementException lorsque la colonne de temps de l’événement est supprimée après dropDuplicatesWithinWatermark
    • Mises à jour de sécurité du système d’exploitation
    • Pour le calcul non activé pour Photon, mlflow-skinny est mis à niveau vers la version 2.19.0. Pour le calcul Photon, mlflow-skinny reste à 2.13.1.
  • 10 décembre 2024
    • L’instruction USE CATALOG prend désormais en charge la clause IDENTIFIER. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre.
    • Cette version inclut un correctif pour un problème qui peut entraîner la suppression de la clé primaire d’une table Delta dans certains cas limites liés au compactage automatique en arrière-plan.
    • Avec cette version, la taille du cache utilisée par un disque SSD dans un nœud de calcul Databricks s’étend dynamiquement à la taille initiale du disque SSD et diminue si nécessaire, jusqu’à la spark.databricks.io.cache.maxDiskUsage limite. Consultez « Optimiser les performances avec la mise en cache sur Azure Databricks ».
    • Le package pyodbc est mis à jour de la version 4.0.38 à la version 4.0.39. Cette modification est requise, car un bogue a été trouvé dans la version 4.0.38 et que cette version a été supprimée de PyPI.
    • [SPARK-50329][SQL] corriger InSet$toString
    • [SPARK-47435][SQL] Corriger le problème de débordement de MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Prise en charge de l’expression IDENTIFIER dans l’instruction SETCATALOG
    • [SPARK-50426][PYTHON] Évitez la recherche statique de sources de données Python lorsque vous utilisez des sources de données intégrées ou Java
    • [SPARK-48863][SQL] Correction de la ClassCastException lors de l’analyse de JSON avec « spark.sql.json.enablePartialResults » activé
    • [SPARK-50310][PYTHON] Ajouter un drapeau pour désactiver DataFrameQueryContext pour PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Corriger l’erreur de signalement des erreurs fatales en tant qu’exceptions non interceptées dans SparkUncaughtExceptionHandler
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • Avec cette version, vous pouvez maintenant interroger la fonction vector_search à l’aide de query_text pour l’entrée de texte ou query_vector pour l’incorporation d’entrée.
    • Vous pouvez maintenant définir un délai d’expiration pour les requêtes Spark Connect à l’aide de la propriété de configuration Spark spark.databricks.execution.timeout. Pour les notebooks s’exécutant sur le calcul sans serveur, la valeur par défaut est 9000 (secondes). Les travaux exécutés sur le calcul serverless et le calcul avec le mode d’accès standard n’ont pas de délai d’expiration, sauf si cette propriété de configuration est définie. Une exécution qui dure plus longtemps que le délai d’expiration spécifié entraîne une erreur QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Corrige un identifiant paramétré dans une sous-requête
    • [SPARK-49615] [ML] Faire en sorte que la validation du schéma du jeu de données de tous les transformateurs de caractéristiques ML soit conforme à la configuration « spark.sql.caseSensitive ».
    • [SPARK-50124][SQL] LIMIT/OFFSET devrait préserver l’ordre des données
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • (Changement majeur) Dans Databricks Runtime 15.4 LTS et versions ultérieures, la gestion des expressions régulières dans Photon est mise à jour afin d'aligner sur le comportement de la gestion des expressions régulières d'Apache Spark. Auparavant, les fonctions d’expression régulière exécutées par Photon, telles que split() et regexp_extract(), acceptaient certaines expressions régulières rejetées par l’analyseur Spark. Pour maintenir la cohérence avec Apache Spark, les requêtes Photon échouent désormais pour les expressions régulières que Spark considère non valides. En raison de cette modification, vous pouvez voir des erreurs si votre code Spark inclut des expressions régulières non valides. Par exemple, l’expression split(str_col, '{'), qui contient une accolade sans correspondance et qui a été précédemment acceptée par Photon, échoue désormais. Pour corriger cette expression, vous pouvez échapper au caractère d’accolades : split(str_col, '\\{'). Le comportement de Photon et Spark diffère également dans certaines correspondances d’expressions régulières de caractères non-ASCII. Ceci est également mis à jour afin que Photon corresponde au comportement d’Apache Spark.
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec une sortie enfant
    • [SPARK-49867][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structs imbriquées
    • [SPARK-49829] Réviser l’optimisation lors de l’ajout d’entrées dans le magasin d’état dans la jointure stream-stream (correction d’une erreur)
    • [SPARK-49905] Utilisez un ShuffleOrigin dédié pour l’opérateur avec état, afin d’éviter que le shuffle soit modifié depuis AQE
    • [SPARK-46632][SQL] Corriger l’élimination des sous-expressions lorsque les expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49443][SQL][PYTHON] Implémenter l’expression to_variant_object et faire en sorte que les expressions schema_of_variant affichent OBJECT pour les objets Variant
    • [SPARK-49615] Correction de bug : Faire en sorte que la validation du schéma de colonne ML soit conforme à la configuration spark.sql.caseSensitivede spark.
  • 22 octobre 2024
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec une sortie enfant
    • [SPARK-49867][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structs imbriquées
    • [SPARK-49829] Réviser l’optimisation lors de l’ajout d’entrées dans le magasin d’état dans la jointure stream-stream (correction d’une erreur)
    • [SPARK-49905] Utilisez un ShuffleOrigin dédié pour l’opérateur avec état, afin d’éviter que le shuffle soit modifié par AQE
    • [SPARK-46632][SQL] Corriger l’élimination des sous-expressions lorsque les expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49443][SQL][Python] Implémenter l’expression to_variant_object et faire en sorte que les expressions schema_of_variant impriment OBJECT pour les objets Variant
    • [SPARK-49615] Correction de bug : Faire en sorte que la validation du schéma de colonne ML soit conforme à la configuration spark.sql.caseSensitivede spark.
  • 10 octobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de l’élagage de GetArrayStructFields
    • [SPARK-49688][CONNECT] Corriger une course de données entre l’interruption et l’exécution du plan
    • [BACKPORT] [SPARK-49474][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
    • [SPARK-49460][SQL] Suivi : corriger le risque potentiel de NPE
  • 25 septembre 2024
    • [SPARK-49628][SQL] ConstantFolding doit copier l’expression avec état avant d’évaluer
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est une table vide en dépliant RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Tentative de réattachement sur un ExecutionHolder inactif
    • [SPARK-49458][CONNECT][PYTHON] Fournir l’identifiant de session côté serveur via ReattachExecute
    • [SPARK-49017][SQL] L’instruction d’insertion échoue lorsque plusieurs paramètres sont utilisés
    • [SPARK-49451] Autoriser les clés en double dans parse_json.
    • Divers correctifs de bogues.
  • 17 septembre 2024
    • [SPARK-48463][ML] Permettre à Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer et Interactor de prendre en charge les colonnes d’entrée imbriquées
    • [SPARK-49409][CONNECT] Ajustez la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Prend en charge les chemins de type Windows dans ArtifactManager
    • Rétablir « [SPARK-48482][PYTHON] dropDuplicates et dropDuplicatesWithinWatermark doivent accepter des arguments de longueur variable »
    • [SPARK-43242][CORE] Corriger le déclenchement de l’exception « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-49366][CONNECT] Traiter le nœud Union comme une feuille dans la résolution de la colonne du dataframe
    • [SPARK-49018][SQL] Correction de approx_count_distinct ne fonctionnant pas correctement avec la collation
    • [SPARK-49460][SQL] Supprimer cleanupResource() d’EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement le null
    • [SPARK-49336][CONNECT] Limiter le niveau d’imbrication lors de la troncature d’un message protobuf
  • 29 août 2024
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • [SPARK-48941][SPARK-48970] Backport des corrections des writer / reader ML
    • [SPARK-49074][SQL] Correction du variant avec df.cache()
    • [SPARK-49263][CONNECT] Client Python Spark Connect : Traite systématiquement les options booléennes du lecteur de Dataframes
    • [SPARK-48955][SQL] Inclure les changements d’ArrayCompact dans la version 15.4
    • [SPARK-48937][SQL] Ajout du support de la collation pour les expressions de chaînes StringToMap
    • [SPARK-48929] Correction de l’erreur interne de vue et nettoyage du contexte d’exception de l’analyseur
    • [SPARK-49125][SQL] Autoriser les noms de colonnes dupliqués dans l’écriture CSV
    • [SPARK-48934][SS] Les types de datetime Python ont été mal convertis pour définir le délai d’attente dans applyInPandasWithState
    • [SPARK-48843] Empêcher la boucle infinie avec BindParameters
    • [SPARK-48981] Corriger la méthode simpleString de StringType dans pyspark pour les collations
    • [SPARK-49065][SQL] Le rebasage dans des formateurs/analyseurs hérités doit prendre en charge des fuseaux horaires différents du fuseau horaire par défaut de la JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport des correctifs du writer ML de Spark
    • [SPARK-48725][SQL] Intégrer CollationAwareUTF8String.lowerCaseCodePoints dans les expressions de chaînes
    • [SPARK-48978][SQL] Implémenter le chemin rapide ASCII dans le support de la colation pour UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Tronquer le message pour la journalisation
    • [SPARK-49146][SS] Déplacer les erreurs d’assertion liées à l’absence de watermark dans les requêtes en mode d’ajout en streaming vers le cadre d’erreurs
    • [SPARK-48977][SQL] Optimiser la recherche de chaînes sous UTF8_LCASE colation
    • [SPARK-48889][SS] testStream pour décharger les magasins d’état avant la fin
    • [SPARK-48463] Faire en sorte que StringIndexer prenne en charge les colonnes d’entrée imbriquées
    • [SPARK-48954] try_mod() remplace try_remainder()
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 14.3 LTS

Consultez Databricks Runtime 14.3 LTS.

  • 10 novembre 2026

    • Bibliothèques de Python mises à jour :
      • Pytz de 2022.7 à 2026.5
      • Ajout de tzdata 2026.5
    • Bibliothèques de Java mises à jour :
      • org.postgresql.postgresql de 42.6.0 vers 42.6.1
      • Ajouté at.yawk.lz4.lz4-java 1.8.1
      • Suppression d’org.lz4.lz4-java 1.8.0
    • Mises à jour de sécurité du système d’exploitation
  • 3 novembre 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8, 11.2.3.jre8 à 11.2.4.jre8, 11.2.4.jre8
    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2026

    • Bibliothèques de Python mises à jour :
      • certifi du 07/12/2022 au 19/10/2026
    • [SPARK-57547][SQL] Corriger NPE dans PartitionKeyedAccumulator pendant la condition de course d’initialisation
    • Mises à jour de sécurité du système d’exploitation
  • 29 septembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 15 septembre 2026

    • Mises à jour de sécurité du système d’exploitation
  • 1er septembre 2026

    • (Changement de comportement) RESTORE et CLONE les commandes qui modifient la partition d’une table peuvent être bloquées si la table source et la table cible partagent un fichier commun.
    • Bibliothèques de Java mises à jour :
      • org.eclipse.jetty.jetty-client de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-suite de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 à 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet de 9.4.52.v20230823 à 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Faites de spark.sql.artifact.copyFromLocalToFs.allowDestLocal une conf statique
    • Mises à jour de sécurité du système d’exploitation
  • 18 août 2026

    • Bibliothèques de Java mises à jour :
      • com.microsoft.sqlserver.mssql-jdbc de 11.2.2.jre8, 11.2.3.jre8 à 11.2.3.jre8, 11.2.3.jre8
    • Mises à jour de sécurité du système d’exploitation
  • 4 août 2026

    • [SPARK-58107] Rétroporter la déduplication et le scellement du point de contrôle local + la vérification de la somme de contrôle de la source matérialisée MERGE
    • [SPARK-57547][SQL] Rétroportage du correctif de matérialisation concurrente InMemoryRelation vers 14.3 (avec kill switch)
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2026

    • Mises à jour de sécurité du système d’exploitation
  • 10 juillet 2026

    • Mises à jour de sécurité du système d’exploitation
  • 29 juin 2026
    • (Modification du comportement) Les vues de métrique rejettent désormais les mesures de fenêtre qui font référence à d’autres mesures de fenêtre. Auparavant, ce schéma réussissait au moment de CREATE, mais échouait silencieusement ou produisait des résultats incorrects au moment de la requête. Désormais, Azure Databricks renvoie une erreur claire au moment de CREATE ou de ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Pour désactiver cette validation, définissez spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled sur false.
    • Mises à jour de sécurité du système d’exploitation
  • 9 juin 2026
    • Mises à jour de sécurité du système d’exploitation
  • 26 mai 2026
    • Mises à jour de sécurité du système d’exploitation
  • 13 mai 2026
    • (Changement de comportement) Le listage des tables à l’aide d’un modèle de schéma n’actualise plus les métadonnées de Unity Catalog pour les tables externes (par exemple, SQL Server, PostgreSQL ou AWS Glue). Cette modification affecte SHOW TABLES IN SCHEMA LIKE ..., les appels getMetaData.getTables dans le pilote JDBC lorsqu’un modèle de schéma est fourni, ainsi que l’API Thrift SparkGetTablesOperation. Si votre charge de travail dépend de l’actualisation des métadonnées avec un modèle de schéma, contactez le support Databricks.
    • Mises à jour de sécurité du système d’exploitation
  • 29 avril 2026
    • Divers correctifs de bogues.
  • 20 avril 2026
    • Divers correctifs de bogues.
  • 2 avril 2026

    • Bibliothèques de Java mises à jour :
      • io.delta.sharing-client_2.12 de 1.1.7 à 1.1.11
    • Le chargeur automatique inclut deux nouvelles fonctionnalités liées à la gestion de l’emplacement source et à la visibilité dans DBR 16.3 : 1. Enregistrer les changements d’événements : avec ce changement, les clients pourront utiliser le cloud_files_state TVF pour consulter les détails de découverte et de traitement des fichiers tels que l’heure de découverte initiale d’un fichier, l’heure à laquelle il a été engagé, son archivage, etc. Voir la documentation publique actuelle de ce TVF ici. 2. Nettoyage de la source : grâce à cette fonctionnalité, les clients peuvent demander à Auto Loader de supprimer automatiquement les fichiers déjà traités. Les clients peuvent opter pour cette fonctionnalité à l’aide de l’option cloudFiles.cleanSource Chargeur automatique. Pour plus d’informations, consultez la documentation sur les options du chargeur automatique ici.
    • Mises à jour de sécurité du système d’exploitation
  • 10 mars 2026

    • [SPARK-55111][SS] Revérification de la détection de repartitionnement inachevée lors du redémarrage de la requête
    • [SPARK-55701] ES-1694761[SS] Corriger la situation de concurrence dans CompactibleFileStreamLog.allFiles
    • Mises à jour de sécurité du système d’exploitation
  • 26 février 2026

    • Mises à jour de sécurité du système d’exploitation
  • 19 février 2026

    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026

    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026

    • À l'avenir, les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion du worker créée par un démon
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025

    • [SPARK-52579][PYTHON] Définir un vidage périodique de traceback pour les travailleurs Python
    • [SPARK-54180][SQL] Redéfinir toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infra de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence à l’arrêt en cas d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 12.0.1 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bugs dans la logique de gestion des erreurs du client Spark Connect Python
    • [SPARK-53574] Correction de l’effacement de AnalysisContext lors de la résolution du plan imbriqué
    • Divers correctifs de bogues.
  • 16 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de la chaîne jackson JSON
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.6 à 1.1.7
    • [SPARK-52482][SQL][CORE] Amélioration de la gestion des exceptions pour la lecture de certains fichiers zstd corrompus
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • [SPARK-52503][SQL][CONNECT] Corrige drop lorsque la colonne d’entrée n’existe pas
    • Divers correctifs de bogues.
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [SPARK-52521][SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard prise en charge du lecteur de source de données de fichiers
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-49646][SQL] corriger la décorrelation de sous-requête pour les opérations union/set lorsque parentOuterReferences a des références non couvertes dans collectedChildOuterReferences
  • 3 juin 2025
    • Bibliothèques de Python mises à jour :
      • cryptography de 3.4.8, 39.0.1 vers 39.0.1
      • platformdirs de 2.5.2, 2.6.2 vers 2.5.2
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • Ajout de pip 22.3.1
      • Ajout de setuptools 65.6.3
      • Ajout de tomli 2.0.1
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.38.4
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques de Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 vers 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 vers 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 vers 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf vers 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf vers 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 à 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID du plan
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence des tables pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques de Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.5 à 1.1.6
    • [SPARK-51935][SQL] Corriger le comportement paresseux des itérateurs dans df.collect() interprété
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025

    • [Changement de comportement] Les opérations Vacuum effectuent désormais des vérifications de protocole Writer similaires à d’autres opérations, ce qui empêche les nettoyages inattendus sur les tables avec des fonctionnalités plus récentes lorsqu’elles sont exécutées à partir d’anciennes versions de Databricks Runtime incompatibles.
    • [SPARK-51624][SQL] Propager les métadonnées GetStructField dans CreateNamedStruct.dataType
    • Mises à jour de sécurité du système d’exploitation
  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • [SPARK-50791][SQL] Corriger NPE dans la gestion des erreurs du State Store
    • [SPARK-50705][SQL] Rendre QueryPlan sans verrouillage
    • [SPARK-49525][SS][CONNECT] Amélioration mineure du journal pour le ListenerBus de requête de streaming côté serveur
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50492][SS] Corriger java.util.NoSuchElementException lorsque la colonne de temps de l’événement est supprimée après dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Attribuer la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Cette version inclut un correctif pour un problème qui peut entraîner la suppression de la clé primaire d’une table Delta dans certains cas limites liés au compactage automatique en arrière-plan.
    • [SPARK-50329][SQL] corriger InSet$toString
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • [SPARK-49615] [ML] Faire en sorte que la validation du schéma du jeu de données de tous les transformateurs de caractéristiques ML soit conforme à la configuration « spark.sql.caseSensitive ».
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • [SPARK-48843] Empêcher la boucle infinie avec BindParameters
    • [SPARK-49829] Réviser l’optimisation lors de l’ajout d’entrées dans le magasin d’état dans la jointure stream-stream (correction d’une erreur)
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structs imbriquées
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec une sortie enfant
    • [SPARK-46632][SQL] Corriger l’élimination des sous-expressions lorsque les expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49905] Utilisez un ShuffleOrigin dédié pour l’opérateur avec état, afin d’éviter que le shuffle soit modifié depuis AQE
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • [SPARK-48843] Empêcher la boucle infinie avec BindParameters
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structs imbriquées
    • [SPARK-49905] Utilisez un ShuffleOrigin dédié pour l’opérateur avec état, afin d’éviter que le shuffle soit modifié depuis AQE
    • [SPARK-46632][SQL] Corriger l’élimination des sous-expressions lorsque les expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec une sortie enfant
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49829] Réviser l’optimisation lors de l’ajout d’entrées dans le magasin d’état dans la jointure stream-stream (correction d’une erreur)
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • [BACKPORT] [SPARK-49474][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de l’élagage de GetArrayStructFields
    • [SPARK-49688][CONNECT] Corriger une course de données entre l’interruption et l’exécution du plan
  • 25 septembre 2024
    • [SPARK-48810][CONNECT] L’API d’arrêt de session doit être idempotente et ne pas échouer si la session est déjà fermée par le serveur
    • [SPARK-48719][SQL] Corriger le bogue de calcul de ’ RegrS...
    • [SPARK-49000][SQL] Corriger « select count(distinct 1) from t » où t est une table vide en dépliant RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding devrait copier les expressions avec état avant de les évaluer
    • [SPARK-49492][CONNECT] Tentative de réattachement sur ExecutionHolder inactif
    • Mises à jour de sécurité du système d’exploitation
  • 17 septembre 2024
    • [SPARK-49336][CONNECT] Limiter le niveau d’imbrication lors de la troncature d’un message protobuf
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-48463][ML] Permettre à Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer et Interactor de prendre en charge les colonnes d’entrée imbriquées
    • [SPARK-49526][CONNECT] Prise en charge des chemins de style Windows dans ArtifactManager
    • [SPARK-49409][CONNECT] Ajustez la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Traiter le nœud Union comme une feuille dans la résolution de la colonne du dataframe
  • 29 août 2024
    • [SPARK-49146][SS] Déplacer les erreurs d’assertion liées à l’absence de filigrane dans les requêtes de streaming en mode append vers le cadre d’erreurs.
    • [SPARK-48862][PYTHON][CONNECT] Évitez d’appeler _proto_to_string lorsque le niveau INFO n’est pas activé
    • [SPARK-49263][CONNECT] Client Python Spark Connect : gestion cohérente des options de lecture des Dataframes booléens
  • 14 août 2024
    • [SPARK-48941][SPARK-48970] Corrections du lecteur/rédacteur ML Backport
    • [SPARK-48706][PYTHON] Le UDF Python dans les fonctions d’ordre supérieur ne devrait pas générer d’erreur interne
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement le null
    • [SPARK-48597][SQL] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
    • [SPARK-49065][SQL] Le rebasage dans des formateurs/analyseurs hérités doit prendre en charge des fuseaux horaires différents de celui par défaut de la JVM
    • [SPARK-48934][SS] Les types de datetime Python ont été mal convertis pour définir le délai d’attente dans applyInPandasWithState
  • 1er août 2024
    • Cette version inclut un correctif de bogue pour les classes ColumnVector et ColumnarArray dans l’interface spark Java. Avant ce correctif, une ArrayIndexOutOfBoundsException pouvait être levée, ou des données incorrectes pouvaient être renvoyées lorsqu’une instance de l’une de ces classes contenait des valeurs null.
    • Sur le calcul serverless pour les notebooks et les travaux, le mode SQL ANSI est activé par défaut. Consultez les paramètres de configuration Spark pris en charge.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections apportées au rédacteur ML Spark
    • [SPARK-48889][SS] testStream pour décharger les magasins d’état avant la fin
    • [SPARK-48705][PYTHON] Utilisation explicite de worker_main lorsqu’il commence par pyspark
    • [SPARK-48047][SQL] Réduire la pression mémoire des balises TreeNode vides
    • [SPARK-48544][SQL] Réduire la pression mémoire des TreeNode BitSets vides
    • [SPARK-46957][CORE] Les fichiers shuffle migrés et désactivés devraient pouvoir être nettoyés à partir de l’exécuteur
    • [SPARK-48463] Faire en sorte que StringIndexer prenne en charge les colonnes d’entrée imbriquées
    • [SPARK-47202][PYTHON] Corriger une faute de frappe qui casse les objets datetime avec tzinfo
    • [SPARK-47713][SQL][CONNECT] Corriger une défaillance d’auto-jointure
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • (Modification du comportement) Les DataFrames mis en cache sur les sources de table Delta sont désormais invalidés si la table source est remplacée. Cette modification signifie que toutes les modifications d’état apportées aux tables Delta invalident désormais les résultats mis en cache. Utilisez .checkpoint() pour conserver un état de table tout au long de la durée de vie d’un DataFrame.
    • Le pilote JDBC Snowflake est mis à jour à la version 3.16.1.
    • Cette version inclut un correctif à un problème qui empêchait l’affichage correct de l’onglet Environnement de l’interface utilisateur Spark lors de l’exécution dans Databricks Container Services.
    • Sur le calcul serverless pour les notebooks et les travaux, le mode SQL ANSI est activé par défaut. Consultez les paramètres de configuration Spark pris en charge.
    • Pour ignorer les partitions non valides lors de la lecture des données, des sources de données basées sur des fichiers, telles que Parquet, ORC, CSV ou JSON, peuvent définir l’option de source de données ignoreInvalidPartitionPaths sur true. Par exemple : spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…). Vous pouvez également utiliser la configuration SQL spark.sql.files.ignoreInvalidPartitionPaths. Toutefois, l’option de source de données est prioritaire sur la configuration SQL. Ce paramètre est false par défaut.
    • [SPARK-48648][PYTHON][CONNECT] Rendre SparkConnectClient.tags correctement threadlocal
    • [SPARK-48445][SQL] Ne pas intégrer les UDF (fonctions définies par l’utilisateur) avec des composants enfants coûteux
    • [SPARK-48481][SQL][SS] Ne pas appliquer OptimizeOneRowPlan à un jeu de données en streaming
    • [SPARK-48383][SS] Afficher une meilleure erreur pour les partitions incompatibles dans l’option startOffset dans Kafka
    • [SPARK-48503][SQL] Corriger les sous-requêtes scalaires invalides avec group-by sur des colonnes non équivalentes qui ont été incorrectement autorisées
    • [SPARK-48100][SQL] Correction des problèmes liés au saut de champs de structure imbriqués non sélectionnés dans le schéma
    • [SPARK-48273][SQL] Corriger la réécriture tardive de PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Mettre à jour CommonExpressionRef si nécessaire
    • [SPARK-48475][PYTHON] Optimisez _get_jvm_function dans PySpark.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier engagé n’est pas compatible avec le statut de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • applyInPandasWithState() est disponible sur les ressources de calcul avec le mode d’accès standard.
    • Corrige un bogue dans lequel l’optimisation de la fenêtre de classement à l’aide de Photon TopK a mal géré les partitions avec des structs.
    • [SPARK-48310][PYTHON][CONNECT] Les propriétés mises en cache doivent retourner des copies
    • [SPARK-48276][PYTHON][CONNECT] Ajouter la méthode manquante __repr__ pour SQLExpression
    • [SPARK-48294][SQL] Gérer les minuscules dans nestedTypeMissingElementTypeError
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • (Modification du comportement) dbutils.widgets.getAll() est désormais pris en charge pour obtenir toutes les valeurs de widget dans un bloc-notes.
    • Correction d’un bogue dans la fonction try_divide() où les entrées contenant des décimales ont entraîné des exceptions inattendues.
    • [SPARK-48056][CONNECT][PYTHON] Re-exécuter le plan si une erreur de SESSION_NOT_FOUND est générée et qu’aucune réponse partielle n’a été reçue
    • [SPARK-48146][SQL] Corriger la fonction d’agrégat dans l’assertion enfant de l’expression With
    • [SPARK-47986][CONNECT][PYTHON] Impossible de créer une nouvelle session lorsque la session par défaut est fermée par le serveur
    • [SPARK-48180][SQL] Améliorer l’erreur lorsque l’appel UDTF avec TABLE l’argument oublie les parenthèses autour de plusieurs PARTITION/ORDER BY expressions
    • [SPARK-48016][SQL] Correction d’un bug dans la fonction try_divide en présence de décimales
    • [SPARK-48197][SQL] Éviter l’erreur d’assert pour une fonction lambda invalide
    • [SPARK-47994][SQL] Correction d’un bug avec le filtrage de colonne CASE WHEN dans SQLServer
    • [SPARK-48173][SQL] CheckAnalysis devrait voir l’ensemble du plan de requête
    • [SPARK-48105][SS] Corriger la condition de course entre le déchargement du store d’état et le snapshot
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • (Modification du comportement) applyInPandas et mapInPandas les types UDF sont désormais pris en charge sur le calcul en mode d’accès partagé exécutant Databricks Runtime 14.3 LTS et versions ultérieures.
    • [SPARK-47739][SQL] Enregistrer le type logique Avro
    • [SPARK-47941] [SS] [Connect] Propager les erreurs d’initialisation des travailleurs ForeachBatch aux utilisateurs pour PySpark
    • [SPARK-48010][SQL] Éviter les appels répétés vers conf.resolver dans resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Vérification de cohérence pour référence LCA non résolue
    • [SPARK-47543][CONNECT][PYTHON] Déduire dict en tant que MapType à partir de Pandas DataFrame pour permettre la création de DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Utiliser un rappel asynchrone pour le nettoyage d’exécution
    • [SPARK-47764][CORE][SQL] Nettoyage des dépendances de shuffle basé sur ShuffleCleanupMode
    • [SPARK-48018][SS] Corriger null groupId causant l’erreur de param manquant lors du lancement de KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Corriger un bug d’agrégat dans RewriteWithExpression
    • [SPARK-47371] [SQL] XML : Ignorer les balises de ligne trouvées dans CDATA
    • [SPARK-47895][SQL] le regroupement par tous doit être idempotent.
    • [SPARK-47973][CORE] Journaliser le site d’appel dans SparkContext.stop() puis plus tard dans SparkContext.assertNotStopped()
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • [SPARK-47543][CONNECT][PYTHON] Inférence de dict en tant que MapType à partir d’un DataFrame Pandas pour permettre la création de DataFrame
    • [SPARK-47694][CONNECT] Rendre la taille maximale du message configurable côté client
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Validez le nom de la colonne avec un schéma mis en cache
    • [SPARK-47862][PYTHON][CONNECT]Correction de la génération des fichiers proto
    • Rétablir “[SPARK-47543][CONNECT][PYTHON] Déduire dict comme MapType à partir de Pandas DataFrame pour permettre la création de DataFrame”
    • [SPARK-47704][SQL] L’analyse JSON échoue avec « java.lang.ClassCastException » lorsque spark.sql.json.enablePartialResults est activé
    • [SPARK-47812][CONNECT] Support de la sérialisation de SparkSession pour le worker ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduire le cache de plan dans SparkConnectPlanner pour améliorer la performance des requêtes d’analyse
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite échoue avec un plan invalide
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2024
    • (Modification du comportement) Pour garantir un comportement cohérent entre les types de calcul, les UDF PySpark sur les systèmes utilisant le mode d’accès standard se comportent désormais de la même manière que sur les clusters sans isolation et affectés. Cette mise à jour inclut les modifications suivantes susceptibles d’interrompre le code existant :
      • Les fonctions définies par l’utilisateur avec un type de retour string ne convertissent plus implicitement les valeurs non string en valeurs string. Auparavant, les fonctions définies par l’utilisateur avec un type de retour str encapsulaient la valeur de retour avec une fonction str(), quel que soit le type de données réel de la valeur renvoyée.
      • Les fonctions définies par l’utilisateur avec des types de retour timestamp n’appliquent plus implicitement de conversion de timestamp avec timezone.
      • Les configurations spark.databricks.sql.externalUDF.* de cluster Spark ne s’appliquent plus aux fonctions définies par l’utilisateur PySpark sur le calcul avec le mode d’accès standard.
      • La configuration du cluster Spark spark.databricks.safespark.externalUDF.plan.limit n’affecte plus les fonctions définies par l’utilisateur PySpark, supprimant ainsi la limitation de la préversion publique de 5 fonctions définies par l’utilisateur par requête pour les fonctions définies par l’utilisateur PySpark.
      • La configuration spark.databricks.safespark.sandbox.size.default.mib du cluster Spark ne s’applique plus aux UDF PySpark sur le calcul avec le mode d’accès standard. Au lieu de cela, la mémoire disponible sur le système est utilisée. Pour limiter la mémoire des fonctions définies par l’utilisateur PySpark, utilisez spark.databricks.pyspark.udf.isolation.memoryLimit avec une valeur minimale de 100m.
    • Le type de données TimestampNTZ est désormais pris en charge en tant que colonne de clustering avec clustering liquide. Consultez Utilisation de Liquid Clustering pour les tables.
    • [SPARK-47511][SQL] Canoniser les expressions With en réattribuant les identifiants
    • [SPARK-47509][SQL] Bloquer les expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • [SPARK-46990][SQL] Corriger le chargement des fichiers Avro vides émis par event-hubs
    • [SPARK-47638][PS][CONNECT] Ignorer la validation du nom de colonne dans PS
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • [SPARK-47135][SS] Implémenter les classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-47176][SQL] Disposer d’une fonction d’aide ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passer l’identifiant de table au scan de la source de données de lignes pour la stratégie V2.
    • [SPARK-47044][SQL] Ajouter une requête exécutée pour les sources de données JDBC externes afin d’expliquer la sortie
    • [SPARK-47167][SQL] Ajouter une classe concrète pour la relation anonyme JDBC
    • [SPARK-47070] Corriger l’agrégation invalide après la réécriture de la sous-requête
    • [SPARK-47121][CORE] Éviter les RejectedExecutionExceptions pendant l’arrêt de StandaloneSchedulerBackend
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • [SPARK-47125][SQL] Retourner null si Univocity ne déclenche jamais l’analyse syntaxique
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier doit inclure d’autres expressions dans l’arbre d’expressions
    • [SPARK-47129][CONNECT][SQL] Faire en sorte que ResolveRelations mette correctement en cache le plan Connect
    • [SPARK-47241][SQL] Corrige les problèmes d’ordre des règles pour ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protocole pour l’écouteur côté client
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • La création d’un schéma avec un emplacement défini nécessite désormais que l’utilisateur dispose de privilèges SELECT et MODIFY sur ANY FILE.
    • [SPARK-47071][SQL] Incorporer (inline) l’expression With si elle contient une expression spéciale
    • [SPARK-47059][SQL] Attacher le contexte d’erreur pour la commande ALTER COLUMN v1
    • [SPARK-46993][SQL] Corriger le pliage constant pour les variables de session
    • Mises à jour de sécurité du système d’exploitation
  • 3 janvier 2024
    • [SPARK-46933] Ajouter une métrique de temps d’exécution de requête aux connecteurs utilisant JDBCRDD.
    • [SPARK-46763] Corriger l’échec de l’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • [SPARK-46954] XML : Encapsuler InputStreamReader dans un BufferedReader.
    • [SPARK-46655] Ignorer l’interception du contexte de requête dans les méthodes DataFrame.
    • [SPARK-44815] Mettre en cache df.schema pour éviter des RPC supplémentaires.
    • [SPARK-46952] XML : Limiter la taille de l’enregistrement corrompu.
    • [SPARK-46794] Supprimez les sous-requêtes des contraintes de LogicalRDD.
    • [SPARK-46736] conserver le champ de message vide dans le connecteur protobuf.
    • [SPARK-45182] Ignorer l’achèvement des tâches de l’ancienne étape après avoir réessayé l’étape parent indéterminée, comme déterminé par la somme de contrôle.
    • [SPARK-46414] Utilisez prependBaseUri pour générer les imports JavaScript.
    • [SPARK-46383] Réduisez l’utilisation du tas de Driver en diminuant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46861] Évitez l’impasse dans DAGScheduler.
    • [SPARK-46954] XML : Optimiser la recherche de l’index de schéma.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46644] Modifier l’ajout et la fusion dans SQLMetric pour utiliser isZero.
    • [SPARK-46731] Gérer l’instance du fournisseur de stockage d’état par lecteur de source de données d’état.
    • [SPARK-46677] Correction de la résolution de dataframe["*"].
    • [SPARK-46610] Créer une table devrait lancer une exception lorsqu’aucune valeur n’est fournie pour une clé dans les options.
    • [SPARK-46941] Impossible d’insérer le nœud limite du groupe fenêtre pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • [SPARK-45433] Corriger l’inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas à un timestampFormat spécifié.
    • [SPARK-46930] Ajoutez la prise en charge d’un préfixe personnalisé pour les champs de type Union dans Avro.
    • [SPARK-46227] Rétroportage vers la version 14.3.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString lors du casting de type jdbc vers un type catalyseur dans jdbc.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 9.1 LTS

  • 9 avril 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 mars 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 septembre 2024
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » lorsque t est une table vide en développant RewriteDistinctAggregates
    • Mises à jour de sécurité du système d’exploitation
  • 6 septembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 29 août 2024
    • [SPARK-49065][SQL] Le rebasage dans des formateurs/analyseurs hérités doit prendre en charge des fuseaux horaires différents du fuseau horaire par défaut de la JVM
  • 14 août 2024
  • 1er août 2024
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • [SPARK-48105][SS] Corriger la condition de course entre le déchargement du store d’état et le snapshot
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • [SPARK-47973][CORE] Consigner l’emplacement de l’appel dans SparkContext.stop() puis plus tard dans SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Régler correctement le nullable sur la clé de jointure coalescente dans la jointure USING complète externe
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • Divers correctifs de bogues.
  • 11 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 1er avril 2024
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajouter un drapeau séparé pour privateKeyPassword.
    • [SPARK-39440] Ajoutez une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge des mots de passe des clés JKS pour RPC SSL.
  • 14 décembre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • [SPARK-45859] Objets UDF rendus différés dans ml.functions.
    • [SPARK-45544] Intégration de la prise en charge SSL dans TransportContext.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions à sa création.
    • [SPARK-45429] Ajout de classes d’aide pour la communication RPC SSL.
    • [SPARK-45427] Ajout des paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • [SPARK-45584] Échec d’exécution de sous-requête corrigé avec TakeOrderedAndProjectExec.
    • [SPARK-45541] Ajout de SSLFactory.
    • [SPARK-42205] Suppression de la journalisation des accumulables lors des événements de début d’étape et de tâche.
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Support ajouté pour ReloadingX509TrustManager.
    • Mises à jour de sécurité du système d’exploitation
  • 13 octobre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2023
    • Correctifs divers.
  • 30 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • [SPARK-43098] Corriger le bogue de correction de COUNT lorsque la sous-requête scalaire comporte une clause GROUP BY.
    • [SPARK-43156][SPARK-43098] Étendre le test du bug de COUNT de sous-requête scalaire avec decorrelateInnerQuery désactivé.
    • [SPARK-40862] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery.
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Correction d’un problème dans l’analyse de données sauvées JSON pour empêcher UnknownFieldException.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-37520] Ajout des fonctions de chaîne startswith() et endswith()
    • [SPARK-43413] Correction de la nullité des sous-requêtes INListQuery.
    • Mises à jour de sécurité du système d’exploitation
  • 17 mai 2023
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2023
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2023
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42967] Réparer SparkListenerTaskStart.stageAttemptId lorsqu’une tâche est lancée après l’annulation de la stage.
  • 29 mars 2023
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2023
    • [SPARK-42484] Message d’erreur amélioré pour UnsafeRowUtils.
    • Correctifs divers.
  • 28 février 2023
    • Les utilisateurs peuvent désormais lire et écrire certaines tables Delta qui nécessitent Reader version 3 et Writer version 7, à l’aide de Databricks Runtime 9.1 LTS ou version ultérieure. Pour réussir, les fonctionnalités de table répertoriées dans le protocole des tables doivent être prises en charge par la version actuelle de Databricks Runtime.
    • Mises à jour de sécurité du système d’exploitation
  • 16 février 2023
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2023
    • Les types de tables JDBC sont désormais "EXTERNAL" par défaut.
  • 18 janvier 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2022
    • Correction d’un problème avec l’analyse JSON dans Auto Loader quand toutes les colonnes étaient laissées en tant que chaînes (cloudFiles.inferColumnTypes n’a pas été définie ou défini sur false) et que le JSON contenait des objets imbriqués.
    • Mises à jour de sécurité du système d’exploitation
  • 15 novembre 2022
    • Mise à niveau d’Apache commons-text vers 1.10.0.
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 1er novembre 2022
    • Correction d’un problème où si une table Delta avait une colonne définie par l’utilisateur nommée _change_type, mais que le flux de données de modification était désactivé sur cette table, les données de cette colonne ne rempliraient pas correctement les valeurs NULL lors de l’exécution MERGE.
    • Correction d’un problème avec Auto Loader où un fichier peut être dupliqué dans le même micro-lot quand allowOverwrites est activé
    • [SPARK-40596] Remplir ExecutorDecommission avec des messages dans ExecutorDecommissionInfo
    • Mises à jour de sécurité du système d’exploitation
  • 18 octobre 2022
    • Mises à jour de sécurité du système d’exploitation
  • 5 octobre 2022
    • Correctifs divers.
    • Mises à jour de sécurité du système d’exploitation
  • 22 septembre 2022
    • Les utilisateurs peuvent définir spark.conf.set(« spark.databricks.io.listKeysWithPrefix.azure.enabled », « true ») pour réactiver la liste intégrée du chargeur automatique sur ADLS. La liste intégrée a été précédemment désactivée en raison de problèmes de performances, mais peut avoir entraîné une augmentation des coûts de stockage pour les clients.
    • [SPARK-40315] Ajouter hashCode() pour le littéral d’ArrayBasedMapData
    • [SPARK-40089] Correction du tri pour certains types décimaux
    • [SPARK-39887] RemoveRedundantAliases devrait conserver des alias qui rendent la sortie des nœuds de projection unique
  • 6 septembre 2022
    • [SPARK-40235] Utilisez un verrou interruptible au lieu de synchronized dans Executor.updateDependencies()
    • [SPARK-35542] Correction : Bucketizer créé pour plusieurs colonnes avec les paramètres splitsArray, inputCols et outputCols ne peut pas être chargé après l’enregistrement
    • [SPARK-40079] Ajouter la validation de inputCols pour Imputer pour le cas d’entrée vide
  • 24 août 2022
    • [SPARK-39666] Utilisez UnsafeProjection.create pour respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
    • [SPARK-39962] Appliquer la projection lorsque les attributs du groupe sont vides
    • Mises à jour de sécurité du système d’exploitation
  • 9 août 2022
    • Mises à jour de sécurité du système d’exploitation
  • 27 juillet 2022
    • Les résultats de l’opération Delta MERGE sont cohérents lorsque la source n’est pas déterministe.
    • [SPARK-39689] Prise en charge de 2 caractères lineSep dans la source de données CSV
    • [SPARK-39575] Ajout de ByteBuffer#rewind après ByteBuffer#get dans AvroDeserializer.
    • [SPARK-37392] Correction de l’erreur de performance pour Catalyst Optimizer.
    • Mises à jour de sécurité du système d’exploitation
  • 13 juillet 2022
    • [SPARK-39419]ArraySort Lance une exception lorsque le comparateur retourne null.
    • Désactivation de l'utilisation d'Auto Loader des API cloud intégrées pour le listing des répertoires sur Azure.
    • Mises à jour de sécurité du système d’exploitation
  • 5 juillet 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 15 juin 2022
    • [SPARK-39283] Réparez le blocage entre TaskMemoryManager et UnsafeExternalSorter.SpillableIterator.
  • 2 juin 2022
    • [SPARK-34554] Implémenter la méthode copy() dans ColumnarMap.
    • Mises à jour de sécurité du système d’exploitation
  • 18 mai 2022
    • Correction d’une fuite de mémoire intégrée potentielle dans Auto Loader.
    • Mise à niveau la version du kit SDK AWS de la version 1.11.655 vers la version 1.11.678.
    • [SPARK-38918] L’élagage de colonnes imbriquées doit filtrer les attributs qui n’appartiennent pas à la relation courante
    • [SPARK-39084] Corriger df.rdd.isEmpty() en utilisant TaskContext pour arrêter l’itérateur lors de la fin de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 19 avril 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 6 avril 2022
    • [SPARK-38631] Utilise une implémentation basée sur Java pour l’extraction des fichiers tar dans Utils.unpack.
    • Mises à jour de sécurité du système d’exploitation
  • 22 mars 2022
    • Le répertoire de travail actuel des notebooks sur les clusters à haute concurrence avec le contrôle d’accès aux tables ou le transfert d’informations d’identification activé a été modifié pour pointer vers le répertoire de base de l’utilisateur. Auparavant, le répertoire actif était /databricks/driver.
    • [SPARK-38437] Sérialisation indulgente de la date et heure à partir de la source de données
    • [SPARK-38180] Autoriser des expressions upcast sûres dans les prédicats d’égalité corrélés
    • [SPARK-38155] Interdire l’agrégat distinct dans les sous-requêtes latérales avec prédicats non pris en charge
    • [SPARK-27442] Suppression d’un champ de contrôle lors de la lecture ou de l’écriture de données dans un fichier Parquet.
  • 14 mars 2022
    • [SPARK-38236] Les chemins de fichiers absolus spécifiés dans les commandes create/alter table sont traités comme relatifs
    • [SPARK-34069] Interrompre le fil de tâche si la propriété SPARK_JOB_INTERRUPT_ON_CANCEL locale est réglée sur true.
  • 23 février 2022
    • [SPARK-37859] Les tables SQL créées avec JDBC avec Spark 3.1 ne sont pas lisibles avec Spark 3.2.
  • 8 février 2022
    • [SPARK-27442] Suppression d’un champ de contrôle lors de la lecture ou de l’écriture de données dans un fichier Parquet.
    • Mises à jour de sécurité du système d’exploitation
  • 1er février 2022
    • Mises à jour de sécurité du système d’exploitation
  • 26 janvier 2022
    • Correction d’un problème à cause duquel les transactions concurrentes sur les tables Delta pouvaient être validées dans un ordre non sérialisable dans certaines conditions rares.
    • Correction d’un problème à cause duquel la commande OPTIMIZE pouvait échouer lors de l’activation du dialecte SQL ANSI.
  • 19 janvier 2022
    • Correctifs mineurs et améliorations de la sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2021
    • Correction d’un problème qui pouvait entraîner l’échec des flux Structured Streaming avec ArrayIndexOutOfBoundsException.
    • Correction d'une condition de compétition qui pouvait entraîner l'échec d'une requête avec une IOException telle que java.io.IOException: No FileSystem for scheme, ou faire que les modifications apportées à sparkContext.hadoopConfiguration ne prennent pas effet dans les requêtes.
    • Le connecteur Apache Spark pour Delta Sharing a été mis à niveau vers la version 0.2.0.
  • 20 octobre 2021
    • Mise à niveau du connecteur BigQuery de la version 0.18.1 à la version 0.22.2. Cela ajoute la prise en charge du type BigNumeric.