Mises à jour de maintenance de Databricks Runtime

  • Article

Cet article liste les mises à jour de maintenance sur les versions non prises en charge de Databricks Runtime. Pour ajouter une mise à jour de maintenance à un cluster existant, redémarrez le cluster. Pour voir les mises à jour de maintenance sur les versions de Databricks Runtime non prises en charge, consultez Mises à jour de maintenance pour Databricks Runtime (archivées).

Remarque

Les publications se font par étapes. Il se peut que votre compte Azure Databricks ne se mette pas à jour pendant plusieurs jours après la date de publication initiale.

Versions de Databricks Runtime

Mises à jour de maintenance par version :

Databricks Runtime 15.0

Consultez Databricks Runtime 15.0.

  • 3 avril 2024
    • (Changement de comportement) Pour garantir un comportement cohérent entre les types de calcul, les fonctions définies par l’utilisateur PySpark sur les clusters partagés correspondent désormais au comportement des fonctions définies par l’utilisateur sur les clusters sans isolation et les clusters affectés. Cette mise à jour inclut les modifications suivantes susceptibles d’interrompre le code existant :
      • Les fonctions définies par l’utilisateur avec un type de retour string ne convertissent plus implicitement les valeurs non string en valeurs string. Auparavant, les fonctions définies par l’utilisateur avec un type de retour str encapsulaient la valeur de retour avec une fonction str(), quel que soit le type de données réel de la valeur renvoyée.
      • Les fonctions définies par l’utilisateur avec des types de retour timestamp n’appliquent plus implicitement de conversion de timestamp avec timezone.
      • Les configurations de cluster Spark spark.databricks.sql.externalUDF.* ne s’appliquent plus aux fonctions définies par l’utilisateur PySpark sur les clusters partagés.
      • La configuration du cluster Spark spark.databricks.safespark.externalUDF.plan.limit n’affecte plus les fonctions définies par l’utilisateur PySpark, supprimant ainsi la limitation de la préversion publique de 5 fonctions définies par l’utilisateur par requête pour les fonctions définies par l’utilisateur PySpark.
      • La configuration de cluster Spark spark.databricks.safespark.sandbox.size.default.mib ne s’applique plus aux fonctions définies par l’utilisateur PySpark sur les clusters partagés. Au lieu de cela, la mémoire disponible sur le système est utilisée. Pour limiter la mémoire des fonctions définies par l’utilisateur PySpark, utilisez spark.databricks.pyspark.udf.isolation.memoryLimit avec une valeur minimale de 100m.
    • Le type de données TimestampNTZ est désormais pris en charge en tant que colonne de clustering avec clustering liquide. Consultez Utilisation des clustering liquides pour les tableaux Delta.
    • [SPARK-47218][SQL] XML : Omission des balises de ligne commentées dans le générateur de jetons XML
    • [SPARK-46990][SQL] Correction du chargement de fichiers Avro vides émis par event-hubs
    • [SPARK-47033][SQL] Correction du bogue à cause duquel EXECUTE IMMEDIATE USING ne reconnaissait pas les noms de variables de session
    • [SPARK-47368][SQL] Suppression de la vérification de la configuration inferTimestampNTZ dans ParquetRowConverter
    • [SPARK-47561][SQL] Correction des problèmes d’ordre des règles d’analyseur concernant l’alias
    • [SPARK-47638][PS][CONNECT] Omission de la validation du nom de colonne dans PS
    • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906)[SS] Ajout d’une vérification de modification d’opérateur avec état pour la diffusion en continu
    • [SPARK-47569][SQL] Interdiction de la comparaison de variantes.
    • [SPARK-47241][SQL] Résolution des problèmes d’ordre de règle pour ExtractGenerator
    • [SPARK-47218] [SQL] XML : Modification concernant SchemaOfXml qui échouait en mode DROPMALFORMED
    • [SPARK-47300][SQL] L’indicateur entre guillemets quoteIfNeeded doit commencer par des chiffres
    • [SPARK-47009][SQL][Collation] Activation de la prise en charge de la création de table pour le classement
    • [SPARK-47322][PYTHON][CONNECT] Gestion des duplications de noms de colonnes withColumnsRenamed cohérente avec withColumnRenamed
    • [SPARK-47544][PYTHON] Méthode du générateur SparkSession incompatible avec Visual Studio Code IntelliSense
    • [SPARK-47511][SQL] Expressions With rendues canoniques par réaffection des ID
    • [SPARK-47385] Correction des encodeurs tuples avec les entrées Option.
    • [SPARK-47200][SS] Classe d’erreurs pour l’erreur de transaction de fonction utilisateur par lot Foreach
    • [SPARK-47135][SS] Implémentation de classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-38708][SQL] Mise à niveau du client Metastore Hive de Hive 3.1 vers la version 3.1.3
    • [SPARK-47305][SQL] Correction de PruneFilters pour étiqueter correctement l’indicateur isStreaming de LocalRelation lorsque le plan présente à la fois Lot et En continu
    • [SPARK-47380][CONNECT] Vérification côté serveur que le SparkSession correspond
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 14.3Databricks Runtime 14.3.

Cosnsulter Databricks Runtime 14.3 LTS.

  • 6 avril 2024
    • (Changement de comportement) Pour garantir un comportement cohérent entre les types de calcul, les fonctions définies par l’utilisateur PySpark sur les clusters partagés correspondent désormais au comportement des fonctions définies par l’utilisateur sur les clusters sans isolation et les clusters affectés. Cette mise à jour inclut les modifications suivantes susceptibles d’interrompre le code existant :
      • Les fonctions définies par l’utilisateur avec un type de retour string ne convertissent plus implicitement les valeurs non string en valeurs string. Auparavant, les fonctions définies par l’utilisateur avec un type de retour str encapsulaient la valeur de retour avec une fonction str(), quel que soit le type de données réel de la valeur renvoyée.
      • Les fonctions définies par l’utilisateur avec des types de retour timestamp n’appliquent plus implicitement de conversion de timestamp avec timezone.
      • Les configurations de cluster Spark spark.databricks.sql.externalUDF.* ne s’appliquent plus aux fonctions définies par l’utilisateur PySpark sur les clusters partagés.
      • La configuration du cluster Spark spark.databricks.safespark.externalUDF.plan.limit n’affecte plus les fonctions définies par l’utilisateur PySpark, supprimant ainsi la limitation de la préversion publique de 5 fonctions définies par l’utilisateur par requête pour les fonctions définies par l’utilisateur PySpark.
      • La configuration de cluster Spark spark.databricks.safespark.sandbox.size.default.mib ne s’applique plus aux fonctions définies par l’utilisateur PySpark sur les clusters partagés. Au lieu de cela, la mémoire disponible sur le système est utilisée. Pour limiter la mémoire des fonctions définies par l’utilisateur PySpark, utilisez spark.databricks.pyspark.udf.isolation.memoryLimit avec une valeur minimale de 100m.
    • Le type de données TimestampNTZ est désormais pris en charge en tant que colonne de clustering avec clustering liquide. Consultez Utilisation des clustering liquides pour les tableaux Delta.
    • [SPARK-47511][SQL] Expressions With rendues canoniques par réaffection des ID
    • [SPARK-47509][SQL] Blocage des expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • [SPARK-46990][SQL] Correction du chargement de fichiers Avro vides émis par event-hubs
    • [SPARK-47638][PS][CONNECT] Omission de la validation du nom de colonne dans PS
    • Mises à jour de sécurité du système d’exploitation
  • 3 janvier 2024
    • [SPARK-46933] Ajouter une mesure du temps d’exécution des requêtes pour les connecteurs qui utilisent JDBCRDD.
    • [SPARK-46763] Corriger l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • [SPARK-46954] XML : Wrap InputStreamReader avec BufferedReader.
    • [SPARK-46655] Ignorer le contexte de requête intercepté dans les méthodes DataFrame.
    • [SPARK-44815] Cache df.schema pour éviter un appel de procédure distante (RPC) supplémentaire.
    • [SPARK-46952] XML : limite la taille de l’enregistrement endommagé.
    • [SPARK-46794] Supprimer les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46736] conserver le champ de message vide dans le connecteur protobuf.
    • [SPARK-45182] Ignorer l’achèvement de la tâche de l’ancienne étape après avoir réessayé l’étape parentale indéterminée telle que déterminée par la somme de contrôle.
    • [SPARK-46414] Utiliser prependBaseUri pour afficher les importations javascript.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46954] XML : Optimiser la recherche d’index de schéma.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46644] Modifier l’ajout et la fusion dans SQLMetric à utiliser isZero.
    • [SPARK-46731] Gérer l’instance du fournisseur de magasin d’état par source de données d’état – lecteur.
    • [SPARK-46677] Résoudre la résolution de dataframe["*"].
    • [SPARK-46610] Créer une table doit lever une exception lorsqu’aucune valeur pour une clé dans les options n’est levée.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • [SPARK-45433] Correction de l’inférence de schéma CSV/JSON quand les horodatages ne correspondent pas au timestampFormat spécifié.
    • [SPARK-46930] Ajouter la prise en charge d’un préfixe personnalisé pour les champs de type union dans Avro.
    • [SPARK-46227] Retour vers la version 14.3.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 14.2

Consultez Databricks Runtime 14.2.

  • 9 avril 2024
    • Aucun
    • [SPARK-47309][SQL][XML] Ajout des tests unitaires d’inférence de schéma
    • [SPARK-46990][SQL] Correction du chargement de fichiers Avro vides émis par event-hubs
    • [SPARK-47638][PS][CONNECT] Omission de la validation du nom de colonne dans PS
    • [SPARK-47509][SQL] Blocage des expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • [SPARK-38708][SQL] Mise à niveau du client Metastore Hive de Hive 3.1 vers la version 3.1.3
    • Mises à jour de sécurité du système d’exploitation
  • 8 février 2024
    • Les requêtes de flux des changements de données (CDF) sur les vues matérialisées du catalogue Unity ne sont pas prises en charge et la tentative d’exécution d’une requête CDF avec une vue matérialisée Unity Catalog retourne une erreur. Les tables de streaming de catalogue Unity prennent en charge les requêtes CDF sur des tables non APPLY CHANGES dans Databricks Runtime 14.1 et versions ultérieures. Les requêtes CDF ne sont pas prises en charge avec les tables de streaming du catalogue Unity dans Databricks Runtime 14.0 et versions antérieures.
    • [SPARK-46930] Ajouter la prise en charge d’un préfixe personnalisé pour les champs de type union dans Avro.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc.
    • [SPARK-46952] XML : limite la taille de l’enregistrement endommagé.
    • [SPARK-46644] Modifier l’ajout et la fusion dans SQLMetric à utiliser isZero.
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46794] Supprimer les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • [SPARK-46933] Ajouter une mesure du temps d’exécution des requêtes pour les connecteurs qui utilisent JDBCRDD.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • [SPARK-46382] XML : Mise à jour de la documentation pour ignoreSurroundingSpaces.
    • [SPARK-46382] XML : Capture des valeurs dispersées entre des éléments
    • [SPARK-46763] Corriger l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • Rétablir [SPARK-46769] Affiner l’inférence de schéma associée au timestamp.
    • [SPARK-46677] Résoudre la résolution de dataframe["*"].
    • [SPARK-46382] XML : ignoreSurroundingSpaces défini par défaut sur true.
    • [SPARK-46633] Correction du lecteur Avro pour la gestion des blocs de longueur nulle.
    • [SPARK-45964] Suppression de l’accesseur SQL privé dans le package XML et JSON sous le package Catalyst.
    • [SPARK-46581] Mise à jour du commentaire sur isZero dans AccumulatorV2.
    • [SPARK-45912] Amélioration de l’API XSDToSchema : Modification de l’API HDFS pour l’accessibilité du stockage cloud.
    • [SPARK-45182] Ignorer l’achèvement de la tâche de l’ancienne étape après avoir réessayé l’étape parentale indéterminée telle que déterminée par la somme de contrôle.
    • [SPARK-46660] ReattachExecute demande des mises à jour du caractère actif de SessionHolder.
    • [SPARK-46610] Créer une table doit lever une exception lorsqu’aucune valeur pour une clé dans les options n’est levée.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46769] Affiner l’inférence de schéma associée au timestamp.
    • [SPARK-46684] Correction de CoGroup.applyInPandas/Arrow pour passer les arguments correctement.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-45962] Suppression de treatEmptyValuesAsNulls et utilisation à la place de l’option nullValue dans XML.
    • [SPARK-46541] Correction de l’ambiguïté de la référence à une colonne dans la jointure automatique.
    • [SPARK-46599] XML : Utiliser TypeCoercion.findTightestCommonType pour vérifier la compatibilité.
    • Mises à jour de sécurité du système d’exploitation
  • 17 janvier 2024
    • Le nœud shuffle du plan d’explication retourné par une requête Photon est mis à jour pour ajouter l’indicateur causedBroadcastJoinBuildOOM=true quand une erreur de mémoire insuffisante se produit pendant une lecture aléatoire qui fait partie d’une jointure de diffusion.
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed doit conserver l’ordre dict/map.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception quand la table ou la vue est introuvable.
    • [SPARK-46484] Les fonctions d’assistance resolveOperators conservent l’ID de plan.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46609] Explosion exponentielle évitée dans PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Désactivation des sous-requêtes avec OFFSET corrélé pour corriger le bogue d’exactitude.
    • [SPARK-46152] XML : ajout de la prise en charge de DecimalType dans l’inférence de schéma XML.
    • [SPARK-46602] Propagation de allowExisting lors de la création d’une vue quand la vue/la table n’existe pas.
    • [SPARK-45814] ArrowConverters.createEmptyArrowBatch appelle close() pour éviter une fuite de mémoire.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46600] Déplacement du code partagé entre SqlConf et SqlApiConf vers SqlApiConfHelper.
    • [SPARK-46478] Inversion de SPARK-43049 pour utiliser varchar(255) d’Oracle pour la chaîne.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-46153] XML : Ajout de la prise en charge de TimestampNTZType.
    • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Correction du NPE de la lecture vectorisée Parquet avec la valeur par défaut byteArrayDecimalType.
    • [SPARK-46466] Le lecteur Parquet vectorisé ne doit jamais rebaser pour timestamp ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed doit respecter l’ordre de dict.
    • [SPARK-46036] Suppression de la classe d’erreurs de la fonction raise_error.
    • [SPARK-46294] Nettoyage de la sémantique de la valeur d’initialisation / zéro.
    • [SPARK-46173] Appel de trimAll ignoré lors de l’analyse des dates.
    • [SPARK-46250] Réalisation d’une opération « deflake » sur test_parity_listener.
    • [SPARK-46587] XML : Correction de la conversion des grands entiers XSD.
    • [SPARK-46396] L’inférence de l’horodatage ne doit pas lever d’exception.
    • [SPARK-46241] Correction de la routine de gestion des erreurs pour qu’elle n’entre pas dans une boucle récursive infinie.
    • [SPARK-46355] XML : Fermeture de InputStreamReader à la fin d’une lecture.
    • [SPARK-46370] Correction du bogue lors de l’interrogation d’une table après la modification des valeurs par défaut des colonnes.
    • [SPARK-46265] Des assertions dans AddArtifact RPC rendent le client de connexion incompatible avec les clusters plus anciens.
    • [SPARK-46308] Interdire la gestion récursive des erreurs.
    • [SPARK-46337]CTESubstitution doit conserver le PLAN_ID_TAG.
  • 14 décembre 2023
    • [SPARK-46141] Changement de la valeur par défaut de spark.sql.legacy.ctePrecedencePolicy en CORRECTED.
    • [SPARK-45730] ReloadingX509TrustManagerSuite rendu moins granulaire.
    • [SPARK-45852] Gestion correcte de l’erreur de récursivité lors de la journalisation.
    • [SPARK-45808] Gestion améliorée des erreurs pour les exceptions SQL.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • Inversion de « [SPARK-45649] Unification de l’infrastructure de préparation pour OffsetWindowFunctionFrame ».
    • [SPARK-45733] Prise en charge des stratégies de nouvelles tentatives multiples.
    • [SPARK-45509] Correction du comportement de référence de la colonne df pour Spark Connect.
    • [SPARK-45655] Expressions non déterministes autorisées dans AggregateFunctions dans CollectMetrics.
    • [SPARK-45905] Le type le moins courant entre les types décimaux doit conserver les chiffres de la partie entière en premier.
    • [SPARK-45136] Amélioration de ClosureCleaner avec la prise en charge d’Ammonite.
    • [SPARK-46255] Prise en charge de la conversion de type complexe -> chaîne.
    • [SPARK-45859] Objets UDF différés dans ml.functions.
    • [SPARK-46028] Acceptation de la colonne d’entrée par Column.__getitem__.
    • [SPARK-45798] Déclaration de l’ID de session côté serveur Assert.
    • [SPARK-45892] Validation du plan d’optimiseur de refactorisation pour dissocier validateSchemaOutput et validateExprIdUniqueness.
    • [SPARK-45844] Implémentation de l’insensibilité à la casse pour XML.
    • [SPARK-45770] Introduction du plan DataFrameDropColumns pour Dataframe.drop.
    • [SPARK-44790] XML : Implémentation de to_xml et des liaisons pour Python, les connexions et SQL.
    • [SPARK-45851] Prise en charge de plusieurs stratégies dans le client Scala.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Correction d’un problème à cause duquel les traits de soulignement d’échappement dans les opérations getColumns provenant de clients JDBC ou ODBC n’étaient pas interprétés comme des caractères génériques.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Le client Python pour Spark Connect intercepte désormais les erreurs de récursivité pendant la conversion de texte.
    • [SPARK-45808] Gestion améliorée des erreurs pour les exceptions SQL.
    • [SPARK-45920] L’ordinal GROUP BY ne remplace pas l’ordinal.
    • Rétablissez [SPARK-45649].
    • [SPARK-45733] Ajout de la prise en charge de plusieurs stratégies de nouvelle tentative.
    • [SPARK-45509] Correction du comportement de référence de la colonne df pour Spark Connect.
    • [SPARK-45655] Autorisation des expressions non déterministes de AggregateFunctions dans CollectMetrics.
    • [SPARK-45905] Le type le moins courant entre les types décimaux conserve désormais les chiffres intégraux en premier.
    • [SPARK-45136] Amélioration de ClosureCleaner avec la prise en charge d’Ammonite.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-46028]Column.__getitem__ accepte les colonnes d’entrée.
    • [SPARK-45798] Déclaration de l’ID de session côté serveur Assert.
    • [SPARK-45892] Validation du plan d’optimiseur de refactorisation pour dissocier validateSchemaOutput et validateExprIdUniqueness.
    • [SPARK-45844] Implémentation de l’insensibilité à la casse pour XML.
    • [SPARK-45770] Correction de la résolution de colonne avec DataFrameDropColumns pour Dataframe.drop.
    • [SPARK-44790] Ajout de l’implémentation to_xml et de liaisons pour Python, Spark Connect et SQL.
    • [SPARK-45851] Ajout de la prise en charge de plusieurs stratégies dans le client Scala.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 14.1

Consultez Databricks Runtime 14.1.

  • 9 avril 2024
    • Aucun
    • [SPARK-47638][PS][CONNECT] Omission de la validation du nom de colonne dans PS
    • [SPARK-38708][SQL] Mise à niveau du client Metastore Hive de Hive 3.1 vers la version 3.1.3
    • [SPARK-47309][SQL][XML] Ajout des tests unitaires d’inférence de schéma
    • [SPARK-47509][SQL] Blocage des expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • [SPARK-46990][SQL] Correction du chargement de fichiers Avro vides émis par event-hubs
    • Mises à jour de sécurité du système d’exploitation
  • 8 février 2024
    • Les requêtes de flux des changements de données (CDF) sur les vues matérialisées du catalogue Unity ne sont pas prises en charge et la tentative d’exécution d’une requête CDF avec une vue matérialisée Unity Catalog retourne une erreur. Les tables de streaming de catalogue Unity prennent en charge les requêtes CDF sur des tables non APPLY CHANGES dans Databricks Runtime 14.1 et versions ultérieures. Les requêtes CDF ne sont pas prises en charge avec les tables de streaming du catalogue Unity dans Databricks Runtime 14.0 et versions antérieures.
    • [SPARK-46952] XML : limite la taille de l’enregistrement endommagé.
    • [SPARK-45182] Ignorer l’achèvement de la tâche de l’ancienne étape après avoir réessayé l’étape parentale indéterminée telle que déterminée par la somme de contrôle.
    • [SPARK-46794] Supprimer les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46933] Ajouter une mesure du temps d’exécution des requêtes pour les connecteurs qui utilisent JDBCRDD.
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-45582] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de streaming en mode sortie.
    • [SPARK-46930] Ajouter la prise en charge d’un préfixe personnalisé pour les champs de type union dans Avro.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • [SPARK-46396] L’inférence de l’horodatage ne doit pas lever d’exception.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc.
    • [SPARK-45957] Éviter de générer un plan d’exécution pour les commandes non exécutables.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • [SPARK-46684] Correction de CoGroup.applyInPandas/Arrow pour passer les arguments correctement.
    • [SPARK-46763] Corriger l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • [SPARK-45498] Suivi : Ignorer l’achèvement des tâches des anciennes tentatives d’étapes.
    • [SPARK-46382] XML : Mise à jour de la documentation pour ignoreSurroundingSpaces.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46382] XML : ignoreSurroundingSpaces défini par défaut sur true.
    • [SPARK-46677] Résoudre la résolution de dataframe["*"].
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46633] Correction du lecteur Avro pour la gestion des blocs de longueur nulle.
    • [SPARK-45912] Amélioration de l’API XSDToSchema : Modification de l’API HDFS pour l’accessibilité du stockage cloud.
    • [SPARK-46599] XML : Utiliser TypeCoercion.findTightestCommonType pour vérifier la compatibilité.
    • [SPARK-46382] XML : Capture des valeurs dispersées entre des éléments
    • [SPARK-46769] Affiner l’inférence de schéma associée au timestamp.
    • [SPARK-46610] Créer une table doit lever une exception lorsqu’aucune valeur pour une clé dans les options n’est levée.
    • [SPARK-45964] Suppression de l’accesseur SQL privé dans le package XML et JSON sous le package Catalyst.
    • Rétablir [SPARK-46769] Affiner l’inférence de schéma associée au timestamp.
    • [SPARK-45962] Suppression de treatEmptyValuesAsNulls et utilisation à la place de l’option nullValue dans XML.
    • [SPARK-46541] Correction de l’ambiguïté de la référence à une colonne dans la jointure automatique.
    • Mises à jour de sécurité du système d’exploitation
  • 17 janvier 2024
    • Le nœud shuffle du plan d’explication retourné par une requête Photon est mis à jour pour ajouter l’indicateur causedBroadcastJoinBuildOOM=true quand une erreur de mémoire insuffisante se produit pendant une lecture aléatoire qui fait partie d’une jointure de diffusion.
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-46484] Les fonctions d’assistance resolveOperators conservent l’ID de plan.
    • [SPARK-46153] XML : Ajout de la prise en charge de TimestampNTZType.
    • [SPARK-46152] XML : ajout de la prise en charge de DecimalType dans l’inférence de schéma XML.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception quand la table ou la vue est introuvable.
    • [SPARK-46478] Inversion de SPARK-43049 pour utiliser varchar(255) d’Oracle pour la chaîne.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46337]CTESubstitution doit conserver le PLAN_ID_TAG.
    • [SPARK-46466] Le lecteur Parquet vectorisé ne doit jamais rebaser pour timestamp ntz.
    • [SPARK-46587] XML : Correction de la conversion des grands entiers XSD.
    • [SPARK-45814] ArrowConverters.createEmptyArrowBatch appelle close() pour éviter une fuite de mémoire.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46602] Propagation de allowExisting lors de la création d’une vue quand la vue/la table n’existe pas.
    • [SPARK-46173] Appel de trimAll ignoré lors de l’analyse des dates.
    • [SPARK-46355] XML : Fermeture de InputStreamReader à la fin d’une lecture.
    • [SPARK-46600] Déplacement du code partagé entre SqlConf et SqlApiConf vers SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed doit conserver l’ordre dict/map.
    • [SPARK-46056] Correction du NPE de la lecture vectorisée Parquet avec la valeur par défaut byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed doit respecter l’ordre de dict.
    • [SPARK-46250] Réalisation d’une opération « deflake » sur test_parity_listener.
    • [SPARK-46370] Correction du bogue lors de l’interrogation d’une table après la modification des valeurs par défaut des colonnes.
    • [SPARK-46609] Explosion exponentielle évitée dans PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
  • 14 décembre 2023
    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • [SPARK-45509] Correction du comportement de référence de la colonne df pour Spark Connect.
    • [SPARK-45844] Implémentation de l’insensibilité à la casse pour XML.
    • [SPARK-46141] Changement de la valeur par défaut de spark.sql.legacy.ctePrecedencePolicy en CORRECTED.
    • [SPARK-46028] Acceptation de la colonne d’entrée par Column.__getitem__.
    • [SPARK-46255] Prise en charge de la conversion de type complexe -> chaîne.
    • [SPARK-45655] Expressions non déterministes autorisées dans AggregateFunctions dans CollectMetrics.
    • [SPARK-45433] Correction de l’inférence de schéma CSV/JSON quand les horodatages ne correspondent pas au timestampFormat spécifié.
    • [SPARK-45316] Ajout de nouveaux paramètres ignoreCorruptFiles/ignoreMissingFiles à HadoopRDD et NewHadoopRDD.
    • [SPARK-45852] Gestion correcte de l’erreur de récursivité lors de la journalisation.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Correction d’un problème à cause duquel les traits de soulignement d’échappement dans les opérations getColumns provenant de clients JDBC ou ODBC n’étaient pas interprétés comme des caractères génériques.
    • Lors de l’ingestion de données CSV à l’aide du chargeur automatique ou de tables de streaming, les fichiers CSV volumineux sont désormais fractionnables et peuvent être traités en parallèle pendant l’inférence de schéma et le traitement des données à la fois.
    • [SPARK-45892] Validation du plan d’optimiseur de refactorisation pour dissocier validateSchemaOutput et validateExprIdUniqueness.
    • [SPARK-45620] Les API liées à l’UDF Python utilisent désormais camelCase.
    • [SPARK-44790] Ajout de l’implémentation to_xml et de liaisons pour Python, Spark Connect et SQL.
    • [SPARK-45770] Correction de la résolution de colonne avec DataFrameDropColumns pour Dataframe.drop.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Le test SBT est désormais hermétique.
    • Mises à jour de sécurité du système d’exploitation
  • 10 novembre 2023
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45250] Profil de ressource de tâche de niveau de support ajouté pour le cluster yarn lorsque l’allocation dynamique est désactivée.
    • [SPARK-44753] Ajout du lecteur et de l’enregistreur XML DataFrame pour PySpark SQL.
    • [SPARK-45396] Ajout d’une entrée de document pour le module PySpark.ml.connect.
    • [SPARK-45584]Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45541] SSLFactory ajouté.
    • [SPARK-45577] Correction de UserDefinedPythonTableFunctionAnalyzeRunner pour permettre la transmission de valeurs pliées d’arguments nommés.
    • [SPARK-45562] ‘rowTag’ est devenu une option requise.
    • [SPARK-45427] Ajout de paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • [SPARK-43380] Correction de ralentissement dans la lecture Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-45386] Correction d’un problème à cause duquel StorageLevel.NONE retournerait incorrectement 0.
    • [SPARK-44219] Ajout de vérification de validations par règle pour les réécritures d’optimisation.
    • [SPARK-45543] Correction d’un problème à cause duquel InferWindowGroupLimit provoquait un problème si les autres fonctions de fenêtre n’avaient pas le même cadre de fenêtre que les fonctions de classement.
    • Mises à jour de sécurité du système d’exploitation
  • 27 septembre 2023
    • [SPARK-44823] Mise à jour de black vers 23.9.1 et correction d’une vérification erronée.
    • [SPARK-45339] PySpark journalise désormais les erreurs qu’il retente.
    • Rétablissez [SPARK-42946] Rédaction des données sensibles imbriquées sous des substitutions de variables.
    • [SPARK-44551] commentaires modifiés à synchroniser avec OSS.
    • [SPARK-45360] Le générateur de sessions Spark prend en charge l’initialisation à partir de SPARK_REMOTE.
    • [SPARK-45279]plan_id est joint à tous les plans logiques.
    • [SPARK-45425] Mappage de TINYINT à ShortType pour MsSqlServerDialect.
    • [SPARK-45419] Suppression de l’entrée de mappage de version de fichier des versions plus volumineuses pour éviter de réutiliser des ID de fichiers SST rocksdb.
    • [SPARK-45488] Ajout de la prise en charge de la valeur dans l’élément rowTag.
    • [SPARK-42205] Suppression de la journalisation des Accumulables dans les événements de démarrage Task/Stage dans journaux des événements JsonProtocol.
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter échoue lors de l’écriture de plus de valeurs que la capacité initiale.
    • [SPARK-43380] Correction des problèmes de conversion de type de données Avro sans entraîner de régression des performances.
    • [SPARK-45182] Ajout de la prise en charge de la restauration de l’étape de mappage aléatoire afin que toutes les tâches intermédiaires puissent être retentées lorsque la sortie de l’étape est indéterminée.
    • [SPARK-45399] Ajout d’options XML à l’aide de newOption.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 13.3 LTS

Consultez Databricks Runtime 13.3 LTS.

  • 9 avril 2024
    • [SPARK-47509][SQL] Blocage des expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • Mises à jour de sécurité du système d’exploitation
  • 8 février 2024
    • Les requêtes de flux des changements de données (CDF) sur les vues matérialisées du catalogue Unity ne sont pas prises en charge et la tentative d’exécution d’une requête CDF avec une vue matérialisée Unity Catalog retourne une erreur. Les tables de streaming de catalogue Unity prennent en charge les requêtes CDF sur des tables non APPLY CHANGES dans Databricks Runtime 14.1 et versions ultérieures. Les requêtes CDF ne sont pas prises en charge avec les tables de streaming du catalogue Unity dans Databricks Runtime 14.0 et versions antérieures.
    • [SPARK-46794] Supprimer les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46933] Ajouter une mesure du temps d’exécution des requêtes pour les connecteurs qui utilisent JDBCRDD.
    • [SPARK-45582] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de streaming en mode sortie.
    • [SPARK-46396] L’inférence de l’horodatage ne doit pas lever d’exception.
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • [SPARK-46610] Créer une table doit lever une exception lorsqu’aucune valeur pour une clé dans les options n’est levée.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46600] Déplacement du code partagé entre SqlConf et SqlApiConf vers SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46763] Corriger l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • Mises à jour de sécurité du système d’exploitation
  • 17 janvier 2024
    • Le nœud shuffle du plan d’explication retourné par une requête Photon est mis à jour pour ajouter l’indicateur causedBroadcastJoinBuildOOM=true quand une erreur de mémoire insuffisante se produit pendant une lecture aléatoire qui fait partie d’une jointure de diffusion.
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
    • [SPARK-46173] Appel de trimAll ignoré lors de l’analyse des dates.
    • [SPARK-46370] Correction du bogue lors de l’interrogation d’une table après la modification des valeurs par défaut des colonnes.
    • [SPARK-46370] Correction du bogue lors de l’interrogation d’une table après la modification des valeurs par défaut des colonnes.
    • [SPARK-46370] Correction du bogue lors de l’interrogation d’une table après la modification des valeurs par défaut des colonnes.
    • [SPARK-46609] Explosion exponentielle évitée dans PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46602] Propagation de allowExisting lors de la création d’une vue quand la vue/la table n’existe pas.
    • [SPARK-46249] Verrou d’instance exigé pour acquérir des métriques RocksDB afin d’éviter une concurrence pour les opérations en arrière-plan.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-46478] Inversion de SPARK-43049 pour utiliser varchar(255) d’Oracle pour la chaîne.
    • [SPARK-46250] Réalisation d’une opération « deflake » sur test_parity_listener.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46056] Correction du NPE de la lecture vectorisée Parquet avec la valeur par défaut byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception quand la table ou la vue est introuvable.
    • [SPARK-46466] Le lecteur Parquet vectorisé ne doit jamais rebaser pour timestamp ntz.
  • 14 décembre 2023
    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • [SPARK-44582] Itérateur ignoré sur SMJ s’il a été nettoyé.
    • [SPARK-45433] Correction de l’inférence de schéma CSV/JSON quand les horodatages ne correspondent pas au timestampFormat spécifié.
    • [SPARK-45655] Expressions non déterministes autorisées dans AggregateFunctions dans CollectMetrics.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Le connecteur Spark-snowflake a été mis à niveau vers la version 2.12.0.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • [SPARK-45544] Prise en charge SSL intégrée dans TransportContext.
    • [SPARK-45892] Validation du plan d’optimiseur de refactorisation pour dissocier validateSchemaOutput et validateExprIdUniqueness.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • Mises à jour de sécurité du système d’exploitation
  • 10 novembre 2023
    • Les filtres de partition sur les requêtes de streaming de Delta Lake font désormais l’objet d’un pushdown avant la limitation de débit pour avoir une meilleure utilisation.
    • Requêtes de flux de données modifiées sur les tables de streaming du catalogue Unity et les vues matérialisées pour afficher les messages d’erreur.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45584]Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45427] Ajout de paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • [SPARK-45541] Ajout de SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-44219] Ajout de validations par règle supplémentaires pour les réécritures d’optimisation.
    • [SPARK-45543] Correction d’un problème à cause duquel InferWindowGroupLimit provoquait un problème si les autres fonctions de fenêtre n’avaient pas le même cadre de fenêtre que les fonctions de classement.
    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2023
    • [SPARK-45256] Correction d’un problème à cause duquel DurationWriter échouait lors de l’écriture de plus de valeurs que la capacité initiale.
    • [SPARK-45419] Évitez de réutiliser les fichiers rocksdb sst dans une autre instance rocksdb en supprimant les entrées de carte de version de versions plus volumineuses.
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Correctifs divers.
  • 13 octobre 2023
    • La dépendance Snowflake-jdbc a été mise à niveau de 3.13.29 à 3.13.33.
    • La fonction array_insert est basée sur 1 pour les index positifs et négatifs, alors qu’avant, elle était basée sur 0 pour les index négatifs. Il insère désormais un nouvel élément à la fin des tableaux d'entrée pour l'index -1. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.negativeIndexInArrayInsert la valeur true.
    • Correction d’un problème relatif au fait de ne pas ignorer les fichiers endommagés lorsque ignoreCorruptFiles est activé pendant l’inférence de schéma CSV avec le chargeur automatique.
    • Rétablissez [SPARK-42946].
    • [SPARK-42205] Mise à jour du protocole JSON pour supprimer la journalisation des accumulables dans une tâche ou des événements de démarrage d’étape.
    • [SPARK-45178] Retournez pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • [SPARK-45316] Ajout de nouveaux paramètres ignoreCorruptFiles et ignoreMissingFiles à HadoopRDD et NewHadoopRDD.
    • [SPARK-44740] Correction des valeurs de métadonnées pour les artefacts.
    • [SPARK-45360] Configuration du générateur de sessions Spark initialisée à partir de SPARK_REMOTE.
    • [SPARK-44551] commentaires modifiés à synchroniser avec OSS.
    • [SPARK-45346] L’inférence de schéma Parquet respecte désormais les indicateurs respectant la casse lors de la fusion du schéma.
    • [SPARK-44658]ShuffleStatus.getMapStatus retourne désormais None au lieu de Some(null).
    • [SPARK-44840] Définition de array_insert() 1 pour les index négatifs.
  • 14 septembre 2023
    • [SPARK-44873] Ajout de la prise en charge de alter view avec des colonnes imbriquées dans le client Hive.
    • [SPARK-44878] Désactivation de la limite stricte pour le gestionnaire d’écritures RocksDB afin d’éviter l’exception d’insertion sur le cache complet.
  • 30 août 2023
    • La commande dbutils cp (dbutils.fs.cp) est désormais optimisée pour accélérer la copie. Grâce à cette amélioration, les opérations de copie peuvent prendre jusqu’à 100 fois moins de temps, selon la taille du fichier. La fonctionnalité est disponible sur tous les systèmes Cloud et de fichiers accessibles dans Databricks, y compris pour les volumes Unity Catalog et les montages DBFS.
    • [SPARK-44455] Citez les identifiants avec des guillemets inversés dans le résultat SHOW CREATE TABLE.
    • [SPARK-44763] Correction d’un problème qui affichait une chaîne comme un double dans l’arithmétique binaire avec intervalle.
    • [SPARK-44871] Correction du comportement de percentile_disc.
    • [SPARK-44714] Réduit les restrictions de la résolution LCA concernant les requêtes.
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • [SPARK-44505] Ajout d’un remplacement pour la prise en charge des colonnes dans Analyse de DSv2.
    • [SPARK-44479] Correction de la conversion de protobuf à partir d'un type de structure vide.
    • [SPARK-44718] Faites correspondre la configuration en mode mémoire par défaut ColumnVector avec la valeur de configuration OffHeapMemoryMode.
    • [SPARK-42941] Ajout de la prise en charge de StreamingQueryListener dans Python.
    • [SPARK-44558] Exportation du niveau du journal Spark Connect de PySpark.
    • [SPARK-44464] Correction de applyInPandasWithStatePythonRunner pour les lignes de sortie qui présentent Null comme première valeur de colonne.
    • [SPARK-44643] Correction de Row.__repr__ lorsque le champ est une ligne vide.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 12.2 LTS

Voir Databricks Runtime 12.2 LTS.

  • 9 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46794] Supprimer les sous-requêtes des contraintes LogicalRDD.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • [SPARK-46763] Corriger l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-39440] Ajout d’une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-43067] Correction de l’emplacement du fichier de ressources de classe d’erreur dans le connecteur Kafka.
    • [SPARK-46249] Verrou d’instance exigé pour acquérir des métriques RocksDB afin d’éviter une concurrence pour les opérations en arrière-plan.
    • [SPARK-46602] Propagation de allowExisting lors de la création d’une vue quand la vue/la table n’existe pas.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception quand la table ou la vue est introuvable.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-42852] Rétablissement des modifications liées à NamedLambdaVariable dans EquivalentExpressions.
  • 14 décembre 2023
    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • [SPARK-44582] Itérateur ignoré sur SMJ s’il a été nettoyé.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • [SPARK-45655] Expressions non déterministes autorisées dans AggregateFunctions dans CollectMetrics.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Correction d’un problème à cause duquel les traits de soulignement d’échappement dans les opérations getColumns provenant de clients JDBC ou ODBC n’étaient pas interprétés comme des caractères génériques.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage Stage et Task.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • [SPARK-43718] Correction de la possibilité de valeurs Null pour les clés dans les jointures USING.
    • [SPARK-45544] Prise en charge SSL intégrée dans TransportContext.
    • [SPARK-43973] L'interface utilisateur de flux structuré affiche désormais correctement les requêtes ayant échoué.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • Les filtres de partition sur les requêtes de streaming de Delta Lake font désormais l’objet d’un pushdown avant la limitation de débit pour avoir une meilleure utilisation.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45427] Ajout de paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • [SPARK-45584]Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45541] Ajout de SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Correctifs divers.
  • 13 octobre 2023
    • La dépendance Snowflake-jdbc a été mise à niveau de 3.13.29 à 3.13.33.
    • [SPARK-42553] Vérifiez qu’il y a au moins une unité de temps après l’intervalle.
    • [SPARK-45346] L’inférence de schéma Parquet respecte l’indicateur respectant la casse lors de la fusion du schéma.
    • [SPARK-45178] Retournez pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • [SPARK-45084]StateOperatorProgress pour utiliser un numéro de partition aléatoire adéquat.
  • 12 septembre 2023
    • [SPARK-44873] Ajout de la prise en charge de alter view avec des colonnes imbriquées dans le client Hive.
    • [SPARK-44718] Faites correspondre la configuration en mode mémoire par défaut ColumnVector avec la valeur de configuration OffHeapMemoryMode.
    • [SPARK-43799] Ajout de l’option binaire du descripteur à l’API Protobuf PySpark.
    • Correctifs divers.
  • 30 août 2023
    • [SPARK-44485] Optimisation de TreeNode.generateTreeString.
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • [11.3-13.0][[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Correction du comportement de percentile_disc.
    • [SPARK-44714] Réduit les restrictions de la résolution LCA concernant les requêtes.
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • [SPARK-44504] La tâche de maintenance nettoie les fournisseurs chargés en cas d'erreur d'arrêt.
    • [SPARK-44464] Correction de applyInPandasWithStatePythonRunner pour les lignes de sortie qui présentent Null comme première valeur de colonne.
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2023
    • Correction d’un problème à cause duquel dbutils.fs.ls() renvoyait INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lorsqu’il était appelé pour un chemin d’accès à un emplacement de stockage qui entrait en conflit avec un autre emplacement de stockage externe ou managé.
    • [SPARK-44199]CacheManager n’actualise plus le fichier fileIndex inutilement.
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2023
    • [SPARK-44337] Correction d’un problème à cause duquel tout champ défini sur Any.getDefaultInstance provoquait une erreur d’analyse.
    • [SPARK-44136] Correction d’un problème à cause duquel StateManager se matérialisait dans un exécuteur au lieu du pilote dans FlatMapGroupsWithStateExec.
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • Photonized approx_count_distinct.
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • [SPARK-43779]ParseToDate charge désormais EvalMode dans le thread principal.
    • [SPARK-43156][SPARK-43098] Test d’erreur de nombre de sous-requêtes scalaire étendu avec decorrelateInnerQuery désactivé.
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Améliorez les performances des mises à jour incrémentielles avec Iceberg et Parquet SHALLOW CLONE.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-43404] Ignorez la réutilisation du fichier SST pour la même version du magasin d’état RocksDB afin d’éviter une erreur de non-correspondance d’ID.
    • [SPARK-43413][11.3-13.0] Correction de la sous-requête IN de possibilité de valeurs nulles de ListQuery.
    • [SPARK-43522] Correction de la création d’un nom de colonne struct avec un index du tableau.
    • [SPARK-43541] Propagation de toutes les balises Project dans la résolution des expressions et des colonnes manquantes.
    • [SPARK-43527] Résolution de catalog.listCatalogs dans PySpark.
    • [SPARK-43123] Les métadonnées de champ interne ne fuient plus vers des catalogues.
    • [SPARK-43340] Correction du champ de trace de pile manquant dans des journaux d’événements.
    • [SPARK-42444]DataFrame.drop gère désormais correctement des colonnes dupliquées.
    • [SPARK-42937]PlanSubqueries définit désormais la valeur InSubqueryExec#shouldBroadcast sur true.
    • [SPARK-43286] Mise à jour du mode CBC aes_encrypt pour générer des images virtuelles aléatoires.
    • [SPARK-43378] Ferme correctement les objets de flux dans deserializeFromChunkedBuffer.
  • 17 mai 2023
    • Les analyses Parquet sont désormais robustes contre les OOMs lors de l’analyse de fichiers exceptionnellement structurés en ajustant dynamiquement la taille des lots. Les métadonnées de fichier sont analysées pour réduire la taille du lot de manière préventive et sont à nouveau réduites lors des nouvelles tentatives de tâche en tant que filet de sécurité final.
    • Si un fichier Avro a été lu uniquement avec l’option failOnUnknownFields\ ou avec Auto Loader en mode d’évolution de failOnNewColumns\ schéma, les colonnes qui ont différents types de données sont lues comme null\ au lieu de générer une erreur indiquant que le fichier ne peut pas être lu. Ces lectures échouent maintenant et recommandent aux utilisateurs d’utiliser l’option rescuedDataColumn\ .
    • Auto Loader effectue maintenant les opérations suivantes.
      • Lit correctement et ne sauve plus les types Integer, Short et Byte si l’un de ces types de données est fourni, mais le fichier Avro suggère l’un des deux autres types.
      • Empêche la lecture des types d’intervalles en tant que types date ou horodatage pour éviter d’obtenir des dates endommagées.
      • Empêche la lecture Decimal des types avec une précision inférieure.
    • [SPARK-43172] Expose l’hôte et le jeton du client Spark Connect.
    • [SPARK-43293]__qualified_access_only est ignoré dans les colonnes normales.
    • [SPARK-43098] Correction d’un bogue d’exactitude lorsque la COUNT sous-requête scalaire est regroupée par clause.
    • [SPARK-43085] Prise en charge de l’attribution de colonnes DEFAULT pour les noms de tables en plusieurs parties.
    • [SPARK-43190]ListQuery.childOutput est désormais cohérent avec la sortie secondaire.
    • [SPARK-43192] Suppression de la validation de l’ensemble de caractères de l’agent utilisateur.
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2023
    • Si un fichier Parquet a été lu uniquement avec l’option failOnUnknownFields ou avec Auto Loader en mode d’évolution de failOnNewColumns schéma, les colonnes qui avaient différents types de données sont lues comme null au lieu de générer une erreur indiquant que le fichier ne peut pas être lu. Ces lectures échouent maintenant et recommandent aux utilisateurs d’utiliser l’option rescuedDataColumn .
    • Désormais, le chargeur automatique lit et ne sauve plus correctement les types Integer, Short et Byte si l’un de ces types de données est fourni. Le fichier Parquet suggère l’un des deux autres types. Lorsque la colonne de données sauvée était précédemment activée, l’incompatibilité du type de données entraînait le sauvetage des colonnes même si elles étaient lisibles.
    • [SPARK-43009] Paramétrisation de sql() avec des constantes Any
    • [SPARK-42406] Arrêter les champs récursifs Protobuf en supprimant le champ
    • [SPARK-43038] Prise en charge du mode GCM par aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Modification pour imprimer workdir si appDirs est Null lors de l’événement de handle de worker WorkDirCleanup
    • [SPARK-43018] Correction d’un bogue pour INSERT des commandes avec des littéraux d’horodatage
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2023
    • Prise en charge des formats de source de données hérités dans la commande SYNC.
    • Corrige un problème dans le comportement %autoreload dans les notebooks en dehors d’un dépôt.
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42928] Rend resolvePersistentFunction synchronisé.
    • [SPARK-42936] Corrige un problème LC lorsque la clause peut être résolue directement par son agrégat enfant.
    • [SPARK-42967] Corrige SparkListenerTaskStart.stageAttemptId lorsqu’une tâche démarre après l’annulation de la phase.
    • Mises à jour de sécurité du système d’exploitation
  • 29 mars 2023

    • Databricks SQL prend désormais en charge la spécification de valeurs par défaut pour les colonnes des tables Delta Lake, au moment de la création de la table ou après. Les commandes suivantes INSERT, UPDATE, DELETE et MERGE peuvent faire référence à n’importe quelle valeur par défaut d’une colonne à l’aide de la mot clé explicite DEFAULT. De plus, si des affectations INSERT ont une liste explicite de moins de colonnes que la table cible, les valeurs de colonne par défaut correspondantes sont remplacées par les colonnes restantes (ou NULL si aucune valeur par défaut n’est spécifiée).

      Par exemple :

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Le chargeur automatique lance désormais au moins un journal RocksDB synchrone propre pour les flux Trigger.AvailableNow afin de s’assurer que le point de contrôle peut être nettoyé régulièrement pour les flux du chargeur automatique à exécution rapide. Certains flux peuvent mettre plus longtemps à s’arrêter, mais vous économiserez des coûts de stockage et améliorerez l’expérience du chargeur automatique dans les exécutions futures.

    • Vous pouvez maintenant modifier une table Delta pour ajouter la prise en charge des fonctionnalités de table à l’aide de DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Augmentation de lockAcquireTimeoutMs à 2 minutes pour l’acquisition du magasin d’état RocksDB dans Structure Streaming

    • [SPARK-42521] Ajout des valeurs NULL pour INSERT avec des listes spécifiées par l’utilisateur de moins de colonnes que la table cible

    • [SPARK-42702][SPARK-42623] Prise en charge de la requête paramétrable dans la sous-requête et la CTE

    • [SPARK-42668] Intercepter une exception lors de la tentative de fermeture du flux compressé dans l’arrêt HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol doit gérer les chaînes JSON Null

  • 8 mars 2023
    • Le message d’erreur « Échec de l’initialisation de la configuration » a été amélioré pour fournir plus de contexte au client.
    • Il existe un changement de terminologie pour l’ajout de fonctionnalités à une table Delta à l’aide de la propriété table. La syntaxe préférée est maintenant 'delta.feature.featureName'='supported' au lieu de 'delta.feature.featureName'='enabled'. Pour la compatibilité descendante, l’utilisation de 'delta.feature.featureName'='enabled' fonctionne toujours et continuera de fonctionner.
    • À partir de cette version, il est possible de créer ou de remplacer une table par une propriété de table delta.ignoreProtocolDefaults supplémentaire pour ignorer les configurations Spark liées au protocole, ce qui inclue les versions de lecteur et d’enregistreur par défaut, et les fonctionnalités de table prises en charge par défaut.
    • [SPARK-42070] Modifier la valeur par défaut de l’argument de la fonction Mask de -1 à NULL
    • [SPARK-41793] Résultat incorrect pour les cadres de fenêtre définis par une clause de plage sur les décimales importantes
    • [SPARK-42484] Meilleur message d’erreur UnsafeRowUtils
    • [SPARK-42516] Capturez toujours la configuration du fuseau horaire de session lors de la création de vues
    • [SPARK-42635] Correction de l’expression TimestampAdd.
    • [SPARK-42622] Désactivation de la substitution dans les valeurs
    • [SPARK-42534] Correction de la clause de limite DB2Dialect
    • [SPARK-42121] Ajouter des fonctions table intégrées posexplode, posexplode_outer, json_tuple et pile
    • [SPARK-42045] Mode SQL ANSI : Round/Bround doit retourner une erreur sur un dépassement de capacité d’entier minuscule, petit ou important
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 11.3 LTS

Voir Databricks Runtime 11.3 LTS.

  • 9 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46794] Supprimer les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
    • [SPARK-46602] Propagation de allowExisting lors de la création d’une vue quand la vue/la table n’existe pas.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-39440] Ajout d’une configuration pour désactiver la chronologie des événements.
    • [SPARK-46249] Verrou d’instance exigé pour acquérir des métriques RocksDB afin d’éviter une concurrence pour les opérations en arrière-plan.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
  • 14 décembre 2023
    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Correction d’un problème à cause duquel les traits de soulignement d’échappement dans les opérations getColumns provenant de clients JDBC ou ODBC n’étaient pas interprétés comme des caractères génériques.
    • [SPARK-43973] L'interface utilisateur de flux structuré affiche désormais correctement les requêtes ayant échoué.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Prise en charge SSL intégrée dans TransportContext.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-43718] Correction de la possibilité de valeurs Null pour les clés dans les jointures USING.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • Les filtres de partition sur les requêtes de streaming de Delta Lake font désormais l’objet d’un pushdown avant la limitation de débit pour avoir une meilleure utilisation.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage de phase et de tâche.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • Rétablissez [SPARK-33861].
    • [SPARK-45541] Ajout de SSLFactory.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-45584]Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45427] Ajout de paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Correctifs divers.
  • 13 octobre 2023
    • La dépendance Snowflake-jdbc a été mise à niveau de 3.13.29 à 3.13.33.
    • [SPARK-45178] Retournez pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • [SPARK-45084]StateOperatorProgress pour utiliser un numéro de partition aléatoire adéquat.
    • [SPARK-45346] L’inférence de schéma Parquet respecte désormais l’indicateur respectant la casse lors de la fusion d’un schéma.
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2023
    • Correctifs divers.
  • 30 août 2023
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • [SPARK-44871][11.3-13.0] Correction du comportement de percentile_disc.
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • [SPARK-44485] Optimisation de TreeNode.generateTreeString.
    • [SPARK-44504] La tâche de maintenance nettoie les fournisseurs chargés en cas d'erreur d'arrêt.
    • [SPARK-44464] Correction de applyInPandasWithStatePythonRunner pour les lignes de sortie qui présentent Null comme première valeur de colonne.
    • Mises à jour de sécurité du système d’exploitation
  • 27 juillet 2023
    • Correction d’un problème à cause duquel dbutils.fs.ls() renvoyait INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lorsqu’il était appelé pour un chemin d’accès à un emplacement de stockage qui entrait en conflit avec un autre emplacement de stockage externe ou managé.
    • [SPARK-44199]CacheManager n’actualise plus le fichier fileIndex inutilement.
    • Mises à jour de sécurité du système d’exploitation
  • 24 juillet 2023
    • [SPARK-44136] [SS] Correction d’un problème à cause duquel StateManager pouvait être matérialisé dans l’exécuteur au lieu du pilote dans FlatMapGroupsWithStateExec.
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • Photonized approx_count_distinct.
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • [SPARK-43779]ParseToDate charge désormais EvalMode dans le thread principal.
    • [SPARK-40862] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test de bogue de nombre de sous-requêtes scalaire étendu avec decorrelateInnerQuery désactivé.
    • [SPARK-43098] Correction du bogue COUNT lorsque la sous-requête scalaire dispose d’une clause group by
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Améliorez les performances des mises à jour incrémentielles avec Iceberg et Parquet SHALLOW CLONE.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-43404]Ignorez la réutilisation du fichier SST pour la même version du magasin d’état RocksDB afin d’éviter une erreur de non-correspondance d’ID.
    • [SPARK-43527] Résolution de catalog.listCatalogs dans PySpark.
    • [SPARK-43413][11.3-13.0] Correction de la sous-requête IN de possibilité de valeurs nulles de ListQuery.
    • [SPARK-43340] Correction du champ de trace de pile manquant dans des journaux d’événements.

Databricks Runtime 10.4 LTS

Consultez Databricks Runtime 10.4 LTS.

  • 6 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-39440] Ajout d’une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
  • 14 décembre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • [SPARK-45544] Prise en charge SSL intégrée dans TransportContext.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-43718] Correction de la possibilité de valeurs Null pour les clés dans les jointures USING.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage de phase et de tâche.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • [SPARK-45541] Ajout de SSLFactory.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45427] Ajout de paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-45584]Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • Rétablissez [SPARK-33861].
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Mises à jour de sécurité du système d’exploitation
  • 13 octobre 2023
    • [SPARK-45084]StateOperatorProgress pour utiliser un numéro de partition aléatoire adéquat.
    • [SPARK-45178] Retournez pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2023
    • Correctifs divers.
  • 30 août 2023
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • [SPARK-44504] La tâche de maintenance nettoie les fournisseurs chargés en cas d'erreur d'arrêt.
    • [SPARK-43973] L'interface utilisateur de flux structuré affiche désormais correctement les requêtes ayant échoué.
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • [SPARK-43098] Correction du bogue COUNT lorsque la sous-requête scalaire dispose d’une clause group by
    • [SPARK-40862] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test de nombre de sous-requêtes scalaire étendu avec decorrelateInnerQuery désactivé.
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Correction d’un problème dans l’analyse de données sauvées JSON pour empêcher UnknownFieldException.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-43404] Ignorez la réutilisation du fichier SST pour la même version du magasin d’état RocksDB afin d’éviter une erreur de non-correspondance d’ID.
    • [SPARK-43413] Correction de la possibilité de valeurs nulles de ListQuery de la sous-requête IN.
    • Mises à jour de sécurité du système d’exploitation
  • 17 mai 2023
    • Les analyses Parquet sont désormais robustes contre les OOMs lors de l’analyse de fichiers exceptionnellement structurés en ajustant dynamiquement la taille des lots. Les métadonnées de fichier sont analysées pour réduire la taille du lot de manière préventive et sont à nouveau réduites lors des nouvelles tentatives de tâche en tant que filet de sécurité final.
    • [SPARK-41520] Fractionnez le modèle d’arborescence AND_OR pour séparer AND et OR.
    • [SPARK-43190]ListQuery.childOutput est désormais cohérent avec la sortie secondaire.
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2023
    • [SPARK-42928] Rend resolvePersistentFunction synchronisé.
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2023
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42937]PlanSubqueries définit désormais la valeur InSubqueryExec#shouldBroadcast sur true.
    • [SPARK-42967] Correction de SparkListenerTaskStart.stageAttemptId lorsqu’une tâche est démarrée après l’annulation de la phase.
  • 29 mars 2023
    • [SPARK-42668] Intercepter une exception lors de la tentative de fermeture du flux compressé dans l’arrêt HDFSStateStoreProvider
    • [SPARK-42635] Correction de …
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2023
    • [SPARK-41162] Correction de la jointure anti-jointure et de la semi-jointure pour la jointure automatique avec agrégations
    • [SPARK-33206] Correction du calcul de poids du cache d’index aléatoire pour les petits fichiers d’index
    • [SPARK-42484] Amélioration du message d’erreur UnsafeRowUtils
    • Correctifs divers.
  • 28 février 2023
    • Prise en charge de la colonne générée pour les date_format aaaa-MM-jj. Cette modification prend en charge l’élagage de partition pour les aaaa-MM-jj en tant que date_format dans les colonnes générées.
    • Les utilisateurs peuvent désormais lire et écrire certaines tables Delta qui nécessitent Reader version 3 et Writer version 7, à l’aide de Databricks Runtime 9.1 LTS ou version ultérieure. Pour réussir, les fonctionnalités de table répertoriées dans le protocole des tables doivent être prises en charge par la version actuelle de Databricks Runtime.
    • Prise en charge de la colonne générée pour les date_format aaaa-MM-jj. Cette modification prend en charge l’élagage de partition pour les aaaa-MM-jj en tant que date_format dans les colonnes générées.
    • Mises à jour de sécurité du système d’exploitation
  • 16 février 2023
    • [SPARK-30220] Activer l’utilisation des sous-requêtes Exists/In en dehors du nœud Filtre
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2023
    • Les types de tables JDBC sont désormais EXTERNAL par défaut.
  • 18 janvier 2023
    • Le connecteur Azure Synapse retourne un message d’erreur plus descriptif quand un nom de colonne contient des caractères non valides comme des espaces ou des points-virgules. Dans ce cas, le message suivant est retourné : Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Nettoyage du lot d’écriture après le commit du magasin d’états RocksDB
    • [SPARK-41199] Correction du problème de métriques quand la source de streaming DSv1 et la source de streaming DSv2 sont utilisées ensemble
    • [SPARK-41198] Correction de métriques dans les requêtes de streaming ayant une source de streaming CTE et DSv1.
    • [SPARK-41339] Fermez et recréez le lot d’écriture RocksDB au lieu de simplement l’effacer.
    • [SPARK-41732] Appliquer l’élagage basé sur un modèle d’arborescence pour la règle SessionWindowing.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2022
    • Les utilisateurs peuvent configurer le comportement des espaces blancs de début et de fin lors de l’écriture de données à l’aide du connecteur Redshift. Les options suivantes ont été ajoutées pour contrôler la gestion des espaces blancs :
      • Quand csvignoreleadingwhitespace est défini sur true, il supprime l’espace blanc de début des valeurs pendant les écritures lorsque tempformat est défini sur CSV ou CSV GZIP. Les espaces blancs sont conservés lorsque la configuration est définie sur false. Par défaut, la valeur est true.
      • Quand csvignoretrailingwhitespace est défini sur true, il supprime l’espace blanc de fin des valeurs pendant les écritures lorsque tempformat est défini sur CSV ou CSV GZIP. Les espaces blancs sont conservés lorsque la configuration est définie sur false. Par défaut, la valeur est true.
    • Correction d’un problème avec l’analyse JSON dans Auto Loader quand toutes les colonnes étaient laissées en tant que chaînes (cloudFiles.inferColumnTypes n’a pas été définie ou défini sur false) et que le JSON contenait des objets imbriqués.
    • Mises à jour de sécurité du système d’exploitation
  • 15 novembre 2022
    • Mise à niveau d’Apache commons-text vers 1.10.0.
    • [SPARK-40646] L’analyse JSON pour les structs, les mappages et les tableaux a été corrigée de sorte que lorsqu’une partie d’un enregistrement ne correspond pas au schéma, le reste de l’enregistrement peut toujours être analysé correctement au lieu de retourner des valeurs Null. Pour opter pour l’amélioration du comportement, définissez spark.sql.json.enablePartialResults surtrue. L’indicateur est désactivé par défaut pour conserver le comportement d’origine.
    • [SPARK-40292] Correction des noms de colonnes dans la fonction arrays_zip lorsque des tableaux sont référencés à partir de structs imbriqués
    • Mises à jour de sécurité du système d’exploitation
  • 1er novembre 2022
    • Correction d’un problème à cause duquel, si une table Delta avait une colonne définie par l’utilisateur nommée _change_type, mais que le flux de données modifiées était désactivé sur cette table, les données de cette colonne se remplissaient incorrectement avec des valeurs NULL lors de l’exécution de MERGE.
    • Correction d’un problème avec Auto Loader où un fichier peut être dupliqué dans le même micro-lot quand allowOverwrites est activé
    • [SPARK-40697] Ajoutez un remplissage de caractères côté lecture pour couvrir les fichiers de données externes
    • [SPARK-40596] Remplissez ExecutorDecommission avec des messages dans ExecutorDecommissionInfo
    • Mises à jour de sécurité du système d’exploitation
  • 18 octobre 2022
    • Mises à jour de sécurité du système d’exploitation
  • 5 octobre 2022
    • [SPARK-40468] Correction de la taille des colonnes au format CSV lorsque _corrupt_record est sélectionné.
    • Mises à jour de sécurité du système d’exploitation
  • 22 septembre 2022
    • Les utilisateurs peuvent définir spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) pour réactiver la liste intégrée du chargeur automatique sur ADLS Gen2. La liste intégrée a été précédemment désactivée en raison de problèmes de performances, mais peut avoir entraîné une augmentation des coûts de stockage pour les clients.
    • [SPARK-40315] Ajout de hashCode() pour Literal d’ArrayBasedMapData
    • [SPARK-40213] Prise en charge de la conversion de valeurs ASCII pour les caractères Latin-1
    • [SPARK-40380] Correction du pliage constant de InvokeLike pour éviter un littéral non sérialisable incorporé dans le plan
    • [SPARK-38404] Amélioration de la résolution CTE lorsqu’un CTE imbriqué fait référence à un CTE externe
    • [SPARK-40089] Correction du tri pour certains types décimaux
    • [SPARK-39887] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
  • 6 septembre 2022
    • [SPARK-40235] Utilisation d’un verrou interruptible au lieu d’un verrou synchronisé dans Executor.updateDependencies().
    • [SPARK-40218] GROUPING SETS doit conserver les colonnes de regroupement.
    • [SPARK-39976] ArrayIntersect doit gérer correctement la valeur Null dans l’expression de gauche.
    • [SPARK-40053] Ajout de assume aux cas d’annulation dynamique nécessitant un environnement de runtime Python.
    • [SPARK-35542] Correctif : Un bucketizer créé pour plusieurs colonnes avec des paramètres splitsArray, inputCols et outputCols ne peut pas être chargé après son enregistrement.
    • [SPARK-40079] Ajout d’une validation de inputCols pour le processus d’imputation en cas d’entrée vide.
  • 24 août 2022
    • [SPARK-39983] Plus de mise en cache des relations de diffusion non sérialisées sur le pilote.
    • [SPARK-39775] Désactivation des valeurs par défaut lors de l’analyse des schémas Avro.
    • [SPARK-39962] Application d’une projection lorsque les attributs de groupe sont vides
    • [SPARK-37643] Quand charVarcharAsString a la valeur true, la requête de prédicat de type de données char doit ignorer la règle rpadding.
    • Mises à jour de sécurité du système d’exploitation
  • 9 août 2022
    • [SPARK-39847] Correction de la condition de concurrence dans RocksDBLoader.loadLibrary() si le thread de l’appelant est interrompu
    • [SPARK-39731] Correction du problème dans les sources de données CSV et JSON lors de l’analyse des dates au format “aaaaMMjj” avec une stratégie d’analyseur de temps CORRIGÉE
    • Mises à jour de sécurité du système d’exploitation
  • 27 juillet 2022
    • [SPARK-39625] Ajout de Dataset.as(StructType).
    • [SPARK-39689] Prise en charge du lineSep sur 2 caractères dans la source de données CSV.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded doit être thread-safe.
    • [SPARK-39570] La table incluse doit autoriser les expressions avec des alias.
    • [SPARK-39702] Réduction de la surcharge mémoire de TransportCipher$EncryptedMessage en utilisant un byteRawChannel partagé.
    • [SPARK-39575] Ajout de ByteBuffer#rewind après ByteBuffer#get dans AvroDeserializer.
    • [SPARK-39476] Désactivation de l’optimisation du cast de désenveloppement lors de la conversion de Long en Flottant/Double ou d’Entier en Flottant.
    • [SPARK-38868] Pas de propagation des exceptions depuis le prédicat de filtre lors de l’optimisation des jointures externes.
    • Mises à jour de sécurité du système d’exploitation
  • 20 juillet 2022
    • Les résultats de l’opération Delta MERGE sont cohérents lorsque la source n’est pas déterministe.
    • [SPARK-39355] Une colonne unique utilise des guillemets pour construire UnresolvedAttribute.
    • [SPARK-39548] La commande CreateView avec une requête de clause de fenêtre provoque un problème de définition de fenêtre incorrecte introuvable.
    • [SPARK-39419] Correction d’ArraySort pour lever une exception quand le comparateur retourne Null.
    • Désactivation de l’utilisation par le chargeur automatique des API cloud intégrées pour dresser la liste des répertoires sur Azure.
    • Mises à jour de sécurité du système d’exploitation
  • 5 juillet 2022
    • [SPARK-39376] Masquage des colonnes dupliquées dans l’extension en étoile de l’alias de sous-requête de NATURAL/USING JOIN
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2022
    • [SPARK-39283] Correction d’un interblocage entre TaskMemoryManager et UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark ne doit pas vérifier les noms des champs lors de la lecture de fichiers.
    • [SPARK-34096] Amélioration des performances avec nth_value qui ignore les valeurs Null sur une fenêtre de décalage.
    • [SPARK-36718] Correction de la vérification de isExtractOnly dans CollapseProject.
  • 2 juin 2022
    • [SPARK-39093] Erreur de compilation codegen évitée lors de la division des intervalles d’année-mois ou des intervalles de jours-heures par un entier.
    • [SPARK-38990] Exception NullPointerException évitée lors de l’évaluation du format date_trunc/trunc comme référence liée.
    • Mises à jour de sécurité du système d’exploitation
  • 18 mai 2022
    • Corrige une fuite de mémoire intégrée potentielle dans Auto Loader.
    • [SPARK-38918] Le nettoyage de colonne imbriquée doit exclure les attributs qui n’appartiennent pas à la relation actuelle.
    • [SPARK-37593] Réduction de la taille de page par défaut de LONG_ARRAY_OFFSET si G1GC et ON_HEAP sont utilisés.
    • [SPARK-39084] Correction de df.rdd.isEmpty() en utilisant TaskContext pour arrêter l’itérateur à la fin de la tâche.
    • [SPARK-32268] Ajout de ColumnPruning dans injectBloomFilter.
    • [SPARK-38974] Filtrage des fonctions inscrites avec un nom de base de données indiqué dans les fonctions de liste.
    • [SPARK-38931] Création d’un répertoire dfs racine pour RocksDBFileManager avec un nombre inconnu de clés sur le premier point de contrôle.
    • Mises à jour de sécurité du système d’exploitation
  • 19 avril 2022
    • Mise à niveau du Kit de développement logiciel (SDK) Java AWS de la version 1.11.655 vers la version 1.12.1899.
    • Correction d’un problème lié aux bibliothèques délimitées aux notebooks qui ne fonctionnaient pas dans les travaux de streaming par lots.
    • [SPARK-38616] Suivi du texte de requête SQL dans Catalyst TreeNode
    • Mises à jour de sécurité du système d’exploitation
  • 6 avril 2022
    • Les fonctions Spark SQL suivantes sont désormais disponibles avec cette version :
      • timestampadd() et dateadd() : Ajout d’une durée dans une unité spécifiée à une expression d’horodatage.
      • timestampdiff() et datediff() : Calcule de la différence de temps entre deux expressions d’horodatage d’une unité spécifiée.
    • Parquet-MR a été mis à niveau vers la version 1.12.2
    • Prise en charge améliorée des schémas complets dans les fichiers Parquet
    • [SPARK-38631] Utilisation d’une implémentation basée sur Java pour le désarchivage tar sur Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-picking de trois modifications timestmapadd/diff.
    • [SPARK-38523] Correction de la référence à la colonne d’enregistrement endommagée du CSV.
    • [SPARK-38237]ClusteredDistribution autorisé à exiger des clés de clustering complètes.
    • [SPARK-38437] Sérialisation avec tolérance de la date et heure à partir de la source de données.
    • [SPARK-38180] Expressions d’up-cast sécurisées autorisées dans les prédicats d’égalité corrélés.
    • [SPARK-38155] Agrégat distinct interdit dans les sous-requêtes latérales avec des prédicats non pris en charge.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 9.1 LTS

Voir Databricks Runtime 9.1 LTS.

  • 9 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajout d’un indicateur distinct pour privateKeyPassword.
    • [SPARK-39440] Ajout d’une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
  • 14 décembre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-45544] Prise en charge SSL intégrée dans TransportContext.
    • [SPARK-45730] Contraintes de temps améliorées pour ReloadingX509TrustManagerSuite.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-45427] Ajout de paramètres SSL RPC à SSLOptions et SparkTransportConf.
    • [SPARK-45584]Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45541] Ajout de SSLFactory.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage de phase et de tâche.
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Mises à jour de sécurité du système d’exploitation
  • 13 octobre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2023
    • Correctifs divers.
  • 30 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • [SPARK-43098] Correction du bogue de COUNT quand la sous-requête scalaire a une clause group by.
    • [SPARK-43156][SPARK-43098] Test de bogue de nombre de sous-requêtes scalaire étendu avec decorrelateInnerQuery désactivé.
    • [SPARK-40862] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery.
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Correction d’un problème dans l’analyse de données sauvées JSON pour empêcher UnknownFieldException.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-37520] Ajout des fonctions de chaîne startswith() et endswith()
    • [SPARK-43413] Correction de la possibilité de valeurs nulles de ListQuery de la sous-requête IN.
    • Mises à jour de sécurité du système d’exploitation
  • 17 mai 2023
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2023
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2023
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42967] Correction de SparkListenerTaskStart.stageAttemptId lorsqu’une tâche est démarrée après l’annulation de la phase.
  • 29 mars 2023
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2023
    • [SPARK-42484] Amélioration du message d’erreur pour UnsafeRowUtils.
    • Correctifs divers.
  • 28 février 2023
    • Les utilisateurs peuvent désormais lire et écrire certaines tables Delta qui nécessitent Reader version 3 et Writer version 7, à l’aide de Databricks Runtime 9.1 LTS ou version ultérieure. Pour réussir, les fonctionnalités de table répertoriées dans le protocole des tables doivent être prises en charge par la version actuelle de Databricks Runtime.
    • Mises à jour de sécurité du système d’exploitation
  • 16 février 2023
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2023
    • Les types de tables JDBC sont désormais EXTERNAL par défaut.
  • 18 janvier 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2022
    • Correction d’un problème avec l’analyse JSON dans Auto Loader quand toutes les colonnes étaient laissées en tant que chaînes (cloudFiles.inferColumnTypes n’a pas été définie ou défini sur false) et que le JSON contenait des objets imbriqués.
    • Mises à jour de sécurité du système d’exploitation
  • 15 novembre 2022
    • Mise à niveau d’Apache commons-text vers 1.10.0.
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 1er novembre 2022
    • Correction d’un problème à cause duquel, si une table Delta avait une colonne définie par l’utilisateur nommée _change_type, mais que le flux de données modifiées était désactivé sur cette table, les données de cette colonne se remplissaient incorrectement avec des valeurs NULL lors de l’exécution de MERGE.
    • Correction d’un problème avec Auto Loader où un fichier peut être dupliqué dans le même micro-lot quand allowOverwrites est activé
    • [SPARK-40596] Remplissez ExecutorDecommission avec des messages dans ExecutorDecommissionInfo
    • Mises à jour de sécurité du système d’exploitation
  • 18 octobre 2022
    • Mises à jour de sécurité du système d’exploitation
  • 5 octobre 2022
    • Correctifs divers.
    • Mises à jour de sécurité du système d’exploitation
  • 22 septembre 2022
    • Les utilisateurs peuvent définir spark.conf.set(“spark.databricks.io.listKeysWithPrefix.azure.enabled”, “true”) pour réactiver la liste intégrée pour Auto Loader sur ADLS Gen2. La liste intégrée a été précédemment désactivée en raison de problèmes de performances, mais peut avoir entraîné une augmentation des coûts de stockage pour les clients.
    • [SPARK-40315] Ajout de hashCode() pour Literal d’ArrayBasedMapData
    • [SPARK-40089] Correction du tri pour certains types décimaux
    • [SPARK-39887] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
  • 6 septembre 2022
    • [SPARK-40235] Utilisation d’un verrou interruptible au lieu d’une synchronisation dans Executor.updateDependencies()
    • [SPARK-35542] Correctif : un bucketizer créé pour plusieurs colonnes avec des paramètres splitsArray, inputCols et outputCols ne peut pas être chargé après son enregistrement
    • [SPARK-40079] Ajout d’une validation d’Imputer inputCols en cas d’entrée vide
  • 24 août 2022
    • [SPARK-39666] Utilisation de UnsafeProjection.create pour respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
    • [SPARK-39962] Application d’une projection lorsque les attributs de groupe sont vides
    • Mises à jour de sécurité du système d’exploitation
  • 9 août 2022
    • Mises à jour de sécurité du système d’exploitation
  • 27 juillet 2022
    • Les résultats de l’opération Delta MERGE sont cohérents lorsque la source n’est pas déterministe.
    • [SPARK-39689] Prise en charge pour le lineSep de 2 caractères dans la source de données CSV
    • [SPARK-39575] Ajout de ByteBuffer#rewind après ByteBuffer#get dans AvroDeserializer.
    • [SPARK-37392] Correction de l’erreur de performances pour l’optimiseur de catalyseur.
    • Mises à jour de sécurité du système d’exploitation
  • 13 juillet 2022
    • [SPARK-39419]ArraySort lève une exception lorsque le comparateur retourne Null.
    • Désactivation de l’utilisation par le chargeur automatique des API cloud intégrées pour dresser la liste des répertoires sur Azure.
    • Mises à jour de sécurité du système d’exploitation
  • 5 juillet 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 15 juin 2022
    • [SPARK-39283] Correction du blocage entre TaskMemoryManager et UnsafeExternalSorter.SpillableIterator.
  • 2 juin 2022
    • [SPARK-34554] Implémentez la méthode copy() dans ColumnarMap.
    • Mises à jour de sécurité du système d’exploitation
  • 18 mai 2022
    • Correction d’une fuite de mémoire intégrée potentielle dans Auto Loader.
    • Mise à niveau la version du kit SDK AWS de la version 1.11.655 vers la version 1.11.678.
    • [SPARK-38918] Le nettoyage de colonne imbriquée doit filtrer les attributs qui n’appartiennent pas à la relation actuelle
    • [SPARK-39084] Correction df.rdd.isEmpty() à l’aide de TaskContext pour arrêter l’itérateur lors de l’achèvement de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 19 avril 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 6 avril 2022
    • [SPARK-38631] Utilisation d’une implémentation basée sur Java pour le désarchivage tar sur Utils.unpack.
    • Mises à jour de sécurité du système d’exploitation
  • 22 mars 2022
    • Remplacement du répertoire de travail en cours des notebooks sur les clusters à forte concurrence avec le contrôle d’accès à la table ou l’activation du passage des informations d’identification par le répertoire d’accueil de l’utilisateur. Auparavant, le répertoire actif était /databricks/driver.
    • [SPARK-38437] Sérialisation indulgente de la date et heure à partir de la source de données
    • [SPARK-38180] Autorisation des expressions up-cast sécurisées dans les prédicats d’égalité corrélés
    • [SPARK-38155] Interdiction de tout agrégat distinct dans les sous-requêtes latérales avec des prédicats non pris en charge
    • [SPARK-27442] Suppression d’un champ de vérification lors de la lecture ou de l’écriture de données dans un parquet.
  • 14 mars 2022
    • [SPARK-38236][SQL] Les chemins d’accès absolus des fichiers spécifiés dans la table Créer/Modifier sont traités comme relatifs
    • [SPARK-34069] Interruption du thread de tâche si la propriété locale SPARK_JOB_INTERRUPT_ON_CANCEL a la valeur true.
  • 23 février 2022
    • [SPARK-37859] Les tables SQL créées avec JDBC avec Spark 3.1 ne sont pas lisibles avec la version Spark 3.2.
  • 8 février 2022
    • [SPARK-27442] Suppression d’un champ de vérification lors de la lecture ou de l’écriture de données dans un parquet.
    • Mises à jour de sécurité du système d’exploitation
  • 1er février 2022
    • Mises à jour de sécurité du système d’exploitation
  • 26 janvier 2022
    • Correction d’un problème à cause duquel les transactions concurrentes sur les tables Delta pouvaient être validées dans un ordre non sérialisable dans certaines conditions rares.
    • Correction d’un problème à cause duquel la commande OPTIMIZE pouvait échouer lors de l’activation du dialecte SQL ANSI.
  • 19 janvier 2022
    • Correctifs mineurs et améliorations de la sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2021
    • Correction d’un problème qui pouvait entraîner l’échec des flux Structured Streaming avec ArrayIndexOutOfBoundsException.
    • Correction d’une condition de concurrence susceptible d’entraîner l’échec d’une requête avec une exception IOException telle que java.io.IOException: No FileSystem for scheme ou qui pouvait faire que les modifications apportées à sparkContext.hadoopConfiguration n’entrent pas en vigueur dans les requêtes.
    • Le connecteur Apache Spark pour Delta Sharing a été mis à niveau vers la version 0.2.0.
  • 20 octobre 2021
    • Mise à niveau du connecteur BigQuery de la version 0.18.1 à la version 0.22.2. Cela ajoute la prise en charge du type BigNumeric.