Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Les fonctionnalités et améliorations de Databricks SQL suivantes ont été publiées en 2026.
Mai 2026
Databricks SQL version 2026.15 est désormais disponible en préversion
26 mai 2026
Databricks SQL version 2026.15 est désormais disponible dans le canal d’évaluation . Passez en revue la section suivante pour en savoir plus sur les nouvelles fonctionnalités, les modifications comportementales et les correctifs de bogues.
XPath n’extrait plus les DTD externes
Lorsque vous évaluez xpath sur XML, Azure Databricks ne charge plus les définitions de type de document externes déclarées dans le document. Auparavant, XPath pouvait échouer lorsque le code XML contenait une référence DTD externe qui pointait vers une URL incorrecte ou un point de terminaison inaccessible. Étant donné que la validation DTD est distincte de l’évaluation XPath, les requêtes qui ont déjà réussi retournent les mêmes résultats que précédemment. Les requêtes qui ont échoué précédemment uniquement pendant la récupération DTD externe peuvent maintenant réussir.
Conservation de struct NULL dans INSERT, MERGE et écritures de streaming avec l’évolution du schéma
Pour INSERT, MERGE et les écritures en continu qui utilisent l’évolution du schéma, un struct NULL dans la source est maintenant stocké en tant que NULL dans la cible. Auparavant, cette valeur était incorrectement matérialisée en tant que struct non null avec chaque champ défini sur NULL, tandis que les mêmes opérations sans évolution du schéma conservaient correctement les structs NULL. Si votre code s’appuyait sur la réception d’un struct non null dont les champs étaient tous NULL, mettez à jour votre code pour gérer un struct NULL à la place.
Prise en charge de NullType (VOID) dans les tables Delta
Les tables Delta Lake prennent désormais en charge les colonnes VOID. Auparavant, les colonnes VOID étaient ignorées silencieusement par les lectures de DataFrame fondées sur le chemin et les requêtes de voyage dans le temps. Ces requêtes incluent désormais des VOID colonnes dans la sortie. Les écritures ne sont pas affectées. Consultez VOID type pour les restrictions sur où les colonnes VOID peuvent apparaître dans le schéma.
Passez en revue toutes les requêtes qui interrogent des tables Delta Lake comportant VOID colonnes afin de vérifier qu’elles traitent correctement les colonnes supplémentaires. Les requêtes qui dépendent du nombre de colonnes ou de la position, telles que INSERT INTO ... SELECT *, peuvent commencer à échouer après la mise à niveau. En particulier, certaines INSERT requêtes avec l’évolution du schéma activée peuvent déplacer silencieusement les données dans les colonnes incorrectes.
SHOW CREATE TABLE prend en charge les vues de métriques
SHOW CREATE TABLE prend désormais en charge les vues métriques. Auparavant, l’exécution de cette commande sur une vue de métrique a déclenché une erreur. La sortie des vues de métriques inclut le nom complet en trois parties avec le catalogue (par exemple, CREATE VIEW catalog.db.my_metric_view ...), ce qui facilite la recréation de la vue de métrique à l’emplacement approprié.
Correctif pour EXTERNE GAUCHE JOIN LATÉRAL supprimant des lignes
Un bogue qui a supprimé incorrectement les lignes des LEFT OUTER JOIN LATERAL requêtes est maintenant résolu. Les requêtes utilisant cette construction retournent désormais les résultats corrects. Pour revenir temporairement au comportement précédent, affectez spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic à true.
NATURAL JOIN respecte la correspondance insensible à la casse des colonnes
NATURAL JOIN utilise désormais correctement la correspondance de colonne insensible à la casse lorsque spark.sql.caseSensitive est défini sur false (valeur par défaut). Précédemment, NATURAL JOIN utilisait une comparaison respectant la casse pour identifier les colonnes courantes, ce qui faisait que les colonnes qui différaient uniquement à la casse (par exemple, ID contre id) n'étaient pas reconnues comme correspondantes. Cela a provoqué NATURAL JOIN à produire silencieusement des résultats de jointure croisée. Les requêtes affectées par ce bogue retournent désormais des résultats corrects avec des colonnes correctement jointes.
Validation des dépendances UDF SQL dans le catalogue Unity
Unity Catalog applique désormais la validation des dépendances pour les fonctions définies par l’utilisateur SQL pour empêcher le contournement du contrôle d’accès. Auparavant, les fonctions SQL créées via l'API REST pouvaient référencer des dépendances auxquelles l'utilisateur n'avait pas accès. Les fonctions définies par l'utilisateur SQL avec des configurations de dépendance non valides sont désormais empêchées d'être exécutées.
Écritures optimisées pour les tables du catalogue Unity partitionnées créées avec CRTAS
Les écritures optimisées sont désormais correctement appliquées aux tables de catalogue Unity partitionnée créées avec CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Auparavant, CRTAS sur les nouvelles tables de catalogue Unity partitionnée n’appliquait pas d’écritures optimisées, ce qui entraînait un nombre plus élevé de petits fichiers par partition. Ce correctif peut augmenter la latence d’écriture. Pour revenir au comportement précédent, définissez spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled à false.
Corriger une autorité EPSG incorrecte pour le SRID défini par ESRI 102100
Le mappage CRS (Coordinate Reference System) pour SRID 102100 utilise ESRI:102100 désormais correctement au lieu de la valeur incorrecte EPSG:102100. Ce correctif garantit que les données géospatiales sont stockées avec l’autorité appropriée pour une meilleure interopérabilité avec d’autres systèmes.
Prise en charge de CREATE OR REPLACE pour les tables temporaires
CREATE OR REPLACE TEMP TABLE la syntaxe est désormais prise en charge, ce qui vous permet de créer ou de remplacer des tables temporaires dans une seule instruction. Cela élimine la nécessité de supprimer et recréer explicitement des tables temporaires.
L’historique des tables delta inclut des indicateurs d’option d’écriture
L’historique des tables Delta Lake (DESCRIBE HISTORY) comprend désormais des indicateurs des options d’écriture dans la colonne operationParameters pour les opérations WRITE et REPLACE TABLE. Lorsque les options suivantes sont explicitement activées, elles apparaissent sous forme d’indicateurs booléens dans l’historique (incluses uniquement lorsque) true:
Pour les opérations WRITE et REPLACE TABLE :
-
isDynamicPartitionOverwrite: présent lorsque le mode de remplacement de partition dynamique a été utilisé -
canOverwriteSchema: présent lorsque le remplacement du schéma (overwriteSchema) a été activé -
canMergeSchema: présent lorsque la fusion de schéma (mergeSchema) a été activée
Pour les REPLACE TABLE opérations :
-
predicate: présent lorsqu’ilreplaceWherea été utilisé -
isV1WriterSaveAsTableOverwrite: présent lorsque le remplacement a été déclenché par un.saveAsTableremplacement
Nouvelles fonctions géospatiales
Les fonctions géospatiales suivantes sont désormais disponibles :
-
st_makepointfonction : retourne un pointGEOMETRYavec les coordonnées données. -
st_makeenvelopefonction : retourne uneGEOMETRYvaleur représentant l’enveloppe alignée sur l’axe (cadre englobant) définie par les coordonnées d’angle données.
Prise en charge améliorée des jointures spatiales
Le prédicat ST_DWithin (distance inférieure à) est désormais pris en charge comme condition de jointure pour les jointures spatiales. Les combinaisons de prédicats sont désormais éligibles pour les jointures spatiales, par exemple condition AND st_predicate.
Profilage des données natives pour les tables de résultats dans l’éditeur SQL
1er mai 2026
Vous pouvez maintenant afficher les statistiques de profilage des colonnes dans les tables de résultats dans le nouvel éditeur Databricks SQL. Sélectionnez les en-têtes de colonne, puis cliquez sur Ouvrez les détails de sélection pour afficher les statistiques de profilage.
Avril 2026
agg Fonction SQL comme synonyme de measure
30 avril 2026
La nouvelle fonction agg aggregate est un synonyme de mesure. Utilisez agg(measure_column) comme alternative plus courte lors de l’interrogation de mesures dans une vue de métrique.
Databricks SQL version 2026.10 est déployé dans Current
23 avril 2026
La version 2026.10 de Databricks SQL est en cours de déploiement dans le canal Current. Consultez les fonctionnalités de la version 2026.10.
Mars 2026
Databricks SQL version 2026.10 est désormais disponible en préversion
26 mars 2026
Databricks SQL version 2026.10 est désormais disponible dans le canal d’évaluation . Passez en revue la section suivante pour en savoir plus sur les nouvelles fonctionnalités, les modifications comportementales et les correctifs de bogues.
Les erreurs de métrique d’observation n'échouent plus les requêtes
Les erreurs lors de la collecte des métriques d’observation ne provoquent plus d’échecs d’exécution de requête. Auparavant, les erreurs dans OBSERVE les clauses (telles que la division par zéro) pouvaient bloquer ou échouer l’intégralité de la requête. Maintenant, la requête se termine avec succès et l’erreur est déclenchée lorsque vous appelez observation.get.
Écritures optimisées pour les opérations CRTAS du Unity Catalog
CRÉER OU REMPLACER TABLE Les opérations AS SELECT (CRTAS) sur les tables de catalogue Unity partitionnée appliquent désormais des écritures optimisées par défaut, produisant moins de fichiers plus volumineux. Pour désactiver, définissez spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled sur false.
Les valeurs de partition timestamp utilisent le fuseau horaire de session
Les valeurs de partition d’horodatage utilisent désormais le fuseau horaire de session SQL Warehouse. Si vous avez des partitions d’horodatage écrites avant Databricks SQL version 2025.40, exécutez SHOW PARTITIONS pour vérifier vos métadonnées de partition avant d’écrire de nouvelles données.
Mot clé réservé « DESCRIBE FLOW »
La DESCRIBE FLOW commande est désormais disponible. Si vous avez une table nommée flow, utilisez DESCRIBE schema.flow, DESCRIBE TABLE flowou DESCRIBE `flow` avec des backticks.
Opérations d'ensemble booléen SpatialSQL
ST_Difference, ST_Intersectionet ST_Union utilisez une nouvelle implémentation avec les améliorations suivantes :
- Les géométries d’entrée valides produisent toujours un résultat et ne déclenchent plus d’erreurs. Les entrées non valides ne déclenchent pas d’erreurs, mais peuvent ne pas produire de résultats valides.
- Performances environ 2 fois plus rapides.
- Les résultats peuvent différer après la 15e décimale pour les intersections de segment de ligne en raison de différentes formules et de l’ordre des opérations.
- Les résultats sont normalisés pour une sortie cohérente et comparable :
- Les points sont triés par valeurs de coordonnées.
- Les chaînes de ligne sont construites à partir des chemins les plus longs possibles.
- Les anneaux de polygones sont pivotés afin que le premier point ait les plus petites valeurs de coordonnées.
- Cette normalisation s’applique dans tous les cas, sauf lors de l’appel
ST_Differenceavec deux géométries qui ne se chevauchent pas, où la première géométrie est retournée non modifiée.
Types d’exceptions pour SQLSTATE
Les types d’exceptions prennent désormais en charge SQLSTATE. Si votre code analyse les exceptions par chaîne correspondante ou intercepte des types d’exceptions spécifiques, mettez à jour votre logique de gestion des erreurs.
Prise en charge des types de données DATETIMEOFFSET pour Microsoft Azure Synapse
Le DATETIMEOFFSET type de données est désormais disponible pour les connexions Microsoft Azure Synapse.
Commentaires de table Google BigQuery
Les descriptions des tables Google BigQuery sont résolues et exposées en tant que commentaires de table.
Évolution du schéma avec INSERT des déclarations
Utilisez la WITH SCHEMA EVOLUTION clause avec des instructions SQL INSERT pour faire évoluer automatiquement le schéma de la table cible pendant les opérations d’insertion. La clause est prise en charge pour INSERT INTO, INSERT OVERWRITE, et INSERT INTO ... REPLACE formats. Par exemple:
INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
Le schéma de la table Delta Lake cible est mis à jour pour accueillir des colonnes supplémentaires ou des types élargis issus de la source. Pour plus d’informations, consultez la syntaxe de l’évolution du schéma et INSERT de l’instruction.
Les valeurs de struct NULL sont conservées dans les opérations INSERT.
INSERT désormais, les opérations avec l’évolution du schéma ou la conversion implicite conservent NULL les valeurs struct lorsque les tables source et cible ont des ordres de champs struct différents.
parse_timestamp fonction SQL
La fonction PARSE_TIMESTAMP SQL analyse les chaînes d’horodatage à l’aide de plusieurs modèles et s’exécute sur le moteur Photon pour améliorer les performances lors de l’analyse des horodatages dans plusieurs formats. Consultez les modèles Datetime pour plus d’informations sur la mise en forme des modèles datetime.
max_by et min_by avec une limite facultative
Les fonctions d’agrégation max_by et min_by acceptent désormais un troisième argument limit facultatif (jusqu’à 100 000). Lorsqu'elles sont fournies, les fonctions retournent un tableau de valeurs pouvant limit correspondre aux valeurs les plus grandes (ou les plus petites) de l'expression d'ordre, ce qui permet de simplifier les requêtes top-K et bottom-K sans fonctions de fenêtre ni de CTE.
Mesures de fenêtre d’une période à l’autre avec offset
Les mesures de fenêtre dans les vues métriques incluent un champ offset qui décale la fenêtre vers l’arrière ou vers l’avant sur la dimension order, selon un intervalle fixe. Permet offset de définir des mesures d’une période à l’autre, telles que l’année sur l’année ou le mois sur le mois. Voir Comment offset décaler le cadre de la fenêtre.
Inclure ou exclure la ligne d’ancrage dans les mesures de fenêtre trailing et leading
Les valeurs de plage trailing et leading pour les mesures de fenêtre acceptent un modificateur facultatif inclusive ou exclusive qui contrôle si la ligne d’ancrage fait partie de la fenêtre glissante. La valeur par défaut est exclusive, qui correspond au comportement précédent. Voir Inclure ou exclure la ligne d’ancrage.
Fonctions d’agrégation et scalaires vectorielles
Les nouvelles fonctions SQL fonctionnent sur ARRAY<FLOAT> vecteurs pour l’intégration et la similarité des charges de travail :
Fonctions d’agrégation :
- vector_avg : retourne la moyenne à l’élément des vecteurs d’un groupe.
- vector_sum : retourne la somme des vecteurs dans un groupe.
Fonctions scalaires :
- vector_cosine_similarity : retourne la similarité cosinus de deux vecteurs.
- vector_inner_product : retourne le produit interne (point) de deux vecteurs.
- vector_l2_distance : retourne la distance Euclide (L2) entre deux vecteurs.
- vector_norm : retourne la norme Lp d’un vecteur (1, 2 ou infini).
- vector_normalize : retourne un vecteur normalisé en longueur unitaire.
Consultez les fonctions intégrées.
Support du curseur SQL dans les instructions composées
Les instructions composées de script SQL prennent désormais en charge le traitement des curseurs. Utilisez DECLARE CURSOR pour définir un curseur, puis l’instruction OPEN, l’instruction FETCH et l’instruction CLOSE pour exécuter la requête et consommer des lignes une par une. Les curseurs peuvent utiliser des marqueurs de paramètres et des gestionnaires de conditions tels que NOT FOUND pour le traitement de ligne par ligne.
Fonctions d'esquisse top-k approximatives
De nouvelles fonctions permettent de créer et de combiner des croquis approximatifs de top-K pour l’agrégation top-K distribuée.
- approx_top_k_accumulate : crée un croquis par groupe.
- approx_top_k_combine : fusionne les croquis.
- approx_top_k_estimate : retourne les éléments K principaux avec des nombres estimés.
Pour plus d’informations, consultez approx_top_k fonctions d’agrégation et fonctions intégrées.
Fonctions de croquis tuple
Les nouvelles fonctions d’agrégation et scalaires pour le croquis tuple prennent en charge le comptage et l’agrégation distincts sur des paires de synthèse de clés.
Fonctions d’agrégation :
-
tuple_sketch_agg_doublefonction d’agrégation -
tuple_sketch_agg_integerfonction d’agrégation -
tuple_union_agg_doublefonction d’agrégation -
tuple_union_agg_integerfonction d’agrégation -
tuple_intersection_agg_doublefonction d’agrégation -
tuple_intersection_agg_integerfonction d’agrégation
Fonctions scalaires :
- tuple_sketch_estimate
- tuple_sketch_summary
- tuple_sketch_theta
- tuple_union
- tuple_intersection
- tuple_difference
Consultez les fonctions intégrées.
Dépendances personnalisées pour les UDTF Python du Catalogue Unity
Les fonctions de table définies par l’utilisateur Python du catalogue Unity peuvent désormais utiliser des dépendances personnalisées pour les bibliothèques externes. Vous pouvez donc utiliser des packages au-delà de ce qui est disponible dans l’environnement SQL Warehouse par défaut. Consultez Étendre les UDF à l'aide de dépendances personnalisées.
Nouvelles fonctions géospatiales
Les fonctions géospatiales suivantes sont désormais disponibles :
-
st_estimatesridfonction : estime le meilleur identificateur de référence spatiale projeté (SRID) pour une géométrie d’entrée. -
st_force2dfonction : convertit une géographie ou une géométrie en sa représentation 2D. -
st_nringsfonction : compte le nombre total d’anneaux dans un polygone ou multipolygon, y compris les anneaux extérieurs et intérieurs. -
st_numpointsfonction : compte le nombre de points non vides dans une géographie ou une géométrie.
Assistance Photon pour les fonctions géospatiales
Les fonctions géospatiales suivantes s’exécutent désormais sur le moteur Photon pour accélérer les performances :
Février 2026
Databricks SQL version 2025.40 est déployée dans Current
23 février 2026
Databricks SQL version 2025.40 est en cours de déploiement sur le canal Actuel. Consultez les fonctionnalités de la version 2025.40.
Databricks SQL version 2025.40 est désormais disponible en préversion
11 février 2026
Databricks SQL version 2025.40 est désormais disponible dans le canal d’évaluation . Passez en revue la section suivante pour en savoir plus sur les nouvelles fonctionnalités, les modifications comportementales et les correctifs de bogues.
Le script SQL est généralement disponible
Le script SQL est désormais en disponibilité générale. Écrivez une logique procédurale avec SQL, notamment des instructions conditionnelles, des boucles, des variables locales et la gestion des exceptions.
Marqueurs de paramètres désormais pris en charge dans d’autres contextes SQL
Vous pouvez maintenant utiliser des marqueurs de paramètres nommés (:param) et non nommés (?) n’importe où une valeur littérale du type approprié est autorisée. Cela inclut des instructions DDL telles que CREATE VIEW v AS SELECT ? AS c1, des types de colonnes tels que DECIMAL(:p, :s), et des commentaires tels que COMMENT ON t IS :comment. Cela vous permet de paramétrer une grande variété d’instructions SQL sans exposer votre code aux attaques par injection SQL. Consultez les marqueurs de paramètre.
IDENTIFIER clause développée vers d’autres contextes SQL
La IDENTIFIER clause, qui convertit les chaînes en noms d’objets SQL, est désormais prise en charge dans presque tous les contextes où un identificateur est autorisé. Combiné avec la prise en charge élargie des marqueurs de paramètre et du rassemblement des chaînes littérales, vous pouvez paramétrer n’importe quoi, des alias de colonne (AS IDENTIFIER(:name)) aux définitions de colonne (IDENTIFIER(:pk) BIGINT NOT NULL). Consultez la clause IDENTIFIER.
Fusion de chaîne littérale prise en charge partout
Littéraux de chaîne séquentiels tels que 'Hello' ' World' se combinent maintenant avec 'Hello World' dans tout contexte où les littéraux de chaîne sont autorisés, y compris COMMENT 'This' ' is a ' 'comment'. Voir STRING type.
Nouvelle fonction BITMAP_AND_AGG
Une nouvelle fonction BITMAP_AND_AGG est désormais disponible pour compléter la bibliothèque existante de BITMAP fonctions.
Nouvelles fonctions Theta Sketch pour des nombres distincts approximatifs
Une nouvelle bibliothèque de fonctions pour le comptage approximatif des éléments distincts et les opérations sur des ensembles en utilisant Datasketches Theta Sketch est désormais disponible :
-
theta_sketch_aggfonction d’agrégation -
theta_union_aggfonction d’agrégation -
theta_intersection_aggfonction d’agrégation -
Fonction
theta_sketch_estimate -
Fonction
theta_union -
Fonction
theta_difference -
Fonction
theta_intersection
Nouvelles fonctions de croquis KLL pour les quantiles approximatifs
Une nouvelle bibliothèque de fonctions permettant de générer des croquis KLL pour un calcul quantile approximatif est désormais disponible :
-
kll_sketch_agg_bigintfonction d’agrégation -
Fonction
kll_sketch_get_quantile_bigint -
Fonction
kll_sketch_merge_bigint -
kll_sketch_agg_doublefonction d’agrégation -
Fonction
kll_sketch_get_quantile_double -
Fonction
kll_sketch_merge_double -
kll_sketch_agg_floatfonction d’agrégation -
Fonction
kll_sketch_get_quantile_float -
Fonction
kll_sketch_merge_float -
Fonction
kll_sketch_get_n_bigint -
Fonction
kll_sketch_get_rank_bigint -
Fonction
kll_sketch_to_string_bigint -
Fonction
kll_sketch_get_n_double -
Fonction
kll_sketch_get_rank_double -
Fonction
kll_sketch_to_string_double -
Fonction
kll_sketch_get_n_float -
Fonction
kll_sketch_get_rank_float -
Fonction
kll_sketch_to_string_float
Vous pouvez fusionner plusieurs croquis KLL dans un contexte d’agrégation à l’aide de kll_merge_agg_bigint, de kll_merge_agg_double et de kll_merge_agg_float.
Fonctions de fenêtre SQL dans les vues de métriques
Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues de métriques pour calculer les totaux en cours d’exécution, les classements et d’autres calculs basés sur des fenêtres.
Nouvelles fonctions géospatiales
Les nouvelles fonctions géospatiales suivantes sont désormais disponibles :
-
st_azimuthfonction : retourne l'azimut basé sur le nord du premier point au deuxième en radians dans[0, 2π). -
st_boundaryfonction : retourne la limite de la géométrie d’entrée. -
st_closestpointfonction : retourne la projection 2D d’un point sur la première géométrie la plus proche de la deuxième géométrie. -
st_geogfromewktfonction : analyse une description de géographie en texte étendu Bien Connu (EWKT). -
st_geomfromewktfonction : analyse une description de texte étendu bien connu (EWKT) d’une géométrie.
Prise en charge des entrées EWKT pour les fonctions géométriques et géographiques existantes
Les fonctions suivantes acceptent désormais le texte étendu Well-Known (EWKT) comme entrée :
Amélioration des performances pour les requêtes répétées sur des tables avec des filtres de lignes et des masques de colonne
Les requêtes éligibles répétées sur des tables avec des filtres de lignes et des masques de colonne bénéficient désormais d’une mise en cache améliorée des résultats des requêtes, ce qui accélère l’exécution.
Amélioration des performances des fonctions géospatiales
Les performances de jointure spatiale sont améliorées avec la prise en charge de la jointure spatiale redistribuée. Les fonctions ST suivantes ont désormais des implémentations Photon :
FSCK REPAIR TABLE inclut la réparation des métadonnées par défaut
FSCK REPAIR TABLE inclut désormais une étape de réparation des métadonnées initiale avant de vérifier les fichiers de données manquants, ce qui lui permet de travailler sur des tables avec des points de contrôle endommagés ou des valeurs de partition non valides. En outre, la dataFilePath colonne du FSCK REPAIR TABLE DRY RUN schéma de sortie est désormais nullable pour prendre en charge de nouveaux types de problèmes où le chemin d’accès au fichier de données n’est pas applicable.
DESCRIBE TABLE la sortie inclut la colonne de métadonnées
La sortie de DESCRIBE TABLE [EXTENDED] inclut maintenant une colonne metadata pour tous les types de tables. Cette colonne contient des métadonnées sémantiques (nom d’affichage, format et synonymes) définies sur la table en tant que chaîne JSON.
Structs NULL conservés dans MERGE, UPDATE, et les opérations d'écriture en flux
Les structs NULL sont désormais conservés comme NULL dans Delta LakeMERGEUPDATE, ainsi que dans les opérations d’écriture en streaming qui incluent des casts de type struct. Auparavant, les structures NULL étaient transformées en structures avec tous les champs définis sur NULL.
Colonnes de partition matérialisées dans des fichiers Parquet
Les tables Delta Lake partitionnées matérialisent maintenant les colonnes de partition dans les fichiers de données Parquet récemment écrits. Auparavant, les valeurs de partition étaient stockées uniquement dans les métadonnées du journal des transactions Delta Lake. Les charges de travail qui lisent directement les fichiers Parquet écrits par Delta Lake voient des colonnes de partition supplémentaires dans les fichiers nouvellement écrits.
Les valeurs de partition timestamp respectent le fuseau horaire de session
Les valeurs de partition d’horodatage sont désormais correctement ajustées à l’aide de la spark.sql.session.timeZone configuration. Auparavant, ils étaient convertis incorrectement en UTC à l’aide du fuseau horaire JVM.
Restrictions de voyage temporelle mises à jour
Azure Databricks bloque désormais les requêtes de voyage dans le temps au-delà du deletedFileRetentionDuration seuil pour toutes les tables. La VACUUM commande ignore l’argument de durée de rétention, sauf lorsque la valeur est de 0 heures. Vous ne pouvez pas définir deletedFileRetentionDuration plus grand que logRetentionDuration.
SHOW TABLES DROPPED respecte la disposition de LIMIT
SHOW TABLES DROPPED respecte maintenant correctement la LIMIT clause.