Notes de publication du calcul serverless

Cet article explique les fonctionnalités et les comportements actuellement disponibles et à venir dans le calcul serverless pour les notebooks et les travaux.

Pour plus d’informations sur le calcul serverless, consultez Se connecter à un calcul serverless.

Azure Databricks publie régulièrement des mises à jour vers le calcul serverless, mettant automatiquement à niveau le runtime de calcul serverless pour prendre en charge les améliorations et les mises à niveau vers la plateforme. Tous les utilisateurs obtiennent les mêmes mises à jour, déployées sur une courte période.

Versions d’environnement serverless

Le calcul serverless pour les notebooks et les travaux utilise des versions d’environnement, qui fournissent une API cliente stable basée sur Spark Connect pour garantir la compatibilité des applications. Cela permet à Databricks de mettre à niveau le serveur indépendamment, de fournir des améliorations des performances, des améliorations de sécurité et des correctifs de bogues sans nécessiter de modifications de code apportées aux charges de travail.

Chaque version d’environnement inclut une version de Python spécifique et un ensemble de packages Python avec des versions définies. Databricks introduit de nouvelles fonctionnalités et correctifs dans la dernière version de l’environnement tout en appliquant des mises à jour de sécurité à toutes les versions d’environnement prises en charge.

Pour les notes de version relatives aux versions d’environnement serverless, voir Versions d’environnement.

Notes de publication

Cette section inclut des notes de publication pour le calcul serverless. Les notes de publication sont organisées par année et par semaine de l’année. Le calcul serverless s’exécute toujours à l’aide de la dernière version publiée ici.

La mise en cache DataFrame sur le calcul serverless est désormais en Aperçu public

23 octobre 2026

La mise en cache DataFrame sur le calcul serverless est désormais en Aperçu Public. Vous pouvez mettre en cache un DataFrame avec df.cache() ou df.persist() sur un calcul serverless pour réutiliser un résultat coûteux pour le reste de votre session. La mise en cache nécessite un environnement serverless version 5 ou supérieure, Databricks Connect pour Python 18.1.8 ou plus, ou Databricks Connect pour Scala 18.1.5 ou plus. L’aperçu est activé par défaut pour la plupart des espaces de travail. Les administrateurs de l’espace de travail peuvent le désactiver depuis la page Previews. Voir Cache DataFrames sur le calcul serverless.

19 octobre 2026

19 octobre 2026

Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.

Changements de comportement

  • Les métriques d’exécution Spark Connect masquent les détails du filtre de ligne et du masque de colonne : Les métriques d’exécution DataFrame masquent désormais les opérateurs internes et les métriques associées aux filtres de lignes et aux masques de colonnes. Cela protège les informations sur l’exécution de la politique lorsque vous inspectez df.executionInfo.metrics, y compris sa représentation textuelle. La limite de la partie protégée du plan et ses propres indicateurs restent visibles. Les résultats des requêtes restent inchangés. Les notebooks ou outils qui dépendent de métriques détaillées à l’intérieur de sous-plans protégés peuvent devoir être mis à jour.

21 septembre 2026

21 septembre 2026

Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.

Nouvelles fonctionnalités

  • truncate fonction : La truncate fonction tronque un nombre à une échelle spécifiée sans arrondi.

  • trim_array fonction : La trim_array fonction supprime le nombre spécifié d’éléments à l’extrémité d’un tableau.

31 août 2026

31 août 2026

Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.

Nouvelles fonctionnalités

  • Le flux de données de modification automatique est en disponibilité générale : le flux de données de modification automatique (Auto CDF) calcule les modifications au niveau des lignes au moment de l’exécution des requêtes. Il fonctionne avec les requêtes par lots, le streaming structuré et le partage Delta, et nécessite le suivi des lignes. Consultez le flux de données de modification automatique.

  • parse_sql fonction : La parse_sql fonction analyse une instruction SQL et renvoie le JSON structuré contenant des métadonnées d’état, des références de table, des expressions de liste de sélection ou des informations d’erreur de parser.

Changements de comportement

  • from_protobuf ignore les champs malformés non sélectionnés lorsque l’élagage de schéma est activé : Lorsque l’élagage de schéma protobuf est activé, from_protobuf ne décode ni ne valide plus les champs non sélectionnés par une requête. Un champ non sélectionné mal formé n’annule plus la ligne en PERMISSIVE mode ni ne fait échouer la requête en FAILFAST mode.

  • Le pushdown JDBC gère correctement les littéraux nuls : Data Source v2 JDBC pushdown émet désormais le littéral SQL NULL au lieu de la chaîne 'null'. Les requêtes qui regroupent des expressions telles que NULLIF produisent désormais un groupe nul au lieu d’un groupe de chaînes séparé 'null' .

  • Les fonctions HTTP et IA ne suivent plus les redirections : http_request et les fonctions IA ne suivent plus les redirections HTTP 3xx. Les appels qui reçoivent une réponse de redirection retournent désormais une erreur HTTP distante correspondant au statut de redirection. Les téléchargements du connecteur source de fichiers ne sont pas affectés.

24 août 2026

24 août 2026

Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.

Nouvelles fonctionnalités

  • collect_union fonction agrégée : La collect_union fonction agrégée retourne l’union distincte des éléments dans des tableaux au sein de chaque groupe.

Changements de comportement

  • HAVING est évaluée avant les fonctions fenêtre dans les requêtes avec générateurs : Pour les requêtes incluant des générateurs, telles que explode, les fonctions fenêtres sont désormais évaluées après le HAVING filtre. Les résultats de fenêtres incluent donc uniquement les lignes conservées par HAVING.

  • La logique de politique est cachée par défaut dans les plans de requête : les plans de requête n’exposent plus la logique des filtres de ligne et des politiques de masque de colonne à moins que l’utilisateur ne dispose du INSPECT_POLICY_EXECUTION privilège de métastore.

  • Delta API DML utilise les droits de définisseur de politique : DeltaTable.delete, DeltaTable.update, et DeltaTable.merge résolvent désormais les fonctions de filtre de ligne et de politique de masque de colonne avec les droits du définisseur de politique, correspondant à SQL DML. Les appelants n’ont plus besoin de EXECUTE sur ces fonctions de stratégie lorsqu’ils disposent des autorisations requises sur les tables.

17 août 2026

17 août 2026

Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.

Nouvelles fonctionnalités

  • is_valid_variant fonction : La is_valid_variant fonction retourne true si l’entrée est une valeur bien formée VARIANT et false sinon. Utilisez-le pour valider des données variantes avant le traitement en aval.

  • DataFrameGroupBy.cov et SeriesGroupBy.describe dans pandas API sur Spark : l’API pandas sur Spark supporte DataFrameGroupBy.covdésormais , qui calcule la covariance par paires des colonnes au sein de chaque groupe, et SeriesGroupBy.describe, qui génère des statistiques descriptives pour chaque groupe.

  • prise en charge de pa.ChunkedArray dans createDataFrame: createDataFrame() gère désormais les DataFrames pandas avec des colonnes PyArrow ChunkedArray, évitant ainsi les erreurs de type lorsque vous utilisez des données pandas basées sur Arrow.

Les tâches JAR sur le calcul serverless sont désormais généralement disponibles

6 août 2026

Empaqueter du code Scala ou Java en JAR et l’exécuter comme une tâche dans un Lakeflow Job sur un calcul serverless. Votre JAR doit correspondre aux versions Scala, Java Development Kit (JDK) et Databricks Connect de votre environnement serverless. Voir Créer et exécuter des fichiers JAR dans un environnement serverless.

Le contrôle d’accès au calcul sans serveur est désormais généralement disponible

3 août 2026

Le contrôle d’accès au calcul sans serveur est désormais généralement disponible. Les administrateurs de l’espace de travail peuvent contrôler qui peut exécuter des charges de travail sans serveur via deux objets de calcul sans serveur intégrés : Calcul interactif par défaut (contrôle l’accès aux notebooks et à Databricks Connect) et Calcul automatisé par défaut (contrôle l’accès aux tâches et aux pipelines déclaratifs Spark sur Lakeflow). Tous les utilisateurs de l’espace de travail ont par défaut « Peut être utilisé » sur les deux objectifs, donc les charges de travail existantes continuent de s’exécuter sans modifications.

Consultez Gérer l'informatique sans serveur.

6 juillet 2026

6 juillet 2026

Cette version de calcul serverless inclut les mises à jour de Databricks Runtime 18.

Nouvelles fonctionnalités

  • ID de requête en streaming Spark Declarative Pipelines sur Lakeflow : Les pipelines déclaratifs Spark sur Lakeflow peuvent désormais définir l’ID de requête en streaming à la demande.

  • Fonctions d’adresse IP (Aperçu public) : De nouvelles fonctions SQL sont disponibles pour travailler avec les adresses IPv4 et IPv6 ainsi que les blocs CIDR, y compris ip_host, ip_cidr, ip_prefix_lengthip_version, ip_network, , ip_network_lastip_cidr_contains, ip_as_binaryip_as_stringtry_* et des variantes pour le comportement sans aucun danger. Consultez ip_host et les fonctions associées.

  • Repartitionnement de l’état à la demande (Aperçu public) : Le Structured Streaming permet désormais de modifier le nombre de partitions de mélange pour les requêtes avec état sans perdre l’état du point de contrôle. Consultez le répartitionnement d’état à la demande pour les requêtes de flux avec état.

Changements de comportement

  • CREATE OR REPLACE TABLE Préserve les commentaires : CREATE OR REPLACE TABLE Préserve désormais par défaut les commentaires existants dans les colonnes et les tableaux. Auparavant, les commentaires étaient supprimés lors de la recréation d’une table. Les tables et vues gérées adoptent désormais le même comportement que les vues matérialisées et les tables de streaming existantes.

  • Les écritures par nom du DataFrame convertissent les colonnes compatibles : writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() et write.mode("append").saveAsTable() convertissent désormais automatiquement les colonnes de type compatible (par exemple, int en long) pour correspondre au schéma de la table Delta cible. Auparavant, ces opérations ont échoué avec une DELTA_FAILED_TO_MERGE_FIELDS erreur lorsque les types de colonnes étaient compatibles, mais pas identiques. Le comportement correspond maintenant à SQL INSERT INTO ... BY NAME.

  • ALTER TABLE SET TBLPROPERTIES pour pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') tente maintenant de rendre la table spécifiée éligible aux écritures par le pipeline. Auparavant, la définition de cette propriété sur une table régulière n’avait aucun effet. Si la table n’est pas admissible aux écritures via pipeline, la commande lève SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.

  • DESCRIBE EXTENDED AS JSON inclut les résultats d’optimisation prédictive : DESCRIBE EXTENDED ... AS JSON inclut désormais les résultats de l’évaluation d’optimisation prédictive dans sa sortie. Auparavant, ces informations n’étaient pas retournées dans la sortie JSON.

  • Les mesures de la fenêtre de vue métrique rendent les résultats corrects : Les mesures de la fenêtre de vue métrique retournent désormais les résultats corrects lorsque les requêtes utilisent GROUP BYdes filtres , IN/BETWEEN ou des prédicats mixtes sur la colonne d’ordre de la fenêtre. Auparavant, ces modèles de filtre pouvaient produire des résultats incorrects.

  • Déduplication en streaming structuré avec des clés NaN : La déduplication en streaming structuré traite désormais les valeurs NaN (Not-a-Number) qui présentent des motifs de bits différents comme des doublons lorsqu’une colonne double ou float est utilisée comme clé de déduplication. Auparavant, NaN les valeurs avec différentes représentations internes étaient traitées comme distinctes et n’étaient pas dédupliquées.

  • NATURAL JOIN Correspondance des colonnes sans tenir compte de la casse : NATURAL JOIN met désormais en correspondance les colonnes communes sans tenir compte de la casse, cohérent avec la jointure équivalente USING. Auparavant, la correspondance des colonnes était sensible à la casse, ce qui empêchait les colonnes qui ne différaient que par la casse (par exemple, ID vs id) d’être reconnues comme des colonnes communes, entraînant ainsi une jointure croisée silencieuse au lieu de l’équi-jointure attendue.

Version 18.2

13 mai 2026

Cette version de calcul serverless correspond approximativement à Databricks Runtime 18.2.

Nouvelles fonctionnalités

  • CREATE OR REPLACE Prise en charge de la syntaxe CREATE OR REPLACE pour les tables temporaires : CREATE OR REPLACE TEMP TABLE La syntaxe CREATE OR REPLACE est désormais prise en charge, vous permettant de créer ou remplacer des tables temporaires dans une seule instruction. Cela élimine la nécessité de supprimer et recréer explicitement des tables temporaires.

  • agg() Alias pour measure() Function : agg() est désormais disponible comme alias pour la measure() fonction. Cette modification est entièrement rétrocompatible. Les requêtes existantes qui utilisent measure() continuent de fonctionner sans modification et agg() produisent des résultats identiques lorsqu’elles sont utilisées avec les mêmes arguments.

  • Mise à niveau du pilote Snowflake JDBC : Le pilote Snowflake JDBC est mis à jour de la version 3.22.0 à la 3.28.0.

  • pyspark.pipelines.testing alias d’espace de noms : pyspark.pipelines.testing est désormais disponible comme alias de commodité pour les API dlt.testing. Importez les utilitaires de test de pipelines des Pipelines déclaratifs Spark sur Lakeflow via l'un ou l'autre des espaces de noms.

  • L’historique des tables Delta inclut les indicateurs d’option d’écriture : l’historique de la table Delta (DESCRIBE HISTORY) inclut désormais les indicateurs d’option d’écriture dans la operationParameters colonne pour WRITE et REPLACE TABLE opérations. Lorsque les options suivantes sont explicitement activées, elles apparaissent sous forme d’indicateurs booléens dans l’historique (inclus uniquement lorsque) true:

    Pour les opérations WRITE et REPLACE TABLE :

    • isDynamicPartitionOverwrite: présent lorsque le mode de remplacement de partition dynamique a été utilisé
    • canOverwriteSchema: présent lorsque le remplacement du schéma (overwriteSchema) a été activé
    • canMergeSchema: présent lorsque la fusion de schéma (mergeSchema) a été activée

    Pour les opérations REPLACE TABLE :

    • predicate: présent lorsqu’il replaceWhere a été utilisé
    • isV1WriterSaveAsTableOverwrite: présent lorsque le remplacement a été déclenché par un remplacement .saveAsTable
  • Remplacer sélectivement des données avec les API DataFrame replaceOn et replaceUsing : Les options replaceOn et replaceUsing dans les API DataFrame Scala et Python sont désormais généralement disponibles. Utilisez ces options pour remplacer une partie de la table par le résultat d’un DataFrame. replaceOn remplace les lignes correspondant à une condition définie par l’utilisateur. replaceUsing remplace les lignes où les colonnes spécifiées sont égales. Ces API complètent les instructions SQL INSERT REPLACE ON et INSERT REPLACE USING. Consultez Remplacer de manière sélective les données avec Delta Lake.

Changements de comportement

  • Préservation des structures NULL dans INSERT, MERGE, et écritures en streaming avec évolution de schéma : Pour INSERT, MERGE, et les écritures en streaming utilisant l’évolution du schéma, une structure NULL dans la source est désormais stockée comme NULL dans la cible. Auparavant, cette valeur était incorrectement matérialisée en tant que struct non null avec chaque champ défini sur NULL, tandis que les mêmes opérations sans évolution du schéma conservaient correctement les structs NULL. Si votre code s’appuyait sur la réception d’un struct non null dont les champs étaient tous NULL, mettez à jour votre code pour gérer un struct NULL à la place.

  • Correction de la suppression de lignes par LEFT OUTER JOIN LATERAL : un bogue qui entraînait la suppression incorrecte de lignes dans les requêtes utilisant LEFT OUTER JOIN LATERAL a été corrigé. Les requêtes utilisant cette construction retournent désormais les résultats corrects. Pour revenir temporairement au comportement précédent, affectez spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic à true.

  • NATURAL JOIN Respecte l’appariement de colonnes insensibles à la casse : NATURAL JOIN utilise désormais correctement l’appariement de colonnes insensible à la majuscule lorsque spark.sql.caseSensitive est défini à false (par défaut). Précédemment, NATURAL JOIN utilisait une comparaison respectant la casse pour identifier les colonnes communes, ce qui faisait que les colonnes qui différaient uniquement à la casse (par exemple, ID contre id) n'étaient pas reconnues comme correspondantes. Cela a conduit NATURAL JOIN à produire silencieusement des résultats de jointure croisée. Ce correctif aligne le comportement de NATURAL JOIN avec les jointures USING, qui ont déjà géré correctement l'insensibilité à la casse. Les requêtes affectées par ce bogue retournent désormais des résultats corrects avec des colonnes correctement jointes.

  • Validation des dépendances SQL UDF dans Unity Catalog : Unity Catalog applique désormais la validation des dépendances pour les fonctions SQL définies par l’utilisateur (UDF) afin d’éviter le contournement du contrôle d’accès. Auparavant, les fonctions SQL créées via l'API REST pouvaient référencer des dépendances auxquelles l'utilisateur n'avait pas accès. Les fonctions définies par l'utilisateur SQL avec des configurations de dépendance non valides sont désormais empêchées d'être exécutées.

  • Les dépendances du SDK AWS v1 sont renommées : les dépendances du SDK AWS v1 incluses dans le runtime Azure Databricks sont désormais renommées et ne sont plus directement disponibles sur le chemin de classe. Si votre code dépend des bibliothèques AWS SDK v1 précédemment fournies par le runtime Azure Databricks, ajoutez-les en tant que dépendances explicites dans votre projet. Cette modification prépare la migration vers AWS SDK v2, après la fin de la prise en charge d’AWS pour SDK v1.

  • Corriger une autorité EPSG incorrecte pour le SRID 102100 défini par l’ESRI : La correspondance du Système de Référence de Coordonnées (CRS) pour le SRID 102100 utilise ESRI:102100 désormais correctement au lieu de l’incorrect EPSG:102100. Ce correctif garantit que les données géospatiales sont stockées avec l’autorité appropriée pour une meilleure interopérabilité avec d’autres systèmes.

Version 18.1

20 avril 2026

Cette version de calcul serverless correspond approximativement à Databricks Runtime 18.1.

Nouvelles fonctionnalités

  • Prise en charge des types de données DATETIMEOFFSET pour Microsoft Azure Synapse : Ce DATETIMEOFFSET type de données est pris en charge pour les connexions Microsoft Azure Synapse.

  • Commentaires sur les tables Google BigQuery : Les descriptions des tables Google BigQuery sont résolues et exposées sous forme de commentaires de table.

  • Connexion JDBC : Utilisez une connexion JDBC pour lire et écrire sur une source de données avec l’API Spark Data Source API ou l’API SQL Remote Query SQL API de Databricks.

  • Évolution du schéma avec INSERT des instructions : Utilisez la WITH SCHEMA EVOLUTION clause avec des instructions SQL INSERT pour faire évoluer automatiquement le schéma de la table cible lors des opérations d’insertion. La clause est prise en charge pour INSERT INTO, INSERT OVERWRITE, et INSERT INTO ... REPLACE formats. Voir l’évolution du schéma.

  • Valeurs de struct NULL préservées dans INSERT les opérations : INSERT les opérations avec évolution de schéma ou casting implicite préservent NULL les valeurs de struct lorsque les tables source et cible ont des ordres de champs struct différents.

  • Prise en charge des transactions à instructions multiples de Delta Sharing : Les tables Delta Sharing qui utilisent des URL pré-signées ou des modes de partage par jeton cloud prennent en charge les transactions à instructions multiples. Lors du premier accès au sein d’une transaction, la version de la table est épinglée et réutilisée pour toutes les lectures suivantes dans la transaction. Les déplacements dans le temps, le flux de données modifiées et la diffusion en continu ne sont pas pris en charge.

  • parse_timestamp Fonction SQL : La fonction SQL parse_timestamp analyse les chaînes d’horodatage en utilisant plusieurs motifs. La fonction s’exécute sur le moteur Photon pour améliorer les performances.

  • max_by et min_by avec une limite optionnelle : Les fonctions agrégées max_by et min_by acceptent désormais un troisième argument limit optionnel (jusqu’à 100 000), retournant un tableau de valeurs en haut ou en bas de K sans fonctions fenêtre ni CTE.

  • Fonctions d’agrégation vectorielle et fonctions scalaires : Les nouvelles fonctions SQL s’appliquent à des vecteurs ARRAY<FLOAT> pour l’embedding et les charges de travail de similarité, incluant vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm et vector_normalize. Consultez les fonctions intégrées.

  • Prise en charge des curseurs SQL dans les instructions composées : Les instructions composées de scripting SQL prennent désormais en charge le traitement des curseurs. Utilisez DECLARE CURSOR pour définir un curseur, puis l’instruction OPEN, l’instruction FETCH et l’instruction CLOSE pour exécuter la requête et consommer des lignes une par une.

  • Fonctions approximatives de croquis top-k : De nouvelles fonctions permettent de construire et de combiner des esquisses top-K approximatives pour l’agrégation top-K distribuée : approx_top_k_accumulate, approx_top_k_combine et approx_top_k_estimate. Voir approx_top_k la fonction d’agrégation.

  • Fonctions de sketch de tuple : Les nouvelles fonctions agrégées et scalaires pour les sketchs de tuple prennent en charge le comptage distinct et l’agrégation sur des paires clé-résumé. Consultez les fonctions intégrées.

  • Nouvelles fonctions géospatiales : Les fonctions géospatiales suivantes sont désormais disponibles :

    • st_estimatesrid fonction : estime le meilleur identificateur de référence spatiale projeté (SRID) pour une géométrie d’entrée.
    • st_force2d fonction : convertit une géographie ou une géométrie en sa représentation 2D.
    • st_nrings fonction : compte le nombre total d’anneaux dans un polygone ou multipolygon, y compris les anneaux extérieurs et intérieurs.
    • st_numpoints fonction : compte le nombre de points non vides dans une géographie ou une géométrie.
  • Le support Photon pour les fonctions géospatiales : st_difference fonction, st_intersection fonction et st_union fonction fonctionne désormais sur le moteur Photon pour des performances plus rapides.

Changements de comportement

  • Les erreurs des métriques d’observation ne font plus échouer les requêtes : Les erreurs lors de la collecte des métriques d’observation ne causent plus d’échecs d’exécution des requêtes. Auparavant, les erreurs dans OBSERVE les clauses (telles que la division par zéro) pouvaient bloquer ou échouer l’intégralité de la requête. Maintenant, la requête se termine avec succès et l’erreur est déclenchée lorsque vous appelez observation.get.

  • DESCRIBE FLOW mot clé réservé : La commande DESCRIBE FLOW est désormais disponible. Si vous avez une table nommée flow, utilisez DESCRIBE schema.flow, DESCRIBE TABLE flowou DESCRIBE `flow` avec des backticks.

  • Opérations ensemblistes booléennes SpatialSQL : ST_Difference, ST_Intersection et ST_Union utilisent une nouvelle implémentation avec des performances environ deux fois supérieures. Les géométries d’entrée valides produisent toujours un résultat. Les résultats sont normalisés pour une sortie cohérente et peuvent différer après la 15e décimale pour les intersections de segments de ligne en raison de différentes formules et de l’ordre des opérations.

  • Types d’exceptions pour SQLSTATE : Les types d’exception sont mis à jour pour prendre en charge SQLSTATE. Si votre code analyse les exceptions par chaîne correspondante ou intercepte des types d’exceptions spécifiques, mettez à jour votre logique de gestion des erreurs.

Version 18.0

27 février 2026

Cette version de calcul serverless correspond approximativement à Databricks Runtime 18.0.

Nouvelles fonctionnalités

  • Le script SQL est désormais généralement disponible : le script SQL est désormais généralement disponible.

  • Pilote Redshift JDBC mis à jour vers la version 2.1.0.28 : Le pilote Redshift JDBC a été mis à jour vers la version 2.1.0.28.

  • Environnement d’exécution d’isolation partagé pour les UDF Python du catalogue Unity : Les UDF Python du catalogue Unity avec le même propriétaire peuvent désormais partager un environnement d’isolation par défaut, améliorant les performances et réduisant la consommation de mémoire. Pour garantir qu’une fonction UDF s’exécute toujours dans un environnement entièrement isolé, ajoutez la STRICT ISOLATION clause caractéristique. Consultez l’isolation de l’environnement.

  • Fonctions de fenêtre SQL dans les vues métriques : Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues métriques pour calculer des totaux courants, des classements et d’autres calculs basés sur des fenêtres.

  • Ajustement dynamique des partitions de mélange dans les requêtes de streaming sans état : Vous pouvez désormais changer le nombre de partitions de mélange dans les requêtes de streaming sans état sans redémarrer la requête.

  • Exécution adaptative des requêtes et mélange automatique optimisé dans les requêtes en streaming sans état : l’exécution adaptative des requêtes (AQE) et le mélange automatique (AOS) sont désormais pris en charge dans les requêtes en streaming sans état.

  • Fusion de chaînes littérales partout : La capacité de fusionner des chaînes littérales séquentielles telles que 'Hello' ' World' en 'Hello World' a été étendue à n’importe quel endroit où les chaînes littérales sont autorisées. Consultez STRING type.

  • Marqueurs de paramètres partout : Vous pouvez désormais utiliser des marqueurs de paramètres nommés (:param) et non nommés (?) pratiquement partout où une valeur littérale du type approprié peut être utilisée, y compris les instructions DDL et les types de colonnes. Consultez les marqueurs de paramètre.

  • IDENTIFIER clause partout : La IDENTIFIER clause, qui distribue des chaînes vers des noms d’objets SQL, a été étendue à presque tous les endroits où un identifiant est autorisé, y compris les alias de colonnes et les définitions de colonnes. Consultez la clause IDENTIFIER.

  • Nouvelle fonction BITMAP_AND_AGG : une nouvelle bitmap_and_agg fonction agrégée est désormais disponible.

  • Nouvelles fonctions de sketchs Theta : Une nouvelle bibliothèque de fonctions pour le comptage approximatif des distincts et les opérations sur les ensembles utilisant Datasketches Theta Sketch est désormais disponible, incluant theta_sketch_agg, theta_union_agg, theta_intersection_agg et fonctions associées.

  • Nouvelle bibliothèque de fonctions KLL Sketch : Une nouvelle bibliothèque de fonctions pour construire des esquisses KLL pour le calcul quantitatile approximatif est désormais disponible, incluant kll_sketch_agg_bigint, kll_sketch_agg_double et fonctions associées.

  • Bibliothèque Apache Parquet mise à jour vers la version 1.16.0 : La bibliothèque Apache Parquet a été mise à jour vers la version 1.16.0.

  • Nouvelles fonctions géospatiales : Les nouvelles fonctions géospatiales suivantes sont désormais prises en charge :

  • Amélioration des performances de jointure spatiale : Les performances de jointure spatiale sont désormais améliorées grâce à la prise en charge de la jointure spatiale répartie.

  • Amélioration des performances pour les fonctions géospatiales : Les implémentations de Photon sont désormais disponibles pour la fonction st_isvalid, la fonction st_makeline et la fonction st_makepolygon.

  • Prise en charge des entrées EWKT : Les fonctions try_to_geography, try_to_geometry, to_geography et to_geometry acceptent désormais Extended Well-Known Text (EWKT) en entrée.

Changements de comportement

  • FSCK REPAIR TABLE inclut la réparation des métadonnées par défaut : La commande FSCK REPAIR TABLE inclut désormais une étape initiale de réparation des métadonnées avant de vérifier s’il manque des fichiers de données. La commande peut fonctionner sur des tables avec des points de contrôle endommagés ou des valeurs de partition non valides.

  • Facteurs de prorata alignés entre lectures et écritures auto-optimisées : Les facteurs de prorata pour la taille des partitions utilisent désormais des valeurs fractionnaires de manière cohérente entre les opérations de lecture et les écritures auto-optimisées. Cette modification peut entraîner un nombre différent de tâches pour les opérations de lecture.

  • Exécution des UDF Python unifiée entre PySpark et Unity Catalog : Les UDF Python Unity Catalog utilisent désormais Apache Arrow comme format d’échange par défaut, améliorant ainsi les performances globales. Dans le cadre de cette modification, TIMESTAMP les valeurs transmises aux fonctions UDF Python ne contiennent plus d'informations sur le fuseau horaire dans l'attribut de l'objet datetimetzinfo. Si votre fonction UDF s’appuie sur des informations de fuseau horaire, restaurez-la avec date = date.replace(tzinfo=timezone.utc). Voir le comportement du fuseau horaire des horodatages pour les entrées ligne par ligne.

  • Messages d’erreur améliorés pour les problèmes de module de connexion du connecteur Kafka : Lors de l’utilisation du connecteur Kafka avec une classe de module de connexion non ombrée, Azure Databricks fournit désormais des messages d’erreur suggérant d’utiliser le préfixe de classe ombré correct (kafkashaded.org.apache.kafka ou kafkashaded.software.amazon.msk.auth.iam).

  • Restrictions de time travel et comportement de rétention de VACUUM : Azure Databricks bloque désormais les requêtes de time travel au-delà du seuil deletedFileRetentionDuration pour toutes les tables. La VACUUM commande ignore l’argument de durée de rétention, sauf lorsque la valeur est de 0 heures. Vous ne pouvez pas définir deletedFileRetentionDuration plus grand que logRetentionDuration ou inversement.

  • bytes est mappé vers BinaryType par défaut dans PySpark : Dans PySpark, bytes est désormais systématiquement mappé vers Python BinaryType. Auparavant, PySpark mappait BinaryType à bytes ou bytearray en fonction du contexte. Pour restaurer l’ancien comportement, définissez spark.sql.execution.pyspark.binaryAsBytes sur false.

  • Colonnes de partition matérialisées dans les fichiers Parquet : les tables Delta partitionnées matérialisent désormais les colonnes de partition dans les nouveaux fichiers de données Parquet écrits. Auparavant, les valeurs de partition étaient stockées dans les métadonnées du journal des transactions Delta et reflétées dans les chemins d’accès au répertoire, mais pas écrites en tant que colonnes dans les fichiers Parquet eux-mêmes. Cette modification peut affecter les charges de travail qui lisent directement les fichiers Parquet écrits par Delta.

  • DESCRIBE TABLE la sortie inclut la colonne de métadonnées : La sortie de DESCRIBE TABLE [EXTENDED] inclut désormais une nouvelle metadata colonne pour tous les types de tables, contenant des métadonnées sémantiques (nom d’affichage, format et synonymes) définies sur la table comme une chaîne JSON.

L’environnement serverless version 5 est désormais disponible

25 février 2026

Vous pouvez désormais utiliser l’environnement sans serveur version 5 dans vos notebooks et tâches sans serveur. Cela inclut les versions de l’environnement PROCESSEUR et GPU. Voir Environnement version 5.

Version 17.3

28 octobre 2025

Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.3 LTS.

Nouvelles fonctionnalités

  • LIMIT Prise en charge de ALL pour les CTE récursives : Vous pouvez désormais utiliser la LIMIT ALL clause avec des expressions de table communes récursives (rCTEs) pour spécifier explicitement qu’aucune limite de ligne ne doit être appliquée aux résultats de la requête. Consultez l'expression de table commune (CTE).

  • L’ajout à des fichiers existants dans les volumes du catalogue Unity renvoie une erreur correcte : tenter d’ajouter à des fichiers existants dans les volumes du catalogue Unity renvoie désormais un message d’erreur plus descriptif pour vous aider à comprendre et à résoudre le problème.

  • st_dump Soutien de fonction : Vous pouvez désormais utiliser la st_dump fonction pour décomposer un objet géométrique en ses parties constitutives, restituant un ensemble de géométries plus simples. Consultez Fonction st_dump.

  • Les fonctions d’anneaux intérieurs de polygones sont désormais prises en charge : Vous pouvez désormais utiliser les fonctions suivantes pour travailler avec des anneaux intérieurs de polygones :

    • st_numinteriorrings: Obtient le nombre de limites internes (anneaux) d’un polygone. Consultez Fonction st_numinteriorrings.
    • st_interiorringn: Extrayez la n-ième limite interne d’un polygone et retournez-la en tant que chaîne de ligne. Consultez Fonction st_interiorringn.
  • EXECUTE IMMEDIATE utilisation d’expressions constantes : L’instruction EXECUTE IMMEDIATE supporte désormais l’utilisation d’expressions constantes dans la chaîne de requête, permettant une exécution SQL dynamique plus flexible. Consultez EXECUTE IMMEDIATE.

  • Autoriser spark.sql.files.maxPartitionBytes le calcul serverless : Vous pouvez désormais configurer le spark.sql.files.maxPartitionBytes paramètre de configuration Spark sur le calcul serverless pour contrôler le nombre maximal d’octets à empaqueter dans une seule partition lors de la lecture de fichiers. Consultez Configurer les propriétés Spark pour les notebooks serverless et les travaux.

Changements de comportement

  • Prendre en charge les informations de rafraîchissement MV/ST dans DÉCRIRE ÉTENDU COMME JSON : La DESCRIBE EXTENDED AS JSON commande inclut désormais des informations de rafraîchissement pour les vues matérialisées et les tables de streaming, offrant une visibilité sur le dernier temps de rafraîchissement et son statut.

  • Ajouter la colonne de métadonnées à DESCRIBE QUERY et DESCRIBE TABLE: Les DESCRIBE QUERY commandes et DESCRIBE TABLE incluent désormais une colonne de métadonnées dans leur sortie, fournissant des informations supplémentaires sur les propriétés et caractéristiques de chaque colonne.

  • Gestion correcte des structs null lors de la suppression de colonnes NullType : Azure Databricks gère désormais correctement les valeurs des structs null lors de la suppression de colonnes avec NullType, évitant la corruption potentielle des données ou les comportements inattendus.

  • Meilleure gestion des structs null dans Parquet : Cette version inclut des améliorations dans la gestion des valeurs des structs nuls lors de la lecture et de l’écriture sur des fichiers Parquet, assurant un comportement plus cohérent et correct.

  • Mettre à jour la bibliothèque aws-msk-iam-auth pour Kafka : La aws-msk-iam-auth bibliothèque utilisée pour l’authentification Amazon MSK IAM a été mise à niveau vers la dernière version, offrant une sécurité et une compatibilité améliorées.

Version 17.2

25 septembre 2025

Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.2.

Nouvelles fonctionnalités

  • ST_ExteriorRing fonction est désormais prise en charge : vous pouvez désormais utiliser la ST_ExteriorRing fonction pour extraire la frontière extérieure d’un polygone et la retourner sous forme de chaîne de lignes. Consultez Fonction st_exteriorring.
  • Prise en charge du mot-clé TEMPORARY pour la création de vues métriques : Vous pouvez désormais utiliser ce TEMPORARY mot-clé lors de la création d’une vue métrique. Les vues de métriques temporaires sont visibles uniquement dans la session qui les a créées et sont supprimées lorsque la session se termine. Consultez CREATE VIEW.

  • Utilisation de l’E/S native pour LokiFileSystem.getFileStatus sur S3 : LokiFileSystem.getFileStatus utilise désormais la pile native d’E/S pour le trafic Amazon S3 et retourne les objets org.apache.hadoop.fs.FileStatus à la place de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

  • Auto Loader déduit les colonnes de partition en singleVariantColumn mode : Auto Loader déduit désormais les colonnes de partition à partir des chemins de fichiers lors de l’ingestion de données sous forme de variante semi-structurée en utilisant cette singleVariantColumn option. Auparavant, les colonnes de partition n’ont pas été détectées automatiquement. Voir Chargeur automatique.

Changements de comportement

  • DESCRIBE CONNECTION affiche les paramètres d’environnement pour les connexions JDBC : Azure Databricks inclut désormais des paramètres d’environnement définis par l’utilisateur dans la DESCRIBE CONNECTION sortie pour les connexions JDBC qui prennent en charge des pilotes personnalisés et s’exécutent isolément. Les autres types de connexion restent inchangés.

  • Option pour tronquer l’historique Uniform lors de la migration des tables gérées : Vous pouvez désormais tronquer l’historique Uniform lors de la migration des tables avec Uniform/Iceberg activé en utilisant ALTER TABLE...SET MANAGED. Cela simplifie les migrations et réduit les temps d’arrêt par rapport à la désactivation et à la réactivation manuelle d’Uniform.

  • Résultats corrects pour split avec regex vide et limite positive : Azure Databricks renvoie désormais les bons résultats lorsqu’on utilise split function avec un regex vide et une limite positive. Précédemment, la fonction a tronqué incorrectement la chaîne restante au lieu de l’inclure dans le dernier élément.

  • Correction de la gestion des erreurs url_decode et try_url_decode dans Photon : Dans Photon, try_url_decode() et url_decode() avec failOnError = false renvoient désormais NULL pour des chaînes encodées URL invalides au lieu de faire échouer la requête.

  • Environnement d’exécution partagé pour les UDTF Python du catalogue Unity : Azure Databricks partage désormais l’environnement d’exécution des fonctions de table définies par l’utilisateur Python (UDTF) provenant du même propriétaire et de la même session Spark. Une clause facultative STRICT ISOLATION permet de désactiver le partage des fonctions de table définies par l’utilisateur ayant des effets secondaires, comme modifier des variables d’environnement ou exécuter du code arbitraire.

Version 17.1

19 août 2025

Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.1.

Nouvelles fonctionnalités

  • Réduction de l’utilisation de la mémoire pour les schémas larges dans Photon Writer : Des améliorations ont été apportées au moteur Photon, réduisant significativement la consommation de mémoire pour les schémas larges, en traitant des scénarios qui entraînaient auparavant des erreurs de non-mémoire.

Changements de comportement

  • Erreur lancée pour contraintes invalides CHECK: Azure Databricks génère désormais une AnalysisException si une expression de contrainte CHECK ne peut pas être résolue lors de la validation des contraintes.

  • Le connecteur Pulsar n’expose plus Bouncy Castle : La bibliothèque Bouncy Castle est désormais intégrée dans le connecteur Pulsar pour éviter les conflits de classpath. Par conséquent, les travaux Spark ne peuvent plus accéder aux org.bouncycastle.* classes à partir du connecteur. Si votre code dépend de Bouncy Castle, installez la bibliothèque manuellement sur l’environnement serverless.

  • Auto Loader utilise par défaut les événements de fichiers si disponible : Auto Loader utilise les événements de fichiers au lieu de la liste des répertoires lorsque le chemin de chargement est un emplacement externe avec les événements de fichier activés. La valeur par défaut useManagedFileEvents est maintenant if_available (était false). Cela peut améliorer les performances d’ingestion et journalise un avertissement si les événements de fichier ne sont pas encore activés.

  • Le connecteur Teradata corrige la comparaison de chaînes sensibles aux majuscules : Le connecteur Teradata est désormais par défaut sur TMODE=ANSI, alignant le comportement de comparaison de chaînes avec Azure Databricks en le rendant sensible aux majuscules. Cette modification est configurable et n’affecte pas les utilisateurs existants, sauf s’ils optent.

Version 4 de l'environnement serverless

13 août 2025

La version 4 de l’environnement est désormais disponible dans vos notebooks et travaux serverless. Cette version de l’environnement inclut les mises à niveau de bibliothèque et les mises à jour d’API. Voir Environnement version 4.

Version 17.0

24 juillet 2025

Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.0.

Nouvelles fonctionnalités

  • Prise en charge des procédures SQL : Les scripts SQL peuvent désormais être encapsulés dans une procédure stockée comme un actif réutilisable dans Unity Catalog. Vous pouvez créer une procédure à l’aide de la commande CREATE PROCEDURE , puis l’appeler à l’aide de la commande CALL .

  • Définir une collation par défaut pour les fonctions SQL : L’utilisation de la nouvelle DEFAULT COLLATION clause dans la CREATE FUNCTION commande définit la collation par défaut utilisée pour STRING les paramètres, le type de retour et STRING les lettres littérales dans le corps de la fonction.

  • Prise en charge des expressions de table communes récursives (rCTE) : Azure Databricks prend désormais en charge la navigation de données hiérarchiques à l’aide de expressions de table communes récursives (rCTE). Utilisez un CTE auto-référençant avec UNION ALL pour suivre la relation récursive.

  • PySpark et Spark Connect prennent désormais en charge les DataFrames df.mergeInto API : PySpark et Spark Connect prennent désormais en charge l’API df.mergeInto .

  • Support ALL CATALOGS dans SHOW SCHEMAS : La SHOW SCHEMAS syntaxe est mise à jour pour accepter ALL CATALOGS, vous permettant d’itérer tous les catalogues actifs qui prennent en charge les espaces de noms. Les attributs de sortie incluent désormais une catalog colonne indiquant le catalogue de l’espace de noms correspondant.

  • Le clustering liquide compacte désormais plus efficacement les vecteurs de suppression : les tables Delta utilisant le clustering liquide appliquent désormais plus efficacement les modifications physiques issues des vecteurs de suppression lors de l’exécution de OPTIMIZE. Pour plus d’informations, consultez Appliquer des modifications aux fichiers de données Parquet.

  • Autoriser des expressions non déterministes dans les valeurs de colonne UPDATE/INSERT pour les opérations MERGE : Azure Databricks permet désormais l’utilisation d’expressions non déterministes dans les valeurs de colonnes mises à jour et insérées pour les opérations MERGE. Par exemple, vous pouvez maintenant générer des valeurs dynamiques ou aléatoires pour les colonnes à l’aide d’expressions telles que rand().

  • Changez les API Python Delta MERGE pour qu’elles retournent DataFrame au lieu de Unity : Les API Python MERGE (comme DeltaMergeBuilder) renvoient désormais également un DataFrame comme le fait l’API SQL, avec les mêmes résultats.

Changements de comportement

  • Changement de comportement pour l’option d’inscription du répertoire incrémental Auto Loader : La valeur de l’option Auto cloudFiles.useIncrementalListing Loader obsolète est désormais définie à une valeur par défaut de false. Par conséquent, cette modification entraîne Auto Loader à effectuer la liste complète du répertoire chaque fois qu’il est lancé. Databricks recommande de ne pas utiliser cette option. Utilisez plutôt le mode de notification de fichier avec les événements de fichier.

  • CREATE VIEW Les clauses au niveau de la colonne génèrent désormais des erreurs lorsque la clause ne s’appliquerait qu’aux vues matérialisées : CREATE VIEW les commandes qui spécifient une clause au niveau de la colonne uniquement valable pour les MATERIALIZED VIEW lancent désormais une erreur. Les clauses affectées incluent NOT NULL, les types de données spécifiés, DEFAULTet COLUMN MASK.

Les cibles de performances serverless sont en disponibilité générale

10 juin 2025

La sélection du paramètre de performances serverless pour les travaux et les pipelines est désormais en disponibilité générale.

Lorsque le paramètre optimisé pour les performances est activé, votre charge de travail est optimisée pour accélérer le démarrage et le temps d’exécution. En cas de désactivation, la charge de travail serverless s’exécute en mode de performances standard, qui est optimisée pour le coût et a une latence de lancement légèrement plus élevée.

Pour plus d’informations, consultez Sélectionner un mode de performances et Sélectionner un mode de performances.

Version 16.4

28 mai 2025

Cette version de calcul serverless correspond approximativement à Databricks Runtime 16.4 LTS.

Changements de comportement

  • Correction pour respecter les options pour les plans en cache de sources de données : Cette mise à jour garantit que les lectures de table respectent les options définies pour tous les plans de sources de données lorsqu’elles sont mises en cache, et non seulement pour la première lecture de table mise en cache. Auparavant, la lecture de la table de la source de données mettait en cache le premier plan, mais ne tenait pas compte des différentes options dans les requêtes suivantes.

  • Activer le drapeau pour exiger la matérialisation de la source pour les opérations MERGE : Auparavant, les utilisateurs pouvaient désactiver la matérialisation de la source dans MERGE en définissant merge.materializeSource .none Lorsque le nouvel indicateur est activé, la matérialisation source est toujours requise et les tentatives de désactivation entraînent une erreur. Databricks prévoit d’activer cet indicateur uniquement pour les clients qui n’ont pas précédemment modifié cette configuration. La plupart des utilisateurs ne doivent donc pas subir de modification du comportement.

Nouvelles fonctionnalités

  • Auto Loader peut désormais nettoyer les fichiers traités dans le répertoire source : vous pouvez désormais demander à Auto Loader de déplacer ou supprimer automatiquement les fichiers qui ont été traités. Optez pour cette fonctionnalité à l’aide de l’option cloudFiles.cleanSource Chargeur automatique. Voir Common, sous cloudFiles.cleanSource.

  • Prise en charge de l’élargissement de type ajoutée pour le streaming depuis des tables Delta : Cette version ajoute la prise en charge du streaming depuis une table Delta contenant des données de colonne élargies par type, ainsi que le partage d’une table Delta avec l’élargissement de type activé via le partage Delta Databricks vers Databricks. La fonctionnalité d’élargissement de type est actuellement en préversion publique. Consultez Élargissement du type.

  • Prise en charge de IDENTIFIER désormais disponible dans DBSQL pour les opérations de catalogue : Vous pouvez désormais utiliser la clause IDENTIFIER lors des opérations de catalogue suivantes :

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Cette nouvelle syntaxe vous permet de spécifier dynamiquement des noms de catalogue à l’aide de paramètres définis pour ces opérations, ce qui permet des flux de travail SQL plus flexibles et réutilisables. En guise d’exemple de syntaxe, considérez CREATE CATALOG IDENTIFIER(:param) où param est un paramètre fourni pour spécifier un nom de catalogue. Consultez la clause IDENTIFIER.

  • Les expressions collationnées fournissent désormais des alias transitoires autogénérés : les alias autogénérés pour les expressions collationnées intègrent désormais les informations COLLATE de manière déterministe. Les alias générés automatiquement sont temporaires (instables) et ne doivent pas être pris en compte. Au lieu de cela, en tant que meilleure pratique, utilisez expression AS alias de manière cohérente et explicite.

  • Ajout de la prise en charge de l’API de pushdown de filtres pour les sources de données Python : Le calcul sans serveur prend désormais en charge le pushdown de filtres vers les lectures par lots des sources de données Python via une API, similaire à l’interface SupportsPushDownFilters. Consultez les notes de publication 16.4 LTS.

  • Amélioration du traçage Python UDF : Le traçage Python UDF inclut désormais les trames provenant à la fois du pilote et de l’exécuteur ainsi que des trames client, ce qui donne de meilleurs messages d’erreur qui montrent des détails plus importants et plus pertinents (comme le contenu des lignes des trames à l’intérieur d’une UDF).

  • UNION/EXCEPT/INTERSECT à l’intérieur d’une vue et EXECUTE IMMEDIATE retournent maintenant des résultats corrects : les requêtes pour des définitions de vues temporaires et persistantes avec des colonnes de niveau supérieur UNION//EXCEPTINTERSECT sans alias renvoyaient auparavant des résultats incorrects parce que INTERSECT UNION/EXCEPT/ les mots-clés étaient considérés comme des alias. À présent, ces requêtes effectuent correctement l’opération d'ensemble entière.

  • Guide de configuration du plan mis en cache et de migration de la source de données : La lecture à partir d’une table source de fichiers respectera correctement les options de requête (par exemple les délimiteurs). Auparavant, le premier plan de requête a été mis en cache et les modifications d’option suivantes sont ignorées. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.readFileSourceTableCacheIgnoreOptions la valeur true.

  • Nouvelles fonctions et : À partir de cette version, vous pouvez utiliser les fonctions ou pour agréger les valeurs et au sein d’un groupe.string_agg.

Le mode de performance est désormais configurable sur les travaux sans serveur.

14 avril 2025

Vous pouvez maintenant sélectionner le mode de performance d’un travail serverless à l’aide du paramètre Performance optimisée dans la page des détails du travail. Auparavant, tous les travaux sans serveur étaient optimisés pour les performances. À présent, vous pouvez désactiver le paramètre Optimisé pour les performances afin d'exécuter la charge de travail en mode de performance standard. Le mode performance standard est conçu pour réduire les coûts sur les charges de travail où une latence de lancement légèrement plus élevée est acceptable.

Le mode de performances standard n’est pas pris en charge pour les pipelines continus, les exécutions ponctuelles créées à l’aide du runs/submit point de terminaison ou les tâches d'entrepôt SQL, y compris les vues matérialisées.

Pour plus d’informations sur le mode de performances, consultez Sélectionner un mode de performance.

Version 16.3

9 avril 2025

Cette version de calcul serverless correspond approximativement à Databricks Runtime 16.3.

Changements de comportement

  • *Message d’erreur amélioré lorsqu’une valeur invalide est attribuée à kafka.sasl.client.callback.handler.class : Cette version inclut un changement pour renvoyer un message d’erreur plus descriptif lorsqu’une valeur invalide est attribuée à kafka.sasl.client.callback.handler.class.

Nouvelles fonctionnalités

  • La prise en charge de la lecture de l’état est en disponibilité générale : la lecture des informations d’état des requêtes Structured Streaming est désormais disponible pour tous sur les ressources de calcul serverless. Consultez Lire les informations d’état de Structured Streaming.

  • Rétrogradation du protocole de table Delta désormais généralement disponible avec la protection des points de contrôle : DROP FEATURE permet de désactiver les fonctionnalités de table Delta Lake et de rétrograder le protocole de table. Par défaut, DROP FEATURE crée désormais des points de contrôle protégés pour une expérience de rétrogradation plus optimisée et simplifiée qui ne nécessite pas de temps d’attente ou de troncation d’historique. Consultez Supprimer une fonctionnalité de table Delta Lake et passer à une version antérieure du protocole de table.

  • Écrire des scripts SQL procéduraux basés sur ANSI SQL/PSM (Public Preview) : Vous pouvez désormais utiliser des capacités de script basées sur ANSI SQL/PSM pour écrire de la logique procédurale avec SQL, y compris des instructions de contrôle de flux, des variables locales et la gestion des exceptions. Consultez le script SQL.

  • Collation par défaut au niveau des tables et des vues : Vous pouvez désormais spécifier une collation par défaut pour les tables et les vues. Cela simplifie la création de tables et de vues où toutes ou la plupart des colonnes partagent le même classement. Voir Classement.

  • Nouvelles fonctions H3 : Trois nouvelles fonctions H3 ont été ajoutées : h3_try_coverash3, h3_try_coverash3string et h3_try_tessellateaswkb.

  • Modifier plusieurs colonnes de tableau dans une seule ALTER TABLE instruction : Vous pouvez désormais modifier plusieurs colonnes dans une seule ALTER TABLE instruction. Voir la clause ALTER TABLE ... COLUMN.

Version 16.2

13 mars 2025

Cette version de calcul sans serveur correspond approximativement à Databricks Runtime 16.2.

Changements de comportement

  • Dans Delta Sharing, l’historique des tables est activé par défaut : les partages créés avec la commande ALTER SHARE <share> ADD TABLE <table> SQL ont désormais le partage d’historique (WITH HISTORY) activé par défaut. Consultez ALTER SHARE.

  • Les instructions SQL d’informations d’identification renvoient une erreur en cas d’incompatibilité de type d’informations d’identification : maintenant, si le type d’informations d’identification spécifié dans une instruction SQL de gestion des informations d’identification ne correspond pas au type de l’argument d’informations d’identification, une erreur est retournée et l’instruction n’est pas exécutée.

Nouvelles fonctionnalités

  • Utilisez timestampdiff & timestampadd dans les expressions de colonnes générées Vous pouvez désormais utiliser les fonctions timestampdiff et timestampadd dans les expressions de colonnes générées par Delta Lake. Consultez Colonnes générées par Delta Lake.

  • La mise à jour de DESCRIBE TABLE renvoie les métadonnées au format JSON structuré : Vous pouvez désormais utiliser la commande DESCRIBE TABLE AS JSON pour retourner les métadonnées de la table sous forme de document JSON. La sortie JSON est plus structurée que le rapport lisible par l’homme par défaut et peut être utilisée pour interpréter le schéma d’une table par programmation. Pour plus d’informations, consultez DESCRIBE TABLE AS JSON.

  • Collations insensibles aux espaces de fin : Serverless prend désormais en charge les collations insensibles aux espaces de fin. Par exemple, ces collations traitent 'Hello' et 'Hello ' comme identiques. Pour plus d’informations, consultez Classement RTRIM.

Résolution des bogues

  • Amélioration du traitement des clones incrémentals : Cette version inclut une correction pour un cas limite où un clone incrémental CLONE pourrait recopier des fichiers déjà copiés d’une table source vers une table cible. Consultez Cloner une table sur Azure Databricks.

Paramètre mémoire élevée disponible sur les notebooks serverless (préversion publique)

7 février 2025

Vous pouvez maintenant configurer une taille de mémoire plus élevée pour vos cahiers de calcul et vos charges applicatives sans serveur. Ce paramètre peut être appliqué aux charges de travail de cahier interactives et planifiées.

L’utilisation serverless avec une mémoire élevée a un taux d’émission DBU plus élevé que la mémoire standard.

Pour plus d’informations, consultez Utiliser un calcul sans serveur haute mémoire.

Version 16.1

5 février 2025

Cette version de calcul sans serveur correspond approximativement à Databricks Runtime 16.0 et Databricks Runtime 16.1.

Nouvelles fonctionnalités

  • Prise en charge Avro pour le schéma récursif : Vous pouvez désormais utiliser l’option recursiveFieldMaxDepth avec la from_avro fonction et la source de avro données. Cette option définit la profondeur maximale pour la récursivité du schéma sur la source de données Avro. Consultez Lire et écrire des données Avro en streaming.
  • Prise en charge élargie de Confluent Schema Registry pour Avro : Serverless prend désormais en charge les références de schéma Avro via Confluent Schema Registry. Consultez S’authentifier auprès d’un registre de schémas Confluent externe.
  • Forcer le reclustering sur les tables avec liquid clustering : Vous pouvez désormais utiliser la syntaxe OPTIMIZE FULL pour forcer le reclustering de tous les enregistrements dans une table avec liquid clustering activé. Consultez Forcer le regroupement.
  • Les API Delta pour Python prennent désormais en charge les colonnes d’identité : vous pouvez désormais utiliser les API Delta pour Python afin de créer des tables avec des colonnes d’identité. Consultez les colonnes d’identité.
  • Créez des tables clusterées liquides lors des écritures en streaming : Vous pouvez désormais activer clusterBy le clustering liquide lors de la création de nouvelles tables avec des écritures en streaming structuré. Consultez Activer le clustering liquide.
  • Prise en charge de la OPTIMIZE clause FULL : Le calcul sans serveur prend désormais en charge la OPTIMIZE clause FULL . Cette clause optimise tous les enregistrements d’une table qui utilise le clustering liquide, y compris les données qui ont pu être précédemment regroupées.
  • Prise en charge de la spécification des options WITH dans INSERT et les références de table : Le calcul sans serveur prend désormais en charge une spécification d’options pour les références de tables et les noms de tables d’une INSERT instruction pouvant être utilisée pour contrôler le comportement des sources de données.
  • Nouvelles fonctions SQL : Les fonctions SQL suivantes sont désormais disponibles sur le calcul serverless :
    • try_url_decode est une version tolérante aux erreurs de url_decode.
    • zeroifnull retourne 0 si l’expression d’entrée de la fonction zeroifnull() est NULL.
    • nullifzero retourne NULL si l’entrée est 0 ou son entrée si elle n’est pas 0.
    • dayname (expr) renvoie l’acronyme anglais de trois lettres pour le jour de la semaine de la date donnée.
    • uniform(expr1, expr2 [,seed]) retourne une valeur aléatoire selon une loi de distribution à valeurs indépendantes et identiquement distribuées dans la plage de nombres spécifiée.
    • randstr(length) renvoie une chaîne aléatoire de length caractères alphanumériques.
  • Activez l’évolution automatique du schéma lors de la fusion des données dans une table Delta : Un support a été ajouté pour le withSchemaEvolution() membre de la DeltaMergeBuilder classe. Utilisez withSchemaEvolution() pour activer l'évolution automatique du schéma lors des opérations MERGE. Par exemple : mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • La prise en charge des classements dans Apache Spark est disponible en version préliminaire publique : vous pouvez désormais attribuer aux colonnes et expressions de type STRING des classements tenant compte de la langue, insensibles à la casse et aux accents. Ces classements sont utilisés dans les comparaisons de chaînes, le tri, les opérations de regroupement et de nombreuses fonctions de chaîne. Voir Classement.
  • Le support des collations dans Delta Lake se trouve dans Public Preview : Vous pouvez désormais définir des collations pour les colonnes lors de la création ou de la modification d’une table Delta. ConsultezSupport de classement pour Delta Lake.
  • LITE mode d’allègement de VACUUM est en aperçu public : Vous pouvez désormais utiliser VACUUM table_name LITE pour effectuer une opération de vacuum plus légère qui exploite les métadonnées du journal de transactions Delta. Voir le mode complet et le mode lite et VACUUM.
  • Prise en charge de la paramétrisation de la clause USE CATALOG with IDENTIFIER : la clause IDENTIFIER est désormais prise en charge pour l’instruction USE CATALOG. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre.
  • COMMENT ON COLUMN prise en charge des tables et des vues : L’instruction COMMENT ON permet désormais de modifier les commentaires pour les colonnes de vue et de table.
  • Invocation de paramètre nommé pour plus de fonctions : Les fonctions suivantes prennent en charge l’invocation de paramètres nommés :
  • Le SYNC METADATA paramètre de la REPAIR TABLE commande est pris en charge par le métastore Hive : vous pouvez désormais utiliser le SYNC METADATA paramètre avec la REPAIR TABLE commande pour mettre à jour les métadonnées d’une table gérée du métastore Hive. Consultez REPAIR TABLE.
  • Intégrité des données améliorée pour les lots compressés Apache Arrow : Pour mieux protéger contre la corruption des données, chaque LZ4 lot compressé Arrow inclut désormais les LZ4 sommes de contrôle du contenu et du bloc. Consultez la description du format de cadre LZ4 .
  • Pilote Oracle JDBC intégré : Le calcul serverless intègre désormais le pilote Oracle JDBC intégré. Si vous utilisez un fichier JAR du pilote JDBC chargé par le client via DriverManager, vous devez réécrire des scripts pour utiliser explicitement le fichier JAR personnalisé. Sinon, le pilote intégré est utilisé. Ce pilote prend uniquement en charge la Lakehouse Federation. Pour d'autres scénarios, vous devez fournir votre propre pilote.
  • Des erreurs plus détaillées pour les tables Delta accessibles avec des chemins : Une nouvelle expérience de message d’erreur pour les tables Delta accessibles via des chemins est désormais disponible. Toutes les exceptions sont désormais transférées à l’utilisateur(-trice). L’exception DELTA_MISSING_DELTA_TABLE est désormais réservée lorsque les fichiers sous-jacents ne peuvent pas être lus en tant que table Delta.

Changements de comportement

  • Changement récent : RStudio hébergé est en fin de vie : avec cette version, le serveur RStudio hébergé sur Databricks est en fin de vie et indisponible sur tout espace de travail Azure Databricks fonctionnant sur un calcul serverless. Pour en savoir plus et voir la liste des alternatives à RStudio, consultez Se connecter à un serveur RStudio hébergé par Databricks.
  • Changement de rupture : suppression de la prise en charge pour changer byte, short, int et long types vers des types plus larges : Pour garantir un comportement cohérent entre les tables Delta et Apache Iceberg, les changements de type de données suivants ne peuvent plus être appliqués aux tables avec la fonction d’élargissement de type activée :

    • byte, short, int et long à decimal.
    • byte, short, et int à double.
  • Analyse correcte des motifs regex avec négation dans le regroupement imbriqué des caractères : Cette version inclut un changement pour supporter l’analyse correcte des motifs regex avec la négation dans le regroupement imbriqué des caractères. Par exemple, [^[abc]] sera analysé en tant que « tout caractère qui n’est PAS l’un des « abc ».

    En outre, le comportement Photon était incohérent avec Spark pour les classes de caractères imbriquées. Les modèles regex contenant des classes de caractères imbriquées n’utilisent plus Photon et utilisent à la place Spark. Une classe de caractères imbriquée est n’importe quel modèle contenant des crochets entre crochets, tels que [[a-c][1-3]].

  • Améliore la détection des correspondances en double dans Delta Lake MERGE:MERGE prend désormais en compte les conditions spécifiées dans la clause WHEN MATCHED. Consultez Faire un upsert dans une table Delta Lake en utilisant la fusion.

  • La addArtifact() fonctionnalité est désormais cohérente selon les types de calcul : lorsque vous ajoutez addArtifact(archive = True) une dépendance au calcul serverless, l’archive est automatiquement décompressée.

Résolution des bogues

  • Les décalages de fuseau horaire incluent désormais les secondes lorsqu’ils sont sérialisés en CSV, JSON et XML : Les horodatages avec décalages de fuseau horaire incluant les secondes (courants pour les horodatages d’avant 1900) omettaient les secondes lorsqu’ils étaient sérialisés en CSV, JSON et XML. Le formateur d’horodatage par défaut a été corrigé et retourne maintenant les valeurs de décalage correctes pour ces horodatages.

Autres modifications

  • Codes d’erreur renommés pour la source de streaming structuré cloudFiles : Les codes d’erreur suivants ont été renommés :
    • _LEGACY_ERROR_TEMP_DBR_0143 est renommé en CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 est renommé en CF_INCORRECT_BATCH_USAGE .

Version 15.4

28 octobre 2024

Cette version de calcul serverless correspond approximativement à Databricks Runtime 15.4

Nouvelles fonctionnalités

  • Fonctions de validation UTF-8 : Cette version introduit les fonctions suivantes pour valider les chaînes UTF-8 :
    • is_valid_utf8 vérifie si une chaîne est une chaîne UTF-8 valide.
    • make_valid_utf8 convertit une chaîne UTF-8 potentiellement invalide en une chaîne UTF-8 valide à l’aide de caractères de substitution.
    • validate_utf8 génère une erreur si l’entrée n’est pas une chaîne UTF-8 valide.
    • try_validate_utf8 retourne NULL si l’entrée n’est pas une chaîne UTF-8 valide.
  • Activez UniForm Iceberg en utilisant ALTER TABLE: Vous pouvez désormais activer UniForm Iceberg sur des tables existantes sans réécrire les fichiers de données. Voir Dans une table existante.
  • fonction try_url_decode : Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée dans une URL. Si la chaîne n’est pas au format correct, la fonction retourne NULL au lieu de lever une erreur.
  • Possibilité pour l’optimiseur de s’appuyer sur des contraintes de clé étrangère non appliquées : Pour améliorer les performances des requêtes, vous pouvez désormais spécifier le mot-clé RELY pour les contraintes FOREIGN KEY lorsque vous créez ou vous modifiez une table.
  • Exécutions de tâches parallélisées pour les écrasations sélectives : Les écrasements sélectifs utilisant replaceWhere désormais des tâches d’exécution qui suppriment des données et insèrent de nouvelles données en parallèle, améliorant ainsi la performance des requêtes et l’utilisation du cluster.
  • Amélioration des performances pour le flux de données de changement avec des écrasations sélectives : Les écrasements sélectifs utilisant replaceWhere les tables on avec flux de données de changement n’écrivent plus de fichiers de données de changement séparés pour les données insérées. Ces opérations utilisent une colonne masquée _change_type présente dans les fichiers de données Parquet sous-jacents pour enregistrer les changements sans amplification d’écriture.
  • Latence de requête améliorée pour la COPY INTO commande : Cette version inclut un changement qui améliore la latence de requête pour la COPY INTO commande. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le stockage d’état RocksDB. Avec ce changement, vous devez constater une amélioration de la durée de démarrage pour les requêtes avec des états volumineux, telles que les requêtes avec un grand nombre de fichiers déjà ingérés.
  • Prise en charge de la suppression de la fonctionnalité de table de contraintes CHECK : Vous pouvez désormais supprimer la checkConstraints fonctionnalité de table d’une table Delta en utilisant ALTER TABLE table_name DROP FEATURE checkConstraints. Consultez Supprimer les contraintes de vérification.

Changements de comportement

  • Modification de la liaison de schéma pour les vues : Lorsque les types de données dans la requête sous-jacente d’une vue changent par rapport à ceux utilisés lors de la création initiale de la vue, Databricks ne génère plus d’erreurs pour les références à la vue lorsqu’aucun casting sécurisé ne peut être effectué.

    Au lieu de cela, l’affichage compense à l’aide de règles de cast régulières dans la mesure du possible. Ce changement permet à Databricks de tolérer les modifications de schéma de table plus facilement.

  • Interdire la tolérance de la syntaxe ! non documentée pour la NOT en dehors de la logique booléenne : Databricks ne tolérera plus l’utilisation de ! comme synonyme de NOT en dehors de la logique booléenne. Ce changement réduit la confusion, s’aligne sur la norme SQL, et rend SQL plus portable. Par exemple :

    CREATE ... IF ! EXISTS, IS ! NULL, ! NULL propriété colonne ou champ, ! IN et ! BETWEEN doivent être remplacés par :

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL propriété de colonne ou de champ, NOT IN et NOT BETWEEN.

    L’opérateur de préfixe booléen! (par exemple, !is_mgr ou !(true AND false)) n’est pas affecté par ce changement.

  • Interdire les parties non documentées et non traitées de la syntaxe de définition de colonne dans les vues : Databricks supporte CREATE VIEW avec des colonnes nommées et des commentaires de colonnes.

    La spécification des types de colonnes, des contraintes NOT NULL, ou de DEFAULT a été tolérée dans la syntaxe sans avoir d’effet. Databricks va supprimer cette tolérance de syntaxe. Cela réduira la confusion, s’alignera sur la norme SQL et autorisera des améliorations ultérieures.

  • Gestion cohérente des erreurs pour le décodage Base64 dans Spark et Photon : Cette version modifie la manière dont Photon gère les erreurs de décodage Base64 pour correspondre à la gestion de ces erreurs par Spark. Avant ces modifications, le chemin de génération de code Photon et Spark ne parvenait parfois pas à déclencher des exceptions d’analyse, tandis que l’exécution interprétée par Spark déclenchait correctement IllegalArgumentException ou ConversionInvalidInputError. Cette mise à jour garantit que Photon déclenche constamment les mêmes exceptions que Spark pendant les erreurs de décodage Base64, ce qui fournit une gestion des erreurs plus prévisible et fiable.

  • L’ajout d’une contrainte CHECK sur une colonne invalide renvoie désormais la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION : pour fournir des messages d’erreur plus utiles, dans Databricks Runtime 15.3 et versions ultérieures, une instruction ALTER TABLE ADD CONSTRAINT incluant une contrainte CHECK faisant référence à un nom de colonne invalide renvoie la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, une erreur INTERNAL_ERROR était retournée.

Le JDK a changé de niveau de JDK 8 à JDK 17

15 août 2024

Le calcul serverless pour les notebooks et les flux de travail a migré du Kit de développement Java (JDK) 8 vers JDK 17 côté serveur. Cette mise à niveau inclut les modifications comportementales suivantes :

  • Analyse correcte des motifs regex avec négation dans le regroupement imbriqué des caractères : Avec cette mise à jour, Azure Databricks prend désormais en charge l’analyse correcte des motifs regex avec la négation dans le regroupement imbriqué des caractères. Par exemple, [^[abc]] sera analysé en tant que « tout caractère qui n’est PAS l’un des « abc ».

    En outre, le comportement Photon était incohérent avec Spark pour les classes de caractères imbriquées. Les modèles regex contenant des classes de caractères imbriquées n’utilisent plus Photon et utilisent à la place Spark. Une classe de caractères imbriquée est n’importe quel modèle contenant des crochets entre crochets, tels que [[a-c][1-3]].

Version 15.1

23 juillet 2024

Cette version de calcul serverless correspond globalement à Databricks Runtime 15.1

Nouvelles fonctionnalités

Prise en charge de la syntaxe étoile (*) dans la WHERE clause : Vous pouvez désormais utiliser la syntaxe étoile (*) dans la WHERE clause pour référencer toutes les colonnes de la SELECT liste.

Par exemple : SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Modifications

Amélioration de la récupération des erreurs pour l’analyse JSON : L’analyseur JSON utilisé pour from_json() et les expressions de chemin JSON récupère désormais plus rapidement après une syntaxe mal formée, ce qui réduit la perte de données.

Lorsque vous rencontrez une syntaxe JSON malformée dans un champ de struct, une valeur de tableau, une clé de carte ou une valeur de carte, l’analyseur JSON retourne désormais NULL uniquement pour le champ, la clé ou l’élément non lisibles. Les champs, clés ou éléments suivants seront correctement analysés. Avant cette modification, l’analyseur JSON a abandonné l’analyse du tableau, du struct ou de la carte et retourné NULL pour le contenu restant.

Version 14.3

15 avril 2024

Il s’agit de la version initiale du calcul sans serveur. Ceci correspond approximativement à Databricks Runtime 14.3 avec certaines modifications qui suppriment la prise en charge de certaines fonctionnalités non serverless et héritées.

Paramètres de configuration Spark pris en charge

Pour automatiser la configuration de Spark sur le calcul serverless, Azure Databricks a supprimé la prise en charge de la définition manuelle de la plupart des configurations Spark. Pour afficher la liste des paramètres de configuration Spark pris en charge, consultez Configurer les propriétés Spark pour les notebooks serverless et les travaux.

Les exécutions de tâches sur un calcul sans serveur échouent si une configuration Spark non prise en charge est définie.

Les fonctions "input_file" sont obsolètes

Les fonctions input_file_name(), input_file_block_length() et input_file_block_start() ont été dépréciées. L’utilisation de ces fonctions est fortement déconseillée.

Utilisez plutôt la colonne de métadonnées de fichier pour récupérer les informations de métadonnées de fichier.

Changements comportementaux

Calcul serverless verison 2024.15 inclut les modifications comportementales suivantes :

  • Correction du bug unhex(hexStr) : lors de l’utilisation de la fonction unhex(hexStr), hexStr est toujours complété à gauche pour obtenir un nombre entier d’octets. Auparavant, la fonction unhex ignorait le premier demi-octet. Par exemple : unhex('ABC') produit désormais x'0ABC' au lieu de x'BC'.
  • Les alias de colonnes auto-générés sont désormais stables : Lorsque le résultat d’une expression est référencé sans alias de colonne spécifié par l’utilisateur, cet alias auto-généré devient stable. Le nouvel algorithme peut entraîner une modification des noms générés automatiquement précédemment utilisés dans les fonctionnalités telles que les vues matérialisées.
  • Les analyses de table avec des champs de type CHAR appliquent désormais systématiquement un remplissage : les tables Delta, certaines tables JDBC et les sources de données externes stockent les données de type CHAR sans remplissage. Lors de la lecture, Azure Databricks remplit désormais les données avec des espaces à la longueur déclarée pour garantir une sémantique correcte.
  • Les conversions de BIGINT/DECIMAL vers TIMESTAMP déclenchent une exception pour les valeurs en dépassement : Azure Databricks permet de convertir BIGINT et DECIMAL en TIMESTAMP en traitant la valeur comme le nombre de secondes depuis l’époque Unix. Avant, Azure Databricks aurait retourné des valeurs dépassées, mais désormais, il lève une exception en cas de dépassement de capacité. Utilisez try_cast pour retourner NULL au lieu d’une exception.
  • L’exécution UDF de PySpark a été améliorée pour correspondre exactement au comportement de l’exécution UDF sur un calcul dédié : Les changements suivants ont été apportés :
    • Les fonctions définies par l’utilisateur avec un type de retour de chaîne ne convertissent plus implicitement les valeurs non-chaînes en chaînes. Avant, les fonctions définies par l’utilisateur avec un type de retour str appliqueraient un wrapper str(..) au résultat, quel que soit le type de données réel de la valeur retournée.
    • Les fonctions définies par l’utilisateur avec types de retour timestamp n’appliquent plus implicitement de conversion de fuseau horaire aux horodatages.