Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Cet article explique les fonctionnalités et les comportements actuellement disponibles et à venir dans le calcul serverless pour les notebooks et les travaux.
Pour plus d’informations sur le calcul serverless, consultez Se connecter à un calcul serverless.
Azure Databricks publie régulièrement des mises à jour vers le calcul serverless, mettant automatiquement à niveau le runtime de calcul serverless pour prendre en charge les améliorations et les mises à niveau vers la plateforme. Tous les utilisateurs obtiennent les mêmes mises à jour, déployées sur une courte période.
Versions d’environnement serverless
Le calcul serverless pour les notebooks et les travaux utilise des versions d’environnement, qui fournissent une API cliente stable basée sur Spark Connect pour garantir la compatibilité des applications. Cela permet à Databricks de mettre à niveau le serveur indépendamment, de fournir des améliorations des performances, des améliorations de sécurité et des correctifs de bogues sans nécessiter de modifications de code apportées aux charges de travail.
Chaque version d’environnement inclut une version de Python spécifique et un ensemble de packages Python avec des versions définies. Databricks introduit de nouvelles fonctionnalités et correctifs dans la dernière version de l’environnement tout en appliquant des mises à jour de sécurité à toutes les versions d’environnement prises en charge.
Pour les notes de version relatives aux versions d’environnement serverless, voir Versions d’environnement.
Notes de publication
Cette section inclut des notes de publication pour le calcul serverless. Les notes de publication sont organisées par année et par semaine de l’année. Le calcul serverless s’exécute toujours à l’aide de la dernière version publiée ici.
- La mise en cache DataFrame sur le calcul serverless est désormais en Aperçu public
- 19 octobre 2026
- 21 septembre 2026
- 31 août 2026
- 24 août 2026
- 17 août 2026
- Les tâches JAR sur le calcul serverless sont désormais généralement disponibles
- Le contrôle d’accès au calcul sans serveur est désormais généralement disponible
- 6 juillet 2026
- Version 18.2
- Version 18.1
- Version 18.0
- La version 5 de l’environnement serverless est désormais disponible
- Version 17.3
- Version 17.2
- Version 17.1
- Environnement serverless version 4
- Version 17.0
- Les cibles de performances serverless sont en disponibilité générale
- Version 16.4
- Le mode performance est désormais configurable sur des tâches serverless
- Version 16.3
- Version 16.2
- Réglage de mémoire élevée disponible sur les notebooks serverless (Aperçu public)
- Version 16.1
- Version 15.4
- Le JDK est mis à niveau de JDK 8 vers JDK 17
- Version 15.1
- Version 14.3
La mise en cache DataFrame sur le calcul serverless est désormais en Aperçu public
23 octobre 2026
La mise en cache DataFrame sur le calcul serverless est désormais en Aperçu Public. Vous pouvez mettre en cache un DataFrame avec df.cache() ou df.persist() sur un calcul serverless pour réutiliser un résultat coûteux pour le reste de votre session. La mise en cache nécessite un environnement serverless version 5 ou supérieure, Databricks Connect pour Python 18.1.8 ou plus, ou Databricks Connect pour Scala 18.1.5 ou plus. L’aperçu est activé par défaut pour la plupart des espaces de travail. Les administrateurs de l’espace de travail peuvent le désactiver depuis la page Previews. Voir Cache DataFrames sur le calcul serverless.
19 octobre 2026
19 octobre 2026
Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.
Changements de comportement
-
Les métriques d’exécution Spark Connect masquent les détails du filtre de ligne et du masque de colonne : Les métriques d’exécution DataFrame masquent désormais les opérateurs internes et les métriques associées aux filtres de lignes et aux masques de colonnes. Cela protège les informations sur l’exécution de la politique lorsque vous inspectez
df.executionInfo.metrics, y compris sa représentation textuelle. La limite de la partie protégée du plan et ses propres indicateurs restent visibles. Les résultats des requêtes restent inchangés. Les notebooks ou outils qui dépendent de métriques détaillées à l’intérieur de sous-plans protégés peuvent devoir être mis à jour.
21 septembre 2026
21 septembre 2026
Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.
Nouvelles fonctionnalités
truncatefonction : Latruncatefonction tronque un nombre à une échelle spécifiée sans arrondi.trim_arrayfonction : Latrim_arrayfonction supprime le nombre spécifié d’éléments à l’extrémité d’un tableau.
31 août 2026
31 août 2026
Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.
Nouvelles fonctionnalités
Le flux de données de modification automatique est en disponibilité générale : le flux de données de modification automatique (Auto CDF) calcule les modifications au niveau des lignes au moment de l’exécution des requêtes. Il fonctionne avec les requêtes par lots, le streaming structuré et le partage Delta, et nécessite le suivi des lignes. Consultez le flux de données de modification automatique.
parse_sqlfonction : Laparse_sqlfonction analyse une instruction SQL et renvoie le JSON structuré contenant des métadonnées d’état, des références de table, des expressions de liste de sélection ou des informations d’erreur de parser.
Changements de comportement
from_protobufignore les champs malformés non sélectionnés lorsque l’élagage de schéma est activé : Lorsque l’élagage de schéma protobuf est activé,from_protobufne décode ni ne valide plus les champs non sélectionnés par une requête. Un champ non sélectionné mal formé n’annule plus la ligne enPERMISSIVEmode ni ne fait échouer la requête enFAILFASTmode.Le pushdown JDBC gère correctement les littéraux nuls : Data Source v2 JDBC pushdown émet désormais le littéral SQL
NULLau lieu de la chaîne'null'. Les requêtes qui regroupent des expressions telles queNULLIFproduisent désormais un groupe nul au lieu d’un groupe de chaînes séparé'null'.Les fonctions HTTP et IA ne suivent plus les redirections :
http_requestet les fonctions IA ne suivent plus les redirections HTTP 3xx. Les appels qui reçoivent une réponse de redirection retournent désormais une erreur HTTP distante correspondant au statut de redirection. Les téléchargements du connecteur source de fichiers ne sont pas affectés.
24 août 2026
24 août 2026
Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.
Nouvelles fonctionnalités
-
collect_unionfonction agrégée : Lacollect_unionfonction agrégée retourne l’union distincte des éléments dans des tableaux au sein de chaque groupe.
Changements de comportement
HAVINGest évaluée avant les fonctions fenêtre dans les requêtes avec générateurs : Pour les requêtes incluant des générateurs, telles queexplode, les fonctions fenêtres sont désormais évaluées après leHAVINGfiltre. Les résultats de fenêtres incluent donc uniquement les lignes conservées parHAVING.La logique de politique est cachée par défaut dans les plans de requête : les plans de requête n’exposent plus la logique des filtres de ligne et des politiques de masque de colonne à moins que l’utilisateur ne dispose du
INSPECT_POLICY_EXECUTIONprivilège de métastore.Delta API DML utilise les droits de définisseur de politique :
DeltaTable.delete,DeltaTable.update, etDeltaTable.mergerésolvent désormais les fonctions de filtre de ligne et de politique de masque de colonne avec les droits du définisseur de politique, correspondant à SQL DML. Les appelants n’ont plus besoin deEXECUTEsur ces fonctions de stratégie lorsqu’ils disposent des autorisations requises sur les tables.
17 août 2026
17 août 2026
Cette version de calcul serverless inclut des mises à jour de Databricks Runtime 19.
Nouvelles fonctionnalités
is_valid_variantfonction : Lais_valid_variantfonction retournetruesi l’entrée est une valeur bien forméeVARIANTetfalsesinon. Utilisez-le pour valider des données variantes avant le traitement en aval.DataFrameGroupBy.covetSeriesGroupBy.describedans pandas API sur Spark : l’API pandas sur Spark supporteDataFrameGroupBy.covdésormais , qui calcule la covariance par paires des colonnes au sein de chaque groupe, etSeriesGroupBy.describe, qui génère des statistiques descriptives pour chaque groupe.prise en charge de
pa.ChunkedArraydanscreateDataFrame:createDataFrame()gère désormais les DataFrames pandas avec des colonnes PyArrowChunkedArray, évitant ainsi les erreurs de type lorsque vous utilisez des données pandas basées sur Arrow.
Les tâches JAR sur le calcul serverless sont désormais généralement disponibles
6 août 2026
Empaqueter du code Scala ou Java en JAR et l’exécuter comme une tâche dans un Lakeflow Job sur un calcul serverless. Votre JAR doit correspondre aux versions Scala, Java Development Kit (JDK) et Databricks Connect de votre environnement serverless. Voir Créer et exécuter des fichiers JAR dans un environnement serverless.
Le contrôle d’accès au calcul sans serveur est désormais généralement disponible
3 août 2026
Le contrôle d’accès au calcul sans serveur est désormais généralement disponible. Les administrateurs de l’espace de travail peuvent contrôler qui peut exécuter des charges de travail sans serveur via deux objets de calcul sans serveur intégrés : Calcul interactif par défaut (contrôle l’accès aux notebooks et à Databricks Connect) et Calcul automatisé par défaut (contrôle l’accès aux tâches et aux pipelines déclaratifs Spark sur Lakeflow). Tous les utilisateurs de l’espace de travail ont par défaut « Peut être utilisé » sur les deux objectifs, donc les charges de travail existantes continuent de s’exécuter sans modifications.
Consultez Gérer l'informatique sans serveur.
6 juillet 2026
6 juillet 2026
Cette version de calcul serverless inclut les mises à jour de Databricks Runtime 18.
Nouvelles fonctionnalités
ID de requête en streaming Spark Declarative Pipelines sur Lakeflow : Les pipelines déclaratifs Spark sur Lakeflow peuvent désormais définir l’ID de requête en streaming à la demande.
Fonctions d’adresse IP (Aperçu public) : De nouvelles fonctions SQL sont disponibles pour travailler avec les adresses IPv4 et IPv6 ainsi que les blocs CIDR, y compris
ip_host,ip_cidr,ip_prefix_lengthip_version,ip_network, ,ip_network_lastip_cidr_contains,ip_as_binaryip_as_stringtry_*et des variantes pour le comportement sans aucun danger. Consultez ip_host et les fonctions associées.Repartitionnement de l’état à la demande (Aperçu public) : Le Structured Streaming permet désormais de modifier le nombre de partitions de mélange pour les requêtes avec état sans perdre l’état du point de contrôle. Consultez le répartitionnement d’état à la demande pour les requêtes de flux avec état.
Changements de comportement
CREATE OR REPLACE TABLEPréserve les commentaires :CREATE OR REPLACE TABLEPréserve désormais par défaut les commentaires existants dans les colonnes et les tableaux. Auparavant, les commentaires étaient supprimés lors de la recréation d’une table. Les tables et vues gérées adoptent désormais le même comportement que les vues matérialisées et les tables de streaming existantes.Les écritures par nom du DataFrame convertissent les colonnes compatibles :
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions()etwrite.mode("append").saveAsTable()convertissent désormais automatiquement les colonnes de type compatible (par exemple,intenlong) pour correspondre au schéma de la table Delta cible. Auparavant, ces opérations ont échoué avec uneDELTA_FAILED_TO_MERGE_FIELDSerreur lorsque les types de colonnes étaient compatibles, mais pas identiques. Le comportement correspond maintenant à SQLINSERT INTO ... BY NAME.ALTER TABLE SET TBLPROPERTIESpourpipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')tente maintenant de rendre la table spécifiée éligible aux écritures par le pipeline. Auparavant, la définition de cette propriété sur une table régulière n’avait aucun effet. Si la table n’est pas admissible aux écritures via pipeline, la commande lèveSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.DESCRIBE EXTENDED AS JSONinclut les résultats d’optimisation prédictive :DESCRIBE EXTENDED ... AS JSONinclut désormais les résultats de l’évaluation d’optimisation prédictive dans sa sortie. Auparavant, ces informations n’étaient pas retournées dans la sortie JSON.Les mesures de la fenêtre de vue métrique rendent les résultats corrects : Les mesures de la fenêtre de vue métrique retournent désormais les résultats corrects lorsque les requêtes utilisent
GROUP BYdes filtres ,IN/BETWEENou des prédicats mixtes sur la colonne d’ordre de la fenêtre. Auparavant, ces modèles de filtre pouvaient produire des résultats incorrects.Déduplication en streaming structuré avec des clés
NaN: La déduplication en streaming structuré traite désormais les valeursNaN(Not-a-Number) qui présentent des motifs de bits différents comme des doublons lorsqu’une colonnedoubleoufloatest utilisée comme clé de déduplication. Auparavant,NaNles valeurs avec différentes représentations internes étaient traitées comme distinctes et n’étaient pas dédupliquées.NATURAL JOINCorrespondance des colonnes sans tenir compte de la casse :NATURAL JOINmet désormais en correspondance les colonnes communes sans tenir compte de la casse, cohérent avec la jointure équivalenteUSING. Auparavant, la correspondance des colonnes était sensible à la casse, ce qui empêchait les colonnes qui ne différaient que par la casse (par exemple,IDvsid) d’être reconnues comme des colonnes communes, entraînant ainsi une jointure croisée silencieuse au lieu de l’équi-jointure attendue.
Version 18.2
13 mai 2026
Cette version de calcul serverless correspond approximativement à Databricks Runtime 18.2.
Nouvelles fonctionnalités
CREATE OR REPLACEPrise en charge de la syntaxe CREATE OR REPLACE pour les tables temporaires :CREATE OR REPLACE TEMP TABLELa syntaxe CREATE OR REPLACE est désormais prise en charge, vous permettant de créer ou remplacer des tables temporaires dans une seule instruction. Cela élimine la nécessité de supprimer et recréer explicitement des tables temporaires.agg()Alias pourmeasure()Function :agg()est désormais disponible comme alias pour lameasure()fonction. Cette modification est entièrement rétrocompatible. Les requêtes existantes qui utilisentmeasure()continuent de fonctionner sans modification etagg()produisent des résultats identiques lorsqu’elles sont utilisées avec les mêmes arguments.Mise à niveau du pilote Snowflake JDBC : Le pilote Snowflake JDBC est mis à jour de la version 3.22.0 à la 3.28.0.
pyspark.pipelines.testingalias d’espace de noms :pyspark.pipelines.testingest désormais disponible comme alias de commodité pour les APIdlt.testing. Importez les utilitaires de test de pipelines des Pipelines déclaratifs Spark sur Lakeflow via l'un ou l'autre des espaces de noms.L’historique des tables Delta inclut les indicateurs d’option d’écriture : l’historique de la table Delta (
DESCRIBE HISTORY) inclut désormais les indicateurs d’option d’écriture dans laoperationParameterscolonne pourWRITEetREPLACE TABLEopérations. Lorsque les options suivantes sont explicitement activées, elles apparaissent sous forme d’indicateurs booléens dans l’historique (inclus uniquement lorsque)true:Pour les opérations
WRITEetREPLACE TABLE:-
isDynamicPartitionOverwrite: présent lorsque le mode de remplacement de partition dynamique a été utilisé -
canOverwriteSchema: présent lorsque le remplacement du schéma (overwriteSchema) a été activé -
canMergeSchema: présent lorsque la fusion de schéma (mergeSchema) a été activée
Pour les opérations
REPLACE TABLE:-
predicate: présent lorsqu’ilreplaceWherea été utilisé -
isV1WriterSaveAsTableOverwrite: présent lorsque le remplacement a été déclenché par un remplacement.saveAsTable
-
Remplacer sélectivement des données avec les API DataFrame
replaceOnetreplaceUsing: Les optionsreplaceOnetreplaceUsingdans les API DataFrame Scala et Python sont désormais généralement disponibles. Utilisez ces options pour remplacer une partie de la table par le résultat d’un DataFrame.replaceOnremplace les lignes correspondant à une condition définie par l’utilisateur.replaceUsingremplace les lignes où les colonnes spécifiées sont égales. Ces API complètent les instructions SQLINSERT REPLACE ONetINSERT REPLACE USING. Consultez Remplacer de manière sélective les données avec Delta Lake.
Changements de comportement
Préservation des structures NULL dans INSERT, MERGE, et écritures en streaming avec évolution de schéma : Pour
INSERT,MERGE, et les écritures en streaming utilisant l’évolution du schéma, une structure NULL dans la source est désormais stockée comme NULL dans la cible. Auparavant, cette valeur était incorrectement matérialisée en tant que struct non null avec chaque champ défini sur NULL, tandis que les mêmes opérations sans évolution du schéma conservaient correctement les structs NULL. Si votre code s’appuyait sur la réception d’un struct non null dont les champs étaient tous NULL, mettez à jour votre code pour gérer un struct NULL à la place.Correction de la suppression de lignes par
LEFT OUTER JOIN LATERAL: un bogue qui entraînait la suppression incorrecte de lignes dans les requêtes utilisantLEFT OUTER JOIN LATERALa été corrigé. Les requêtes utilisant cette construction retournent désormais les résultats corrects. Pour revenir temporairement au comportement précédent, affectezspark.databricks.sql.optimizer.lateralJoinPreserveOuterSemanticàtrue.NATURAL JOINRespecte l’appariement de colonnes insensibles à la casse :NATURAL JOINutilise désormais correctement l’appariement de colonnes insensible à la majuscule lorsquespark.sql.caseSensitiveest défini àfalse(par défaut). Précédemment,NATURAL JOINutilisait une comparaison respectant la casse pour identifier les colonnes communes, ce qui faisait que les colonnes qui différaient uniquement à la casse (par exemple,IDcontreid) n'étaient pas reconnues comme correspondantes. Cela a conduitNATURAL JOINà produire silencieusement des résultats de jointure croisée. Ce correctif aligne le comportement deNATURAL JOINavec les jointuresUSING, qui ont déjà géré correctement l'insensibilité à la casse. Les requêtes affectées par ce bogue retournent désormais des résultats corrects avec des colonnes correctement jointes.Validation des dépendances SQL UDF dans Unity Catalog : Unity Catalog applique désormais la validation des dépendances pour les fonctions SQL définies par l’utilisateur (UDF) afin d’éviter le contournement du contrôle d’accès. Auparavant, les fonctions SQL créées via l'API REST pouvaient référencer des dépendances auxquelles l'utilisateur n'avait pas accès. Les fonctions définies par l'utilisateur SQL avec des configurations de dépendance non valides sont désormais empêchées d'être exécutées.
Les dépendances du SDK AWS v1 sont renommées : les dépendances du SDK AWS v1 incluses dans le runtime Azure Databricks sont désormais renommées et ne sont plus directement disponibles sur le chemin de classe. Si votre code dépend des bibliothèques AWS SDK v1 précédemment fournies par le runtime Azure Databricks, ajoutez-les en tant que dépendances explicites dans votre projet. Cette modification prépare la migration vers AWS SDK v2, après la fin de la prise en charge d’AWS pour SDK v1.
Corriger une autorité EPSG incorrecte pour le SRID 102100 défini par l’ESRI : La correspondance du Système de Référence de Coordonnées (CRS) pour le SRID 102100 utilise
ESRI:102100désormais correctement au lieu de l’incorrectEPSG:102100. Ce correctif garantit que les données géospatiales sont stockées avec l’autorité appropriée pour une meilleure interopérabilité avec d’autres systèmes.
Version 18.1
20 avril 2026
Cette version de calcul serverless correspond approximativement à Databricks Runtime 18.1.
Nouvelles fonctionnalités
Prise en charge des types de données DATETIMEOFFSET pour Microsoft Azure Synapse : Ce
DATETIMEOFFSETtype de données est pris en charge pour les connexions Microsoft Azure Synapse.Commentaires sur les tables Google BigQuery : Les descriptions des tables Google BigQuery sont résolues et exposées sous forme de commentaires de table.
Connexion JDBC : Utilisez une connexion JDBC pour lire et écrire sur une source de données avec l’API Spark Data Source API ou l’API SQL Remote Query SQL API de Databricks.
Évolution du schéma avec INSERT des instructions : Utilisez la
WITH SCHEMA EVOLUTIONclause avec des instructions SQL INSERT pour faire évoluer automatiquement le schéma de la table cible lors des opérations d’insertion. La clause est prise en charge pourINSERT INTO,INSERT OVERWRITE, etINSERT INTO ... REPLACEformats. Voir l’évolution du schéma.Valeurs de struct NULL préservées dans INSERT les opérations :
INSERTles opérations avec évolution de schéma ou casting implicite préserventNULLles valeurs de struct lorsque les tables source et cible ont des ordres de champs struct différents.Prise en charge des transactions à instructions multiples de Delta Sharing : Les tables Delta Sharing qui utilisent des URL pré-signées ou des modes de partage par jeton cloud prennent en charge les transactions à instructions multiples. Lors du premier accès au sein d’une transaction, la version de la table est épinglée et réutilisée pour toutes les lectures suivantes dans la transaction. Les déplacements dans le temps, le flux de données modifiées et la diffusion en continu ne sont pas pris en charge.
parse_timestampFonction SQL : La fonction SQL parse_timestamp analyse les chaînes d’horodatage en utilisant plusieurs motifs. La fonction s’exécute sur le moteur Photon pour améliorer les performances.max_byetmin_byavec une limite optionnelle : Les fonctions agrégées max_by et min_by acceptent désormais un troisième argumentlimitoptionnel (jusqu’à 100 000), retournant un tableau de valeurs en haut ou en bas de K sans fonctions fenêtre ni CTE.Fonctions d’agrégation vectorielle et fonctions scalaires : Les nouvelles fonctions SQL s’appliquent à des vecteurs
ARRAY<FLOAT>pour l’embedding et les charges de travail de similarité, incluant vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm et vector_normalize. Consultez les fonctions intégrées.Prise en charge des curseurs SQL dans les instructions composées : Les instructions composées de scripting SQL prennent désormais en charge le traitement des curseurs. Utilisez DECLARE CURSOR pour définir un curseur, puis l’instruction OPEN, l’instruction FETCH et l’instruction CLOSE pour exécuter la requête et consommer des lignes une par une.
Fonctions approximatives de croquis top-k : De nouvelles fonctions permettent de construire et de combiner des esquisses top-K approximatives pour l’agrégation top-K distribuée : approx_top_k_accumulate, approx_top_k_combine et approx_top_k_estimate. Voir
approx_top_kla fonction d’agrégation.Fonctions de sketch de tuple : Les nouvelles fonctions agrégées et scalaires pour les sketchs de tuple prennent en charge le comptage distinct et l’agrégation sur des paires clé-résumé. Consultez les fonctions intégrées.
Nouvelles fonctions géospatiales : Les fonctions géospatiales suivantes sont désormais disponibles :
-
st_estimatesridfonction : estime le meilleur identificateur de référence spatiale projeté (SRID) pour une géométrie d’entrée. -
st_force2dfonction : convertit une géographie ou une géométrie en sa représentation 2D. -
st_nringsfonction : compte le nombre total d’anneaux dans un polygone ou multipolygon, y compris les anneaux extérieurs et intérieurs. -
st_numpointsfonction : compte le nombre de points non vides dans une géographie ou une géométrie.
-
Le support Photon pour les fonctions géospatiales :
st_differencefonction,st_intersectionfonction etst_unionfonction fonctionne désormais sur le moteur Photon pour des performances plus rapides.
Changements de comportement
Les erreurs des métriques d’observation ne font plus échouer les requêtes : Les erreurs lors de la collecte des métriques d’observation ne causent plus d’échecs d’exécution des requêtes. Auparavant, les erreurs dans
OBSERVEles clauses (telles que la division par zéro) pouvaient bloquer ou échouer l’intégralité de la requête. Maintenant, la requête se termine avec succès et l’erreur est déclenchée lorsque vous appelezobservation.get.DESCRIBE FLOWmot clé réservé : La commandeDESCRIBE FLOWest désormais disponible. Si vous avez une table nomméeflow, utilisezDESCRIBE schema.flow,DESCRIBE TABLE flowouDESCRIBE `flow`avec des backticks.Opérations ensemblistes booléennes SpatialSQL :
ST_Difference,ST_IntersectionetST_Unionutilisent une nouvelle implémentation avec des performances environ deux fois supérieures. Les géométries d’entrée valides produisent toujours un résultat. Les résultats sont normalisés pour une sortie cohérente et peuvent différer après la 15e décimale pour les intersections de segments de ligne en raison de différentes formules et de l’ordre des opérations.Types d’exceptions pour SQLSTATE : Les types d’exception sont mis à jour pour prendre en charge SQLSTATE. Si votre code analyse les exceptions par chaîne correspondante ou intercepte des types d’exceptions spécifiques, mettez à jour votre logique de gestion des erreurs.
Version 18.0
27 février 2026
Cette version de calcul serverless correspond approximativement à Databricks Runtime 18.0.
Nouvelles fonctionnalités
Le script SQL est désormais généralement disponible : le script SQL est désormais généralement disponible.
Pilote Redshift JDBC mis à jour vers la version 2.1.0.28 : Le pilote Redshift JDBC a été mis à jour vers la version 2.1.0.28.
Environnement d’exécution d’isolation partagé pour les UDF Python du catalogue Unity : Les UDF Python du catalogue Unity avec le même propriétaire peuvent désormais partager un environnement d’isolation par défaut, améliorant les performances et réduisant la consommation de mémoire. Pour garantir qu’une fonction UDF s’exécute toujours dans un environnement entièrement isolé, ajoutez la
STRICT ISOLATIONclause caractéristique. Consultez l’isolation de l’environnement.Fonctions de fenêtre SQL dans les vues métriques : Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues métriques pour calculer des totaux courants, des classements et d’autres calculs basés sur des fenêtres.
Ajustement dynamique des partitions de mélange dans les requêtes de streaming sans état : Vous pouvez désormais changer le nombre de partitions de mélange dans les requêtes de streaming sans état sans redémarrer la requête.
Exécution adaptative des requêtes et mélange automatique optimisé dans les requêtes en streaming sans état : l’exécution adaptative des requêtes (AQE) et le mélange automatique (AOS) sont désormais pris en charge dans les requêtes en streaming sans état.
Fusion de chaînes littérales partout : La capacité de fusionner des chaînes littérales séquentielles telles que
'Hello' ' World'en'Hello World'a été étendue à n’importe quel endroit où les chaînes littérales sont autorisées. ConsultezSTRINGtype.Marqueurs de paramètres partout : Vous pouvez désormais utiliser des marqueurs de paramètres nommés (
:param) et non nommés (?) pratiquement partout où une valeur littérale du type approprié peut être utilisée, y compris les instructions DDL et les types de colonnes. Consultez les marqueurs de paramètre.IDENTIFIERclause partout : LaIDENTIFIERclause, qui distribue des chaînes vers des noms d’objets SQL, a été étendue à presque tous les endroits où un identifiant est autorisé, y compris les alias de colonnes et les définitions de colonnes. Consultez la clause IDENTIFIER.Nouvelle fonction
BITMAP_AND_AGG: une nouvellebitmap_and_aggfonction agrégée est désormais disponible.Nouvelles fonctions de sketchs Theta : Une nouvelle bibliothèque de fonctions pour le comptage approximatif des distincts et les opérations sur les ensembles utilisant Datasketches Theta Sketch est désormais disponible, incluant theta_sketch_agg, theta_union_agg, theta_intersection_agg et fonctions associées.
Nouvelle bibliothèque de fonctions KLL Sketch : Une nouvelle bibliothèque de fonctions pour construire des esquisses KLL pour le calcul quantitatile approximatif est désormais disponible, incluant kll_sketch_agg_bigint, kll_sketch_agg_double et fonctions associées.
Bibliothèque Apache Parquet mise à jour vers la version 1.16.0 : La bibliothèque Apache Parquet a été mise à jour vers la version 1.16.0.
Nouvelles fonctions géospatiales : Les nouvelles fonctions géospatiales suivantes sont désormais prises en charge :
-
st_azimuthfonction : Renvoie l’azimut mesuré depuis le nord entre le premier point et le second en radians. -
st_boundaryfonction : retourne la limite de la géométrie d’entrée. -
st_closestpointfonction : Retourne la projection 2D d’un point sur la première géométrie la plus proche de la seconde géométrie. -
st_geogfromewktfonction : analyse une description de géographie en texte étendu Bien Connu (EWKT). -
st_geomfromewktfonction : analyse une description de texte étendu bien connu (EWKT) d’une géométrie.
-
Amélioration des performances de jointure spatiale : Les performances de jointure spatiale sont désormais améliorées grâce à la prise en charge de la jointure spatiale répartie.
Amélioration des performances pour les fonctions géospatiales : Les implémentations de Photon sont désormais disponibles pour la fonction
st_isvalid, la fonctionst_makelineet la fonctionst_makepolygon.Prise en charge des entrées EWKT : Les fonctions try_to_geography, try_to_geometry, to_geography et to_geometry acceptent désormais Extended Well-Known Text (EWKT) en entrée.
Changements de comportement
FSCK REPAIR TABLEinclut la réparation des métadonnées par défaut : La commandeFSCK REPAIR TABLEinclut désormais une étape initiale de réparation des métadonnées avant de vérifier s’il manque des fichiers de données. La commande peut fonctionner sur des tables avec des points de contrôle endommagés ou des valeurs de partition non valides.Facteurs de prorata alignés entre lectures et écritures auto-optimisées : Les facteurs de prorata pour la taille des partitions utilisent désormais des valeurs fractionnaires de manière cohérente entre les opérations de lecture et les écritures auto-optimisées. Cette modification peut entraîner un nombre différent de tâches pour les opérations de lecture.
Exécution des UDF Python unifiée entre PySpark et Unity Catalog : Les UDF Python Unity Catalog utilisent désormais Apache Arrow comme format d’échange par défaut, améliorant ainsi les performances globales. Dans le cadre de cette modification,
TIMESTAMPles valeurs transmises aux fonctions UDF Python ne contiennent plus d'informations sur le fuseau horaire dans l'attribut de l'objetdatetimetzinfo. Si votre fonction UDF s’appuie sur des informations de fuseau horaire, restaurez-la avecdate = date.replace(tzinfo=timezone.utc). Voir le comportement du fuseau horaire des horodatages pour les entrées ligne par ligne.Messages d’erreur améliorés pour les problèmes de module de connexion du connecteur Kafka : Lors de l’utilisation du connecteur Kafka avec une classe de module de connexion non ombrée, Azure Databricks fournit désormais des messages d’erreur suggérant d’utiliser le préfixe de classe ombré correct (
kafkashaded.org.apache.kafkaoukafkashaded.software.amazon.msk.auth.iam).Restrictions de time travel et comportement de rétention de
VACUUM: Azure Databricks bloque désormais les requêtes de time travel au-delà du seuildeletedFileRetentionDurationpour toutes les tables. LaVACUUMcommande ignore l’argument de durée de rétention, sauf lorsque la valeur est de 0 heures. Vous ne pouvez pas définirdeletedFileRetentionDurationplus grand quelogRetentionDurationou inversement.bytesest mappé versBinaryTypepar défaut dans PySpark : Dans PySpark,bytesest désormais systématiquement mappé vers PythonBinaryType. Auparavant, PySpark mappaitBinaryTypeàbytesoubytearrayen fonction du contexte. Pour restaurer l’ancien comportement, définissezspark.sql.execution.pyspark.binaryAsBytessurfalse.Colonnes de partition matérialisées dans les fichiers Parquet : les tables Delta partitionnées matérialisent désormais les colonnes de partition dans les nouveaux fichiers de données Parquet écrits. Auparavant, les valeurs de partition étaient stockées dans les métadonnées du journal des transactions Delta et reflétées dans les chemins d’accès au répertoire, mais pas écrites en tant que colonnes dans les fichiers Parquet eux-mêmes. Cette modification peut affecter les charges de travail qui lisent directement les fichiers Parquet écrits par Delta.
DESCRIBE TABLEla sortie inclut la colonne de métadonnées : La sortie deDESCRIBE TABLE [EXTENDED]inclut désormais une nouvellemetadatacolonne pour tous les types de tables, contenant des métadonnées sémantiques (nom d’affichage, format et synonymes) définies sur la table comme une chaîne JSON.
L’environnement serverless version 5 est désormais disponible
25 février 2026
Vous pouvez désormais utiliser l’environnement sans serveur version 5 dans vos notebooks et tâches sans serveur. Cela inclut les versions de l’environnement PROCESSEUR et GPU. Voir Environnement version 5.
Version 17.3
28 octobre 2025
Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.3 LTS.
Nouvelles fonctionnalités
LIMIT Prise en charge de ALL pour les CTE récursives : Vous pouvez désormais utiliser la
LIMIT ALLclause avec des expressions de table communes récursives (rCTEs) pour spécifier explicitement qu’aucune limite de ligne ne doit être appliquée aux résultats de la requête. Consultez l'expression de table commune (CTE).L’ajout à des fichiers existants dans les volumes du catalogue Unity renvoie une erreur correcte : tenter d’ajouter à des fichiers existants dans les volumes du catalogue Unity renvoie désormais un message d’erreur plus descriptif pour vous aider à comprendre et à résoudre le problème.
st_dumpSoutien de fonction : Vous pouvez désormais utiliser last_dumpfonction pour décomposer un objet géométrique en ses parties constitutives, restituant un ensemble de géométries plus simples. Consultez Fonctionst_dump.Les fonctions d’anneaux intérieurs de polygones sont désormais prises en charge : Vous pouvez désormais utiliser les fonctions suivantes pour travailler avec des anneaux intérieurs de polygones :
-
st_numinteriorrings: Obtient le nombre de limites internes (anneaux) d’un polygone. Consultez Fonctionst_numinteriorrings. -
st_interiorringn: Extrayez la n-ième limite interne d’un polygone et retournez-la en tant que chaîne de ligne. Consultez Fonctionst_interiorringn.
-
EXECUTE IMMEDIATE utilisation d’expressions constantes : L’instruction
EXECUTE IMMEDIATEsupporte désormais l’utilisation d’expressions constantes dans la chaîne de requête, permettant une exécution SQL dynamique plus flexible. Consultez EXECUTE IMMEDIATE.Autoriser
spark.sql.files.maxPartitionBytesle calcul serverless : Vous pouvez désormais configurer lespark.sql.files.maxPartitionBytesparamètre de configuration Spark sur le calcul serverless pour contrôler le nombre maximal d’octets à empaqueter dans une seule partition lors de la lecture de fichiers. Consultez Configurer les propriétés Spark pour les notebooks serverless et les travaux.
Changements de comportement
Prendre en charge les informations de rafraîchissement MV/ST dans DÉCRIRE ÉTENDU COMME JSON : La
DESCRIBE EXTENDED AS JSONcommande inclut désormais des informations de rafraîchissement pour les vues matérialisées et les tables de streaming, offrant une visibilité sur le dernier temps de rafraîchissement et son statut.Ajouter la colonne de métadonnées à DESCRIBE QUERY et DESCRIBE TABLE: Les
DESCRIBE QUERYcommandes etDESCRIBE TABLEincluent désormais une colonne de métadonnées dans leur sortie, fournissant des informations supplémentaires sur les propriétés et caractéristiques de chaque colonne.Gestion correcte des structs null lors de la suppression de colonnes NullType : Azure Databricks gère désormais correctement les valeurs des structs null lors de la suppression de colonnes avec
NullType, évitant la corruption potentielle des données ou les comportements inattendus.Meilleure gestion des structs null dans Parquet : Cette version inclut des améliorations dans la gestion des valeurs des structs nuls lors de la lecture et de l’écriture sur des fichiers Parquet, assurant un comportement plus cohérent et correct.
Mettre à jour la bibliothèque aws-msk-iam-auth pour Kafka : La
aws-msk-iam-authbibliothèque utilisée pour l’authentification Amazon MSK IAM a été mise à niveau vers la dernière version, offrant une sécurité et une compatibilité améliorées.
Version 17.2
25 septembre 2025
Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.2.
Nouvelles fonctionnalités
-
ST_ExteriorRingfonction est désormais prise en charge : vous pouvez désormais utiliser laST_ExteriorRingfonction pour extraire la frontière extérieure d’un polygone et la retourner sous forme de chaîne de lignes. Consultez Fonctionst_exteriorring.
Prise en charge du mot-clé
TEMPORARYpour la création de vues métriques : Vous pouvez désormais utiliser ceTEMPORARYmot-clé lors de la création d’une vue métrique. Les vues de métriques temporaires sont visibles uniquement dans la session qui les a créées et sont supprimées lorsque la session se termine. Consultez CREATE VIEW.Utilisation de l’E/S native pour
LokiFileSystem.getFileStatussur S3 :LokiFileSystem.getFileStatusutilise désormais la pile native d’E/S pour le trafic Amazon S3 et retourne les objetsorg.apache.hadoop.fs.FileStatusà la place deshaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.Auto Loader déduit les colonnes de partition en
singleVariantColumnmode : Auto Loader déduit désormais les colonnes de partition à partir des chemins de fichiers lors de l’ingestion de données sous forme de variante semi-structurée en utilisant cettesingleVariantColumnoption. Auparavant, les colonnes de partition n’ont pas été détectées automatiquement. Voir Chargeur automatique.
Changements de comportement
DESCRIBE CONNECTIONaffiche les paramètres d’environnement pour les connexions JDBC : Azure Databricks inclut désormais des paramètres d’environnement définis par l’utilisateur dans laDESCRIBE CONNECTIONsortie pour les connexions JDBC qui prennent en charge des pilotes personnalisés et s’exécutent isolément. Les autres types de connexion restent inchangés.Option pour tronquer l’historique Uniform lors de la migration des tables gérées : Vous pouvez désormais tronquer l’historique Uniform lors de la migration des tables avec Uniform/Iceberg activé en utilisant
ALTER TABLE...SET MANAGED. Cela simplifie les migrations et réduit les temps d’arrêt par rapport à la désactivation et à la réactivation manuelle d’Uniform.Résultats corrects pour
splitavec regex vide et limite positive : Azure Databricks renvoie désormais les bons résultats lorsqu’on utilisesplit functionavec un regex vide et une limite positive. Précédemment, la fonction a tronqué incorrectement la chaîne restante au lieu de l’inclure dans le dernier élément.Correction de la gestion des erreurs
url_decodeettry_url_decodedans Photon : Dans Photon,try_url_decode()eturl_decode()avecfailOnError = falserenvoient désormaisNULLpour des chaînes encodées URL invalides au lieu de faire échouer la requête.Environnement d’exécution partagé pour les UDTF Python du catalogue Unity : Azure Databricks partage désormais l’environnement d’exécution des fonctions de table définies par l’utilisateur Python (UDTF) provenant du même propriétaire et de la même session Spark. Une clause facultative
STRICT ISOLATIONpermet de désactiver le partage des fonctions de table définies par l’utilisateur ayant des effets secondaires, comme modifier des variables d’environnement ou exécuter du code arbitraire.
Version 17.1
19 août 2025
Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.1.
Nouvelles fonctionnalités
- Réduction de l’utilisation de la mémoire pour les schémas larges dans Photon Writer : Des améliorations ont été apportées au moteur Photon, réduisant significativement la consommation de mémoire pour les schémas larges, en traitant des scénarios qui entraînaient auparavant des erreurs de non-mémoire.
Changements de comportement
Erreur lancée pour contraintes invalides
CHECK: Azure Databricks génère désormais uneAnalysisExceptionsi une expression de contrainteCHECKne peut pas être résolue lors de la validation des contraintes.Le connecteur Pulsar n’expose plus Bouncy Castle : La bibliothèque Bouncy Castle est désormais intégrée dans le connecteur Pulsar pour éviter les conflits de classpath. Par conséquent, les travaux Spark ne peuvent plus accéder aux
org.bouncycastle.*classes à partir du connecteur. Si votre code dépend de Bouncy Castle, installez la bibliothèque manuellement sur l’environnement serverless.Auto Loader utilise par défaut les événements de fichiers si disponible : Auto Loader utilise les événements de fichiers au lieu de la liste des répertoires lorsque le chemin de chargement est un emplacement externe avec les événements de fichier activés. La valeur par défaut
useManagedFileEventsest maintenantif_available(étaitfalse). Cela peut améliorer les performances d’ingestion et journalise un avertissement si les événements de fichier ne sont pas encore activés.Le connecteur Teradata corrige la comparaison de chaînes sensibles aux majuscules : Le connecteur Teradata est désormais par défaut sur
TMODE=ANSI, alignant le comportement de comparaison de chaînes avec Azure Databricks en le rendant sensible aux majuscules. Cette modification est configurable et n’affecte pas les utilisateurs existants, sauf s’ils optent.
Version 4 de l'environnement serverless
13 août 2025
La version 4 de l’environnement est désormais disponible dans vos notebooks et travaux serverless. Cette version de l’environnement inclut les mises à niveau de bibliothèque et les mises à jour d’API. Voir Environnement version 4.
Version 17.0
24 juillet 2025
Cette version de calcul serverless correspond approximativement à Databricks Runtime 17.0.
Nouvelles fonctionnalités
Prise en charge des procédures SQL : Les scripts SQL peuvent désormais être encapsulés dans une procédure stockée comme un actif réutilisable dans Unity Catalog. Vous pouvez créer une procédure à l’aide de la commande CREATE PROCEDURE , puis l’appeler à l’aide de la commande CALL .
Définir une collation par défaut pour les fonctions SQL : L’utilisation de la nouvelle
DEFAULT COLLATIONclause dans la CREATE FUNCTION commande définit la collation par défaut utilisée pourSTRINGles paramètres, le type de retour etSTRINGles lettres littérales dans le corps de la fonction.Prise en charge des expressions de table communes récursives (rCTE) : Azure Databricks prend désormais en charge la navigation de données hiérarchiques à l’aide de expressions de table communes récursives (rCTE). Utilisez un CTE auto-référençant avec
UNION ALLpour suivre la relation récursive.PySpark et Spark Connect prennent désormais en charge les DataFrames
df.mergeIntoAPI : PySpark et Spark Connect prennent désormais en charge l’APIdf.mergeInto.Support
ALL CATALOGSdansSHOWSCHEMAS : LaSHOW SCHEMASsyntaxe est mise à jour pour accepterALL CATALOGS, vous permettant d’itérer tous les catalogues actifs qui prennent en charge les espaces de noms. Les attributs de sortie incluent désormais unecatalogcolonne indiquant le catalogue de l’espace de noms correspondant.Le clustering liquide compacte désormais plus efficacement les vecteurs de suppression : les tables Delta utilisant le clustering liquide appliquent désormais plus efficacement les modifications physiques issues des vecteurs de suppression lors de l’exécution de
OPTIMIZE. Pour plus d’informations, consultez Appliquer des modifications aux fichiers de données Parquet.Autoriser des expressions non déterministes dans les valeurs de colonne
UPDATE/INSERTpour les opérationsMERGE: Azure Databricks permet désormais l’utilisation d’expressions non déterministes dans les valeurs de colonnes mises à jour et insérées pour les opérationsMERGE. Par exemple, vous pouvez maintenant générer des valeurs dynamiques ou aléatoires pour les colonnes à l’aide d’expressions telles querand().Changez les API Python Delta MERGE pour qu’elles retournent DataFrame au lieu de Unity : Les API Python
MERGE(commeDeltaMergeBuilder) renvoient désormais également un DataFrame comme le fait l’API SQL, avec les mêmes résultats.
Changements de comportement
Changement de comportement pour l’option d’inscription du répertoire incrémental Auto Loader : La valeur de l’option Auto
cloudFiles.useIncrementalListingLoader obsolète est désormais définie à une valeur par défaut defalse. Par conséquent, cette modification entraîne Auto Loader à effectuer la liste complète du répertoire chaque fois qu’il est lancé. Databricks recommande de ne pas utiliser cette option. Utilisez plutôt le mode de notification de fichier avec les événements de fichier.CREATE VIEWLes clauses au niveau de la colonne génèrent désormais des erreurs lorsque la clause ne s’appliquerait qu’aux vues matérialisées :CREATE VIEWles commandes qui spécifient une clause au niveau de la colonne uniquement valable pour lesMATERIALIZED VIEWlancent désormais une erreur. Les clauses affectées incluentNOT NULL, les types de données spécifiés,DEFAULTetCOLUMN MASK.
Les cibles de performances serverless sont en disponibilité générale
10 juin 2025
La sélection du paramètre de performances serverless pour les travaux et les pipelines est désormais en disponibilité générale.
Lorsque le paramètre optimisé pour les performances est activé, votre charge de travail est optimisée pour accélérer le démarrage et le temps d’exécution. En cas de désactivation, la charge de travail serverless s’exécute en mode de performances standard, qui est optimisée pour le coût et a une latence de lancement légèrement plus élevée.
Pour plus d’informations, consultez Sélectionner un mode de performances et Sélectionner un mode de performances.
Version 16.4
28 mai 2025
Cette version de calcul serverless correspond approximativement à Databricks Runtime 16.4 LTS.
Changements de comportement
Correction pour respecter les options pour les plans en cache de sources de données : Cette mise à jour garantit que les lectures de table respectent les options définies pour tous les plans de sources de données lorsqu’elles sont mises en cache, et non seulement pour la première lecture de table mise en cache. Auparavant, la lecture de la table de la source de données mettait en cache le premier plan, mais ne tenait pas compte des différentes options dans les requêtes suivantes.
Activer le drapeau pour exiger la matérialisation de la source pour les opérations MERGE : Auparavant, les utilisateurs pouvaient désactiver la matérialisation de la source dans MERGE en définissant
merge.materializeSource.noneLorsque le nouvel indicateur est activé, la matérialisation source est toujours requise et les tentatives de désactivation entraînent une erreur. Databricks prévoit d’activer cet indicateur uniquement pour les clients qui n’ont pas précédemment modifié cette configuration. La plupart des utilisateurs ne doivent donc pas subir de modification du comportement.
Nouvelles fonctionnalités
Auto Loader peut désormais nettoyer les fichiers traités dans le répertoire source : vous pouvez désormais demander à Auto Loader de déplacer ou supprimer automatiquement les fichiers qui ont été traités. Optez pour cette fonctionnalité à l’aide de l’option
cloudFiles.cleanSourceChargeur automatique. Voir Common, souscloudFiles.cleanSource.Prise en charge de l’élargissement de type ajoutée pour le streaming depuis des tables Delta : Cette version ajoute la prise en charge du streaming depuis une table Delta contenant des données de colonne élargies par type, ainsi que le partage d’une table Delta avec l’élargissement de type activé via le partage Delta Databricks vers Databricks. La fonctionnalité d’élargissement de type est actuellement en préversion publique. Consultez Élargissement du type.
Prise en charge de IDENTIFIER désormais disponible dans DBSQL pour les opérations de catalogue : Vous pouvez désormais utiliser la clause
IDENTIFIERlors des opérations de catalogue suivantes :CREATE CATALOGDROP CATALOGCOMMENT ON CATALOGALTER CATALOG
Cette nouvelle syntaxe vous permet de spécifier dynamiquement des noms de catalogue à l’aide de paramètres définis pour ces opérations, ce qui permet des flux de travail SQL plus flexibles et réutilisables. En guise d’exemple de syntaxe, considérez
CREATE CATALOG IDENTIFIER(:param)oùparamest un paramètre fourni pour spécifier un nom de catalogue. Consultez la clause IDENTIFIER.Les expressions collationnées fournissent désormais des alias transitoires autogénérés : les alias autogénérés pour les expressions collationnées intègrent désormais les informations
COLLATEde manière déterministe. Les alias générés automatiquement sont temporaires (instables) et ne doivent pas être pris en compte. Au lieu de cela, en tant que meilleure pratique, utilisezexpression AS aliasde manière cohérente et explicite.Ajout de la prise en charge de l’API de pushdown de filtres pour les sources de données Python : Le calcul sans serveur prend désormais en charge le pushdown de filtres vers les lectures par lots des sources de données Python via une API, similaire à l’interface
SupportsPushDownFilters. Consultez les notes de publication 16.4 LTS.Amélioration du traçage Python UDF : Le traçage Python UDF inclut désormais les trames provenant à la fois du pilote et de l’exécuteur ainsi que des trames client, ce qui donne de meilleurs messages d’erreur qui montrent des détails plus importants et plus pertinents (comme le contenu des lignes des trames à l’intérieur d’une UDF).
UNION/EXCEPT/INTERSECT à l’intérieur d’une vue et EXECUTE IMMEDIATE retournent maintenant des résultats corrects : les requêtes pour des définitions de vues temporaires et persistantes avec des colonnes de niveau supérieur
UNION//EXCEPTINTERSECTsans alias renvoyaient auparavant des résultats incorrects parce queINTERSECTUNION/EXCEPT/ les mots-clés étaient considérés comme des alias. À présent, ces requêtes effectuent correctement l’opération d'ensemble entière.Guide de configuration du plan mis en cache et de migration de la source de données : La lecture à partir d’une table source de fichiers respectera correctement les options de requête (par exemple les délimiteurs). Auparavant, le premier plan de requête a été mis en cache et les modifications d’option suivantes sont ignorées. Pour restaurer le comportement précédent, affectez à
spark.sql.legacy.readFileSourceTableCacheIgnoreOptionsla valeurtrue.Nouvelles fonctions : À partir de cette version, vous pouvez utiliser les fonctionset ou pour agréger les valeurs et au sein d’un groupe.string_agg.
Le mode de performance est désormais configurable sur les travaux sans serveur.
14 avril 2025
Vous pouvez maintenant sélectionner le mode de performance d’un travail serverless à l’aide du paramètre Performance optimisée dans la page des détails du travail. Auparavant, tous les travaux sans serveur étaient optimisés pour les performances. À présent, vous pouvez désactiver le paramètre Optimisé pour les performances afin d'exécuter la charge de travail en mode de performance standard. Le mode performance standard est conçu pour réduire les coûts sur les charges de travail où une latence de lancement légèrement plus élevée est acceptable.
Le mode de performances standard n’est pas pris en charge pour les pipelines continus, les exécutions ponctuelles créées à l’aide du runs/submit point de terminaison ou les tâches d'entrepôt SQL, y compris les vues matérialisées.
Pour plus d’informations sur le mode de performances, consultez Sélectionner un mode de performance.
Version 16.3
9 avril 2025
Cette version de calcul serverless correspond approximativement à Databricks Runtime 16.3.
Changements de comportement
-
*Message d’erreur amélioré lorsqu’une valeur invalide est attribuée à
kafka.sasl.client.callback.handler.class: Cette version inclut un changement pour renvoyer un message d’erreur plus descriptif lorsqu’une valeur invalide est attribuée àkafka.sasl.client.callback.handler.class.
Nouvelles fonctionnalités
La prise en charge de la lecture de l’état est en disponibilité générale : la lecture des informations d’état des requêtes Structured Streaming est désormais disponible pour tous sur les ressources de calcul serverless. Consultez Lire les informations d’état de Structured Streaming.
Rétrogradation du protocole de table Delta désormais généralement disponible avec la protection des points de contrôle :
DROP FEATUREpermet de désactiver les fonctionnalités de table Delta Lake et de rétrograder le protocole de table. Par défaut,DROP FEATUREcrée désormais des points de contrôle protégés pour une expérience de rétrogradation plus optimisée et simplifiée qui ne nécessite pas de temps d’attente ou de troncation d’historique. Consultez Supprimer une fonctionnalité de table Delta Lake et passer à une version antérieure du protocole de table.Écrire des scripts SQL procéduraux basés sur ANSI SQL/PSM (Public Preview) : Vous pouvez désormais utiliser des capacités de script basées sur ANSI SQL/PSM pour écrire de la logique procédurale avec SQL, y compris des instructions de contrôle de flux, des variables locales et la gestion des exceptions. Consultez le script SQL.
Collation par défaut au niveau des tables et des vues : Vous pouvez désormais spécifier une collation par défaut pour les tables et les vues. Cela simplifie la création de tables et de vues où toutes ou la plupart des colonnes partagent le même classement. Voir Classement.
Nouvelles fonctions H3 : Trois nouvelles fonctions H3 ont été ajoutées : h3_try_coverash3, h3_try_coverash3string et h3_try_tessellateaswkb.
Modifier plusieurs colonnes de tableau dans une seule ALTER TABLE instruction : Vous pouvez désormais modifier plusieurs colonnes dans une seule
ALTER TABLEinstruction. Voir la clause ALTER TABLE ... COLUMN.
Version 16.2
13 mars 2025
Cette version de calcul sans serveur correspond approximativement à Databricks Runtime 16.2.
Changements de comportement
Dans Delta Sharing, l’historique des tables est activé par défaut : les partages créés avec la commande
ALTER SHARE <share> ADD TABLE <table>SQL ont désormais le partage d’historique (WITH HISTORY) activé par défaut. Consultez ALTER SHARE.Les instructions SQL d’informations d’identification renvoient une erreur en cas d’incompatibilité de type d’informations d’identification : maintenant, si le type d’informations d’identification spécifié dans une instruction SQL de gestion des informations d’identification ne correspond pas au type de l’argument d’informations d’identification, une erreur est retournée et l’instruction n’est pas exécutée.
Nouvelles fonctionnalités
Utilisez
timestampdiff×tampadddans les expressions de colonnes générées Vous pouvez désormais utiliser les fonctions timestampdiff et timestampadd dans les expressions de colonnes générées par Delta Lake. Consultez Colonnes générées par Delta Lake.La mise à jour de
DESCRIBE TABLErenvoie les métadonnées au format JSON structuré : Vous pouvez désormais utiliser la commandeDESCRIBE TABLE AS JSONpour retourner les métadonnées de la table sous forme de document JSON. La sortie JSON est plus structurée que le rapport lisible par l’homme par défaut et peut être utilisée pour interpréter le schéma d’une table par programmation. Pour plus d’informations, consultez DESCRIBE TABLE AS JSON.Collations insensibles aux espaces de fin : Serverless prend désormais en charge les collations insensibles aux espaces de fin. Par exemple, ces collations traitent
'Hello'et'Hello 'comme identiques. Pour plus d’informations, consultez Classement RTRIM.
Résolution des bogues
-
Amélioration du traitement des clones incrémentals : Cette version inclut une correction pour un cas limite où un clone incrémental
CLONEpourrait recopier des fichiers déjà copiés d’une table source vers une table cible. Consultez Cloner une table sur Azure Databricks.
Paramètre mémoire élevée disponible sur les notebooks serverless (préversion publique)
7 février 2025
Vous pouvez maintenant configurer une taille de mémoire plus élevée pour vos cahiers de calcul et vos charges applicatives sans serveur. Ce paramètre peut être appliqué aux charges de travail de cahier interactives et planifiées.
L’utilisation serverless avec une mémoire élevée a un taux d’émission DBU plus élevé que la mémoire standard.
Pour plus d’informations, consultez Utiliser un calcul sans serveur haute mémoire.
Version 16.1
5 février 2025
Cette version de calcul sans serveur correspond approximativement à Databricks Runtime 16.0 et Databricks Runtime 16.1.
Nouvelles fonctionnalités
-
Prise en charge Avro pour le schéma récursif : Vous pouvez désormais utiliser l’option
recursiveFieldMaxDepthavec lafrom_avrofonction et la source deavrodonnées. Cette option définit la profondeur maximale pour la récursivité du schéma sur la source de données Avro. Consultez Lire et écrire des données Avro en streaming. - Prise en charge élargie de Confluent Schema Registry pour Avro : Serverless prend désormais en charge les références de schéma Avro via Confluent Schema Registry. Consultez S’authentifier auprès d’un registre de schémas Confluent externe.
-
Forcer le reclustering sur les tables avec liquid clustering : Vous pouvez désormais utiliser la syntaxe
OPTIMIZE FULLpour forcer le reclustering de tous les enregistrements dans une table avec liquid clustering activé. Consultez Forcer le regroupement. - Les API Delta pour Python prennent désormais en charge les colonnes d’identité : vous pouvez désormais utiliser les API Delta pour Python afin de créer des tables avec des colonnes d’identité. Consultez les colonnes d’identité.
-
Créez des tables clusterées liquides lors des écritures en streaming : Vous pouvez désormais activer
clusterByle clustering liquide lors de la création de nouvelles tables avec des écritures en streaming structuré. Consultez Activer le clustering liquide. - Prise en charge de la OPTIMIZE clause FULL : Le calcul sans serveur prend désormais en charge la OPTIMIZE clause FULL . Cette clause optimise tous les enregistrements d’une table qui utilise le clustering liquide, y compris les données qui ont pu être précédemment regroupées.
-
Prise en charge de la spécification des options WITH dans INSERT et les références de table : Le calcul sans serveur prend désormais en charge une spécification d’options pour les références de tables et les noms de tables d’une
INSERTinstruction pouvant être utilisée pour contrôler le comportement des sources de données. -
Nouvelles fonctions SQL : Les fonctions SQL suivantes sont désormais disponibles sur le calcul serverless :
- try_url_decode est une version tolérante aux erreurs de url_decode.
-
zeroifnull retourne 0 si l’expression d’entrée de la fonction
zeroifnull()estNULL. -
nullifzero retourne
NULLsi l’entrée est 0 ou son entrée si elle n’est pas 0. - dayname (expr) renvoie l’acronyme anglais de trois lettres pour le jour de la semaine de la date donnée.
- uniform(expr1, expr2 [,seed]) retourne une valeur aléatoire selon une loi de distribution à valeurs indépendantes et identiquement distribuées dans la plage de nombres spécifiée.
-
randstr(length) renvoie une chaîne aléatoire de
lengthcaractères alphanumériques.
-
Activez l’évolution automatique du schéma lors de la fusion des données dans une table Delta : Un support a été ajouté pour le
withSchemaEvolution()membre de laDeltaMergeBuilderclasse. UtilisezwithSchemaEvolution()pour activer l'évolution automatique du schéma lors des opérationsMERGE. Par exemple :mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}. -
La prise en charge des classements dans Apache Spark est disponible en version préliminaire publique : vous pouvez désormais attribuer aux colonnes et expressions de type
STRINGdes classements tenant compte de la langue, insensibles à la casse et aux accents. Ces classements sont utilisés dans les comparaisons de chaînes, le tri, les opérations de regroupement et de nombreuses fonctions de chaîne. Voir Classement. - Le support des collations dans Delta Lake se trouve dans Public Preview : Vous pouvez désormais définir des collations pour les colonnes lors de la création ou de la modification d’une table Delta. ConsultezSupport de classement pour Delta Lake.
-
LITEmode d’allègement de VACUUM est en aperçu public : Vous pouvez désormais utiliserVACUUM table_name LITEpour effectuer une opération de vacuum plus légère qui exploite les métadonnées du journal de transactions Delta. Voir le mode complet et le mode lite et VACUUM. -
Prise en charge de la paramétrisation de la clause
USE CATALOG with IDENTIFIER: la clause IDENTIFIER est désormais prise en charge pour l’instruction USE CATALOG. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre. - COMMENT ON COLUMN prise en charge des tables et des vues : L’instruction COMMENT ON permet désormais de modifier les commentaires pour les colonnes de vue et de table.
- Invocation de paramètre nommé pour plus de fonctions : Les fonctions suivantes prennent en charge l’invocation de paramètres nommés :
-
Le
SYNC METADATAparamètre de la REPAIR TABLE commande est pris en charge par le métastore Hive : vous pouvez désormais utiliser leSYNC METADATAparamètre avec laREPAIR TABLEcommande pour mettre à jour les métadonnées d’une table gérée du métastore Hive. Consultez REPAIR TABLE. -
Intégrité des données améliorée pour les lots compressés Apache Arrow : Pour mieux protéger contre la corruption des données, chaque
LZ4lot compressé Arrow inclut désormais lesLZ4sommes de contrôle du contenu et du bloc. Consultez la description du format de cadre LZ4 .
-
Pilote Oracle JDBC intégré : Le calcul serverless intègre désormais le pilote Oracle JDBC intégré. Si vous utilisez un fichier JAR du pilote JDBC chargé par le client via
DriverManager, vous devez réécrire des scripts pour utiliser explicitement le fichier JAR personnalisé. Sinon, le pilote intégré est utilisé. Ce pilote prend uniquement en charge la Lakehouse Federation. Pour d'autres scénarios, vous devez fournir votre propre pilote. -
Des erreurs plus détaillées pour les tables Delta accessibles avec des chemins : Une nouvelle expérience de message d’erreur pour les tables Delta accessibles via des chemins est désormais disponible. Toutes les exceptions sont désormais transférées à l’utilisateur(-trice). L’exception
DELTA_MISSING_DELTA_TABLEest désormais réservée lorsque les fichiers sous-jacents ne peuvent pas être lus en tant que table Delta.
Changements de comportement
- Changement récent : RStudio hébergé est en fin de vie : avec cette version, le serveur RStudio hébergé sur Databricks est en fin de vie et indisponible sur tout espace de travail Azure Databricks fonctionnant sur un calcul serverless. Pour en savoir plus et voir la liste des alternatives à RStudio, consultez Se connecter à un serveur RStudio hébergé par Databricks.
Changement de rupture : suppression de la prise en charge pour changer
byte,short,intetlongtypes vers des types plus larges : Pour garantir un comportement cohérent entre les tables Delta et Apache Iceberg, les changements de type de données suivants ne peuvent plus être appliqués aux tables avec la fonction d’élargissement de type activée :-
byte,short,intetlongàdecimal. -
byte,short, etintàdouble.
-
Analyse correcte des motifs regex avec négation dans le regroupement imbriqué des caractères : Cette version inclut un changement pour supporter l’analyse correcte des motifs regex avec la négation dans le regroupement imbriqué des caractères. Par exemple,
[^[abc]]sera analysé en tant que « tout caractère qui n’est PAS l’un des « abc ».En outre, le comportement Photon était incohérent avec Spark pour les classes de caractères imbriquées. Les modèles regex contenant des classes de caractères imbriquées n’utilisent plus Photon et utilisent à la place Spark. Une classe de caractères imbriquée est n’importe quel modèle contenant des crochets entre crochets, tels que
[[a-c][1-3]].Améliore la détection des correspondances en double dans Delta Lake
MERGE:MERGEprend désormais en compte les conditions spécifiées dans la clauseWHEN MATCHED. Consultez Faire un upsert dans une table Delta Lake en utilisant la fusion.La
addArtifact()fonctionnalité est désormais cohérente selon les types de calcul : lorsque vous ajoutezaddArtifact(archive = True)une dépendance au calcul serverless, l’archive est automatiquement décompressée.
Résolution des bogues
- Les décalages de fuseau horaire incluent désormais les secondes lorsqu’ils sont sérialisés en CSV, JSON et XML : Les horodatages avec décalages de fuseau horaire incluant les secondes (courants pour les horodatages d’avant 1900) omettaient les secondes lorsqu’ils étaient sérialisés en CSV, JSON et XML. Le formateur d’horodatage par défaut a été corrigé et retourne maintenant les valeurs de décalage correctes pour ces horodatages.
Autres modifications
-
Codes d’erreur renommés pour la source de streaming structuré
cloudFiles: Les codes d’erreur suivants ont été renommés :-
_LEGACY_ERROR_TEMP_DBR_0143est renommé enCF_INCORRECT_STREAM_USAGE. -
_LEGACY_ERROR_TEMP_DBR_0260est renommé enCF_INCORRECT_BATCH_USAGE.
-
Version 15.4
28 octobre 2024
Cette version de calcul serverless correspond approximativement à Databricks Runtime 15.4
Nouvelles fonctionnalités
-
Fonctions de validation UTF-8 : Cette version introduit les fonctions suivantes pour valider les chaînes UTF-8 :
- is_valid_utf8 vérifie si une chaîne est une chaîne UTF-8 valide.
- make_valid_utf8 convertit une chaîne UTF-8 potentiellement invalide en une chaîne UTF-8 valide à l’aide de caractères de substitution.
- validate_utf8 génère une erreur si l’entrée n’est pas une chaîne UTF-8 valide.
-
try_validate_utf8 retourne
NULLsi l’entrée n’est pas une chaîne UTF-8 valide.
- Activez UniForm Iceberg en utilisant ALTER TABLE: Vous pouvez désormais activer UniForm Iceberg sur des tables existantes sans réécrire les fichiers de données. Voir Dans une table existante.
-
fonction try_url_decode : Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée dans une URL. Si la chaîne n’est pas au format correct, la fonction retourne
NULLau lieu de lever une erreur. -
Possibilité pour l’optimiseur de s’appuyer sur des contraintes de clé étrangère non appliquées : Pour améliorer les performances des requêtes, vous pouvez désormais spécifier le mot-clé
RELYpour les contraintesFOREIGN KEYlorsque vous créez ou vous modifiez une table. -
Exécutions de tâches parallélisées pour les écrasations sélectives : Les écrasements sélectifs utilisant
replaceWheredésormais des tâches d’exécution qui suppriment des données et insèrent de nouvelles données en parallèle, améliorant ainsi la performance des requêtes et l’utilisation du cluster. -
Amélioration des performances pour le flux de données de changement avec des écrasations sélectives : Les écrasements sélectifs utilisant
replaceWhereles tables on avec flux de données de changement n’écrivent plus de fichiers de données de changement séparés pour les données insérées. Ces opérations utilisent une colonne masquée_change_typeprésente dans les fichiers de données Parquet sous-jacents pour enregistrer les changements sans amplification d’écriture. -
Latence de requête améliorée pour la
COPY INTOcommande : Cette version inclut un changement qui améliore la latence de requête pour laCOPY INTOcommande. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le stockage d’état RocksDB. Avec ce changement, vous devez constater une amélioration de la durée de démarrage pour les requêtes avec des états volumineux, telles que les requêtes avec un grand nombre de fichiers déjà ingérés. -
Prise en charge de la suppression de la fonctionnalité de table de contraintes CHECK : Vous pouvez désormais supprimer la
checkConstraintsfonctionnalité de table d’une table Delta en utilisantALTER TABLE table_name DROP FEATURE checkConstraints. Consultez Supprimer les contraintes de vérification.
Changements de comportement
Modification de la liaison de schéma pour les vues : Lorsque les types de données dans la requête sous-jacente d’une vue changent par rapport à ceux utilisés lors de la création initiale de la vue, Databricks ne génère plus d’erreurs pour les références à la vue lorsqu’aucun casting sécurisé ne peut être effectué.
Au lieu de cela, l’affichage compense à l’aide de règles de cast régulières dans la mesure du possible. Ce changement permet à Databricks de tolérer les modifications de schéma de table plus facilement.
Interdire la tolérance de la syntaxe
!non documentée pour laNOTen dehors de la logique booléenne : Databricks ne tolérera plus l’utilisation de!comme synonyme deNOTen dehors de la logique booléenne. Ce changement réduit la confusion, s’aligne sur la norme SQL, et rend SQL plus portable. Par exemple :CREATE ... IF ! EXISTS, IS ! NULL,! NULLpropriété colonne ou champ,! INet ! BETWEEN doivent être remplacés par :CREATE ... IF NOT EXISTS,IS NOT NULL,NOT NULLpropriété de colonne ou de champ,NOT INetNOT BETWEEN.L’opérateur de préfixe booléen
!(par exemple,!is_mgrou!(true AND false)) n’est pas affecté par ce changement.Interdire les parties non documentées et non traitées de la syntaxe de définition de colonne dans les vues : Databricks supporte CREATE VIEW avec des colonnes nommées et des commentaires de colonnes.
La spécification des types de colonnes, des contraintes
NOT NULL, ou deDEFAULTa été tolérée dans la syntaxe sans avoir d’effet. Databricks va supprimer cette tolérance de syntaxe. Cela réduira la confusion, s’alignera sur la norme SQL et autorisera des améliorations ultérieures.Gestion cohérente des erreurs pour le décodage Base64 dans Spark et Photon : Cette version modifie la manière dont Photon gère les erreurs de décodage Base64 pour correspondre à la gestion de ces erreurs par Spark. Avant ces modifications, le chemin de génération de code Photon et Spark ne parvenait parfois pas à déclencher des exceptions d’analyse, tandis que l’exécution interprétée par Spark déclenchait correctement
IllegalArgumentExceptionouConversionInvalidInputError. Cette mise à jour garantit que Photon déclenche constamment les mêmes exceptions que Spark pendant les erreurs de décodage Base64, ce qui fournit une gestion des erreurs plus prévisible et fiable.L’ajout d’une contrainte
CHECKsur une colonne invalide renvoie désormais la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION : pour fournir des messages d’erreur plus utiles, dans Databricks Runtime 15.3 et versions ultérieures, une instructionALTER TABLE ADD CONSTRAINTincluant une contrainteCHECKfaisant référence à un nom de colonne invalide renvoie la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, une erreurINTERNAL_ERRORétait retournée.
Le JDK a changé de niveau de JDK 8 à JDK 17
15 août 2024
Le calcul serverless pour les notebooks et les flux de travail a migré du Kit de développement Java (JDK) 8 vers JDK 17 côté serveur. Cette mise à niveau inclut les modifications comportementales suivantes :
Analyse correcte des motifs regex avec négation dans le regroupement imbriqué des caractères : Avec cette mise à jour, Azure Databricks prend désormais en charge l’analyse correcte des motifs regex avec la négation dans le regroupement imbriqué des caractères. Par exemple,
[^[abc]]sera analysé en tant que « tout caractère qui n’est PAS l’un des « abc ».En outre, le comportement Photon était incohérent avec Spark pour les classes de caractères imbriquées. Les modèles regex contenant des classes de caractères imbriquées n’utilisent plus Photon et utilisent à la place Spark. Une classe de caractères imbriquée est n’importe quel modèle contenant des crochets entre crochets, tels que
[[a-c][1-3]].
Version 15.1
23 juillet 2024
Cette version de calcul serverless correspond globalement à Databricks Runtime 15.1
Nouvelles fonctionnalités
Prise en charge de la syntaxe étoile (*) dans la WHERE clause : Vous pouvez désormais utiliser la syntaxe étoile (*) dans la WHERE clause pour référencer toutes les colonnes de la SELECT liste.
Par exemple : SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).
Modifications
Amélioration de la récupération des erreurs pour l’analyse JSON : L’analyseur JSON utilisé pour from_json() et les expressions de chemin JSON récupère désormais plus rapidement après une syntaxe mal formée, ce qui réduit la perte de données.
Lorsque vous rencontrez une syntaxe JSON malformée dans un champ de struct, une valeur de tableau, une clé de carte ou une valeur de carte, l’analyseur JSON retourne désormais NULL uniquement pour le champ, la clé ou l’élément non lisibles. Les champs, clés ou éléments suivants seront correctement analysés. Avant cette modification, l’analyseur JSON a abandonné l’analyse du tableau, du struct ou de la carte et retourné NULL pour le contenu restant.
Version 14.3
15 avril 2024
Il s’agit de la version initiale du calcul sans serveur. Ceci correspond approximativement à Databricks Runtime 14.3 avec certaines modifications qui suppriment la prise en charge de certaines fonctionnalités non serverless et héritées.
Paramètres de configuration Spark pris en charge
Pour automatiser la configuration de Spark sur le calcul serverless, Azure Databricks a supprimé la prise en charge de la définition manuelle de la plupart des configurations Spark. Pour afficher la liste des paramètres de configuration Spark pris en charge, consultez Configurer les propriétés Spark pour les notebooks serverless et les travaux.
Les exécutions de tâches sur un calcul sans serveur échouent si une configuration Spark non prise en charge est définie.
Les fonctions "input_file" sont obsolètes
Les fonctions input_file_name(), input_file_block_length() et input_file_block_start() ont été dépréciées. L’utilisation de ces fonctions est fortement déconseillée.
Utilisez plutôt la colonne de métadonnées de fichier pour récupérer les informations de métadonnées de fichier.
Changements comportementaux
Calcul serverless verison 2024.15 inclut les modifications comportementales suivantes :
-
Correction du bug unhex(hexStr) : lors de l’utilisation de la fonction
unhex(hexStr), hexStr est toujours complété à gauche pour obtenir un nombre entier d’octets. Auparavant, la fonction unhex ignorait le premier demi-octet. Par exemple :unhex('ABC')produit désormaisx'0ABC'au lieu dex'BC'. - Les alias de colonnes auto-générés sont désormais stables : Lorsque le résultat d’une expression est référencé sans alias de colonne spécifié par l’utilisateur, cet alias auto-généré devient stable. Le nouvel algorithme peut entraîner une modification des noms générés automatiquement précédemment utilisés dans les fonctionnalités telles que les vues matérialisées.
-
Les analyses de table avec des champs de type
CHARappliquent désormais systématiquement un remplissage : les tables Delta, certaines tables JDBC et les sources de données externes stockent les données de type CHAR sans remplissage. Lors de la lecture, Azure Databricks remplit désormais les données avec des espaces à la longueur déclarée pour garantir une sémantique correcte. -
Les conversions de BIGINT/DECIMAL vers TIMESTAMP déclenchent une exception pour les valeurs en dépassement : Azure Databricks permet de convertir BIGINT et DECIMAL en TIMESTAMP en traitant la valeur comme le nombre de secondes depuis l’époque Unix. Avant, Azure Databricks aurait retourné des valeurs dépassées, mais désormais, il lève une exception en cas de dépassement de capacité. Utilisez
try_castpour retourner NULL au lieu d’une exception. -
L’exécution UDF de PySpark a été améliorée pour correspondre exactement au comportement de l’exécution UDF sur un calcul dédié : Les changements suivants ont été apportés :
- Les fonctions définies par l’utilisateur avec un type de retour de chaîne ne convertissent plus implicitement les valeurs non-chaînes en chaînes. Avant, les fonctions définies par l’utilisateur avec un type de retour
strappliqueraient un wrapperstr(..)au résultat, quel que soit le type de données réel de la valeur retournée. - Les fonctions définies par l’utilisateur avec types de retour
timestampn’appliquent plus implicitement de conversion de fuseau horaire aux horodatages.
- Les fonctions définies par l’utilisateur avec un type de retour de chaîne ne convertissent plus implicitement les valeurs non-chaînes en chaînes. Avant, les fonctions définies par l’utilisateur avec un type de retour