Databricks Runtime 18 LTS

Cette page contient des notes de publication unifiées pour Databricks Runtime 18 LTS, optimisée par Apache Spark 4.1.0. Il répertorie toutes les fonctionnalités, modifications de comportement et correctifs fournis dans le cycle de publication databricks Runtime 18 LTS.

Note

Les déploiements sont réalisés par étapes. Il se peut que votre compte Azure Databricks ne se mette pas à jour pendant plusieurs jours après la date de publication initiale.

À propos des notes de version unifiées

Azure Databricks publie des fonctionnalités de manière incrémentielle tout au long du cycle de publication sans modifier le numéro de version. Au lieu de séparer les pages pour chaque version mineure, toutes les mises à jour apparaissent sur cette page unique en tant qu’entrées obsolètes. Les clusters reçoivent des mises à jour quand ils redémarrent.

Databricks Runtime 18 est la première version à utiliser ce format unifié. Auparavant, chaque version de fonctionnalité (18.0, 18.1, 18.2) avait sa propre page de notes de publication. Ces pages restent disponibles pour référence. Les fonctionnalités qui étaient auparavant publiées sous la forme de versions 18.3 ou ultérieures sont désormais publiées sous la forme de mises à jour datées de Databricks Runtime 18.

À partir de Databricks Runtime 19, les versions Databricks Runtime suivent un cycle de vie allant de la bêta (évaluation précoce) à la GA (développement de fonctionnalités, environ six mois) jusqu’à LTS (support à long terme, trois ans de corrections de stabilité et de sécurité). Étant donné que les versions 18.0 à 18.2 ont été publiées selon le modèle précédent, Databricks Runtime 18 est une version de transition. Il est passé de GA à LTS le 23 juillet 2026, lorsque Databricks Runtime 19 est devenu généralement disponible. Pour plus d’informations sur le cycle de vie complet, consultez Les cycles de vie de prise en charge de Databricks Runtime.


Databricks Runtime 18 : 10 juin 2026

Databricks Runtime 18 est désormais en disponibilité générale. Pour plus d’informations sur le cycle de vie, consultez Les cycles de vie de prise en charge de Databricks Runtime.

Nouvelles fonctionnalités et améliorations

Les fonctionnalités et améliorations suivantes sont disponibles dans cette version.

  • ID de requête de streaming de Spark Declarative Pipelines sur les pipelines Lakeflow : Spark Declarative Pipelines sur les pipelines Lakeflow peuvent désormais définir l’ID de requête en streaming à la demande.
  • Nouvelles fonctions d’adresse IP (Aperçu public) : De nouvelles fonctions SQL sont disponibles pour travailler avec les adresses IPv4 et IPv6 ainsi que les blocs CIDR, notamment ip_host, ip_cidr, ip_prefix_length, ip_version, ip_network, ip_network_last, ip_cidr_contains, ip_as_binary, ip_as_string, et leurs variantes try_* pour un comportement tolérant aux valeurs nulles. Consultez ip_host et les fonctions associées.
  • Repartitionnement de l’état à la demande (Aperçu public) : Le Structured Streaming permet désormais de modifier le nombre de partitions de mélange pour les requêtes avec état sans perdre l’état du point de contrôle. Consultez le répartitionnement d’état à la demande pour les requêtes de flux avec état.

Correctifs et améliorations d’Apache Spark

Cette version inclut les correctifs de bogues suivants et les améliorations apportées à Spark :

  • Correction d’une gestion null incorrecte dans les LEFT OUTER JOIN LATERAL expressions qui contiennent EXPLODE. Auparavant, certaines entrées produisaient des valeurs null incorrectes dans les résultats.
  • Photon reporte maintenant les erreurs dupliquées field_id dans la résolution de schéma Parquet jusqu’à ce que le champ concerné soit accessible. Les requêtes qui ne référencent pas le champ dupliqué réussissent maintenant plutôt que d’échouer au moment de la résolution du schéma.

Databricks Runtime 18 : 8 juin 2026

Correctifs et améliorations d’Apache Spark

Cette version inclut les correctifs de bogues suivants et les améliorations apportées à Spark :

  • NEAREST BY est désormais un type de jointure SQL pris en charge pour les requêtes les plus proches de K.
  • DESCRIBE TABLE ... PARTITION est désormais pris en charge pour les tables de catalogue v2. Auparavant, cette syntaxe était disponible uniquement pour les tables v1.
  • UPDATE les requêtes sur les tables DSv2 incluent désormais les métriques d’opération dans la sortie des requêtes.
  • Les prédicats de partition DSv2 prennent désormais en charge les colonnes de partition imbriquées.
  • Correction d’un bogue dans lequel les requêtes d’agrégation utilisant l’exécution d’agrégation PartialMerge ou Final pouvaient échouer en raison de l’absence d’attributs d’entrée requis.
  • Les tris externes volumineux utilisent désormais une fusion k-way délimitée afin de réduire les erreurs de manque de mémoire lors de spill de données sur disque.

Databricks Runtime 18 : 4 juin 2026

Changements comportementaux

Passez en revue les modifications suivantes, qui prennent effet lorsque les clusters redémarrent sur ce runtime.

  • NATURAL JOIN Correspondance de colonnes insensibles aux majuscules : NATURAL JOIN respecte désormais la spark.sql.caseSensitive configuration (par défaut : false) lors de la mise en relation des colonnes communes entre les côtés gauche et droit de la jonction. Auparavant, la correspondance des colonnes respectait toujours la casse, ce qui empêchait les colonnes ayant la casse pour seule différence (par exemple, ID vs id) d’être reconnues comme des colonnes communes. Cela a entraîné une jointure croisée silencieuse au lieu de l’équijointure attendue. La jointure équivalente USING a déjà géré cette opération correctement. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.naturalJoinCaseSensitiveColumnMatching la valeur true.

Databricks Runtime 18 : 29 mai 2026

  • Déduplication en streaming structuré avec des clés NaN : La déduplication en streaming structuré traite désormais les valeurs NaN (Not-a-Number) qui présentent des motifs de bits différents comme des doublons lorsqu’une colonne double ou float est utilisée comme clé de déduplication. Auparavant, NaN les valeurs avec différentes représentations internes étaient traitées comme distinctes et n’étaient pas dédupliquées.
  • Correction d’un problème où des autorisations de niveau table pouvaient être supprimées des tables de catalogues externes dans Unity Catalog (par exemple, les tables de connexion à Snowflake) lors de l’actualisation des métadonnées, ce qui faisait échouer les requêtes avec des erreurs INSUFFICIENT_PERMISSIONS. Les autorisations sont maintenant conservées lorsque les métadonnées de table étrangère sont actualisées.

Databricks Runtime 18 : 18 mai 2026

Changements comportementaux

Passez en revue les modifications suivantes, qui prennent effet lorsque les clusters redémarrent sur ce runtime.

  • CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE conservent désormais par défaut les commentaires existants sur les colonnes et les tableaux. Auparavant, les commentaires étaient supprimés lors de la recréation d’une table. Les tables et vues gérées adoptent désormais le même comportement que les vues matérialisées et les tables de streaming existantes.
  • Écritures DataFrame par nom : writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() et write.mode("append").saveAsTable() effectuent désormais automatiquement un cast des colonnes de type compatible (par exemple, de int à long) pour qu’elles correspondent au schéma de la table Delta cible. Auparavant, ces opérations ont échoué avec une DELTA_FAILED_TO_MERGE_FIELDS erreur lorsque les types de colonnes étaient compatibles, mais pas identiques. Le comportement correspond maintenant à SQL INSERT INTO ... BY NAME. save() et saveAsTable() en mode d’écrasement ne sont pas affectés.
  • ALTER TABLE SET TBLPROPERTIES pour pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') tente maintenant de rendre la table spécifiée éligible aux écritures par le pipeline. Auparavant, la définition de cette propriété sur une table régulière n’avait aucun effet. Si la table n’est pas admissible aux écritures via pipeline, la commande lève SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.
  • cloud_files_state: La cloud_files_state fonction à valeurs de table (TVF) inclut désormais une discovery_mode colonne montrant comment Auto Loader a découvert chaque fichier. Les fichiers découverts avant la mise à niveau ont une null valeur dans cette colonne.
  • DESCRIBE EXTENDED AS JSON: Inclut désormais les résultats de l’évaluation de l’optimisation prédictive dans sa sortie. Auparavant, ces informations n’étaient pas retournées dans la sortie JSON.
  • Mesures de la fenêtre de vue métrique : renvoient désormais les résultats corrects lorsque les requêtes utilisent GROUP BYdes filtres, IN/BETWEEN ou des prédicats mixtes sur la colonne d’ordre de la fenêtre. Auparavant, ces modèles de filtre pouvaient produire des résultats incorrects.

Nouvelles fonctionnalités et améliorations

Les fonctionnalités et améliorations suivantes sont disponibles dans cette version.

  • Bibliothèques de cluster : Lorsque vous installez des bibliothèques PyPI, des roues ou des fichiers requirements.txt sur un cluster, l’onglet Bibliothèques et l’API REST des Bibliothèques affichent désormais tous les paquets résolus et installés, y compris les dépendances transitives. Pour les installations qui résolvent plus de 500 packages, la liste est tronquée. Le rapport d’installation complet est disponible dans les journaux des pilotes du cluster.
  • array_sort avec des comparateurs personnalisés : Photon accélère array_sort désormais les expressions utilisant des comparateurs personnalisés pour trier des tableaux de structures par un ou plusieurs champs. Auparavant, ces expressions basculaient vers une exécution non-Photon. Pour activer cette optimisation, définissez spark.databricks.photon.rewriteArraySortComparator.enabled sur true.

Correctifs et améliorations d’Apache Spark

Cette version inclut les correctifs de bogues suivants et les améliorations apportées à Spark :

  • Les requêtes SQL prennent désormais en charge une QUALIFY clause, qui vous permet de filtrer les résultats de fonction de fenêtre directement dans la requête. Auparavant, cela nécessitait l’habillage de la requête dans une sous-requête.
  • spark.read.json, spark.read.csv, et spark.read.xml acceptez maintenant un DataFrame en entrée, afin de pouvoir analyser les données en mémoire sans les enregistrer d’abord dans un fichier.
  • DataFrame.changes() est désormais disponible pour la lecture des sorties de capture de données de changement (CDC) via l’API DataFrame.
  • Lorsqu’une colonne DataFrame est référencée à partir du DataFrame incorrect, l’erreur nomme désormais la colonne spécifique. Vous pouvez également définir spark.sql.columnResolution.strict pour que Spark applique une correspondance de colonne plus stricte et intercepte ces erreurs précédemment.
  • MERGE INTO L’évolution du schéma fonctionne désormais correctement lorsque l’instruction inclut WHEN MATCHED THEN DELETE ou fait référence à des colonnes imbriquées par un alias. Auparavant, ces combinaisons pourraient échouer ou produire silencieusement des résultats incorrects.
  • SHOW COLLATIONS Répertorie tous les interclassements pris en charge et leurs propriétés, ce qui est utile lors du choix d’un interclassement pour le tri ou la comparaison de texte.
  • L’optimiseur de requête de Spark estime désormais correctement la quantité de filtres de données à réduire. Des estimations erronées ont auparavant amené Spark à charger entièrement de grandes tables en mémoire lors des jointures, entraînant des erreurs de dépassement de mémoire.
  • Les requêtes avec plusieurs COUNT(DISTINCT) expressions s’exécutent plus rapidement, car Spark réduit désormais les données antérieures dans le plan d’exécution au lieu de les développer en premier.
  • Les fonctions Python définies par l’utilisateur qui utilisent l’optimisation Arrow n’effectuent plus de conversion inutile du format des données, ce qui réduit le surcoût.
  • Les jointures entre flux non externes peuvent désormais produire des résultats en mode de mise à jour, et non plus seulement en mode d’ajout, ce qui leur permet d’écrire vers davantage de destinations de sortie.
  • Les connexions JDBC sont désormais correctement fermées lorsqu’une tâche est annulée. Auparavant, l’annulation pouvait laisser une connexion ouverte, ce qui entraînait le blocage des tâches ultérieures.
  • array_insert ne produit plus de mauvais résultats lorsqu’on lui donne un très grand nombre négatif comme position d’insertion.

Databricks Runtime 18 : 4 mai 2026

Changements comportementaux

Passez en revue les modifications suivantes, qui prennent effet lorsque les clusters redémarrent sur ce runtime.

  • XPath: Lors de l’évaluation de XPath sur XML, Azure Databricks ne charge plus les définitions externes de type de document (DTD). Les requêtes qui ont échoué précédemment uniquement en raison d’une référence DTD externe inaccessible peuvent maintenant réussir.
  • Comportement de la structure NULL avec évolution du schéma : Pour INSERT, MERGE, et les écritures en streaming utilisant l’évolution du schéma, une structure NULL dans la source est désormais stockée comme NULL dans la cible. Auparavant, les structures NULL étaient incorrectement matérialisées comme des structures non NULL dont tous les champs étaient définis sur NULL. Mettez à jour tout code qui reposait sur la réception d’une structure non nulle dont tous les champs sont NULL — ces cas renvoient désormais une structure NULL.
  • NATURAL JOIN: Utilise désormais correctement l’appariement de colonnes sans distinction entre majuscules, lorsque spark.sql.caseSensitive est false (par défaut). Auparavant, les colonnes ayant la casse pour seule différence (par exemple, ID vs id) n’ont pas été reconnues comme correspondantes, ce qui NATURAL JOIN entraîne la production silencieuse de résultats de jointure croisée. Ce correctif aligne le comportement de NATURAL JOIN sur celui des jointures USING.
  • Dépendances AWS SDK v1 : désormais relocalisées et plus directement disponibles sur le classpath. Si votre code dépend des bibliothèques AWS SDK v1 précédemment fournies par Databricks Runtime, ajoutez-les en tant que dépendances explicites dans votre projet.
  • Validation des dépendances SQL UDF dans le catalogue Unity : le catalogue Unity applique désormais la validation des dépendances pour les fonctions SQL définies par l’utilisateur afin d’empêcher le contournement du contrôle d’accès. Les UDF SQL avec des configurations de dépendance non valides sont empêchées de s’exécuter.
  • LEFT OUTER JOIN LATERAL: Un bug qui supprimait incorrectement des lignes a été corrigé. Les requêtes utilisant cette construction retournent désormais des résultats corrects. Pour revenir temporairement au comportement précédent, affectez spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic à true.
  • regr_r2: Traite désormais correctement le premier paramètre comme la variable dépendante. Les requêtes qui s’appuyaient sur le comportement incorrect précédent retournent des résultats différents.
  • Les fonctions hyperboliques : sinh, cosh, tanh, et les fonctions hyperboliques associées retournent Infinity au lieu de générer une erreur de débordement lorsqu’elles reçoivent des valeurs très élevées.
  • asinh et acosh: utilisent désormais l’algorithme fdlibm pour la cohérence entre moteurs. Les résultats peuvent différer légèrement des versions précédentes pour les entrées de cas limites.
  • LIKE correspondance de motifs : gère désormais correctement les caractères Unicode supplémentaires (points de code au-dessus de U+FFFF). Les motifs qui correspondaient auparavant à ces caractères, ou ne correspondaient pas correctement, renvoient désormais des résultats corrects.
  • VOID (NullType) colonnes : les tables Delta supportent désormais les colonnes VOID (NullType). VOID Les colonnes ne sont plus supprimées du schéma de table lors de la lecture. Les écritures ne sont pas affectées.

Nouvelles fonctionnalités et améliorations

Les fonctionnalités et améliorations suivantes sont disponibles dans cette version.

  • CREATE OR REPLACE TEMP TABLE: Désormais pris en charge, vous permettant de créer ou remplacer des tables temporaires dans une seule instruction.
  • agg(): Maintenant disponible comme alias pour la measure() fonction. Les requêtes existantes utilisant measure() continuent de fonctionner sans modification.
  • pyspark.pipelines.testing: Désormais disponible comme alias pratique pour les API dlt.testing.
  • Performances d’énumération d’Auto Loader : Auto Loader utilise désormais une méthode d’énumération plus efficace qui améliore la vitesse d’énumération pour les sources de stockage cloud. Si vos déclencheurs de flux se chevauchent en raison d’opérations de référencement longues, cette optimisation peut entraîner une augmentation des coûts d’API de référencement cloud.
  • DESCRIBE HISTORY indicateurs d’option d’écriture : l’historique des tables Delta (DESCRIBE HISTORY) inclut désormais les indicateurs d’option d’écriture dans operationParameters les opérations pour WRITE et REPLACE TABLE . Les indicateurs n’apparaissent que lorsque true : isDynamicPartitionOverwrite, canOverwriteSchema, canMergeSchema, predicate et isV1WriterSaveAsTableOverwrite.
  • SparkSession.emptyDataFrame: Désormais disponible comme API pratique pour créer un vide DataFrame sans colonnes ni lignes.
  • TIMESTAMP WITH LOCAL TIME ZONE: Désormais pris en charge comme alias de syntaxe SQL pour le type TIMESTAMP_LTZ.
  • to_json sortKeys option : La to_json fonction accepte désormais une sortKeys option pour produire une sortie JSON avec des clés dans l’ordre trié.
  • spark.catalog.*: Les méthodes API ont désormais une parité de fonctionnalités avec leurs commandes DDL équivalentes pour les opérations de catalogue, de schéma et de table.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 20 avril 2026

  • Correction de l’autorité de référence spatiale CRS pour le type GEOMETRY(102100). L'autorité est maintenant signalée comme ESRI:102100 au lieu de EPSG:102100.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 2 avril 2026

  • Amélioration de la gestion des erreurs pour les requêtes écrivant des données dans des tables Delta qui contiennent une VOID colonne (NullType) à l’intérieur d’un type défini par l’utilisateur (UDT).
  • Les connexions de récepteur de streaming JDBC appliquent désormais un délai d’expiration de socket de 30 secondes, une logique de nouvelle tentative avec backoff exponentiel pour les erreurs temporaires (échecs de connexion, blocages, limitation de débit) et une restauration normale sur les connexions interrompues.
  • Correction de l’altération du texte SQL qui s’est produite lors de l’utilisation de caractères Unicode dans des requêtes paramétrables.
  • SHOW CREATE TABLE produit désormais une sortie correcte pour les tables et les vues avec un classement non par défaut.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 11 mars 2026

Changements comportementaux

Passez en revue les modifications suivantes, qui prennent effet lorsque les clusters redémarrent sur ce runtime.

  • Erreurs de métriques d’observation : ne provoquent plus d’échecs d’exécution des requêtes. Auparavant, les erreurs dans OBSERVE les clauses (telles que la division par zéro) pouvaient bloquer ou échouer l’intégralité de la requête. Maintenant, la requête se termine avec succès et l’erreur est déclenchée lorsque vous appelez observation.get.
  • clause FILTER pour MEASURE: les fonctions agrégées MEASURE supportent désormais les clauses FILTER. Auparavant, les filtres étaient ignorés en mode silencieux.
  • DESCRIBE FLOW: La DESCRIBE FLOW commande est désormais disponible. Si vous avez une table nommée flow, utilisez DESCRIBE schema.flow, DESCRIBE TABLE flowou DESCRIBE `flow` avec des backticks.
  • SpatialSQL Boolean set opérations : ST_Difference, ST_Intersection, et ST_Union utilisent une nouvelle implémentation avec les améliorations suivantes :
    • Les géométries d’entrée valides produisent toujours un résultat et ne déclenchent plus d’erreurs.
    • Performances environ 2 fois plus rapides.
    • Les résultats sont normalisés pour une sortie cohérente et comparable.
  • Types d’exceptions pour SQLSTATE : Les types d’exception sont mis à jour pour prendre en charge SQLSTATE. Si votre code analyse les exceptions par chaîne correspondante ou intercepte des types d’exceptions spécifiques, mettez à jour votre logique de gestion des erreurs.
  • Élargissement automatique des types de flux : les lectures en flux sur les tables Delta gèrent automatiquement l’élargissement des types de colonnes. Pour exiger un accusé de réception manuel, définissez spark.databricks.delta.typeWidening.enableStreamingSchemaTracking sur true.

Nouvelles fonctionnalités et améliorations

Les fonctionnalités et améliorations suivantes sont disponibles dans cette version.

  • Événements de fichier Auto Loader par défaut : Auto Loader utilise par défaut les événements de fichier lors d’un chargement depuis un emplacement externe avec les événements de fichier activés, ce qui réduit les opérations de liste et le coût par rapport à la liste des répertoires. Consultez le chargeur automatique avec la vue d’ensemble des événements de fichier. Pour utiliser la liste d’annuaires à la place, définissez useManagedFileEvents sur false.

  • Évolution du schéma avec INSERT: Utilisez la WITH SCHEMA EVOLUTION clause avec les instructions SQL INSERT pour faire évoluer automatiquement le schéma de la table cible lors des opérations d’insertion. Pris en charge pour INSERT INTO, INSERT OVERWRITEet INSERT INTO ... REPLACE. Par exemple:

    INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
    
  • Transactions à plusieurs instructions Delta Sharing : les tables Delta Sharing utilisant des modes de partage par URL présignée ou par jeton cloud présigné prennent en charge les transactions à plusieurs instructions. Lors du premier accès au sein d’une transaction, la version de la table est épinglée et réutilisée pour toutes les lectures suivantes dans la transaction.

  • parse_timestamp: La fonction SQL parse_timestamp analyse les chaînes d’horodatage en utilisant plusieurs motifs, avec la prise en charge du moteur Photon pour de meilleures performances.

  • max_by et min_by avec optionnel limit: Les fonctions agrégées max_by et min_by acceptent désormais un troisième argument limit optionnel (jusqu’à 100 000). Lorsqu’elles sont disponibles, les fonctions renvoient un tableau contenant jusqu’à limit valeurs, ce qui simplifie les requêtes top-K et bottom-K sans recourir à des fonctions de fenêtre ni à des CTE.

  • DATETIMEOFFSET pour Azure Synapse : Le DATETIMEOFFSET type de données est supporté pour les connexions Microsoft Azure Synapse.

  • Commentaires sur les tables Google BigQuery : Les descriptions des tables Google BigQuery sont résolues et exposées sous forme de commentaires de table.

  • IGNORE NULLS / RESPECT NULLS pour array_agg et collect_list: Les array_agg fonctions agrégées et collect_list supportent IGNORE NULLS désormais les clauses et RESPECT NULLS .

  • PIVOT alias : La clause PIVOT prend désormais en charge les alias, vous permettant de renommer les expressions de colonnes pivot dans la sortie.

  • Variables de CURSOR script SQL : Le script SQL prend désormais en charge CURSOR les variables pour itérer un ensemble de résultats de requête ligne par ligne au sein d’un bloc de script.

  • Fonctions d’agrégation mathématique vectorielles : De nouvelles fonctions d’agrégation mathématique vectorielles sont disponibles : vector_avg, vector_sum, vector_norm et vector_normalize. Ces fonctions fonctionnent sur des colonnes vectorielles denses et prennent en charge les charges de travail ML.

  • Trigger.AvailableNow dans les lecteurs de streaming Python : les lecteurs de flux de sources de données Python prennent désormais en charge Trigger.AvailableNow et le contrôle d’admission, permettant un traitement par lot unique de toutes les données disponibles.

  • API de repartition d’état dans PySpark : L’API de repartition d’état pour TransformWithState les opérateurs de streaming est désormais disponible dans PySpark, en plus de Scala. Consultez le répartitionnement d’état à la demande pour les requêtes de flux avec état.

  • applyInPandas correctif de performance : Une régression des performances de 3x dans applyInPandas pour les groupes volumineux a été résolue.


Databricks Runtime 18 : 10 mars 2026

  • Les messages d’erreur des sous-requêtes scalaires utilisés avec EXEC IMMEDIATE maintenant identifient plus clairement la cause spécifique.
  • Correction d’une condition de concurrence dans le compactage du journal des points de contrôle du streaming, pouvant entraîner un comportement non déterministe dans les requêtes Structured Streaming.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 26 février 2026

  • SET METADATA ON COLUMN et UNSET METADATA ON COLUMN des commandes SQL sont désormais disponibles pour gérer les métadonnées sémantiques sur les colonnes des tables du catalogue Unity. Permet SET METADATA ON COLUMN d’attacher des propriétés (display_name, formatet synonyms) aux colonnes. Permet UNSET METADATA ON COLUMN de supprimer les propriétés de métadonnées précédemment définies.
  • DESCRIBE TABLE inclut désormais une metadata colonne affichant les métadonnées sémantiques au niveau de la colonne sous forme de chaîne JSON.
  • Correction d’une erreur lors de l’importation de PySpark dans les environnements Windows, causée par un UnixStreamServer manquant.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 19 février 2026

  • Lorsque vous déduitz le schéma des fichiers Excel, les cellules de chaîne sont désormais déduites en tant que spark StringType, en respectant le type de cellule défini dans Excel. Auparavant, les chaînes avec des valeurs numériques étaient converties automatiquement en types plus étroits comme Long ou Decimal. Mettez à jour le code qui s’appuyait sur le comportement précédent.
  • DataFrame.toJSON()est désormais disponible dans le client Python Spark Connect.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 27 janvier 2026

  • Le chargeur automatique signale désormais batchSizeNumFiles, batchSizeNumBytes et les états de traitement des fichiers (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) comme métriques.
  • INSERT INTO ... BY NAME prend désormais en charge la clause REPLACE WHERE.
  • La propriété spark.sql.xml.legacyXMLParser.enabled de configuration a été renommée spark.sql.legacy.useLegacyXMLParseren . Mettez à jour les configurations de cluster ou de session qui utilisent l’ancien nom.
  • Lorsqu’il spark.task.resource.gpu.amount est supérieur à 1, le serveur de distribution Torch lance désormais un torchrun processus par GPU plutôt que par tâche.
  • [Correctif de sécurité] Mises à jour de sécurité du système d’exploitation.

Databricks Runtime 18 : 15 janvier 2026

Databricks Runtime 18 est désormais entré en phase de développement de nouvelles fonctionnalités, basé sur Apache Spark 4.1.0. Cette version intègre toutes les fonctionnalités, améliorations et correctifs de bogues de toutes les versions précédentes de Databricks Runtime.

Changements comportementaux

Passez en revue les modifications suivantes, qui prennent effet lorsque les clusters redémarrent sur ce runtime.

  • JDK 21 : Databricks Runtime 18 utilise JDK 21 comme kit de développement Java par défaut. JDK 21 est généralement disponible et est une version de support à long terme (LTS). Auparavant, la valeur par défaut était JDK 17. Changements notables :

    • Double.toString() et Float.toString() produisent désormais des représentations de chaînes uniques les plus courtes, qui peuvent différer des sorties JDK 17 dans certains cas limites.
    • Thread.stop(), Thread.suspend() et Thread.resume() lancent maintenant UnsupportedOperationException.
    • Les données de paramètres régionaux mises à jour (CLDR v42) peuvent affecter la date, l’heure et la mise en forme des nombres.

    Si vous rencontrez des problèmes de compatibilité, revenez à JDK 17. Pour plus d’informations sur la configuration des versions JDK, consultez Créer un cluster avec une version JDK spécifique.

  • FSCK REPAIR TABLE: Inclut désormais une étape initiale de réparation des métadonnées avant de vérifier la présence de fichiers de données manquants. La commande fonctionne sur des tables avec des points de contrôle endommagés ou des valeurs de partition non valides.

  • Nullabilité Scala Spark Connect : La nullabilité des types de tableau et de carte est désormais conservée pour les littéraux typés dans le client Scala Spark Connect. Auparavant, les éléments des tableaux et des valeurs des cartes étaient toujours nullables.

  • FSCK REPAIR TABLE DRY RUN: La dataFilePath colonne du FSCK REPAIR TABLE DRY RUN schéma de sortie est désormais nullable pour supporter le signalement de nouveaux types de problèmes lorsque le chemin du fichier de données n’est pas applicable.

  • SHOW TABLES DROPPED: Il respecte désormais correctement la clause LIMIT.

  • Exécution Python UDF : Les UDF Python du catalogue Unity utilisent désormais Apache Arrow comme format d’échange par défaut, améliorant ainsi les performances globales. Dans le cadre de cette modification, TIMESTAMP les valeurs transmises aux fonctions UDF Python ne contiennent plus d'informations sur le fuseau horaire dans l'attribut de l'objet datetimetzinfo. Les valeurs d’horodatage elles-mêmes restent au format UTC, mais les métadonnées de fuseau horaire sont désormais supprimées. Si votre fonction UDF s’appuie sur les informations de fuseau horaire, restaurez-la avec date = date.replace(tzinfo=timezone.utc). Pour plus d’informations, voir Comportement du fuseau horaire des horodatages pour les entrées traitées ligne par ligne.

  • Voyage dans le temps et rétention VACUUM : Azure Databricks bloque désormais les requêtes de voyage dans le temps au-delà du seuil deletedFileRetentionDuration pour toutes les tables. La VACUUM commande ignore l’argument de durée de rétention, sauf lorsque la valeur est de 0 heures. Vous ne pouvez pas définir deletedFileRetentionDuration plus grand que logRetentionDuration ou inversement.

  • BinaryType dans PySpark : Dans PySpark, BinaryType est désormais systématiquement associé à Python bytes. Auparavant, PySpark mappait BinaryType à bytes ou bytearray en fonction du contexte. Pour restaurer l’ancien comportement, définissez spark.sql.execution.pyspark.binaryAsBytes sur false.

  • Structs NULL dans Delta MERGE et UPDATE : désormais conservés comme NULL dans Delta MERGE, UPDATE, et les opérations d’écriture en streaming incluant des conversions de type struct. Auparavant, les structs NULL ont été développés en structs avec des champs NULL.

  • Matérialisation des colonnes de partition : Les tables Delta partitionnées matérialisent désormais les colonnes de partition dans de nouveaux fichiers de données Parquet. Auparavant, les valeurs de partition étaient stockées dans les métadonnées du journal des transactions Delta et reflétées dans les chemins d’accès au répertoire, mais pas écrites en tant que colonnes dans les fichiers Parquet eux-mêmes. Cette modification s’aligne sur le comportement Apache Iceberg et UniForm et peut affecter les charges de travail qui lisent directement les fichiers Parquet écrits par Delta Lake.

  • Fuseau horaire de partition horodatage : Les valeurs de partition horodatage étaient auparavant converties en UTC en utilisant le fuseau horaire de la JVM plutôt que la spark.sql.session.timeZone configuration. Les valeurs de partition d’horodatage sont désormais correctement ajustées à l’aide du paramètre de fuseau horaire de session Spark.

  • DESCRIBE TABLE Colonne métadonnées : La sortie de DESCRIBE TABLE [EXTENDED] maintenant inclut une nouvelle metadata colonne pour tous les types de tables. Cette colonne contient des métadonnées sémantiques (nom d’affichage, format et synonymes) définies sur la table en tant que chaîne JSON.

Nouvelles fonctionnalités et améliorations

Les fonctionnalités et améliorations suivantes sont disponibles dans cette version.

  • Scripts SQL : La fonctionnalité de scripts SQL est désormais disponible de manière générale.
  • Isolement partagé pour les UDF Python du catalogue Unity : Les UDF Python du catalogue Unity avec le même propriétaire peuvent désormais partager par défaut un environnement d’isolation. Cela améliore les performances et réduit l’utilisation de la mémoire en réduisant le nombre d’environnements distincts lancés. Pour garantir qu’une fonction UDF s’exécute toujours dans un environnement entièrement isolé, ajoutez la STRICT ISOLATION clause caractéristique. Consultez l’isolation de l’environnement.
  • Fonctions de fenêtre SQL dans les vues métriques : Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues métriques pour calculer des totaux courants, des classements et d’autres calculs basés sur des fenêtres.
  • Partitions de mélange dynamique en streaming sans état : Vous pouvez désormais modifier le nombre de partitions de mélange dans les requêtes de streaming sans état sans redémarrer la requête.
  • AQE et AOS en streaming sans état : l’exécution adaptative de requêtes (AQE) et le mélange auto-optimisé (AOS) sont désormais pris en charge dans les requêtes en streaming sans état.
  • Marqueurs de paramètres : Vous pouvez désormais utiliser des marqueurs de paramètres nommés (:param) et non nommés (?) pratiquement partout où une valeur littérale du type approprié peut être utilisée. Cela inclut des instructions DDL telles que CREATE VIEW v AS SELECT ? AS c1, des types de colonnes DECIMAL(:p, :s) ou COMMENT ON t IS :comment. Pour plus d’informations, consultez les marqueurs de paramètres .
  • IDENTIFIER clause : La portée de la IDENTIFIER clause, qui envoie des chaînes vers les noms d’objets SQL, a été étendue à presque tous les endroits où un identifiant est autorisé. Pour plus d’informations, consultez la clauseIDENTIFIER.
  • BITMAP_AND_AGG: La bibliothèque BITMAP de fonctions existante inclut désormais une nouvelle fonction BITMAP_AND_AGG.
  • Fonctions Theta Sketch : Vous pouvez désormais utiliser une nouvelle bibliothèque de fonctions pour des opérations de comptage approximatif des éléments distincts et d’ensemble en utilisant Datasketches Theta Sketch. Consultez theta_sketch_agg et les fonctions associées.
  • Fonctions KLL Sketch : Vous pouvez désormais utiliser une nouvelle bibliothèque de fonctions pour le calcul de quantiles approximatif à l’aide de KLL Sketch. Consultez kll_sketch_agg_bigint et les fonctions associées.
  • De nouvelles fonctions géospatiales : st_azimuth, st_boundary, st_closestpoint et st_geogfromewkt sont désormais disponibles.
  • GeometryType et GeographyType: Apache Spark supporte désormais les types natifs GeometryType et GeographyType les types de données dans les API PySpark et Java. Ces types prennent en charge la sérialisation Arrow ainsi que la lecture et l’écriture au format Parquet, et sont distincts des fonctions géospatiales SQL.
  • approx_top_k: La nouvelle fonction d’agrégation approx_top_k renvoie les valeurs approximatives les plus fréquentes de la somme supérieure dans une colonne à l’aide d’un algorithme d’esquisse économe en espace.
  • Pilote JDBC Spark Connect : Apache Spark inclut désormais un pilote JDBC pour Spark Connect, permettant aux clients et outils basés sur JDBC de se connecter à Spark via le protocole Spark Connect.
  • Iterator[pandas.DataFrame] in applyInPandas: DataFrame.applyInPandas accepte désormais une fonction ayant la signature Iterator[pandas.DataFrame], réduisant ainsi la surcharge lors du traitement de grands groupes en traitant les données par lots.
  • Contraintes de vérification : Prennent désormais en charge les comparaisons de valeurs nulles dans l’expression de contrainte.
  • API de repartition d’état pour TransformWithState: Une nouvelle API de repartition d’état est disponible pour les TransformWithState opérateurs de streaming dans Scala, vous permettant de modifier le partitionnement clé des données étatiques lors des redémarrages de requêtes. Consultez le répartitionnement d’état à la demande pour les requêtes de flux avec état.
  • Python 3.14 dans pyspark-connect: pyspark-client et pyspark-connect supporte désormais Python 3.14.

Problèmes connus

  • Le lecteur rapide Apache Avro peut épuiser la mémoire de l’exécuteur lors de tâches de longue durée : dans Databricks Runtime 18 LTS, Apache Avro 1.12.1 active par défaut le lecteur rapide Avro (org.apache.avro.fastread). Son cache de lecture par schéma n’est pas vidé ; ainsi, une JVM s’exécutant longtemps et lisant de nombreux fichiers Avro avec des schémas d’écriture distincts accumule des objets lecteurs dans le tas de l’exécuteur. Cela affecte les tâches de longue durée, comme les tâches Structured Streaming ou les tâches Auto Loader qui utilisent un fichier maxFilesPerTriggervolumineux. Au fil de plusieurs heures, le seuil bas du tas après GC augmente jusqu’à ce que les tâches finissent par échouer avec java.lang.OutOfMemoryError: GC overhead limit exceeded. Databricks Runtime 17.3 et versions antérieures ne sont pas affectées car le lecteur rapide était désactivé par défaut. Cela est suivi en amont dans AVRO-4253.

    Pour contourner cela, désactivez le lecteur rapide Avro en ajoutant -Dorg.apache.avro.fastread=false aux options de la JVM pour le pilote et les exécuteurs dans la configuration Spark de votre cluster. spark.driver.extraJavaOptions et spark.executor.extraJavaOptions contiennent chacun une seule chaîne composée d’éléments séparés par des espaces, donc ajoutez ce drapeau aux options déjà définies au lieu de les remplacer. Par exemple, lorsqu’aucune autre option n’est définie :

    spark.driver.extraJavaOptions -Dorg.apache.avro.fastread=false
    spark.executor.extraJavaOptions -Dorg.apache.avro.fastread=false
    

    Redémarrez le cluster pour que le changement prenne effet.

Mises à niveau de la bibliothèque

  • Bibliothèques de Python mises à niveau :

    • anyio de 4.6.2 à 4.7.0
    • asttokens de 2.0.5 à 3.0.0
    • Mise à jour d'azure-core de la version 1.34.0 à la version 1.37.0
    • azure-mgmt-core de 1.5.0 à 1.6.0
    • azure-storage-blob de 12.23.0 à 12.28.0
    • azure-storage-file-datalake de 12.17.0 à 12.22.0
    • boto3 de 1.36.2 à 1.40.45
    • botocore de 1.36.3 à 1.40.45
    • certifi de 2025.1.31 à 2025.4.26
    • cliquez entre 8.1.7 et 8.1.8
    • chiffrement de 43.0.3 à 44.0.1
    • Cython de 3.0.12 à 3.1.5
    • databricks-sdk de 0.49.0 à 0.67.0
    • Déconseillé de 1.2.13 à 1.2.18
    • exécution de 0.8.3 à 1.2.0
    • fastapi de 0.115.12 à 0.128.0
    • filelock de la version 3.18.0 vers la version 3.17.0
    • google-api-core de 2.20.0 à 2.28.1
    • google-auth de 2.40.0 à 2.47.0
    • google-cloud-core de 2.4.3 à 2.5.0
    • google-cloud-storage de 3.1.0 à 3.7.0
    • google-crc32c de 1.7.1 à 1.8.0
    • google-resumable-media de 2.7.2 à 2.8.0
    • h11 de 0.14.0 à 0.16.0
    • httpcore de 1.0.2 à 1.0.9
    • httpx de 0.27.0 à 0.28.1
    • isodate de 0.6.1 à 0.7.2
    • Jinja2 de 3.1.5 à 3.1.6
    • jupyter-events de 0.10.0 à 0.12.0
    • jupyter-lsp de 2.2.0 à 2.2.5
    • jupyter_server de 2.14.1 à 2.15.0
    • jupyter_server_terminals de 0.4.4 à 0.5.3
    • mistune de 2.0.4 à 3.1.2
    • mlflow-skinny de 3.0.1 à 3.8.1
    • mmh3 de 5.1.0 à 5.2.0
    • msal de 1.32.3 à 1.34.0
    • nbclient de 0.8.0 à 0.10.2
    • nbconvert de 7.16.4 à 7.16.6
    • nodeenv de 1.9.1 à 1.10.0
    • notebook_shim de 0.2.3 à 0.2.4
    • opentelemetry-api de 1.32.1 à 1.39.1
    • opentelemetry-sdk de 1.32.1 à 1.39.1
    • opentelemetry-semantic-conventions de 0.53b1 à 0.60b1
    • platformdirs de 3.10.0 à 4.3.7
    • prometheus_client de 0.21.0 à 0.21.1
    • proto-plus de 1.26.1 à 1.27.0
    • psycopg2 de 2.9.3 à 2.9.11
    • pyarrow de 19.0.1 à 21.0.0
    • Pygments de 2.15.1 à 2.19.1
    • pyiceberg de 0.9.0 à 0.10.0
    • python-lsp-server de 1.12.0 à 1.12.2
    • rope de la version 1.12.0 à la version 1.13.0
    • s3transfer de 0.11.3 à 0.14.0
    • scipy de 1.15.1 à 1.15.3
    • setuptools de 74.0.0 à 78.1.1
    • six de la version 1.16.0 à la version 1.17.0
    • sqlparse de 0.5.3 à 0.5.5
    • stack-data de 0.2.0 à 0.6.3
    • starlette de 0.46.2 à 0.50.0
    • tornado de 6.4.2 à 6.5.1
    • types-python-dateutil de 2.9.0.20241206 à 2.9.0.20251115
    • uvicorn de 0.34.2 à 0.40.0
    • webcolors de 24.11.1 à 25.10.0
  • Bibliothèques R mises à niveau :

    • flèche de 19.0.1 à 22.0.0
    • base de 4.4.2 à 4.5.1
    • BigD de 0.3.0 à 0.3.1
    • broom de 1.0.7 à 1.0.10
    • horloge de la version 0.7.2 à 0.7.3
    • commonmark de 1.9.5 à 2.0.0
    • compilateur de 4.4.2 à 4.5.1
    • informations d’identification de 2.0.2 à 2.0.3
    • curl de 6.4.0 à 7.0.0
    • data.table de 1.17.0 à 1.17.8
    • jeux de données de 4.4.2 à 4.5.1
    • dbplyr de 2.5.0 à 2.5.1
    • devtools de 2.4.5 à 2.4.6
    • diffobj de 0.3.5 à 0.3.6
    • digest de 0.6.37 à 0.6.39
    • downlit de la version 0.4.4 à la version 0.4.5
    • dtplyr de 1.3.1 à 1.3.2
    • évaluer de 1.0.3 à 1.0.5
    • fansi de 1.0.6 à 1.0.7
    • forcats de la version 1.0.0 vers la version 1.0.1
    • fs de 1.6.5 à 1.6.6
    • future de 1.34.0 à 1.68.0
    • future.apply de 1.11.3 à 1.20.0
    • gargle de 1.5.2 à 1.6.0
    • gert de 2.1.4 à 2.2.0
    • ggplot2 de 3.5.1 à 4.0.1
    • gh de 1.4.1 à 1.5.0
    • git2r de 0.35.0 à 0.36.2
    • glmnet de 4.1-8 à 4.1-10
    • googledrive de 2.1.1 à 2.1.2
    • googlesheets4 de 1.1.1 à 1.1.2
    • graphiques de 4.4.2 à 4.5.1
    • grDevices de 4.4.2 à 4.5.1
    • grille comprise entre 4.4.2 et 4.5.1
    • gt de 0.11.1 à 1.1.0
    • Mise à jour de hardhat de la version 1.4.1 à la version 1.4.2
    • haven de la version 2.5.4 vers la version 2.5.5
    • hms de 1.1.3 à 1.1.4
    • httpuv de 1.6.15 à 1.6.16
    • httr2 de 1.1.1 à 1.2.1
    • jsonlite de 1.9.1 à 2.0.0
    • later de la version 1.4.1 vers la version 1.4.4
    • lave de 1.8.1 à 1.8.2
    • listenv de 0.9.1 à 0.10.0
    • magrittr de 2.0.3 à 2.0.4
    • Markdown de 1.13 à 2.0
    • méthodes comprises entre 4.4.2 et 4.5.1
    • miniUI de 0.1.1.1 à 0.1.2
    • mlflow de 2.20.4 à 3.6.0
    • openssl de 2.3.3 à 2.3.4
    • parallèle de 4.4.2 à 4.5.1
    • parallèlement de 1.42.0 à 1.45.1
    • pilier de 1.11.0 à 1.11.1
    • pkgbuild de 1.4.6 à 1.4.8
    • Mise à jour de pkgdown de la version 2.1.1 à la version 2.2.0
    • pkgload de 1.4.0 à 1.4.1
    • pROC de 1.18.5 à 1.19.0.1
    • prodlim de 2024.06.25 à 2025.04.28
    • progressr de 0.15.1 à 0.18.0
    • promesses comprises entre 1.3.2 et 1.5.0
    • ps de 1.9.0 à 1.9.1
    • purrr de 1.0.4 à 1.2.0
    • ragg de 1.3.3 à 1.5.0
    • Rcpp de 1.0.14 à 1.1.0
    • readr de 2.1.5 vers 2.1.6
    • recettes comprises entre 1.2.0 et 1.3.1
    • reshape2 de 1.4.4 à 1.4.5
    • rmarkdown de 2.29 à 2.30
    • roxygen2 de 7.3.2 à 7.3.3
    • rprojroot de 2.0.4 à 2.1.1
    • RSQLite de 2.3.9 à 2.4.4
    • rversions de 2.1.2 à 3.0.0
    • rvest de 1.0.4 à 1.0.5
    • sass de 0.4.9 à 0.4.10
    • va de 1.3.0 à 1.4.0
    • brillant de 1.10.0 à 1.11.1
    • sparklyr de 1.9.1 à 1.9.3
    • SparkR de 4.0.0 à 4.1.0
    • sparsevctrs de 0.3.1 à 0.3.4
    • splines de 4.4.2 à 4.5.1
    • statistiques comprises entre 4.4.2 et 4.5.1
    • stats4 de 4.4.2 à 4.5.1
    • stringr de 1.5.1 à 1.6.0
    • systemfonts de 1.2.1 à 1.3.1
    • tcltk de 4.4.2 à 4.5.1
    • testthat de 3.2.3 à 3.3.0
    • Textshaping de 1.0.0 à 1.0.4
    • timeDate de 4041.110 à 4051.111
    • tinytex de 0,56 à 0,58
    • outils de 4.4.2 à 4.5.1
    • usethis de 3.1.0 à 3.2.1
    • utils de 4.4.2 à 4.5.1
    • V8 de 6.0.2 à 8.0.1
    • vroom de 1.6.5 à 1.6.6
    • waldo de 0.6.1 à 0.6.2
    • xfun de 0,51 à 0,54
    • xml2 de 1.3.8 à 1.5.0
    • zeallot de 0.1.0 à 0.2.0
    • zip de 2.3.2 à 2.3.3
  • Bibliothèques de Java mises à niveau :

    • com.amazonaws.amazon-kinesis-client de 1.12.0 à 1.15.3
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-config de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-core de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-directory de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-ecs de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-efs de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-emr de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-glacier de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-glue de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-iam de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-importexport de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-kms de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-lambda de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-logs de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-rds de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-redshift de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-route53 de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-s3 de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-ses de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-sns de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-sqs de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-ssm de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-sts de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-support de 1.12.638 à 1.12.681
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.638 à 1.12.681
    • com.amazonaws.jmespath-java de 1.12.638 à 1.12.681
    • com.databricks.databricks-sdk-java de 0.27.0 à 0.53.0
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 à 2.18.3
    • com.github.luben.zstd-jni de 1.5.6-10 à 1.5.7-6
    • com.google.flatbuffers.flatbuffers-java de 24.3.25 à 25.2.10
    • com.google.guava.failureaccess de 1.0.2 à 1.0.3
    • com.google.guava.guava de 33.4.0-jre à 33.4.8-jre
    • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 à 12.8.0.jre8
    • commons-cli.commons-cli de 1.9.0 à 1.10.0
    • commons-codec.commons-codec de la version 1.17.2 à la version 1.19.0
    • commons-fileupload.commons-fileupload de 1.5 à 1.6.0
    • commons-io.commons-io de 2.18.0 à 2.21.0
    • dev.ludovic.netlib.arpack de 3.0.3 à 3.0.4
    • dev.ludovic.netlib.blas de 3.0.3 à 3.0.4
    • dev.ludovic.netlib.lapack de 3.0.3 à 3.0.4
    • io.dropwizard.metrics.metrics-annotation de 4.2.30 à 4.2.37
    • io.dropwizard.metrics.metrics-core de 4.2.30 à 4.2.37
    • io.dropwizard.metrics.metrics-graphite de 4.2.30 à 4.2.37
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.30 à 4.2.37
    • io.dropwizard.metrics.metrics-jmx de 4.2.30 à 4.2.37
    • io.dropwizard.metrics.metrics-json de la version 4.2.30 à la version 4.2.37
    • io.dropwizard.metrics.metrics-jvm de 4.2.30 à 4.2.37
    • io.dropwizard.metrics.metrics-servlets de 4.2.30 à 4.2.37
    • io.delta.delta-sharing-client_2.13 de 1.3.10 à 1.3.11
    • io.netty.netty-all de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-buffer de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-codec de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-codec-http de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-codec-http2 de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-codec-socks de la version 4.1.118.Final à la version 4.2.7.Final
    • io.netty.netty-common de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-handler de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-handler-proxy de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-resolver de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-tcnative-boringssl-static de 2.0.70.Final-db-r0-windows-x86_64 à 2.0.74.Final-db-r0-windows-x86_64
    • io.netty.netty-tcnative-classes de 2.0.70.Final à 2.0.74.Final
    • io.netty.netty-transport de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-transport-classes-epoll de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.118.Final à 4.2.7.Final
    • io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 à 4.2.7.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 à 4.2.7.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.118.Final à 4.2.7.Final
    • joda-time.joda-time de 2.13.0 à 2.14.0
    • org.apache.arrow.arrow-format de 18.2.0 à 18.3.0
    • org.apache.arrow.arrow-memory-core de 18.2.0 à 18.3.0
    • org.apache.arrow.arrow-memory-netty de 18.2.0 à 18.3.0
    • org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 à 18.3.0
    • org.apache.arrow.arrow-vector de 18.2.0 à 18.3.0
    • org.apache.avro.avro de 1.12.0 à 1.12.1
    • org.apache.avro.avro-ipc de 1.12.0 à 1.12.1
    • org.apache.avro.avro-mapred de 1.12.0 à 1.12.1
    • org.apache.commons.commons-collections4 de 4.4 à 4.5.0
    • org.apache.commons.commons-compress de 1.27.1 à 1.28.0
    • org.apache.commons.commons-lang3 de 3.17.0 à 3.19.0
    • org.apache.commons.commons-text de 1.13.0 à 1.14.0
    • org.apache.curator.curator-client de 5.7.1 à 5.9.0
    • Mise à jour de org.apache.curator.curator-framework de la version 5.7.1 à la version 5.9.0
    • org.apache.curator.curator-recipes de 5.7.1 à 5.9.0
    • org.apache.datasketches.datasketches-java de 6.1.1 à 6.2.0
    • org.apache.hadoop.hadoop-client-runtime de 3.4.1 à 3.4.2
    • org.apache.orc.orc-core de 2.1.1-shaded-protobuf à 2.2.0-shaded-protobuf
    • org.apache.orc.orc-format de 1.1.0-shaded-protobuf à 1.1.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf à 2.2.0-shaded-protobuf
    • org.apache.orc.orc-shims de 2.1.1 à 2.2.0
    • org.apache.xbean.xbean-asm9-shaded de 4.26 à 4.28
    • org.apache.zookeeper.zookeeper de 3.9.3 à 3.9.4
    • org.apache.zookeeper.zookeeper-jute de 3.9.3 à 3.9.4
    • org.eclipse.jetty.jetty-client de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-http de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-io de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-security de la version 9.4.53.v20231009 à la version 10.0.26
    • org.eclipse.jetty.jetty-server de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-util, de la version 9.4.53.v20231009 à la version 10.0.26
    • org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 à 10.0.26
    • org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 à 10.0.26
    • org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.22.1
    • org.objenesis.objenesis de 3.3 à 3.4
    • org.scala-lang.modules.scala-xml_2.13 de 2.3.0 à 2.4.0

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Environnement du système

  • Système d’exploitation : Ubuntu 24.04.4 LTS
  • Java : Zulu21.42+19-CA
  • Scala : 2.13.16
  • Python : 3.12.3
  • R : 4.5.1
  • Delta Lake : 4.2.0

Bibliothèques Python installées

Cette liste inclut les paquets Python que les paquets système Ubuntu installent, tels que unattended-upgrades et ssh-import-id.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
document annoté 0.0.4 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
flèche 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 attrs 24.3.0 commande automatique 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
azure-storage-file-datalake 12.22.0 Babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 noir 24.10.0 bleach 6.2.0
clignotant 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 cliquez 8.1.8
cloudpickle 3.0.0 comm 0.2.1 contourpy 1.3.1
cryptography 44.0.1 cycler 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-sdk 0.67.0 dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 decorator 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
distlib 0.3.9 docstring-to-markdown 0.11 exécution 1.2.0
facets-overview 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
filelock 3.17.0 fonttools 4.55.3 fqdn 1.5.1
frozenlist 1.5.0 fsspec 2023.5.0 gitdb (base de données Git) 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.47.0
google-cloud-core 2.5.0 google-cloud-storage 3.7.0 google-crc32c 1.8.0
google-resumable-media 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 IDNA 3.7 importlib_metadata 8.5.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.7.2 isoduration 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.2 Jinja2 3.1.6
jiter 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch 1,33 jsonpointer 3.0.0
jsonschema 4.23.0 spécifications du schéma JSON 2023.7.1 événements Jupyter 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
serveur Jupyter 2.15.0 jupyter_server_terminals 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 marshmallow 3.26.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
multidict 6.1.0 mypy-extensions 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 ordinateur portable 7.3.2 notebook_shim 0.2.4
numpy 2.1.3 oauthlib 3.2.2 openai 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-semantic-conventions 0.60b1 orjson 3.11.5 remplace 7.4.0
packaging 24.2 pandas 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 patsy 1.0.1
pexpect 4.8.0 pillow 11.1.0 pip 25.0.1
platformdirs 4.3.7 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.1 prompt-toolkit 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyroaring 1.0.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
serveur LSP pour Python 1.12.2 pytoolconfig 1.2.6 pytz 2024.1
PyYAML 6.0.2 pyzmq 26.2.0 référencement 0.30.2
regex 2024.11.6 requests 2.32.3 requests-toolbelt 1.0.0
RFC3339 validateur 0.1.4 rfc3986-validator 0.1.1 riche 13.9.4
corde 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn 1.6.1 scipy 1.15.3
seaborn 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
shellingham 1.5.4 six 1.17.0 smmap 5.0.0
sniffio 1.3.0 sortedcontainers 2.4.0 soupsieve 2.5
sqlparse 0.5.5 ssh-import-id 5.11 stack-data 0.6.3
starlette 0.50.0 strictyaml 1.7.3 tenacity 9.0.0
terminé 0.17.1 threadpoolctl 3.5.0 tiktoken 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 générateurs de jetons 0.22.2
tomli 2.0.1 tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 typing-inspect 0.9.0 typing_extensions 4.12.2
tzdata 2024.1 ujson 5.10.0 unattended-upgrades 0.1
uri-template 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolores 25.10.0 webencodings 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
chaque fois que 0.7.3 widgetsnbextension 3.6.6 enveloppé 1.17.0
yapf 0.40.2 yarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de packages sur PACKAGES.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 22.0.0 askpass 1.2.1 assertthat 0.2.1
backports 1.5.0 base 4.5.1 base64enc 0.1-3
bigD 0.3.1 bit 4.6.0 bit-64 4.6.0-1
bitops 1.0-9 BLOB 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.10
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
caret 7.0-1 cellranger 1.1.0 chron 2.3-62
class 7.3-22 cli 3.6.5 clipr 0.8.0
horloge 0.7.3 cluster 2.1.6 codetools 0.2-20
commonmark 2.0.0 compiler 4.5.1 config 0.3.2
En conflit 1.2.0 cpp11 0.5.2 crayon 1.5.3
credentials 2.0.3 curl 7.0.0 data.table 1.17.8
datasets 4.5.1 DBI 1.2.3 dbplyr 2.5.1
desc 1.4.3 devtools 2.4.6 diagramme 1.6.5
diffobj 0.3.6 digest 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
ellipse 0.3.2 évaluer 1.0.5 fansi 1.0.7
farver 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
travailleurs forcés 1.0.1 foreach 1.5.2 étranger 0.8-86
fs 1.6.6 future 1.68.0 future.apply 1.20.0
gargle 1.6.0 generics 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
glue 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 graphics 4.5.1 grDevices 4.5.1
réseau 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 hardhat 1.4.2
haven 2.5.5 highr 0.11 hms 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
iterators 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 knitr 1,50
labeling 0.4.3 plus tard 1.4.4 lattice 0.22-5
lava 1.8.2 lifecycle 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
markdown 2.0 MASS 7.3-60.0.1 Matrice 1.6-5
memoise 2.0.1 methods 4.5.1 mgcv 1.9-1
mime 0.13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv 2016.8-1.1 openssl 2.3.4
otel 0.2.0 parallel 4.5.1 parallèlement 1.45.1
pilier 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 praise 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 progress 1.2.3 progressr 0.18.0
promises 1.5.0 prototype 1.0.0 proxy 0,4-27
ps 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 réactif 0.4.4 reactR 0.6.1
readr 2.1.6 readxl 1.4.5 recipes 1.3.1
rematch 2.0.0 rematch2 2.1.2 remotes 2.5.0
reprex 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 sass 0.4.10
scales 1.4.0 selectr 0.4-2 sessioninfo 1.2.3
shape 1.4.6.1 shiny 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spatial 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.5.1 stats4 4.5.1
stringi 1.8.7 stringr 1.6.0 survival 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 mise en forme de texte 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 changement d'heure 0.3.0 timeDate 4051.111
tinytex 0.58 tools 4.5.1 tzdb 0.5.0
Vérificateur d'URL 1.0.1 usethis 3.2.1 utf8 1.2.6
utilitaires 4.5.1 uuid 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.6
waldo 0.6.2 whisker 0.4.1 withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
zip 2.3.3

Bibliothèques Java et Scala installées (version du cluster Scala 2.13)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.clearspring.analytics stream 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value annotations de valeur automatique 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone annotations_sujettes_à_erreurs 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava guava 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 2.0.2
io.delta delta-sharing-client_2.13 1.3.11
io.dropwizard.metrics annotation des métriques 4.2.37
io.dropwizard.metrics metrics-core 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics metrics-healthchecks 4.2.37
io.dropwizard.metrics metrics-jetty10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics metrics-servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx collector 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow compression de flèches 18.3.0
org.apache.arrow arrow-format 18.3.0
org.apache.arrow arrow-memory-core 18.3.0
org.apache.arrow arrow-memory-netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.14.0
org.apache.curator curateur-client 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator créateur de recettes 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api (API de stockage pour Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty jetty-plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty jetty-security 10.0.26
org.eclipse.jetty jetty-server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty jetty-webapp 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatible avec scalatest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1,10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
stax stax-api 1.0.1