Partager via

Databricks Runtime 17.3 LTS

Les notes de version suivantes fournissent des informations sur Databricks Runtime 17.3 LTS, propulsé par Apache Spark 4.0.0.

Azure Databricks a publié cette version LTS en octobre 2025.

Nouvelles fonctionnalités et améliorations

EXECUTE IMMEDIATE utilisation d’expressions constantes

Vous pouvez désormais passer des expressions constantes en tant que chaîne SQL et en tant qu’arguments aux marqueurs de paramètres dans EXECUTE IMMEDIATE les instructions.

LIMIT ALL prise en charge des CTE récursives

Vous pouvez maintenant utiliser LIMIT ALL pour supprimer la restriction de taille totale sur les expressions de table courantes récursives (CTEs).

JDK 21 pour le calcul classique (préversion publique)

Java Development Kit (JDK) 21 est en préversion publique pour le calcul classique. Pour l’activer, consultez Créer un cluster avec une version JDK spécifique.

L’ajout de fichiers dans les volumes de catalogue Unity génère le message d'erreur approprié.

Tout code qui tente d’ajouter du contenu à un fichier de volume du catalogue Unity échoue maintenant avec un message d’erreur « Recherche illégale ». Auparavant, elle a échoué avec une erreur « opération non prise en charge » incorrecte.

TABLE prise en charge des arguments pour les UDTF Python dans Unity Catalog

Les fonctions UDTF Python du catalogue Unity prennent désormais en charge TABLE les arguments, permettant aux fonctions d’accepter des tables entières en tant que paramètres d’entrée afin d’effectuer des transformations et des agrégations de données plus complexes sur des jeux de données structurés. Consultez les fonctions de table définies par l’utilisateur Python dans le catalogue Unity. La prise en charge des arguments de table a été rétroportée vers Databricks Runtime 17.2.

st_dump prise en charge des fonctions

Vous pouvez maintenant utiliser la st_dump fonction pour obtenir un tableau contenant les géométries uniques de la géométrie d’entrée. Consultez Fonction st_dump.

Les fonctions d’anneau intérieur polygonal sont désormais prises en charge

Vous pouvez maintenant utiliser les fonctions suivantes pour travailler avec des anneaux intérieurs de polygones :

  • st_numinteriorrings: Obtient le nombre de limites internes (anneaux) d’un polygone. Consultez Fonction st_numinteriorrings.
  • st_interiorringn: Extrayez la n-ième limite interne d’un polygone et retournez-la en tant que chaîne de ligne. Consultez Fonction st_interiorringn.

remote_query fonction à valeur de table (préversion publique)

Vous pouvez maintenant utiliser la remote_query fonction table pour exécuter des requêtes sur des moteurs de base de données distants et retourner des résultats tabulaires. Cette fonction extrait des données à partir de systèmes distants à l’aide d’informations d’identification à partir de connexions du catalogue Unity et prend en charge différentes options de connecteur pour les bases de données SQL et NoSQL. Consultez remote_queryTVF.

Changements comportementaux

input_file_name la fonction n’est plus prise en charge et soumise à une suppression ultérieure

La input_file_name fonction a été déconseillée depuis Databricks Runtime 13.3 LTS, car elle n’est pas fiable. La fonction n’est plus prise en charge dans Databricks Runtime 17.3 LTS et versions ultérieures, car elle n’est pas fiable. Utilisez _metadata.file_name au lieu de cela.

Changement par défaut de la liste incrémentielle du Auto Loader

La valeur par défaut de l’option déconseillée cloudFiles.useIncrementalListing a changé de auto à false. Azure Databricks effectue désormais des listes complètes de répertoires plutôt que des listes incrémentielles pour empêcher les fichiers ignorés en raison de l’ordre non lexicographique. Par exemple, 10-01-2025.csv vient avant 8-01-2025.csv lexicographiquement.

Databricks recommande de migrer vers des événements de fichier pour une découverte de fichiers plus rapide et plus fiable.

Pour conserver le comportement précédent, définissez cloudFiles.useIncrementalListing explicitement sur auto.

Prendre en charge les informations de mise à jour MV/ST dans DESCRIBE EXTENDED AS JSON

Azure Databricks génère désormais une section dans la sortie DESCRIBE EXTENDED AS JSON pour les informations de rafraîchissement des vues matérialisées et des tables de diffusion en continu, y compris la dernière actualisation, le type de rafraîchissement, l’état et la programmation.

Ajouter une colonne de métadonnées à DESCRIBE QUERY et DESCRIBE TABLE

Azure Databricks inclut désormais une colonne de métadonnées dans la sortie de DESCRIBE QUERY et DESCRIBE TABLE pour les métadonnées sémantiques.

Pour DESCRIBE QUERY, lors de la description d’une requête avec des vues de métriques, les métadonnées sémantiques se propagent à travers la requête si les dimensions sont directement référencées et que les mesures utilisent la MEASURE() fonction.

Pour DESCRIBE TABLE, la colonne de métadonnées s’affiche uniquement pour les vues de métriques, et non pour les autres types de tables.

Correction de la conversion de valeurs temporelles dans les littéraux de struct lors de l’utilisation du mode Connexion

En mode Spark Connect, les littéraux de structure TypedLit gèrent désormais correctement les valeurs temporelles au lieu de lever des exceptions. Auparavant, la tentative d’utiliser des valeurs temporelles (telles que des dates ou des horodatages) dans des littéraux de struct entraînerait une exception.

Modifier la précision décimale et la mise à l’échelle vers SYSTEM_DEFAULT en mode connexion

Lorsque vous utilisez le mode Spark Connect en Scala, la précision décimale et l’échelle dans les littéraux de tableau et de carte sont désormais remplacées SYSTEM_DEFAULT par (38, 18). Cette modification affecte uniquement le plan logique (par exemple, la sortie de la commande) et n’affecte pas les résultats de la explain() requête.

Prise en charge des types complexes dans les observations dans le client Scala Spark Connect

Le client Scala Spark Connect prend désormais en charge les types de struct, de mappage et de tableau dans les observations, ce qui met le comportement en ligne avec les clusters dédiés. Auparavant, la tentative d’utilisation de ces types complexes dans les observations entraînerait une exception.

Conserver les valeurs Null dans les littéraux de tableau, de carte et de struct

En mode Spark Connect, les valeurs Null à l’intérieur du tableau, de la carte et des littéraux de struct sont désormais conservées au lieu d’être remplacées par des valeurs par défaut protobuf. Auparavant, les valeurs Null ont été remplacées de manière incorrecte par des valeurs par défaut telles que 0 pour les entiers, les chaînes vides pour les types de chaînes et false pour les types booléens.

Conserver la nullabilité pour les littéraux typés

Le client Scala Spark Connect préserve désormais correctement la nullabilité des types d'array et de map pour les littéraux typés. Auparavant, les éléments de tableau et les valeurs cartographiques étaient toujours traités comme nullables, quelle que soit la définition de type réelle.

Correction de la conversion de classe de cas dans les littéraux de tableau et de mappage

En mode Spark Connect, les littéraux TypedLit de tableau et de mappage gèrent correctement les valeurs de classe de cas au lieu de lever des exceptions. Auparavant, tenter d’utiliser des valeurs de case class dans des littéraux de tableau ou de map entraînait une exception.

Gestion correcte des structs Null lors de la suppression de NullType colonnes

Lors de l’écriture dans des tables Delta, Azure Databricks conserve désormais correctement les valeurs de struct Null lors de la suppression NullType de colonnes du schéma. Auparavant, les structs null ont été incorrectement remplacés par des valeurs de struct non null où tous les champs étaient définis sur null. Par exemple, l’insertion d’une valeur de struct Null serait plus tard lue sous la forme d’un struct avec des champs Null au lieu d’un struct Null.

Gestion améliorée des structs null dans Parquet

Azure Databricks détecte désormais correctement les structs Null lorsque tous les champs de struct demandés sont manquants dans un fichier Parquet, ce qui rend le comportement cohérent entre les lecteurs Photon et non Photon. Auparavant, les lecteurs non-Photon retournaient NULL pour toute la structure au lieu d'une structure avec des champs nuls lors de la lecture de fichiers Parquet où tous les champs demandés étaient manquants, mais d'autres champs étaient présents.

Mettre à niveau aws-msk-iam-auth la bibliothèque pour Kafka

La aws-msk-iam-auth bibliothèque a été mise à niveau vers la version 2.0.1 pour prendre en charge la définition d’un point de terminaison STS (Security Token Service) régional pour l’authentification IAM Managed Streaming pour Apache Kafka (MSK). La nouvelle awsStsRegion option est disponible uniquement lorsque la configuration Spark correspondante est activée. Cette mise à niveau n’introduit aucune modification comportementale pour les charges de travail existantes.

Mises à niveau de la bibliothèque

Bibliothèques Python mises à niveau :

Aucune bibliothèque Python n’a été mise à niveau dans cette version.

Bibliothèques R mises à niveau :

Aucune bibliothèque R n’a été mise à niveau dans cette version.

Bibliothèques Java mises à niveau :

Aucune bibliothèque Java n’a été mise à niveau dans cette version.

Apache Spark

Databricks Runtime 17.3 LTS inclut Apache Spark 4.0.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans la version 17.2, ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • SPARK-44856 Annuler « [SC-195808][python] Améliorer les performances du sérialiseur Python UDTF Arrow »
  • SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Correction de la gestion des valeurs Null dans LiteralValueProtoConverter
  • SPARK-53507 Ajouter des informations sur les changements majeurs aux erreurs
  • SPARK-53574 Correction de l’effacement d’AnalysisContext pendant la résolution des plans imbriqués
  • SPARK-53444 Réexécutez l’exécution immédiate
  • SPARK-53560 Boucle de crash lors de la tentative de réessayer un lot non validé dans Kafka et le déclencheur DisponibleMaintenant
  • SPARK-53127 Activer LIMIT ALL pour remplacer la limite de lignes de récursivité
  • SPARK-53574 Rétablir « [SC-206548] Corriger AnalysisContext étant effacé...
  • SPARK-53674 Gérer les LCA de l’analyseur à passe unique lors de l’attribution d’alias
  • SPARK-53492 Rejeter le second ExecutePlan avec un ID d’opération déjà terminé
  • SPARK-53677 Améliorer la capacité de débogage pour la source de données JDBC quand une requête contient une erreur de syntaxe
  • SPARK-53490 Corriger la conversion Protobuf dans les métriques observées
  • SPARK-53671 Exclure 0-args de l’inférence de @udf type eval
  • SPARK-53592 Revoir la prise en charge vectorielle des UDF avec @udf.
  • SPARK-53654 Retravailler « Prise en charge de la valeur initiale dans la fonction uuid »
  • SPARK-53429 Prise en charge du partitionnement direct dans l’API PySpark DataFrame
  • SPARK-53372 Package d'exécution de test partagé pour LDP
  • SPARK-53574 Correction de l’effacement d’AnalysisContext pendant la résolution des plans imbriqués
  • SPARK-53654 Rétablir "[SC-207022][sql][PYTHON] Prise en charge seed dans la fonction uuid"
  • SPARK-53574 Annuler « [SC-206548] Corriger AnalysisContext étant effacé pendant la résolution de plan imbriqué »
  • SPARK-53559 Corriger les mises à jour des sketches HLL pour utiliser les octets bruts de la clé de collation
  • SPARK-53654 Prise en charge seed dans la fonction uuid
  • SPARK-52449 Créer des types de données pour Expression.Literal.Map/Array facultatif
  • SPARK-53574 Correction de l’effacement d’AnalysisContext pendant la résolution des plans imbriqués
  • SPARK-53625 Propager des colonnes de métadonnées via des projections pour traiter l’incompatibilité ApplyCharTypePadding
  • SPARK-53558 Rétablir « [SC-206544][sql] Afficher le nom complet de la table, y compris le nom du catalogue dans le message d’exception lorsque la table est introuvable »
  • SPARK-53558 Afficher le nom complet de la table, y compris le nom du catalogue dans le message d’exception lorsque la table est introuvable
  • SPARK-53357 Mise à jour vers pandas la version 2.3.2
  • SPARK-52659Message d’erreur modulo trompeur en mode ANSI
  • SPARK-53592 Revenir en arrière sur « [SC-206971][python] Support de la vectorisation UDF pour @udf »
  • SPARK-53592 Rendre @udf compatible avec les UDF vectorisées
  • SPARK-52601 Prise en charge des types primitifs dans TransformingEncoder
  • Spark-53355 correctif numpy 1.x repr dans les tests de type
  • SPARK-53387 Ajouter la prise en charge des Fonctions Tableau Définies par l'Utilisateur (UTDF) Arrow avec PARTITION BY
  • SPARK-52991 Implémenter MERGE INTO avec SCHEMA EVOLUTION pour la source de données V2
  • SPARK-53568 Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
  • SPARK-43579 Optimisation: Mettre en cache le convertisseur entre Arrow et pandas pour un usage ultérieur
  • SPARK-53524 Correction de la conversion de valeur temporelle dans LiteralValueProtoConverter
  • SPARK-53600 Réviser le SessionHolder message de journal de la dernière heure d’accès
  • SPARK-53529 Corriger pyspark la connexion du client pour prendre en charge IPv6
  • SPARK-53537 Ajout de la prise en charge de l’analyse CONTINUE HANDLER
  • SPARK-53623 améliore la lecture des performances des propriétés de table volumineuses
  • SPARK-53523 Les paramètres nommés respectent spark.sql.caseSensitive
  • SPARK-53449 Options simples pour les classes associées à l’analyse de source de données intégrées
  • SPARK-53620 SparkSubmit doit imprimer stacktrace lorsque exitFn est appelé
  • SPARK-53518 Aucune troncation pour catalogString du type défini par l’utilisateur
  • SPARK-53568 Rétablir « [SC-206538][connect][PYTHON] Corriger plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect »
  • SPARK-53602 Amélioration du vidage de profil et correctif de documentation du profileur
  • SPARK-53402 Prise en charge de l'API de partitionnement avec passage direct des jeux de données dans Spark Connect en Scala
  • SPARK-53491 Correction de la mise en forme exponentielle d’inputRowsPerSecond et de processedRowsPerSecond dans les métriques de progression JSON
  • SPARK-53413 Nettoyage de shuffle pour les commandes
  • SPARK-53518 Rétablir « [SC-205989][sql] Aucune troncation pour catalogString du type défini par l’utilisateur »
  • SPARK-53568 Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
  • SPARK-53552 Optimiser la fonction SQL de sous-chaîne
  • SPARK-53527 Améliorer le repli de l'analyzeExistenceDefaultValue
  • SPARK-53584 Améliorer la validation de process_column_param et le docstring des paramètres de colonne
  • SPARK-53498 Référence pyspark/pipelines/cli.py correcte à partir d’un spark-pipelines fichier binaire
  • SPARK-53518 Aucune troncation pour catalogString du type défini par l’utilisateur
  • SPARK-53233 Faire en sorte que le code concernant streaming utilise le nom de package correct
  • SPARK-53598 Vérifier l’existence de numParts avant de lire les propriétés de tables volumineuses
  • SPARK-53372 SDP End to End Testing Suite
  • SPARK-53563 Optimiser : sql_processor en évitant une concaténation de chaîne inefficace
  • SPARK-53323 Activer les tests Spark Connect pour df.asTable() dans Arrow UDTF
  • SPARK-53157 Dissocier les intervalles d’interrogation du pilote et de l’exécuteur
  • SPARK-53555 Correctif : SparkML-connect ne peut pas charger le modèle enregistré SparkML (mode hérité)
  • SPARK-53361 Optimisation de la communication JVM-Python en TWS en regroupant plusieurs clés en un lot de flèches
  • SPARK-53233 Rétablir « [SC-203716][sql][SS][mllib][CONNECT] Assurer que le code lié à streaming utilise le nom de package correct »
  • SPARK-53233 Faire en sorte que le code concernant streaming utilise le nom de package correct
  • SPARK-53525 Segmentation des résultats de Spark Connect ArrowBatch
  • SPARK-53444 Rétablir « [SC-206536][sql] Rework execute immediate »
  • SPARK-53594 Faire respecter le type d'évaluation spécifié par l'utilisateur pour les UDF Arrow
  • SPARK-53444 Réexécutez l’exécution immédiate
  • SPARK-53582 Étendre isExtractable afin qu’il puisse être appliqué sur UnresolvedExtractValue
  • SPARK-53572 Évitez de générer à partir d’ExtractValue.isExtractable
  • SPARK-52346 Corriger l’initialisation du compteur et la logique d’incrémentation pour les réessais de flux
  • SPARK-53561 Intercepter l’exception d’interruption dans TransformWithStateInPySparkStateServer pendant outputStream.flush pour éviter le blocage du worker
  • SPARK-53512 Meilleure unification de DSv2 PushDownUtils
  • SPARK-53459 Utiliser ReadOnlySparkConf dans d’autres endroits
  • SPARK-53549 Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
  • SPARK-53332 Activer StateDataSource avec point de contrôle d’état v2 (option snapshotStartBatchId uniquement)
  • SPARK-53550 Le partitionnement de sortie union doit comparer les attributs canoniques
  • SPARK-53506% Interdire la conversion entre Decimal et float selon la norme ANSI
  • SPARK-52238 Renommer les « définitions » du champ de spécification de pipeline en « bibliothèques »
  • SPARK-53538ExpandExec doit initialiser les projections non sécurisées
  • SPARK-53521 Refactoriser l’expression Star
  • SPARK-53358 Améliorer le message d’erreur d’incompatibilité du type de sortie Python UDTF
  • SPARK-53531 Meilleur message d’erreur pour HadoopRDD.getInputFormat
  • SPARK-53434 La méthode get de ColumnarRow doit également vérifier isNullAt
  • SPARK-53008 Ajouter une validation de routine d’accès aux données UDF OSS SQL
  • SPARK-44856 Améliorer les performances du sérialiseur de flèche UDTF Python
  • SPARK-53488 Mettre à jour CollationTypeCoercion pour qu’il soit compatible avec la logique Analyseur à passe unique
  • SPARK-53029 Prise en charge du forçage du type de retour pour les fonctions de table définies par l'utilisateur (UDTF) Python d'Apache Arrow
  • SPARK-53479 Aligner le comportement de == avec celui du module pandas lors de la comparaison avec un scalaire selon la norme ANSI
  • SPARK-53497/|//|* Interdire la conversion entre Decimal et float selon la norme ANSI.
  • SPARK-53441 Bools |/&/^ None doit échouer sous ANSI
  • SPARK-53474 Ajouter la conf DATA_SOURCE_V2_EXPR_FOLDING
  • SPARK-53333 Activer StateDataSource avec point de contrôle d’état v2 (uniquement readChangeFeed)
  • SPARK-53502 Améliorer le nommage des méthodes dans LiteralValueProtoConverter
  • SPARK-52694 Ajouter une o.a.s.sql.Encoders#udtAPI
  • SPARK-53499 from_arrow_type doit respecter containsNull dans ArrayType
  • SPARK-53515 Supprimer non utilisé private lazy val de SchemaOfCsv/Xml
  • SPARK-53480 Refactoriser le code du gestionnaire Python Arrow
  • SPARK-53481 Créer une classe de file d’attente hybride
  • SPARK-53401 Activer le partitionnement par transmission directe dans l'API DataFrame
  • SPARK-52930 Utiliser DataType.Array/Map pour les littéraux de tableau/carte
  • SPARK-52346 Propager les colonnes de partition depuis la destination pour BatchTableWrite
  • SPARK-53342 Correction du convertisseur de flèches pour gérer plusieurs lots d’enregistrements dans un seul flux IPC
  • SPARK-53421 Propager l’ID de plan logique dans l’analyse SDP
  • SPARK-53408 Supprimer les fonctions inutilisées de QueryCompilationErrors
  • SPARK-53044 Modifier la convention d’alias d’importation des pipelines déclaratifs de « sdp » en « dp »
  • SPARK-53450 Les valeurs Null sont remplies de manière inattendue après la conversion de l’analyse de table hive en relation logique
  • SPARK-53290 Corriger les ruptures de compatibilité descendante des métadonnées
  • SPARK-52982 Interdire la jointure latérale avec les fonctions définies par l’utilisateur Python Arrow
  • SPARK-52851 Supprimer les API publiques pour les flux d’ajout une fois
  • SPARK-52511 Prise en charge du mode exécution sèche dans la commande spark-pipelines
  • SPARK-53290 Rétablir « [SC-204277][sql][CONNECT] Corriger la rupture de compatibilité descendante des métadonnées »
  • SPARK-53290 Corriger les ruptures de compatibilité descendante des métadonnées
  • SPARK-52577 Ajouter des tests pour Pipelines déclaratifs DatasetManager avec le catalogue Hive
  • SPARK-53012 Prise en charge de UDTF Python Arrow dans Spark Connect
  • SPARK-53251 Activer le test de l'API DataFrame avec asTable() pour les fonctions de tableau définies par l'utilisateur en Python
  • SPARK-52432 Limiter DataflowGraphRegistry à la Session
  • SPARK-52853 Empêcher les méthodes PySpark impératives dans les pipelines déclaratifs
  • SPARK-52745 Vérifiez que l'un des éléments schema et columns dans l'interface Table est implémenté et que columns est préférable
  • SPARK-52991 Annuler « [SC-204944][sql] Implémenter MERGE INTO avec SCHEMA EVOLUTION pour la source de données V2 »
  • SPARK-52981 Ajouter la prise en charge des arguments de table pour les UDTF Python Arrow
  • SPARK-53487 Améliorer les commentaires dans NormalizePlan.scala
  • SPARK-52991 Implémenter MERGE INTO avec SCHEMA EVOLUTION pour la source de données V2
  • SPARK-52281 Changez ALTER TABLE ALTER COLUMN TYPE STRING pour ne pas appliquer le classement par défaut si le type de données d’origine était l’instance de StringType
  • SPARK-52759 Lever une exception si le pipeline n’a pas de tables ou de vues persistantes
  • SPARK-51575 Combiner le pushdown de la source de données Python et planifier les workers de lecture
  • SPARK-53359 Correction de la flèche UDTF pour gérer les résultats en tant qu’itérateur
  • SPARK-52757 Renommer le champ « plan » dans DefineFlow en « relation »
  • SPARK-52431 Touches finales sur l’exécuteur de pipelines déclaratifs
  • SPARK-52591 Valider la capacité de streaming des DataFrames retournés par la table SDP et les définitions de flux autonomes
  • SPARK-53030 Support du composant d'écriture Arrow pour le streaming des sources de données Python
  • SPARK-52980 Prise en charge des fonctions de table définies par l’utilisateur Arrow Python
  • SPARK-42841Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2005
  • SPARK-52423 Ajouter un nom de package golang manquant à pipelines.proto
  • SPARK-52409 Utiliser Uniquement PipelineRunEventBuffer dans les tests
  • SPARK-52533 Prise en charge de l’activation uniquement du profileur de pilote
  • SPARK-52716 Supprimer le commentaire du trait de flux et des références
  • SPARK-52348 Ajouter la prise en charge des gestionnaires Spark Connect pour les commandes de pipeline
  • SPARK-52281 Annuler la modification « [SC-198058][sql] Changer ALTER TABLE ALTER COLUMN TYPE STRING pour ne pas appliquer la collation par défaut si le type de données original était une instance de StringType»
  • SPARK-49386 Ajouter des seuils basés sur la mémoire pour un déversement aléatoire
  • SPARK-52281 Changez ALTER TABLE ALTER COLUMN TYPE STRING pour ne pas appliquer le classement par défaut si le type de données d’origine était l’instance de StringType
  • SPARK-53329 Améliorer la gestion des exceptions lors de l’ajout d’artefacts
  • SPARK-52772 Rétablir « [SC-202707][engrm-327][SQL] Gestion incohérente des attributs de table pendant les mises à jour »
  • SPARK-52772 Gestion incohérente des attributs de table pendant les mises à jour
  • SPARK-51739 Valider le schéma Arrow à partir de mapInArrow & mapInPandas & DataSource
  • Comportement du type udf python de test SPARK-53355
  • SPARK-53443 Mettre à jour python vers SPDX-license
  • SPARK-49968 La fonction fractionnée produit des résultats incorrects avec un regex vide et une limite
  • SPARK-52582 Améliorer l’utilisation de la mémoire de l’analyseur XML
  • SPARK-53452from_arrow_type devrait respecter valueContainsNull
  • SPARK-53103 Annuler « [SC-204946][ss] Lever une erreur si le répertoire d’état n’est pas vide au démarrage de la requête »
  • SPARK-53103 Lève une erreur si le répertoire d’état n’est pas vide au démarrage de la requête
  • SPARK-51575 Rétablir « [SC-192406][python] Combiner optimisations de source de données Python et workers de lecture »
  • SPARK-51575 Combiner le pushdown de la source de données Python et planifier les workers de lecture
  • SPARK-53095 Prise en charge de HMS v4.1
  • SPARK-53126 Refactorer SparkErrorUtils#stackTraceToString pour traiter null l’entrée et l’utiliser pour remplacer ExceptionUtils#getStackTrace
  • SPARK-49489 Le client HMS respecte hive.thrift.client.maxmessage.size
  • SPARK-53108 Implémenter la fonction time_diff dans Scala
  • SPARK-45265 Prise en charge du metastore Hive 4.0
  • SPARK-53255 Interdiction org.apache.parquet.Preconditions
  • SPARK-52142 Afficher les contraintes de table dans SHOW CREATE TABLE COMMAND
  • SPARK-52875 Simplifier la traduction d’expressions V2 si l’entrée est pliable indépendante du contexte
  • SPARK-53240 Interdiction com.google.common.collect.(ArrayList)?Multimap
  • SPARK-52875 Revenir à « [SC-201880][sql] Simplifier la traduction d'expressions V2 si l'entrée est indépendante du contexte et pliable »
  • SPARK-52141 Afficher les contraintes dans les commandes DESC
  • SPARK-53386 Prise en charge du paramètre de requête se terminant par des points-virgules dans les connecteurs JDBC
  • SPARK-52875 Simplifier la traduction d’expressions V2 si l’entrée est pliable indépendante du contexte
  • SPARK-53437 L'InterpretUnsafeProjection doit définir Null4Bytes pour le champ YearMonthIntervalType.
  • SPARK-53341 Développer la couverture des "golden tests" sur DECLARE multivariable
  • SPARK-53156 Suivre les métriques de mémoire du pilote lorsque l’application se termine
  • SPARK-52689 Envoyer des métriques DML à V2Write
  • SPARK-52641 Les colonnes clés primaires ne doivent pas être nullables
  • SPARK-48547 Ajouter un indicateur d’inscription pour que SparkSubmit appelle automatiquement System.exit après la sortie de la méthode principale du code utilisateur
  • SPARK-52575 Introduire l’attribut contextIndependentFoldable pour les expressions
  • SPARK-52860 Prendre en charge l’évolution du schéma d’écriture V2 dans InMemoryTable
  • SPARK-53435 Corriger la condition de concurrence dans CachedRDDBuilder
  • SPARK-51987 Expressions DSv2 dans les valeurs par défaut des colonnes lors de l’écriture
  • SPARK-52235 Ajouter un cast implicite aux expressions DefaultValue V2 passées à DSV2
  • SPARK-52236 Normaliser l’analyse des exceptions pour la valeur par défaut
  • SPARK-53294 Activer StateDataSource avec point de contrôle d’état v2 (option batchId uniquement)
  • SPARK-52095 Modifier la table modifier la colonne pour passer V2Expression à DSV2
  • SPARK-53415 Options simples pour les FileFormats intégrés
  • SPARK-53318 Prendre en charge le type temporel via la fonction make_timestamp_ltz()
  • SPARK-53143 Corriger la jointure automatique dans l’API DataFrame : la jointure n’est pas la seule sortie attendue de l’analyseur
  • SPARK-53423 Déplacer toutes les balises associées au programme de résolution à passe unique vers ResolverTag
  • SPARK-52116 Améliorer l’exception pour les valeurs par défaut non déterministes
  • SPARK-51906 Expressions Dsv2 dans alter table ajouter des colonnes
  • SPARK-53403 Améliorer les tests d’ajout/sous-tests sous ANSI
  • SPARK-53418 Prise en charge TimeType dans ColumnAccessor
  • SPARK-52777 Activer la configuration de mode de nettoyage pour le shuffle dans Spark SQL
  • SPARK-52485 Nettoyage du code des pipelines déclaratifs
  • SPARK-53236 Utiliser des constructeurs Java ArrayList au lieu de Lists.newArrayList
  • SPARK-53392 Déplacer la gestion de SpecializedArray vers connect-common
  • SPARK-53176 Le lanceur Spark doit respecter --load-spark-defaults
  • SPARK-53237 Utiliser Java Base64 au lieu d’une org.apache.commons.codec.binary.Base64 instance
  • SPARK-53390 Déclencher une erreur lorsque les booléens avec None sont convertis vers des entiers sous ANSI
  • SPARK-53109 Supporter TIME dans les fonctions make_timestamp_ntz et try_make_timestamp_ntz en Scala
  • SPARK-53393 Désactiver le profileur de mémoire pour les UDFs itérateurs scalaires Apache Arrow
  • Spark-53367 ajouter la conversion de int à décimal pour les UDF d'Arrow
  • SPARK-53365 Unifier le code pour la persistance des configurations dans les vues et les UDFs
  • SPARK-53228 Utiliser des constructeurs Java Map au lieu de Maps.new*HashMap()
  • SPARK-53197 Utiliser java.util.Objects#requireNonNull au lieu de com.google.common.base.Preconditions#checkNotNull
  • SPARK-53216 Passer is*(Blank|Empty) de object SparkStringUtils à trait SparkStringUtils
  • SPARK-53385 Externaliser l'évaluation de l'identificateur
  • SPARK-53384 Refactorisation de la résolution des variables
  • SPARK-53195 Utiliser Java InputStream.readNBytes au lieu de ByteStreams.read
  • SPARK-53205 Prise en charge createParentDirs dans SparkFileUtils
  • SPARK-53196 Utiliser Java OutputStream.nullOutputStream au lieu de ByteStreams.nullOutputStream
  • SPARK-53381 Éviter de créer des collections temporaires dans toCatalystStruct
  • SPARK-53275 Gérer les expressions avec état lors de l’ordre en mode interprété
  • SPARK-51585 Le dialecte Oracle prend en charge les fonctions datetime pushdown
  • SPARK-53200 Utiliser Java Files.newInputStream au lieu de Files.asByteSource().openStream()
  • SPARK-53190 Utiliser Java InputStream.transferTo au lieu de ByteStreams.copy
  • SPARK-53188 Prise en charge de readFully dans SparkStreamUtils et JavaUtils
  • SPARK-53354 Simplifier LiteralValueProtoConverter.toCatalystStruct
  • SPARK-52873 Restreindre davantage lorsque shJ semi/anti jointure peut ignorer les clés dupliquées côté build
  • SPARK-53180 Utiliser Java InputStream.skipNBytes au lieu de ByteStreams.skipFully
  • SPARK-53369 Corriger le message d’erreur pour les UDF avec type de retour CHAR/VARCHAR
  • SPARK-53330 Correction de la fonction flèche UDF avec DayTimeIntervalType (bounds != start/end)
  • SPARK-53366 Appliquer des règles de mise en forme à sql/connect/shims
  • SPARK-53348 Conservez toujours la valeur ANSI lors de la création d’une vue ou supposez-la lors de l’interrogation si elle n’est pas stockée
  • SPARK-53119 Prise en charge de touch dans SparkFileUtils
  • SPARK-52592 Prise en charge de la création d’un ps. Séries d’une ps. Série
  • SPARK-53360 La stratégie unique avec l'idempotence de ConstantFolding ne doit pas être rompue
  • SPARK-53135 Support copyURLToFile dans SparkFileUtils et JavaUtils
  • SPARK-53150 Améliorer list(File|Path)s pour gérer les entrées symboliques, inexistantes ou non-répertoires
  • SPARK-53135 Annuler « [SC-203164][core][SQL] Support copyURLToFile dans SparkFileUtils et JavaUtils »
  • SPARK-53137 Prise en charge dans forceDeleteOnExit, SparkFileUtils et JavaUtils
  • SPARK-53352 Affiner le message d’erreur pour le type de retour non pris en charge
  • SPARK-53353 Échec de la flèche itérateur scalaire UDF avec 0-arg
  • SPARK-53135 Support copyURLToFile dans SparkFileUtils et JavaUtils
  • SPARK-53101 Prise en charge (left|right)Pad dans SparkStringUtils
  • SPARK-53117 Prise en charge moveDirectory, SparkFileUtils et JavaUtils
  • SPARK-53121 Utiliser deleteRecursively au lieu de FileUtils.forceDelete
  • SPARK-53100 Utiliser Java String.substring au lieu de StringUtils.substring
  • SPARK-53092 Interdire org.apache.commons.lang3.SystemUtils
  • SPARK-53328 Améliorer le débogage pour SparkML-connect
  • SPARK-52065 Produire une autre arborescence de plan avec des colonnes de sortie (nom, type de données, nullabilité) dans la journalisation des modifications de plan
  • SPARK-51182 DataFrameWriter doit lever dataPathNotSpecifiedError lorsque le chemin d’accès n’est pas spécifié
  • SPARK-52410 Déprécier PipelineConf et utiliser SqlConf directement
  • SPARK-52852 Supprimer les spark_conf inutilisés dans create_streaming_table
  • SPARK-52714 Supprimer l’argument de commentaire inutilisé dans append_flow décorateur
  • SPARK-52663 Introduire le champ de nom dans les spécifications de pipeline
  • SPARK-53091 Interdiction org.apache.commons.lang3.Strings
  • SPARK-52393 Enregistrement des éléments SQL Graph du pipeline
  • SPARK-52912 Améliorer SparkStringUtils pour la prise en charge de is(Not)?(Blank|Empty)
  • SPARK-53307 Supprimer l’erreur RetriesExceeded des clients Python et Scala Spark Connect
  • SPARK-52346 Pipeline déclaratif DataflowGraph exécution et journalisation des événements
  • SPARK-52877 Améliorer les performances du sérialiseur de flèche UDF Python
  • SPARK-51920 Corriger le type imbriqué/composite dans l’état de valeur pour TWS Python
  • SPARK-52741 Le mode RemoveFiles ShuffleCleanup ne fonctionne pas avec l’exécution non adaptative
  • SPARK-52238 Client Python pour les pipelines déclaratifs
  • SPARK-51926 Ajouter la classe d'erreur INVALID_CONF_VALUE.subXXX aux erreurs de configuration.
  • SPARK-53155 L’agrégation globale inférieure ne doit pas être remplacée par un projet
  • SPARK-52911 Supprimer StringUtils.(split|chop) l’utilisation
  • SPARK-51926 Rétablir « [SC-195096][core][SQL] Ajouter la classe d'erreur INVALID_CONF_VALUE.subXXX aux erreurs de configuration »
  • SPARK-53346 Évitez de créer des collections temporaires dans toCatalystArray/toCatalystMap
  • SPARK-51926 Ajouter la classe d'erreur INVALID_CONF_VALUE.subXXX aux erreurs de configuration.
  • SPARK-53136 tryWithResource &tryInitializeResource ferme la ressource silencieusement
  • SPARK-53132 Prise en charge list(File|Path)s dans SparkFileUtils et JavaUtils
  • SPARK-51896 Ajouter la prise en charge de l’énumération Java pour TypedConfigBuilder
  • SPARK-53311 Faire en sorte que PullOutNonDeterministic utilise des expressions canoniques
  • SPARK-51527 Rendre le niveau de log pour le codegen configurable via SQLConf
  • SPARK-52223 Ajouter SDP Spark Connect Protos
  • SPARK-52283 Création et résolution de pipelines déclaratifs DataflowGraph
  • SPARK-52880 Améliorer toString au JEP-280 lieu de ToStringBuilder
  • SPARK-53284 Ajuster les importations de la configuration Spark dans les tests
  • SPARK-53050 Activer MultiIndex.to_series() pour retourner le struct pour chaque entrée
  • SPARK-52988 Corriger les conditions de course dans la fonction lorsque IF NOT EXISTS est employé
  • SPARK-52874 Prise en charge de o.a.s.util.Pair Java Record
  • SPARK-52710DESCRIBE SCHEMA doit afficher la collation
  • SPARK-49984 Corriger supplementJava(Module|IPv6)Options pour mettre à jour extraJavaOptions uniquement

Prise en charge du pilote ODBC/JDBC d'Azure Databricks

Azure Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez les mises à jour de maintenance de Databricks Runtime.

Environnement du système

  • Système d’exploitation : Ubuntu 24.04.3 LTS
  • Java : Zulu17.58+21-CA
  • Scala : 2.13.16
  • Python : 3.12.3
  • R : 4.4.2
  • Delta Lake : 4.0.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
annotated-types 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flèche 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attributs 24.3.0
commande automatique 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob (service de stockage de blobs Azure) 12.23.0 Azure Storage File Data Lake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 bellesoupe4 4.12.3 black 24.10.0
bleach 6.2.0 clignotant 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certifi 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
cliquez 8.1.7 cloudpickle 3.0.0 comm 0.2.1
contourpy 1.3.1 cryptographie 43.0.3 cycliste 0.11.0
Cython 3.0.12 Kit de développement logiciel Databricks (SDK) 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 décorateur 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 distlib 0.3.9 Conversion de docstring en markdown 0.11
executing 0.8.3 aperçu des facettes 1.1.1 fastapi 0.115.12
validation rapide des schémas JSON (fastjsonschema) 2.21.1 verrou de fichier 3.18.0 outils de police 4.55.3
fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth 2.40.0
google-cloud-core 2.4.3 google-cloud-storage (Stockage dans le cloud de Google) 3.1.0 google-crc32c 1.7.1
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3.7
importlib-metadata 6.6.0 importlib_resources 6.4.0 inflect 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 isoduration 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpointer 3.0.0 jsonschema 4.23.0
spécifications du schéma JSON 2023.7.1 événements Jupyter 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.3 jupyter_core 5.7.2 serveur Jupyter 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 jupyterlab_server 2.27.3 kiwisolver 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
mistune 2.0.4 mlflow-skinny (version légère de mlflow) 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
oauthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
opentelemetry-semantic-conventions 0.53b1 remplace 7.4.0 empaquetage 24,2
Pandas 2.2.3 pandocfilters 1.5.0 parso 0.8.4
pathspec 0.10.3 patsy 1.0.1 pexpect 4.8.0
pillow 11.1.0 pip 25.0.1 platformdirs 3.10.0
plotly 5.24.1 pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 référencement 0.30.2 requests 2.32.3
RFC3339 validateur 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
corde 1.12.0 rpds-py 0.22.3 Rsa 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy (bibliothèque Python pour le calcul scientifique) 1.15.1
seaborn 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
six 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 données en pile 0.2.0 starlette 0.46.2
statsmodels, une bibliothèque Python pour la modélisation statistique 0.14.4 strictyaml 1.7.3 ténacité 9.0.0
terminé 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornade 6.4.2
Traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
unattended-upgrades 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolores 24.11.1 webencodings 0.5.1
websocket-client 1.8.0 c’est quoi le patch 1.0.2 roue 0.45.1
widgetsnbextension 3.6.6 enveloppé 1.17.0 yapf 0.40.2
zipp 3.21.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l'instantané CRAN du gestionnaire de packages en date du 20-03-2025.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 19.0.1 Askpass 1.2.1 assertthat 0.2.1
backports 1.5.0 base 4.4.2 base64enc 0.1-3
bigD 0.3.0 bit 4.6.0 bit 64 4.6.0-1
bitops 1.0-9 objet BLOB 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 balai 1.0.7
bslib 0.9.0 cachemire 1.1.0 callr 3.7.6
caret 7.0-1 cellranger 1.1.0 chron 2.3-62
classe 7.3-22 cli 3.6.5 clipr 0.8.0
horloge 0.7.2 cluster 2.1.6 codetools 0,2-20
espace colorimétrique 2.1-1 commonmark 1.9.5 compilateur 4.4.2
config 0.3.2 En conflit 1.2.0 cpp11 0.5.2
crayon 1.5.3 credentials 2.0.2 friser 6.4.0
data.table 1.17.0 ensembles de données 4.4.2 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digérer 0.6.37
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-16 ellipse 0.3.2 évaluer 1.0.3
fans 1.0.6 couleurs 2.1.2 carte rapide 1.2.0
fontawesome 0.5.3 condamnés 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.5
futur 1.34.0 future.apply 1.11.3 gargle 1.5.2
produits génériques 0.1.4 gert 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 variables globales 0.18.0 colle 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.2
graphisme 4.4.2 grDevices 4.4.2 grid 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
gtable 0.3.6 hardhat 1.4.1 haven 2.5.4
highr 0.11 hms 1.1.3 outils HTML 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 itérateurs 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1,50 étiquetage 0.4.3
plus tard 1.4.1 lattice 0.22-5 lave 1.8.1
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.4
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 méthodes 4.4.2
mgcv 1.9-1 mime 0,13 miniUI 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 modèleur 0.1.11
munsell 0.5.1 nlme 3.1-164 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.3.3 parallèle 4.4.2
parallèlement 1.42.0 pilier 1.11.0 pkgbuild 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 pkgload 1.4.0
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.9 éloge 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.6
prodlim 2024.06.25 profvis 0.4.0 progrès 1.2.3
progressr 0.15.1 promesses 1.3.2 proto 1.0.0
mandataire 0,4-27 p.s. 1.9.0 purrr 1.0.4
R6 2.6.1 ragg 1.3.3 randomForest (algorithme d'apprentissage automatique) 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 réactif 0.4.4
reactR 0.6.1 readr 2.1.5 readxl 1.4.5
recettes 1.2.0 match retour 2.0.0 revanche2 2.1.2
remotes 2.5.0 exemple reproductible 2.1.1 reshape2 1.4.4
rlang 1.1.6 rmarkdown 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-15 RSQLite 2.3.9 rstudioapi 0.17.1
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
écailles 1.3.0 selectr 0,4-2 informations sur la session 1.2.3
forme 1.4.6.1 brillant 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 sparsevctrs 0.3.1
spatial 7.3-17 splines 4.4.2 sqldf 0.4-11
SQUAREM 2021.1 Statistiques 4.4.2 statistiques4 4.4.2
chaine 1.8.7 stringr 1.5.1 survie 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
tcltk 4.4.2 testthat 3.2.3 mise en forme de texte 1.0.0
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 changement d'heure 0.3.0 date-heure 4041.110
tinytex 0.56 outils 4.4.2 tzdb 0.5.0
vérificateur d'URL 1.0.1 Utilise ça 3.1.0 utf8 1.2.6
utilitaires 4.4.2 Identifiant unique universel (UUID) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 Vroom 1.6.5
Waldo 0.6.1 vibrisse 0.4.1 flétrir 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.1.0
fichier ZIP 2.3.2

Bibliothèques Java et Scala installées (version du cluster Scala 2.13)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics ruisseau 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine caféine 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_natif-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone annotations_sujettes_aux_erreurs 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava failureaccess 1.0.2
com.google.guava goyave 33.4.0-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profileur 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-analyseurs 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics annotation des métriques 4.2.30
io.dropwizard.metrics métriques de base 4.2.30
io.dropwizard.metrics metrics-graphite 4.2.30
io.dropwizard.metrics métriques-vérifications de santé 4.2.30
io.dropwizard.metrics metrics-jetty9 4.2.30
io.dropwizard.metrics Metrics-JMX 4.2.30
io.dropwizard.metrics metrics-json 4.2.30
io.dropwizard.metrics metrics-jvm 4.2.30
io.dropwizard.metrics servlets de métriques 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.1.118.Final
io.netty netty-buffer 4.1.118.Final
io.netty netty-codec 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty netty-common 4.1.118.Final
io.netty netty-handler 4.1.118.Final
io.netty netty-handler-proxy 4.1.118.Final
io.netty netty-resolver 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty transport-netty-natif-commun-unix 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx collectionneur 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna jna 5.8.0
net.razorvine conserve 1,5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 18.2.0
org.apache.arrow arrow-memory-core 18.2.0
org.apache.arrow arrow-memory-netty 18.2.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.2.0
org.apache.arrow vecteur-flèche 18.2.0
org.apache.avro Avro 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons commons-math3 3.6.1
org.apache.commons texte commun 1.13.0
org.apache.curator curateur-client 5.7.1
org.apache.curator curator-framework 5.7.1
org.apache.curator créateur de recettes 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches datasketches-memory (mémoire de croquis de données) 3.0.2
org.apache.derby match de derby 10.14.2.0
org.apache.hadoop environnement d'exécution du client Hadoop 3.4.1
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims Composant commun de hive-shims 2.3.10
org.apache.hive.shims programmeur de cales de hive 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy lierre 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.1.1-shaded-protobuf
org.apache.orc orc-format 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce 2.1.1-shaded-protobuf
org.apache.orc orc-shims 2.1.1
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4,26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper gardien de zoo 3.9.3
org.apache.zookeeper zookeeper-jute 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation 9.4.53.v20231009
org.eclipse.jetty jetty-http 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty jetty-plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy 9.4.53.v20231009
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.53.v20231009
org.eclipse.jetty serveur jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty jetty-util 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty jetty-webapp 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-API 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-client 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-common 9.4.53.v20231009
org.eclipse.jetty.websocket serveur websocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de conteneur jersey 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis objenèse 3.3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatible avec scalatest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1,10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly.openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
stax stax-api 1.0.1

Conseil / Astuce

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin de la prise en charge (EoS), consultez les notes de publication des versions de Databricks Runtime ayant atteint la fin de la prise en charge. Les versions d’EoS Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

  • Last updated on