Databricks Runtime 16.2 (EoS)

Note

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.2, fonctionnant sur Apache Spark 3.5.2.

Databricks a publié cette version en février 2025.

Changements de comportement

ANALYZE ignore désormais les colonnes qui ont des types non pris en charge

ANALYZE TABLE n’entraîne plus de message d’erreur lors de l’exécution sur une table avec des types non pris en charge, tels que ARRAY ou MAP. Les colonnes non prises en charge sont désormais ignorées automatiquement. Les utilisateurs qui ont implémenté une logique qui s’attend à ce que ces erreurs mettent à jour leur code.

Dans le partage Delta, l’historique des tables est activé par défaut

Les partages créés à l’aide de la commande SQL ALTER SHARE <share> ADD TABLE <table> ont désormais le partage d’historique (WITH HISTORY) activé par défaut. Consultez ALTER SHARE.

Les instructions SQL d’informations d’identification retournent une erreur lorsqu’il existe une incompatibilité de type d’informations d’identification

Avec cette version, si le type d’informations d’identification spécifié dans une instruction SQL de gestion des informations d’identification ne correspond pas au type de l’argument d’informations d’identification, une erreur est retournée et l’instruction n’est pas exécutée. Par exemple, pour l’instruction DROP STORAGE CREDENTIAL 'credential-name', si credential-name n’est pas une information d’identification de stockage, l’instruction échoue avec une erreur.

Cette modification est apportée pour empêcher les erreurs utilisateur. Auparavant, ces instructions s’exécutaient correctement, même si des informations d’identification ne correspondant pas au type spécifié étaient transmises. Par exemple, l’instruction suivante supprime correctement storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Cette modification impacte les déclarations suivantes :

Améliorations et nouvelles fonctionnalités

Créer des applications avec état personnalisées avec transformWithState

Vous pouvez désormais utiliser transformWithState et les API associées pour implémenter des applications avec état personnalisés dans le cadre de requêtes Structured Streaming. Consultez Générer une application avec état personnalisé.

S’authentifier auprès du stockage d’objets cloud avec les informations d’identification du service

Vous pouvez maintenant utiliser les identifiants du service Databricks pour vous authentifier au stockage d’objets cloud avec Auto Loader. Consultez Configurer des flux de chargeur automatique en mode de notification de fichier.

L'accès géré par Unity Catalog aux services cloud externes à l'aide des accréditations de service est désormais en disponibilité générale.

Les informations d'identification du service permettent une authentification simple et sécurisée avec les services de votre locataire cloud à partir de Azure Databricks. Avec Databricks Runtime 16.2, les informations d’identification du service sont désormais disponibles de manière générale et prennent maintenant en charge le SDK Scala, en plus du SDK Python pris en charge dans la version préliminaire publique. Consultez Créer des informations d’identification de service.

Les notebooks sont pris en charge en tant que fichiers d’espace de travail

Dans Databricks Runtime 16.2 et versions ultérieures, les notebooks sont pris en charge en tant que fichiers d'espace de travail. Vous pouvez désormais interagir par programmation avec des notebooks à partir de n’importe où le système de fichiers d’espace de travail est disponible, notamment l’écriture, la lecture et la suppression de blocs-notes comme n’importe quel autre fichier. Pour plus d’informations, consultez Créer, mettre à jour et supprimer des fichiers et des répertoires par programmation.

Utiliser le timestampdiff & timestampadd dans les expressions de colonne générées

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez utiliser les fonctions timestampdiff et timestampadd dans les expressions de colonne générées par Delta Lake. Consultez Colonnes générées par Delta Lake.

Prise en charge de la syntaxe de pipeline SQL

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez composer des pipelines SQL. Un pipeline SQL structure une requête standard, telle que SELECT c2 FROM T WHERE c1 = 5, dans une séquence pas à pas, comme illustré dans l’exemple suivant :

FROM T
|> SELECT c2
|> WHERE c1 = 5

Pour en savoir plus sur la syntaxe prise en charge pour les pipelines SQL, consultez Syntaxe des pipelines SQL.

Pour plus d'informations sur cette extension inter-industries, consultez SQL a des problèmes. Nous pouvons les corriger : syntaxe en pipe dans SQL (par Google Research).

Effectuer une requête HTTP à l’aide de la http_request fonction

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez créer des connexions HTTP et effectuer des requêtes HTTP à l’aide de la fonction http_request .

La mise à jour vers DESCRIBE TABLE retourne des métadonnées en tant que JSON structuré

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez utiliser la commande DESCRIBE TABLE AS JSON pour retourner les métadonnées de table en tant que document JSON. La sortie JSON est plus structurée que le rapport lisible par l’homme par défaut et peut être utilisée pour interpréter le schéma d’une table par programmation. Pour en savoir plus, consultez DESCRIBE TABLE AS JSON.

Collations insensibles aux espaces finaux

Databricks Runtime 16.2 prend désormais en charge les classements insensibles aux espaces finaux, en complément de la prise en charge des classements introduite dans Databricks Runtime 16.1. Par exemple, ces collations traitent 'Hello' et 'Hello ' comme identiques. Pour plus d’informations, consultez Classement RTRIM.

Convertir des tables Apache Iceberg avec partitionnement par hachage en tables Delta non partitionnées

Les instructions CONVERT TO DELTA et CREATE TABLE CLONE prennent désormais en charge la conversion d’une table Apache Iceberg avec partitionnement par compartiments en une table Delta non partitionnée.

Le calcul du mode d’accès standard (anciennement mode d’accès partagé) prend désormais en charge les méthodes foreachSpark Scala, foreachBatchet flatMapGroupsWithState

Dans Databricks Runtime 16.2 et versions ultérieures, le calcul en mode d’accès standard prend désormais en charge les méthodes DataStreamWriter.foreachBatch Scala et KeyValueGroupedDataset.flatMapGroupsWithState. Dans Databricks Runtime 16.1 et versions ultérieures, le calcul en mode d’accès standard prend désormais en charge la méthode DataStreamWriter.foreachScala.

Résolution des bogues

Amélioration du traitement du clone incrémentiel

Cette version inclut un correctif pour un cas limite où un CLONE incrémentiel pourrait recopier des fichiers déjà transférés d'une table source vers une table cible. Consultez Cloner une table sur Azure Databricks.

Mises à niveau de la bibliothèque

  • Bibliothèques de Python mises à niveau :
  • Bibliothèques R mises à niveau :
  • Bibliothèques de Java mises à niveau :
    • org.json4s.json4s-ast_2.12 de 3.7.0-M11 à 4.0.7
    • org.json4s.json4s-core_2.12 de 3.7.0-M11 à 4.0.7
    • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 à 4.0.7
    • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 à 4.0.7

Apache Spark

Databricks Runtime 16.2 inclut Apache Spark 3.5.2. Cette version inclut tous les correctifs spark et toutes les améliorations inclus dans Databricks Runtime 16.1 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

  • [SPARK-49966] Annulation de “[SC-179501][sql] Utilisation de Invoke pour implémenter JsonToStructs(from_json)"
  • [SPARK-50904] [SC-186976][sql] Correction du parcours d’expression de classement dans l’exécution des requêtes
  • [SPARK-49666] [SQL] Activer les tests de découpage pour l’expression InSet
  • [SPARK-50669] [SC-184566][es-1327450][SQL] Modifier la signature de l’expression TimestampAdd
  • [SPARK-50795] [16.x][sc-186719][SQL] Stockage des horodatages sous forme de type long dans describe LinkedHashMap
  • [SPARK-50870] [SC-186950][sql] Ajouter le fuseau horaire lors de la conversion en horodatage dans V2ScanRelationPushDown
  • [SPARK-50735] [SC-186944][connect] Les échecs dans ExecuteResponseObserver entraînent des demandes de reattachement infinies
  • [SPARK-50522] [SC-186500][sql] Prise en charge du classement indéterminé
  • [SPARK-50525] [SC-186058][sql] Définir la règle d'optimisation InsertMapSortInRepartitionExpressions
  • [SPARK-50679] [SC-184572][sql] Les expressions communes dupliquées dans différentes WITH ne doivent être projetées qu’une seule fois
  • [SPARK-50847] [SC-186916] [SQL] Empêcher ApplyCharTypePadding de s’appliquer sur des expressions In spécifiques
  • [SPARK-50714] [SC-186786][sql][SS] Activer l’évolution du schéma pour TransformWithState lorsque l’encodage Avro est utilisé
  • [SPARK-50795] [SC-186390][sql] Affichage de toutes les dates DESCRIBE AS JSON au format ISO-8601 et des types sous forme de dataType.simpleString
  • [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick : Améliorer la contrainte de type et la vérification des limites pour la fonction UNIFORM SQL
  • [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog prend en charge la valeur magique builtin
  • [SPARK-50831] [SC-186736][sql] Activer la suppression de collation par défaut
  • [SPARK-50263] [SC-186793][connect] Remplacer System.currentTimeMillis par System.nanoTime
  • [SPARK-48730] [SC-184926][sql] Implémenter CreateSQLFunctionCommand pour les fonctions scalaires et de table SQL
  • [SPARK-50830] [SC-186718] [SQL] Renvoyer un résultat d'analyse en une seule passe comme résultat d'analyse à double passe
  • [SPARK-50707] [SC-186098][sql] Activer la conversion vers/à partir de char/varchar
  • [SPARK-49490] [SC-182137][sql] Ajouter des benchmarks pour initCap
  • [SPARK-50529] [SC-184535][sql] Modifier le comportement char/varchar sous la spark.sql.preserveCharVarcharTypeInfo configuration
  • [SPARK-49632] [SC-184179][sql] Supprimer la suggestion de configuration ANSI dans CANNOT_PARSE_TIMESTAMP
  • [SPARK-50815] [SC-186487][python][SQL] Correction du bogue où le passage de variantes null dans createDataFrame provoque l’échec et l’ajout de la prise en charge de Variant dans createDataFrame dans Spark Connect
  • [SPARK-50828] [SC-186493][python][ML][connect] Marqué comme obsolète pyspark.ml.connect
  • [SPARK-50600] [SC-186057][connect][SQL] Marquer comme analysé en cas d'échec de l'analyse
  • [SPARK-50824] [SC-186472][python] Éviter d’importer des packages Python facultatifs pour la vérification
  • [SPARK-50755] [SC-185521][sql] Affichage agréable du plan pour InsertIntoHiveTable
  • [SPARK-50789] [SC-186312][connect] Les entrées pour les agrégations typées doivent être analysées
  • [SPARK-50791] [SC-185867][sc-186338][SQL] Correction de NPE dans la gestion des erreurs du magasin d'état
  • [SPARK-50801] [SC-186365] [SQL] Améliorer PlanLogger.logPlanResolution afin qu’il affiche uniquement les plans non résolus et résolus
  • [SPARK-50749] [SC-185925][sql] Correction du bogue de classement dans la méthode CommutativeExpression.gatherCommutative
  • [SPARK-50783] [SC-186347] Canonicaliser le nom de fichier et la disposition des résultats du profiler JVM sur DFS
  • [SPARK-50790] [SC-186354][python] Implémenter l’analyse json dans pyspark
  • [SPARK-50738] [SC-184856][python] Mise à niveau de black vers la version 23.12.1
  • [SPARK-50764] [SC-185930][python] Affiner la documentation des méthodes associées à xpath
  • [SPARK-50798] [SC-186277][sql] Améliorer NormalizePlan
  • [SPARK-49883] [SC-183787][ss] Intégration de la structure de checkpoint du State Store V2 avec RocksDB et RocksDBFileManager
  • [SPARK-50779] [SC-186062][sql] Ajout d’un indicateur de fonctionnalité pour les classements au niveau de l’objet
  • [SPARK-50778] [SC-186183][python] Ajouter metadataColumn au PySpark DataFrame
  • [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick : Améliorer les alias d'expression auto-générés avec des opérateurs pipe SQL
  • [SPARK-50541] [16.x][sc-184937] Décrire la table en tant que JSON
  • [SPARK-50772] [SC-185923][sql] Databricks Runtime 16.x cherrypick : conservation des alias de table après les opérateurs SET, EXTEND, DROP
  • [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
  • [SPARK-49025] [SC-174667] Synchroniser la différence de code Delta avec Databricks Runtime
  • [SPARK-50752] [SC-185547][python][SQL] Introduire des configurations pour le réglage Python UDF sans flèche
  • [SPARK-50705] [SC-185944][sql] Rendre QueryPlan le verrou libre
  • [SPARK-50690] [16.x][sc-184640][SQL] Correction d’une incohérence dans le quoting des colonnes de sortie des requêtes DESCRIBE TABLE sur les vues
  • [SPARK-50746] [SC-184932][sql] Remplacez l’une ou l’autre par VariantPathSegment.
  • [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder définit les configurations par lot
  • [SPARK-50480] [SC-183359][sql] Étendre CharType et VarcharType à partir de StringType
  • [SPARK-50675] [SC-184539][sql] Prise en charge des classements au niveau des tables et des vues
  • [SPARK-50409] [SC-184516][sql] Correction de l’instruction set pour ignorer ; à la fin de SET;, SET -v; et SET key;
  • [SPARK-50743] [SC-185528][sql] Normalize CTERelationDef et CTERelationRef IDs
  • [SPARK-50693] [SC-184684][connect] Les entrées de TypedScalaUdf doivent être analysées
  • [SPARK-50744] [SC-184929][sql] Ajout d’un cas de test pour la priorité de résolution des noms dans les vues et les CTE
  • [SPARK-50710] [SC-184767][connect] Ajouter la possibilité pour le client de se reconnecter de façon facultative aux sessions après la mise à disposition
  • [SPARK-50703] [SC-184843][python] Raffiner la docstring de regexp_replace, regexp_substr et regexp_instr
  • [SPARK-50716] [SC-184823][core] Correction de la logique de nettoyage des liens symboliques dans JavaUtils.deleteRecursivelyUsingJavaIO la méthode
  • [SPARK-50630] [SC-184443][sql] Correction de la prise en charge du GROUP BY par ordinal pour les opérateurs d'agrégation SQL utilisant la syntaxe pipe
  • [SPARK-50614] [SC-184729][sql] Ajout de la prise en charge décomposition des types Variant pour Parquet
  • [SPARK-50661] [SASP-4936] Ajouter une compatibilité descendante pour l’ancien client FEB.
  • [SPARK-50676] [SC-184641][sql] Supprimer non utilisé private lazy val mapValueContainsNull de ElementAt
  • [SPARK-50515] [SC-183813][core] Ajouter une interface en lecture seule à SparkConf
  • [SPARK-50697] [SC-184702][sql] Activation de la récursion terminale lorsque cela est possible
  • [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corriger le schéma d’état pour FlatMapGroupsWithState dans spark connect lorsqu’il n’existe aucun état initial
  • [SPARK-50701] [SC-184704][python] Faire en sorte que le tracé requiert la version minimale de Plotly
  • [SPARK-50702] [SC-184727][python] Affiner le docstring de regexp_count, regexp_extract et regexp_extract_all
  • [SPARK-50499] [SC-184177][python] Exposer les métriques de BasePythonRunner
  • [SPARK-50692] [SC-184705][16.x] Ajout de la prise en charge du pushdown pour la fonction RPAD
  • [SPARK-50682] [SC-184579][sql] L’alias interne doit être canonique
  • [SPARK-50699] [SC-184695][python] Analyser et générer une chaîne DDL avec une session spécifiée
  • [SPARK-50573] [SC-184568][ss] Ajout de l’ID de schéma d’état aux lignes d’état pour l’évolution du schéma
  • [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correction de l'implémentation foreachBatch de Spark Connect Scala. pour prendre en charge le jeu de données[T].
  • [SPARK-50689] [SC-184591][sql] Appliquer l’ordre déterministe dans les listes de projets LCA
  • [SPARK-50696] [SC-184667][python] Optimiser l’appel Py4J pour la méthode d’analyse DDL
  • [SPARK-49670] [SC-182902][sql] Activation du classement de découpage pour toutes les expressions de type passthrough
  • [SPARK-50673] [SC-184565][ml] Éviter de parcourir deux fois les coefficients de modèle dans le constructeur Word2VecModel
  • [SPARK-50687] [SC-184588][python] Optimiser la logique pour obtenir des traces de pile pour DataFrameQueryContext
  • [SPARK-50681] [SC-184662][python][CONNECT] Cachez le schéma analysé pour MapInXXX et ApplyInXXX
  • [SPARK-50674] [SC-184589][python] Corriger la vérification de l'existence de la méthode « terminate » dans l'évaluation des UDTF
  • [SPARK-50684] [SC-184582][python] Améliorer les performances py4J dans DataFrameQueryContext
  • [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Ajouter la prise en charge des nouvelles versions des métadonnées d’état pour TransformWithStateInPandas
  • [SPARK-50602] [SC-184439][sql] Correction de la transpose pour afficher un message d’erreur approprié lorsque des colonnes d’index non valides sont spécifiées
  • [SPARK-50650] [SC-184532][sql] Améliorer la journalisation dans l’analyseur à passe unique
  • [SPARK-50665] [SC-184533][sql] Remplacer LocalRelation par ComparableLocalRelation dans NormalizePlan
  • [SPARK-50644] [SC-184486][sql] Lecture des structures Variant dans le lecteur Parquet
  • [SPARK-49636] [SC-184089][sql] Suppression de la suggestion de configuration ANSI dans INVALID_ARRAY_INDEX et INVALID_ARRAY_INDEX_IN_ELEMENT_AT
  • [SPARK-50659] [SC-184514][sql] Refactorisation du calcul de sortie de Union afin de le réutiliser dans l’Analyseur à passage unique
  • [SPARK-50659] [SC-184512][sql] Déplacement des erreurs liées à Union vers QueryCompilationErrors
  • [SPARK-50530] [SC-183419][sql] Correction d’un calcul incorrect du contexte de type implicite de chaîne de caractères
  • [SPARK-50546] [SC-183807][sql] Ajout de la prise en charge du cast de sous-requêtes dans le forçage de type de classement
  • [SPARK-50405] [SC-182889][sql] Gérer correctement la coercition du type de classement pour les types de données complexes
  • [SPARK-50637] [SC-184434][sql] Correction du style de code pour l’analyseur à passe unique
  • [SPARK-50638] [SC-184435][sql] Refactorisation de la résolution des vues dans un fichier séparé afin de la réutiliser dans l’Analyseur à passage unique
  • [SPARK-50615] [SC-184298][sql] Déplacement du traitement des types Variant dans la phase d’analyse.
  • [SPARK-50619] [SC-184210][sql] Refactoriser VariantGet.cast pour empaqueter les arguments de cast
  • [SPARK-50599] [SC-184058][sql] Créer la caractéristique DataEncoder qui permet l’encodage Avro et UnsafeRow
  • [SPARK-50076] [SC-183809] Correction des logkeys
  • [SPARK-50597] [SC-183972][sql] Refactoriser la construction de lots dans Optimizer.scala et SparkOptimizer.scala
  • [SPARK-50339] [SC-183063][spark-50360][SS] Activer le journal des modifications pour stocker les informations de traçabilité
  • [SPARK-50526] [SC-183811][ss] Ajout de la configuration du format d’encodage de stockage dans le journal d’offset et blocage des opérateurs avec état non pris en charge utilisant Avro
  • [SPARK-50540] [SC-183810][python][SS] Correction du schéma de chaîne pour StatefulProcessorHandle
  • [SPARK-50157] [SC-183789][sql] Utilisation de SQLConf fournie par SparkSession en premier.
  • [SPARK-48898] [SC-183793][sql] Définir correctement la nullabilité dans le schéma Variant
  • [SPARK-50559] [SC-183814][sql] Stockage des sorties de Except, Intersect et Union sous forme de valeurs tardives
  • [SPARK-48416] [SC-183643][sql] Prise en charge des expressions With corrélées imbriquées
  • [SPARK-50428] [SC-183566][ss][PYTHON] Prise en charge de TransformWithStateInPandas dans les requêtes par lots
  • [SPARK-50063] [SC-183350][sql][CONNECT] Ajouter la prise en charge de Variant dans le client Scala Spark Connect
  • [SPARK-50544] [SC-183569][python][CONNECT] Implémenter StructType.toDDL
  • [SPARK-50443] [SC-182590][ss] Correction des erreurs de build Maven introduites par le cache Guava dans RocksDBStateStoreProvider
  • [SPARK-50491] [SC-183434][sql] Correction du bogue où les blocs vides BEGIN END génèrent une erreur
  • [SPARK-50536] [SC-183443][core] Consigner les tailles des fichiers d’archive téléchargés dans SparkContext et Executor
  • [SPARK-45891] [SC-183439][sql] Reconstruire le binaire variant à partir de données fragmentées.
  • [SPARK-49565] [SC-183465][sql] Ajouter une syntaxe de canal SQL pour l’opérateur FROM
  • [SPARK-50497] [SC-183338][sql] Faire échouer les requêtes avec un message approprié si MultiAlias contient une fonction non générative
  • [SPARK-50460] [SC-183375][python][CONNECT] Généraliser et simplifier la gestion des exceptions Connect
  • [SPARK-50537] [SC-183452][connect][PYTHON] Correction d’un problème où l’option de compression était écrasée dans df.write.parquet
  • [SPARK-50329] [SC-183358][sql] Correction de InSet$toString
  • [SPARK-50524] [SC-183364][sql] Réduire le message d'avertissement RowBasedKeyValueBatch.spill au niveau débogage
  • [SPARK-50528] [SC-183385][connect] Déplacer InvalidCommandInput vers un module commun
  • [SPARK-50017] [SC-182438][ss] Prise en charge de l’encodage Avro pour l’opérateur TransformWithState
  • [SPARK-50463] [SC-182833][sql] Correction de ConstantColumnVector lors de la conversion Columnar vers Row
  • [SPARK-50235] [SC-180786][sql] Nettoyer la ressource ColumnVector après avoir traité toutes les lignes dans ColumnarToRowExec
  • [SPARK-50516] [SC-183279][ss][MINOR] Correction du test lié à l’état init pour utiliser StreamManualClock
  • [SPARK-50478] [SC-183188][sql] Correction de la correspondance StringType
  • [SPARK-50492] [SC-183177][ss] Correction de java.util.NoSuchElementException lorsque la colonne de temps d'événement est supprimée après dropDuplicatesWithinWatermark.
  • [SPARK-49566] [SC-182589][sql] Ajouter une syntaxe de canal SQL pour l’opérateur SET
  • [SPARK-50449] [SC-183178][sql] Correction de la grammaire de script SQL autorisant les corps vides pour les boucles, IF et CASE
  • [SPARK-50251] [SC-180970][python] Ajouter getSystemProperty à PySpark SparkContext
  • [SPARK-50421] [SC-183091][core] Correction de la configuration de mémoire associée à l’exécuteur incorrecte lorsque plusieurs profils de ressources ont fonctionné
  • [SPARK-49461] [SC-179572][ss] ID de point de contrôle persistant pour valider les journaux et les lire
  • [SPARK-50343] [SC-183119][spark-50344][SQL] Ajouter une syntaxe de canal SQL pour les opérateurs DROP et AS
  • [SPARK-50481] [SC-182880][core] Amélioration de SortShuffleManager.unregisterShuffle pour ignorer la logique des fichiers de somme de contrôle lorsque les sommes de contrôle sont désactivées
  • [SPARK-50498] [SC-183090][python] Éviter les appels py4j inutiles dans listFunctions
  • [SPARK-50489] [SC-183053][sql][PYTHON] Correction de la jointure automatique après applyInArrow
  • [SPARK-49695] [SC-182967][sc-176968][SQL] Correction du pushdown XOR pour PostgreSQL

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes récemment publiés et mettez-les à niveau (Télécharger ODBC, Télécharger JDBC).

Mises à jour de maintenance

Voir Databricks Runtime 16.2 mises à jour de maintenance.

Environnement système

  • Système d’exploitation : Ubuntu 24.04.1 LTS
    • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
  • Java : Zulu17.54+21-CA
  • Scala : 2.12.15
  • Python : 3.12.3
  • R: 4.4.0
  • Delta Lake : 3.3.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
Azure Storage File Data Lake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 cliquez 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
chiffrement 42.0.5 cycliste 0.11.0 Cython 3.0.11
Kit de développement logiciel Databricks (SDK) 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
décorateur 5.1.1 Déconseillé 1.2.14 distlib 0.3.8
Conversion de docstring en markdown 0.11 points d’entrée 0,4 exécuter 0.8.3
aperçu des facettes 1.1.1 verrouillage de fichier 3.15.4 outils de police 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
empaquetage 24.1 Pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24,2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requêtes 2.32.2 rope 1.12.0 rsa 4,9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 six 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
données en pile 0.2.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.14.2 ténacité 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornade 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types de requêtes 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
c’est quoi le patch 1.0.2 roue 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de la capture instantanée CRAN du gestionnaire de paquets Posit en date du 04/08/2024 : https://packagemanager.posit.co/cran/2024-08-04/.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 16.1.0 Askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1,0-8 objet BLOB 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachemire 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
classe 7.3-22 cli 3.6.3 clipr 0.8.0
horloge 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compilateur 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 jeux de données 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digérer 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipse 0.3.2 évaluer 0.24.0
fans 1.0.6 farver 2.1.2 carte rapide 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
futur 1.34.0 future.apply 1.11.2 gargle 1.5.2
produits génériques 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphisme 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0,7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 outils HTML 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1,48 étiquetage 0.4.3
plus tard 1.3.2 lattice 0.22-5 lave 1.8.0
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrice 1.6-5 memoise 2.0.1 méthodes 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modèleur 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pilier 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.9 louange 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progrès 1.2.3
progressr 0.14.0 promesses 1.3.0 proto 1.0.0
proxy 0,4-27 p.s. 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest (algorithme d'apprentissage machine) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 réactif 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recettes 1.1.0 match retour 2.0.0 revanche2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2,27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1,8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
écailles 1.3.0 selectr 0,4-2 informations de session 1.2.2
shape 1.4.6.1 brillant 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.2 spatial 7.3-17
splines 4.4.0 sqldf 0.4-11 SQUAREM 2021.1
Statistiques 4.4.0 statistiques4 4.4.0 stringi 1.8.4
stringr 1.5.1 survival 3.6-4 fichier Swagger 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat 3.2.1.1 mise en forme du texte 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyverse 2.0.0
changement d'heure 0.3.0 date-heure 4032.109 tinytex 0.52
outils 4.4.0 tzdb 0.4.0 vérificateur d'URL 1.0.1
Utilise ça 3.0.0 utf8 1.2.4 utils 4.4.0
identifiant unique universel (UUID) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 vroom 1.6.5 Waldo 0.5.2
whisker 0.4.1 withr 3.0.1 xfun 0.46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml 2.3.10 zeallot 0.1.0 zip 2.3.1

Installé Java et bibliothèques Scala (version du cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caféine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_natif-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone annotations_sujettes_aux_erreurs 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava guava 15,0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics annotation des métriques 4.2.19
io.dropwizard.metrics métriques de base 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métriques-vérifications de santé 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics servlets de métriques 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow vecteur-flèche 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper gardien de zoo 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.52.v20230823
org.eclipse.jetty serveur jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket serveur websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 4.0.7
org.json4s json4s-core_2.12 4.0.7
org.json4s json4s-jackson-core_2.12 4.0.7
org.json4s json4s-jackson_2.12 4.0.7
org.json4s json4s-scalap_2.12 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible avec scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1
  • Last updated on