Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Note
La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.3, alimentées par Apache Spark 3.5.2.
Databricks a publié cette version en mars 2025.
Changements comportementaux
Correctif de bogue pour les options du chargeur automatique : modifiedBefore, modifiedAfter, pathGlobFilter
Auparavant, la modification des valeurs des options modifiedBeforedu chargeur automatique , modifiedAfteret pathGlobFilter n’avait aucun effet. Le problème a été corrigé.
À présent, lorsque vous modifiez les valeurs de ces filtres, le chargeur automatique ingère les nouveaux fichiers qui passent les filtres. Si moins de fichiers sont éligibles en fonction des valeurs de filtre mises à jour, les fichiers qui ne sont plus éligibles ne sont plus supprimés du récepteur, mais restent ingérés.
Message d’erreur amélioré lorsqu’une kafka.sasl.client.callback.handler.class valeur n’est pas valide
Cette version inclut une modification pour renvoyer un message d’erreur plus descriptif lorsqu’une kafka.sasl.client.callback.handler.class valeur n’est pas valide.
Le nouveau message d’erreur est org.apache.spark.sql.AnalysisException: [RESTRICTED_STREAMING_OPTION_PERMISSION_ENFORCED.KAFKA_CLIENT_CALLBACK_SHADED_CLASS] The option kafka.sasl.client.callback.handler.class has restricted values on Shared clusters for the kafka source. The Kafka client callback class must be "shadedmskiam.software.amazon.msk.auth.iam.IAMClientCallbackHandler". SQLSTATE: 0A000
Auparavant, le message d’erreur retourné était org.apache.spark.sql.AnalysisException: [UNSUPPORTED_STREAMING_OPTIONS_PERMISSION_ENFORCED] Streaming options kafka.sasl.client.callback.handler.class are not supported for data source kafka on a shared cluster. Please confirm that the options are specified and spelled correctly, and check https://docs.databricks.com/en/compute/access-mode-limitations.html#streaming-shared for limitations. SQLSTATE: 0A000
Nouvelles fonctionnalités et améliorations
- La prise en charge du lecteur d’état est en disponibilité générale pour le calcul standard
- Le passage à une version antérieure du protocole de table Delta est en disponibilité générale avec la protection des points de contrôle
- Écrire des scripts SQL procéduraux basés sur ANSI SQL/PSM (préversion publique)
- Interclassement par défaut au niveau de la table et de la vue
- Installer des dépendances personnalisées dans les UDF Python du catalogue Unity (aperçu public)
- Modifier plusieurs colonnes de table dans une ALTER TABLE instruction
-
Prise en charge de
transformWithStateInPandassur l’infrastructure de calcul standard -
Prise en charge des
MERGE INTOtables dotées d'un contrôle d'accès granulaire sur calcul dédié (préversion publique) - Prise en charge de l’ajout de données à des tables à accès finement contrôlé sur des serveurs de calcul dédiés
- Prise en charge améliorée des auto-jointures avec des objets dont l’accès est contrôlé de manière précise sur le calcul dédié
- Nouvelles fonctions H3
La prise en charge du lecteur d’état est en disponibilité générale pour le calcul standard
La prise en charge de la lecture des informations d’états pour les requêtes Structured Streaming est désormais généralement disponible pour les configurations de calcul utilisant le mode d’accès standard. Consultez les informations sur l’état de la diffusion en continu structurée.
La rétrogradation du protocole de table Delta est généralement disponible avec la protection des points de contrôle
DROP FEATURE est en disponibilité générale pour supprimer les fonctionnalités de table Delta Lake et rétrograder le protocole de table. Par défaut, DROP FEATURE crée désormais des points de contrôle protégés pour une expérience de rétrogradation plus optimisée et simplifiée qui ne nécessite pas de temps d’attente ou de troncation d’historique. Consultez Supprimer une fonctionnalité de table Delta Lake et passer à une version antérieure du protocole de table.
Écrire des scripts SQL procéduraux basés sur ANSI SQL/PSM (préversion publique)
Vous pouvez désormais utiliser des fonctionnalités de script basées sur ANSI SQL/PSM pour écrire une logique procédurale avec SQL, notamment des instructions de flux de contrôle, des variables locales et la gestion des exceptions. Consultez le script SQL.
Interclassement par défaut au niveau de la table et de la vue
Vous pouvez maintenant spécifier un classement par défaut pour les tables et les vues. Cela simplifie la création de tables et de vues où toutes ou la plupart des colonnes partagent le même classement. Voir Collation.
Installer des dépendances personnalisées dans les fonctions définies par l’utilisateur Python du catalogue Unity (préversion publique)
Étendez les fonctionnalités des UDF Python au-delà de l'environnement Databricks Runtime en définissant des dépendances personnalisées pour les bibliothèques externes. Consultez Étendre les UDF à l'aide de dépendances personnalisées.
Modifier plusieurs colonnes de table dans une ALTER TABLE instruction
Dans Databricks Runtime 16.3, vous pouvez modifier plusieurs colonnes dans une seule ALTER TABLE instruction. Voir la clause ALTER TABLE ... COLUMN.
Prise en charge de transformWithStateInPandas sur l’infrastructure de calcul standard
Vous pouvez désormais utiliser transformWithStateInPandas sur le calcul configuré avec le mode d’accès standard. Consultez Générer une application avec état personnalisé.
Prise en charge des MERGE INTO tables avec un contrôle d’accès granulaire sur le calcul dédié (préversion publique)
Dans Databricks Runtime 16.3 et versions ultérieures, le calcul dédié prend en charge les tables du catalogue Unity MERGE INTO qui utilisent un contrôle d’accès affiné. Comme pour la lecture à partir de ces objets, les MERGE commandes sont automatiquement passées au calcul sans serveur si nécessaire.
Consultez le contrôle d’accès affiné sur le calcul dédié.
Prise en charge de l’ajout de données à des tables à contrôle d’accès fin sur un calcul dédié
Dans Databricks Runtime 16.3 et versions ultérieures, le calcul dédié prend en charge l’ajout d’objets de catalogue Unity qui utilisent un contrôle d’accès affiné. Pour utiliser cette fonctionnalité, utilisez la DataFrame.write.mode("append") fonction dans l’API Apache Spark. Comme pour la lecture à partir de ces objets, les écritures d’ajout sont automatiquement passées au calcul serverless lorsque cela est nécessaire.
Pour en savoir plus sur l’utilisation d’un calcul dédié avec des objets de catalogue Unity contrôlés par accès précis, consultez contrôle d’accès affiné sur le calcul dédié.
Prise en charge améliorée des auto-jointures avec des objets dont l’accès est contrôlé de manière précise sur le calcul dédié
Dans Databricks Runtime 16.3 et versions ultérieures, la fonctionnalité de filtrage des données pour le contrôle d’accès affiné sur le calcul dédié synchronise désormais automatiquement les instantanés entre les ressources de calcul dédiées et serverless, à l’exception des vues matérialisées, des vues et des tables de diffusion en continu partagées à l’aide du partage Delta. Cette fonctionnalité améliorée garantit que les auto-jointures fournissent des instantanés identiques lorsque le filtrage des données est utilisé. Consultez le contrôle d’accès affiné sur le calcul dédié.
Nouvelles fonctions H3
Trois nouvelles fonctions H3 ont été ajoutées : h3_try_coverash3, h3_try_coverash3string et h3_try_tessellateaswkb.
Mises à niveau de la bibliothèque
Bibliothèques Python mises à niveau :
- mlflow-skinny de 2.15.1 à 2.19.0
Bibliothèques R mises à niveau :
Bibliothèques Java mises à niveau :
Apache Spark
Databricks Runtime 16.3 inclut Apache Spark 3.5.2. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 16.2 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :
- [SPARK-51594] [DBRRM-1604][sc-192125][SQL] Utiliser un schéma vide lors de l’enregistrement d’une vue qui n’est pas compatible Hive
- [SPARK-51388] [SC-190503][sql] Améliorer la propagation des fragments SQL dans to_timestamp et UNION
- [SPARK-51394] [SC-190492][ml] Optimiser l’élimination du mélange supplémentaire dans les tests statistiques
- [SPARK-51385] [SC-190486][sql] Normaliser la projection ajoutée dans DeduplicateRelations pour la déduplication de sorite enfant d’union
- [SPARK-51357] [SC-190485][sql] Conserver le niveau de journalisation des changements de plan pour les vues
- [SPARK-50654] [SC-186686][ss] CommitMetadata doit définir stateUniqueIds sur None dans V1
- [SPARK-51362] [SC-190352][sql] Change toJSON pour utiliser l’API NextIterator pour éliminer la dépendance d’enregistrement adjacente
-
[SPARK-51375] [SC-190355][sql][CONNECT] Masquer les
SparkConnect(Execution|Session)Manager.periodicMaintenancemessages de journal - [SPARK-50596] [SC-184060][python] Mettre à niveau Py4J de 0.10.9.7 à 0.10.9.8
- [SPARK-51097] [SC-190456][revert] Annuler le changement des métriques d’instance RocksDB
-
[SPARK-51363] [SC-190343][sql]
Desc As JSONClustering des noms de colonnes - [SPARK-51373] [SC-190370] [SS] Suppression d’une copie supplémentaire du préfixe de la famille de colonnes pour « ReplyChangelog »
- [SPARK-51378] [SC-190363][core] Application de accumulableExcludeList de JsonProtocol à ExecutorMetricsUpdate et TaskEndReason
- [SPARK-51369] [SC-190253][sql] Correctif pour que la variable curseur FOR fonctionne avec des noms à casse mixte
-
[SPARK-51381] [SC-190360][sql][CONNECT] Afficher
Session IDdans laSpark Connect Sessionpage - [SPARK-51119] [SC-188491][sql] Les lecteurs sur les exécuteurs résolvant EXISTS_DEFAULT ne devraient pas appeler de catalogues
- [SPARK-51322] [SC-190013][sql] Meilleur message d’erreur pour l’expression de sous-requête de streaming
- [SPARK-50817] [SC-186642][ss] Correction du rapport d’erreurs RocksDB
- [SPARK-51370] [SC-190286] Améliorations de la clarté du code pour l'analyse des codes INTO dans AstBuilder.scala
- [SPARK-51083] [SC-189217][core][16.x] Modifier JavaUtils pour ne pas avaler les InterruptedExceptions
- [SPARK-51324] [SC-189997][sql] Correction de l'erreur causée par une instruction FOR imbriquée lorsqu'un résultat vide est rencontré
- [SPARK-49756] [SC-178793][sql] Le dialecte Postgres prend en charge les fonctions datetime pushdown.
- [SPARK-51270] [SC-190108][sql] Prise en charge du type UUID dans Variant
- [SPARK-51310] [SC-190018][sql] Résoudre le type d’expressions de production de chaîne par défaut
- [SPARK-49488] [SC-176685][sql] Le dialecte MySQL prend en charge les fonctions pushdown date/heure.
- [SPARK-50856] [DBR16.x][sc-189812][SS][python][CONNECT] Prise en charge Spark Connect pour TransformWithStateInPandas en Python
-
[SPARK-50553] [SC-190076][connect] Lance
InvalidPlanInputpour un message de plan invalide - [SPARK-51337] [16.x][sc-190105][SQL] Ajouter maxRows à CTERelationDef et CTERelationRef
- [SPARK-51281] [SC-190033][sql] DataFrameWriterV2 doit respecter l’option de chemin d’accès
- [SPARK-51323] [SC-190005][python] Dupliquer « total » sur les métriques Py SQL
-
[SPARK-48618] [SC-174007][sql] Utiliser l’instruction
ErrorCodeetSQLStateretournée dans SQLException pour rendre les erreurs plus précises - [SPARK-47871] [SC-162873][sql] Oracle : mapper TimestampType à TIMESTAMP WITH LOCAL TIME ZONE
- [SPARK-50993] [SC-187319][sql] Déplacer nullDataSourceOption de QueryCompilationErrors vers QueryExecutionErrors
- [SPARK-47761] [SC-162288][sql] Oracle : prise en charge de la lecture des types d’intervalle ANSI
- [SPARK-51265] [SC-189826][sql] IncrementalExecution doit définir correctement le code d’exécution de commande
- [SPARK-50785] [SC-189722][sql] Refactoriser l’instruction FOR pour utiliser correctement les variables locales.
- [SPARK-51315] [SC-189838][sql] Activation des classements au niveau de l’objet par défaut
- [SPARK-51312] [SC-189824][sql] Correction de createDataFrame à partir de RDD[Row]
-
[SPARK-51305] [SC-189625][sql][CONNECT] Améliorer
SparkConnectPlanExecution.createObservedMetricsResponse - [SPARK-51313] [SC-189816][python] Correction du format d’horodatage pour PySparkLogger
- [SPARK-51095] [SC-189623][core][SQL] Inclure le contexte de l’appelant pour les journaux d’audit de HDFS pour les appels du conducteur
- [SPARK-51292] [SC-189566][sql] Supprimer l’héritage inutile de PlanTestBase, ExpressionEvalHelper et PlanTest
- [SPARK-50739] [SC-186903][sql][FOLLOW] Simplifier ResolveRecursiveCTESuite avec dsl
- [SPARK-51097] [SC-189428] [SS] Ajout de métriques d’instance de state store pour la dernière version de snapshot chargée dans RocksDB
- [SPARK-49912] [SC-189615] Refactoriser l’instruction CASE simple pour évaluer la variable case une seule fois
- [SPARK-50655] [16x][sc-189235][SS] Déplacer le mappage lié à la famille de colonnes virtuelles dans la couche de la base de données au lieu de l’encodeur
-
[SPARK-51177] [SC-188989][python][CONNECT] Ajouter
InvalidCommandInputau client Python Spark Connect -
[SPARK-51278] [SC-189608][python] Utiliser la structure appropriée du format JSON pour
PySparkLogger - [SPARK-48530] [SC-189357][sql] Prise en charge des variables locales dans SQL Scripting
- [SPARK-51258] [SC-189551][sql] Supprimer l’héritage inutile de SQLConfHelper
- [SPARK-50739] [SC-186818][sql] CTE récursif. L’analyseur change pour défaire et résoudre les composants de récursivité.
- [SPARK-51284] [SC-189483][sql] Correction de l’exécution du script SQL pour un résultat vide
- [SPARK-50881] [SC-188407][python] Utiliser le schéma mis en cache lorsque cela est possible dans connect dataframe.py
- [SPARK-51274] [SC-189516][python] PySparkLogger doit respecter les arguments de mot clé attendus
- [SPARK-50636] [SC-184783][sql] Extension de CTESubstitution.scala pour le rendre conscient de la récursion
-
[SPARK-50960] [SC-188821][python][CONNECT] Ajouter
InvalidPlanInputau client Python Spark Connect - [SPARK-51109] [SC-188394][sql] CTE dans l’expression de sous-requête comme colonne de regroupement
- [SPARK-51067] [16.x][sc-188855][SQL] Rétablir le classement au niveau de session pour les requêtes DML et appliquer le classement au niveau de l’objet pour les requêtes DDL
- [SPARK-50849] [SC-189071][connect] Ajouter un exemple de projet pour illustrer les bibliothèques de serveurs Spark Connect
- [SPARK-51259] [SC-189344][sql] Refactoriser le naturel et utiliser le calcul de clés de jointure
- [SPARK-51185] [SC-188832][core] Rétablir les simplifications de l’API PartitionedFileUtil pour réduire les besoins en mémoire
- [SPARK-51237] [16x][sc-189028][SS] Ajouter des détails d’API pour les nouvelles API transformWithState helper selon les besoins
- [SPARK-51247] [SC-189236][sql] Déplacer SubstituteExecuteImmediate vers le lot « resolution » et le préparer pour les variables locales de script SQL.
-
[SPARK-50403] [SC-186416][sql] Correction de la paramétrisation
EXECUTE IMMEDIATE - [SPARK-50598] [SC-183992][sql] Une PR initiale, no-op qui ajoute de nouveaux paramètres aux classes déjà existantes UnresolvedWith, CTERelationRef et CTERelationDef pour permettre l’implémentation ultérieure des CTE récursives.
- [SPARK-48114] [SC-189176][sql] Déplacer la validation de la sous-requête hors de CheckAnalysis
-
[SPARK-50767] [SC-189169][sql] Supprimer le codegen de
from_json - [SPARK-51242] [SC-189200][conenct][PYTHON] Améliorer les performances des colonnes lorsque DQC est désactivé
- [SPARK-51202] [SC-189208][ml][PYTHON] Passer la session dans les enregistreurs de méta-algorithmes Python
- [SPARK-51246] [SC-189175][sql] InTypeCoercion produit désormais des casts résolus
-
[SPARK-51192] [SC-189070][connect] Exposition de
processWithoutResponseObserverForTestingdansSparkConnectPlanner - [SPARK-51183] [SC-189010][sql] Lien vers la spécification Parquet dans les documents Variant
-
[SPARK-51189] [SC-188829][core] Promouvoir
JobFailedversDeveloperApi -
[SPARK-51184] [SC-188801][core] Supprimer
TaskState.LOSTla logique deTaskSchedulerImpl - [SPARK-51218] [SC-189012][sql] Éviter l'utilisation de map/flatMap dans NondeterministicExpressionCollection
- [SPARK-51228] [SC-189022][sql] Introduire la normalisation de la sous-requête dans NormalizePlan
- [SPARK-51113] [SC-188883][sql] Correction de l’exactitude avec UNION/EXCEPT/INTERSECT dans une vue ou EXECUTE IMMEDIATE
-
[SPARK-51209] [SC-188987][core] Améliorer
getCurrentUserNamepour gérer Java 24+ - [SPARK-50953] [SC-188409][python][CONNECT] Ajouter la prise en charge des chemins non littéraux dans VariantGet
- [SPARK-51181] [SC-188854] [SQL] Appliquer le déterminisme lors de l’extraction d’expressions non déterministes à partir du plan logique
- [SPARK-50872] [SC-186901][sql][UI] Rend l’expression ToPrettyString non affectée à la présentation de l’interface utilisateur
- [SPARK-51150] [SC-188512][ml] Transmettre explicitement la session dans les enregistreurs de méta-algorithmes
- [SPARK-51008] [SC-188655][sql] Ajouter ResultStage pour AQE
- [SPARK-51114] [SC-188633] [SQL] Refactoriser la règle PullOutNondeterministic
- [SPARK-51160] [SC-188666][sql] Refactorisation de la résolution des fonctions littérales
- [SPARK-51127] [SC-188366][python] Tuer le worker Python lors du délai d’inactivité
- [SPARK-51099] [SC-188350][python] Ajouter des logs lorsque le worker Python semble bloqué
- [SPARK-51157] [SC-188536][sql] Ajouter une annotation Scala manquante @varargs pour les API de fonction Scala
-
[SPARK-51155] [CORE] Afficher
SparkContextle runtime total après l’arrêt - [SPARK-51140] [SC-188487][ml] Trier les paramètres avant d’enregistrer
- [SPARK-51135] [SC-188392][sql] Corriger ViewResolverSuite pour les modes ANSI
- [SPARK-51057] [SC-188191][ss] Supprimer l’API de variante basée sur l'option Scala pour l’état de valeur
- [SPARK-51131] [SC-188359][sql] Lever une exception lorsque le script SQL est trouvé dans la EXECUTE IMMEDIATE commande
- [SPARK-51048] [SC-188369][core] Arrêter la prise en charge du contexte Java Spark avec le code de sortie
- [SPARK-50234] [SC-181433][python][SQL] Améliorer le message d’erreur et le test pour transposer l’API DataFrame
- [SPARK-51074] [SC-188153][ss][CONNECT] Définition du délai d’expiration pour communiquer les configurations initiales dans foreachBatch en streaming
- [SPARK-48353] [SC-187986][sql] Introduction du mécanisme de gestion des exceptions dans le script SQL
- [SPARK-50596] [SC-184060][python] Mettre à niveau Py4J de 0.10.9.7 à 0.10.9.8
- [SPARK-51043] [SC-187928][ss][CONNECT] Journalisation utilisateur détaillée pour Spark Connect foreachBatch
-
[SPARK-51084] [ES-1336002][sc-188171][SQL] Affecter la classe d’erreur appropriée pour
negativeScaleNotAllowedError - [SPARK-51042] [SC-188216][sql] Lire et écrire des champs Mois et Jours des intervalles en une seule fois dans les classes Unsafe*
- [SPARK-51010] [SC-188188][sql] Corriger AlterColumnSpec qui ne signale pas correctement l'état résolu
- [SPARK-50799] [SC-188169][python] Affiner les docstrings de rlike, length, octet_length, bit_length et transform
-
[SPARK-51061] [SC-187910][core] Masquer les
Jettyinformations dans l’API de soumission REST - [SPARK-51055] [SC-187993][ss][CONNECT] Streaming foreachBatch doit appeler la logique init à l’intérieur d’une tentative
- [SPARK-50982] [SC-188059][sql] Prise en charge de davantage de fonctionnalités de chemin de lecture SQL/DataFrame dans l’analyseur à passe unique
-
[SPARK-51081] [SC-188092][sql] Refactorisation
Join.outputpour le résolveur à passe unique -
[SPARK-51064] [SC-188039][sql] Activer
spark.sql.sources.v2.bucketing.enabledpar défaut - [SPARK-50883] [LC-5998][sc-187120][SQL] Prise en charge de la modification de plusieurs colonnes dans la même commande
- [SPARK-51034] [SC-187985][sql] Reformater la description sous forme de dictionnaire de statistiques JSON pour la capacité d'analyse
- [SPARK-51058] [SC-187961][python] Évitez d’utiliser jvm. SparkSession
- [SPARK-51056] [SC-187871][python] Évitez la création d’objets inutiles dans SparkSession.getActiveSession.
- [SPARK-50967] [SC-187860][ss] Ajouter une option pour ignorer l’émission de clés d’état initiales dans l’opérateur FMGWS
- [SPARK-50813] [SC-186457][sql] Autoriser uniquement les noms d’étiquettes non qualifiés dans les scripts SQL
- [SPARK-50858] [SC-187399][python] Ajouter une configuration pour masquer la trace de la pile UDF Python
- [SPARK-50853] [SC-187219][core] Fermer le canal accessible en écriture du fichier temporaire de mélange
- [SPARK-50663] [SC-187541][sql] Correction de la grammaire pour l’instruction IF ELSE (ELSE IF -> ELSEIF)
-
[SPARK-51027] [SC-187502][sql] Empêcher
HiveClient.runSqlHivel’appel dans un environnement sans test - [SPARK-50977] [SC-187400][sc-187006][CORE] Améliorer la disponibilité de la logique effectuant l’agrégation des résultats de l’accumulateur
- [SPARK-51001] [SC-187442][sql] Affinage d’arrayEquals
- [SPARK-50962] [SC-187168][sql] Éviter StringIndexOutOfBoundsException dans AttributeNameParser
- [SPARK-50683] [SC-184728][sql] Intégrer l’expression commune dans With si elle est utilisée une fois
- [SPARK-50959] [SC-187139][ml][PYTHON] Exception avalée de JavaWrapper.del
- [SPARK-50558] [SC-187337][sql] Introduction de simpleString pour ExpressionSet
- [SPARK-50648] [SC-184706][core] Nettoyage des tâches zombies dans les étapes non en cours d’exécution lorsque le travail est annulé
-
[SPARK-50990] [SC-187316][sql] Refactoriser la résolution
UpCasthors duAnalyzer - [SPARK-49491] [SC-184714][sql] Remplacer AnyRefMap par HashMap
- [SPARK-50685] [SC-186941][python] Améliorer les performances py4J en tirant parti de getattr
- [SPARK-50688] [SC-184666][sql] Éliminer l’ambiguïté lorsque rowTag est manquant dans le chemin d’écriture XML
-
[SPARK-50976] [SC-187265][ml][PYTHON] Correction de l’enregistrement/chargement de
TargetEncoder - [SPARK-49639] [SC-187297][sql] Supprimer la suggestion de configuration ANSI dans INVALID_INTERVAL_WITH_MICROSECONDS_ADDITION
- [SPARK-50118] [SC-187110]Retour à "[CONNET] Réinitialisation du cache d’état isolé lors de l’exécution des tâches"
- [SPARK-47579] [16.x][sc-166971][CORE][part3] Spark Core : Migrer logInfo avec des variables vers une infrastructure de journalisation structurée
- [SPARK-50669] [SC-184566][es-1327450][PHOTON][test-only] Étendre les tests utilitaires photon pour l’expression TimestampAdd avec des types longs
- [SPARK-50909] [SC-187119][python] Configuration du module faulthandler dans PythonPlannerRunners
- [SPARK-50774] [SC-186349][sql] Centraliser les noms de classement à un seul endroit
- [SPARK-50804] [SC-186684][sql] to_protobuf() ne doit pas lever MatchError
- [SPARK-50957] [SC-187136][protobuf] Rendre protobuf.utils.SchemaConverters privé
- [SPARK-50900] [SC-186948][ml][CONNECT] Ajouter VectorUDT et MatrixUDT à ProtoDataTypes
- [SPARK-50895] [SC-186998][sql] Créer une interface commune pour les expressions qui produisent un type de chaîne par défaut
- [SPARK-50558] [SC-184216][sql] Ajouter des limites de journalisation configurables pour le nombre d’éléments dans InSet et In
- [SPARK-50875] [SC-186951][sql][16.x] Ajout de classements RTRIM à TVF
-
[SPARK-50579] [SC-183826][sql] Correction de
truncatedString
Prise en charge du pilote ODBC/JDBC Databricks
Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).
Environnement du système
-
Système d’exploitation : Ubuntu 24.04.2 LTS
- Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
- Java : Zulu17.54+21-CA
- Scala : 2.12.15
- Python : 3.12.3
- R : 4.4.0
- Delta Lake : 3.3.0
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| commande automatique | 2.2.2 | azure-core | 1.31.0 | azure-storage-blob (service de stockage de blobs Azure) | 12.23.0 |
| Azure Storage File Data Lake | 12.17.0 | backports.tarfile | 1.2.0 | black | 24.4.2 |
| clignotant | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| cachetools | 5.3.3 | certifi | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | cliquez | 8.1.7 |
| cloudpickle | 2.2.1 | comm | 0.2.1 | contourpy | 1.2.0 |
| cryptographie | 42.0.5 | cycliste | 0.11.0 | Cython | 3.0.11 |
| Kit de développement logiciel Databricks (SDK) | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| décorateur | 5.1.1 | Deprecated | 1.2.14 | distlib | 0.3.8 |
| Conversion de docstring en markdown | 0.11 | executing | 0.8.3 | aperçu des facettes | 1.1.1 |
| verrou de fichier | 3.15.4 | outils de police | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.35.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage (Stockage dans le cloud de Google) | 2.18.2 | google-crc32c | 1.6.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.4 | IDNA | 3.7 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | inflect | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.6.1 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| Jedi | 0.19.1 | jmespath | 1.0.1 | joblib | 1.4.2 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | kiwisolver | 1.4.4 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 |
| mlflow-skinny (version légère de mlflow) | 2.19.0 | more-itertools | 10.3.0 | mypy | 1.10.0 |
| mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 | nodeenv | 1.9.1 |
| numpy | 1.26.4 | oauthlib | 3.2.2 | opentelemetry-api | 1.27.0 |
| opentelemetry-sdk | 1.27.0 | OpenTelemetry-conventions sémantiques | 0,48b0 | empaquetage | 24.1 |
| Pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | prompt-toolkit | 3.0.43 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | pyodbc | 5.0.1 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.10.0 | pytoolconfig | 1.2.6 | pytz | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | requests | 2.32.2 |
| corde | 1.12.0 | Rsa | 4,9 | s3transfer | 0.10.2 |
| scikit-learn | 1.4.2 | scipy (bibliothèque Python pour le calcul scientifique) | 1.13.1 | seaborn | 0.13.2 |
| setuptools | 74.0.0 | six | 1.16.0 | smmap | 5.0.0 |
| sqlparse | 0.5.1 | ssh-import-id | 5.11 | données en pile | 0.2.0 |
| statsmodels, une bibliothèque Python pour la modélisation statistique | 0.14.2 | ténacité | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornade | 6.4.1 |
| Traitlets | 5.14.3 | typeguard | 4.3.0 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| types de requêtes | 2.31.0.0 | types-setuptools | 68.0.0.0 | type numéro six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.26.2 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | c’est quoi le patch | 1.0.2 |
| roue | 0.43.0 | enveloppé | 1.14.1 | yapf | 0.33.0 |
| zipp | 3.17.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 04-08-2024.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| flèche | 16.1.0 | Askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.5.0 | base | 4.4.0 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit 64 | 4.0.5 |
| bitops | 1,0-8 | objet BLOB | 1.2.4 | boot | 1.3-30 |
| brew | 1.0-10 | brio | 1.1.5 | balai | 1.0.6 |
| bslib | 0.8.0 | cachemire | 1.1.0 | callr | 3.7.6 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| classe | 7.3-22 | cli | 3.6.3 | clipr | 0.8.0 |
| horloge | 0.7.1 | cluster | 2.1.6 | codetools | 0,2-20 |
| espace colorimétrique | 2.1-1 | commonmark | 1.9.1 | compilateur | 4.4.0 |
| config | 0.3.2 | En conflit | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.3 | credentials | 2.0.1 | friser | 5.2.1 |
| data.table | 1.15.4 | ensembles de données | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | desc | 1.4.3 | devtools | 2.4.5 |
| diagramme | 1.6.5 | diffobj | 0.3.5 | digérer | 0.6.36 |
| downlit | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipse | 0.3.2 | évaluer | 0.24.0 |
| fans | 1.0.6 | couleurs | 2.1.2 | carte rapide | 1.2.0 |
| fontawesome | 0.5.2 | condamnés | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-86 | forge | 0.2.0 | fs | 1.6.4 |
| futur | 1.34.0 | future.apply | 1.11.2 | gargle | 1.5.2 |
| produits génériques | 0.1.3 | gert | 2.1.0 | ggplot2 | 3.5.1 |
| gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | variables globales | 0.16.3 | colle | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphisme | 4.4.0 | grDevices | 4.4.0 | grid | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.0 |
| gtable | 0.3.5 | hardhat | 1.4.0 | haven | 2.5.4 |
| highr | 0.11 | hms | 1.1.3 | outils HTML | 0.5.8.1 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | itérateurs | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-22 | knitr | 1,48 | étiquetage | 0.4.3 |
| plus tard | 1.3.2 | lattice | 0.22-5 | lave | 1.8.0 |
| cycle de vie | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.13 | MASS | 7.3-60.0.1 |
| Matrix | 1.6-5 | memoise | 2.0.1 | méthodes | 4.4.0 |
| mgcv | 1.9-1 | mime | 0,12 | miniUI | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modèleur | 0.1.11 |
| munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.2.0 | parallèle | 4.4.0 |
| parallèlement | 1.38.0 | pilier | 1.9.0 | pkgbuild | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
| plogr | 0.2.0 | plyr (un package logiciel pour le traitement de données) | 1.8.9 | éloge | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.4 |
| prodlim | 2024.06.25 | profvis | 0.3.8 | progrès | 1.2.3 |
| progressr | 0.14.0 | promesses | 1.3.0 | proto | 1.0.0 |
| mandataire | 0,4-27 | p.s. | 1.7.7 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.3.2 | randomForest (algorithme d'apprentissage automatique) | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | réactif | 0.4.4 |
| reactR | 0.6.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recettes | 1.1.0 | match retour | 2.0.0 | revanche2 | 2.1.2 |
| remotes | 2.5.0 | exemple reproductible | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown | 2,27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1,8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
| rversions | 2.1.2 | rvest | 1.0.4 | sass | 0.4.9 |
| écailles | 1.3.0 | selectr | 0,4-2 | informations sur la session | 1.2.2 |
| forme | 1.4.6.1 | brillant | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.6 | SparkR | 3.5.2 | spatial | 7.3-17 |
| splines | 4.4.0 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| Statistiques | 4.4.0 | statistiques4 | 4.4.0 | chaine | 1.8.4 |
| stringr | 1.5.1 | survie | 3.6-4 | swagger | 5.17.14.1 |
| sys | 3.4.2 | systemfonts | 1.1.0 | tcltk | 4.4.0 |
| testthat | 3.2.1.1 | mise en forme de texte | 0.4.0 | tibble | 3.2.1 |
| tidyr | 1.3.1 | tidyselect | 1.2.1 | tidyverse | 2.0.0 |
| changement d'heure | 0.3.0 | date-heure | 4032.109 | tinytex | 0.52 |
| outils | 4.4.0 | tzdb | 0.4.0 | vérificateur d'URL | 1.0.1 |
| Utilise ça | 3.0.0 | utf8 | 1.2.4 | utilitaires | 4.4.0 |
| Identifiant unique universel (UUID) | 1.2-1 | V8 | 4.4.2 | vctrs | 0.6.5 |
| viridisLite | 0.4.2 | Vroom | 1.6.5 | Waldo | 0.5.2 |
| vibrisse | 0.4.1 | flétrir | 3.0.1 | xfun | 0.46 |
| xml2 | 1.3.6 | xopen | 1.0.1 | xtable | 1.8-4 |
| yaml | 2.3.10 | zeallot | 0.1.0 | fichier ZIP | 2.3.1 |
Bibliothèques Java et Scala installées (version du cluster Scala 2.12)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | AWS Java SDK pour Elastic Beanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | aws-java-sdk-support | 1.12.638 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | ruisseau | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Camarade de classe | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caféine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 natifs |
| com.github.fommil.netlib | système_natif-java | 1.1 |
| com.github.fommil.netlib | système_natif-java | 1.1 natifs |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 natifs |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 natifs |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | annotations_sujettes_aux_erreurs | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 26/05/2023 |
| com.google.guava | goyave | 15,0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | profileur | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
| com.ning | compress-lzf (compression utilisant l'algorithme LZF) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentilles_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-analyseurs | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections (bibliothèque de collections communes) | commons-collections (bibliothèque de collections communes) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1,5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresseur d'air | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.3 |
| io.dropwizard.metrics | annotation des métriques | 4.2.19 |
| io.dropwizard.metrics | métriques de base | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | métriques-vérifications de santé | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | Metrics-JMX | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | servlets de métriques | 4.2.19 |
| io.netty | netty-all | 4.1.108.Final |
| io.netty | netty-buffer | 4.1.108.Final |
| io.netty | netty-codec | 4.1.108.Final |
| io.netty | netty-codec-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | netty-common | 4.1.108.Final |
| io.netty | netty-handler | 4.1.108.Final |
| io.netty | netty-handler-proxy | 4.1.108.Final |
| io.netty | netty-resolver | 4.1.108.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | transport-netty-natif-commun-unix | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collectionneur | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | conserve | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk (module d'ingestion de Snowflake) | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | fourmi | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | format de flèche | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | vecteur-flèche | 15.0.0 |
| org.apache.avro | Avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | texte commun | 1.10.0 |
| org.apache.curator | curateur-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | créateur de recettes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory (mémoire de croquis de données) | 2.0.0 |
| org.apache.derby | match de derby | 10.14.2.0 |
| org.apache.hadoop | environnement d'exécution du client Hadoop | 3.3.6 |
| org.apache.hive | hive-beeline (outil de ligne de commande d'Apache Hive) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | Composant commun de hive-shims | 2.3.9 |
| org.apache.hive.shims | programmeur de cales de hive | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | lierre | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | gardien de zoo | 3.9.2 |
| org.apache.zookeeper | zookeeper-jute | 3.9.2 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | compilateur commun | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security (sécurité de quai) | 9.4.52.v20230823 |
| org.eclipse.jetty | serveur jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | serveur websocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | OSGi Localisateur de Ressources | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | servlet de conteneur jersey | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 4.0.7 |
| org.json4s | json4s-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson_2.12 | 4.0.7 |
| org.json4s | json4s-scalap_2.12 | 4.0.7 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenèse | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | Cales | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de test | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | compatible avec scalatest | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly.openssl | 1.1.3.Finale |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
| stax | stax-api | 1.0.1 |