Databricks Runtime 14.1
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.1 avec Apache Spark 3.5.0.
Databricks a publié cette version en octobre 2023.
Conseil
Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.
Améliorations et nouvelles fonctionnalités
- array_insert() est basé sur 1 pour les index négatifs
- Les points de contrôle Delta v2 sont activés par défaut avec un clustering liquide
- Annuler la fonctionnalité de table Delta dans la Préversion publique
- Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec des vecteurs de suppression (préversion publique)
- Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec le mappage de colonnes (préversion publique)
- Diffuser en continu à partir des affichages catalogue Unity en préversion publique
- Connecteur Apache Pulsar en préversion publique
- Pilote Snowflake mis à niveau
- Variables de session langage SQL
- Invocation de paramètre nommé pour SQL et Python UDF.
- Les arguments de table des fonctions prennent en charge le partitionnement et le classement.
- Fonctions SQL intégrées nouvelles et améliorées
- Gestion améliorée des sous-requêtes corrélées
array_insert() est basé sur 1 pour les index négatifs
La fonction array_insert est basée sur 1 pour les index positifs et négatifs. Il insère désormais un nouvel élément à la fin des tableaux d'entrée pour l'index -1. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.negativeIndexInArrayInsert la valeur true.
Les points de contrôle Delta v2 sont activés par défaut avec un clustering liquide
Les tables Delta nouvellement créées avec un clustering liquide utilisent des points de contrôle v2 par défaut. Consultez Compatibilité pour les tables avec un clustering liquide.
Annuler la fonctionnalité de table Delta dans la Préversion publique
Vous pouvez désormais annuler quelques fonctionnalités de table pour des tables Delta. La prise en charge actuelle inclut l’annulation de deletionVectors et de v2Checkpoint. Voir Annuler des fonctionnalités de table Delta.
Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec des vecteurs de suppression (préversion publique)
Les destinataires Delta Sharing peuvent effectuer des requêtes par lots sur des tables partagées qui utilisent des vecteurs de suppression. Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.
Delta Sharing : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec le mappage de colonnes (préversion publique)
Les destinataires Delta Sharing peuvent effectuer des requêtes par lots sur des tables partagées qui utilisent le mappage de colonnes. Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.
Diffusion en continu à partir des affichages catalogue Unity en préversion publique
Vous pouvez désormais utiliser Structured Streaming pour effectuer des lectures en continu de vues inscrites auprès de Unity Catalog. Azure Databricks prend uniquement en charge les lectures en continu de vues définies sur des tables Delta. Consultez Lire une vue Unity Catalog en tant que flux.
Connecteur Apache Pulsar en préversion publique
Vous pouvez désormais utiliser Structured Streaming pour diffuser en continu des données à partir d’Apache Pulsar sur Azure Databricks. Consultez Diffuser en continu à partir d’Apache Pulsar.
Pilote Snowflake mis à niveau
Le pilote JDBC Snowflake utilise désormais la version 3.13.33.
Variables de session langage SQL
Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées à partir des requêtes. Voir Variables.
Invocation de paramètre nommé pour SQL et Python UDF.
Vous pouvez désormais utiliser l'invocation de paramètre nommé sur langage SQL et Python UDF.
Les arguments de table des fonctions prennent en charge le partitionnement et le classement.
Vous pouvez désormais utiliser les clauses PARTITION BY et ORDER BY pour contrôler la manière dont les arguments de table sont transmis à une fonction lors de l'invocation de la fonction.
Fonctions SQL intégrées nouvelles et améliorées
Les fonctions intégrées suivantes ont été ajoutées :
- from_xml : analyse un XML
STRINGdans un fichierSTRUCT. - schema_of_xml : Dérive un schéma à partir d'un XML
STRING. - session_user : renvoie l'utilisateur connecté.
- try_reflect : Renvoie
NULLà la place de l'exception si une méthode Java échoue.
Les fonctions intégrées suivantes ont été améliorées :
- mode : Prise en charge d'un paramètre facultatif forçant un résultat déterministe.
- to_char : nouvelle prise en charge de
DATE,TIMESTAMPetBINARY. - to_varchar : nouvelle prise en charge de
DATE,TIMESTAMPetBINARY.
Gestion améliorée des sous-requêtes corrélées
La capacité de traiter la corrélation dans les sous-requêtes a été étendue :
- Gérez la limite et l’ordre dans des sous-requêtes scalaires (latérales) corrélées.
- Prise en charge des fonctions de fenêtre dans les sous-requêtes scalaires corrélées.
- Prise en charge des références corrélées dans les prédicats de jointure pour les sous-requêtes scalaires et latérales
Changement de comportement
Vérification de type stricte dans le lecteur Photon Parquet
Photon échoue lors de la tentative de lecture d’une valeur décimale dans une colonne Parquet qui n’est pas de type décimal. Photon échoue également lors de la lecture d’un tableau d’octets de longueur fixe sous forme de chaîne dans Parquet.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- filelock de la version 3.12.2 vers la version 3.12.3
- s3transfer de la version 0.6.1 vers la version 0.6.2
- Bibliothèques Java mises à niveau :
- com.uber.h3 de la version 3.7.0 vers la version 3.7.3
- io.airlift.aircompressor de la version 0.24 vers la version 0.25
- io.delta.delta-sharing-spark_2.12 de la version 0.7.1 vers la version 0.7.5
- io.netty.netty-all de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-buffer de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-codec de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-codec-http de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-codec-http2 de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-codec-socks de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-common de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-handler de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-handler-proxy de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-resolver de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-transport de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-transport-classes-epoll de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-transport-classes-kqueue de la version 4.1.93.Final vers la version 4.1.96.Final
- io.netty.netty-transport-native-epoll de la version 4.1.93.Final-linux-x86_64 vers la version 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de la version 4.1.93.Final-osx-x86_64 vers la version 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de la version 4.1.93.Final vers la version 4.1.96.Final
- net.snowflake.snowflake-jdbc de la version 3.13.29 vers la version 3.13.33
- org.apache.orc.orc-core de la version 1.9.0-shaded-protobuf vers la version 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce de la version 1.9.0-shaded-protobuf vers la version 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims de la version 1.9.0 vers la version 1.9.1
Apache Spark
Databricks Runtime 14.1 comprend Apache Spark 3.5.0. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 14.0 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :
- [SPARK-45088] [DBRRM-557] Rétablir « [SC-142785] [PYTHON] [CONNECT] Faire fonctionner getitem avec une colonne dupliquée »
- [SPARK-43453] [DBRRM-557]Revenir « [SC-143135][PS] Ignorer le
namesdeMultiIndexquandaxis=1pourconcat» - [SPARK-45225] [SC-143207][SQL] XML : prise en charge de l’URL du fichier XSD
- [SPARK-45156] [SC-142782][SQL] Envelopper
inputNameavec des accents graves dans la classe d’erreurNON_FOLDABLE_INPUT - [SPARK-44910] [SC-143082][SQL] Encoders.bean ne prend pas en charge les superclasses avec des arguments de type générique
- [SPARK-43453] [SC-143135][PS] Ignorer le
namesdeMultiIndexlorsqueaxis=1pourconcat - [SPARK-44463] [SS][CONNECT] Améliorer la gestion des erreurs pour Connect diffusant en continu un worker Python
- [SPARK-44960] [SC-141023][UI] Résumé des erreurs unescape et consist dans les pages de l’interface utilisateur
- [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] Ajouter from_xml et schema_of_xml à pyspark, spark connect et sql function
- [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5]Ajouter les packages manquants dans setup.py
- [SPARK-45151] [SC-142861][CORE][UI] Prise en charge du vidage de thread au niveau des tâches
- [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] Tests d’arrêt pour streamingQueryListener et foreachBatch
- [SPARK-45084] [SC-142828][SS] StateOperatorProgress doit utiliser un numéro de partition aléatoire effectif précis
- [SPARK-44872] [SC-142405][CONNECT] Infrastructure de test du serveur et reattachableExecuteSuite
- [SPARK-45197] [SC-142984][CORE] Faire en sorte que
StandaloneRestServerajouteJavaModuleOptionsaux pilotes - [SPARK-44404] [SC-139601][SQL] Attribuer des noms à la classe d’erreur LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297][SQL] Prendre en charge SPJ où les clés de jointure sont inférieures aux clés de cluster
- [SPARK-45088] [SC-142785][PYTHON][CONNECT] Faire fonctionner
getitemavec les colonnes dupliquées - [SPARK-45128] [SC-142851][SQL] Prendre en charge
CalendarIntervalTypedans Arrow - [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] Éviter le modèle ML Spark Connect pour modifier le dataframe Pandas d’entrée
- [SPARK-45034] [SC-142959][SQL] Prendre en charge la fonction de mode déterministe
- [SPARK-45173] [SC-142931][UI] Supprimer certains fichiers sourceMapping inutiles dans l’interface utilisateur
- [SPARK-45162] [SC-142781][SQL] Prendre en charge les mappages et paramètres de tableau construits via
call_function - [SPARK-45143] [SC-142840][PYTHON][CONNECT] Rendre PySpark compatible avec PyArrow 13.0.0
- [SPARK-45174] [SC-142837][CORE] Prendre en charge
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956][CONNECT][PYTHON] Le client Python doit appeler
release_all - [SPARK-36191] [SC-142777][SQL] Gérer la limite et l’ordre dans les sous-requêtes scalaires mises en corrélation (latérales)
- [SPARK-45159] [SC-142829][PYTHON] Gérer les arguments nommés uniquement si cela est nécessaire
- [SPARK-45133] [SC-142512][CONNECT] Définir les requêtes Spark Connect sur FINISHED lorsque la dernière tâche de résultat est terminée
- [SPARK-44801] [SC-140802][SQL][UI] Capturer l’analyse des requêtes ayant échoué dans l’écouteur et l’interface utilisateur
- [SPARK-45139] [SC-142527][SQL] Ajouter DatabricksDialect pour gérer la conversion de type SQL
- [SPARK-45157] [SC-142546][SQL] Éviter les vérifications répétées de
ifdans[On|Off|HeapColumnVector - [SPARK-45077] Rétablir « [SC-142069][UI] Mettre à niveau dagre-d3.js de la version 04.3 vers la version 0.6.4 »
- [SPARK-45145] [SC-142521][EXAMPLE] Ajouter un exemple JavaSparkSQLCli
- [SPARK-43295] Rétablir « [SC-142254][PS] Prendre en charge les colonnes de type chaîne pour
DataFrameGroupBy.sum» - [SPARK-44915] [SC-142383][CORE] Valider la somme de contrôle des données aléatoires de PVC remontées avant la récupération
- [SPARK-45147] [SC-142524][CORE] Supprimer l’utilisation de
System.setSecurityManager - [SPARK-45104] [SC-142206][UI] Mettre à niveau
graphlib-dot.min.jsvers la version 1.0.2 - [SPARK-44238] [SC-141606][CORE][SQL] Introduire une nouvelle méthode
readFromavec une entrée de tableau d’octets pourBloomFilter - [SPARK-45060] [SC-141742][SQL] Corriger une erreur interne de
to_char()sur le formatNULL - [SPARK-43252] [SC-142381][SQL] Remplacer la classe d’erreur
_LEGACY_ERROR_TEMP_2016par une erreur interne - [SPARK-45069] [SC-142279][SQL] La variable SQL doit toujours être résolue après une référence externe
- [SPARK-44911] [SC-142388][SQL] La création d’une table Hive avec une colonne non valide doit retourner la classe d’erreur
- [SPARK-42754] [SC-125567][SQL][UI] Corriger le problème de compatibilité descendante dans une exécution SQL imbriquée
- [SPARK-45121] [SC-142375][CONNECT][PS] Prendre en charge
Series.emptypour Spark Connect - [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/etc. doivent fonctionner dans un vecteur de colonne qui dispose d’un dictionnaire
- [SPARK-45027] [SC-142248][PYTHON] Masquer les fonctions/variables internes dans
pyspark.sql.functionsà partir de la saisie semi-automatique - [SPARK-45073] [SC-141791][PS][CONNECT] Remplacer
LastNotNullparLast(ignoreNulls=True) - [SPARK-44901] [SC-141676][SQL] Rétroportage manuel : Ajouter une API dans la méthode « analyze » UDTF Python pour retourner des expressions de partitionnement/classement
- [SPARK-45076] [SC-141795][PS] Basculer vers la fonction
repeatintégrée - [SPARK-44162] [SC-141605][CORE] Prendre en charge G1GC dans les métriques Spark
- [SPARK-45053] [SC-141733][PYTHON][MINOR] Améliorer la journalisation de la non-concordance des versions de Python
- [SPARK-44866] [SC-142221][SQL] Ajouter
SnowflakeDialectpour gérer correctement le type BOOLEAN - [SPARK-45064] [SC-141775][PYTHON][CONNECT] Ajouter le paramètre manquant
scaledansceil/ceiling - [SPARK-45059] [SC-141757][CONNECT][PYTHON] Ajouter les fonctions
try_reflectà Scala et à Python - [SPARK-43251] [SC-142280][SQL] Remplacer la classe d’erreur
_LEGACY_ERROR_TEMP_2015par une erreur interne - [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] Rendre la colonne de sortie des alias de fonction cohérente avec SQL
- [SPARK-44239] [SC-141502][SQL] Libérer la mémoire allouée par de grands vecteurs lorsque les vecteurs sont réinitialisés
- [SPARK-43295] [SC-142254][PS] Prendre en charge les colonnes de type chaîne pour
DataFrameGroupBy.sum - [SPARK-45080] [SC-142062][SS] Appeler explicitement la prise en charge des colonnes dans les sources de données de streaming DSv2
- [SPARK-45036] [SC-141768][SQL] SPJ : Simplifier la logique pour gérer la distribution partiellement en cluster
- [SPARK-45077] [SC-142069][UI] Mettre à niveau dagre-d3.js de la version 0.4.3 vers la version 0.6.4
- [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] La fonction
floor/round/broundaccepte le type de colonnescale - [SPARK-45090] [SC-142019][PYTHON][CONNECT]
DataFrame.{cube, rollup}doit prendre en charge les numéros de colonne - [SPARK-44743] [SC-141625][SQL] Ajouter la fonction
try_reflect - [SPARK-45086] [SC-142052][UI] Afficher la valeur hexadécimale pour le code de hachage de verrou de thread
- [SPARK-44952] [SC-141644][SQL][PYTHON] Prendre en charge les arguments nommés dans les fonctions UDF Pandas agrégées
- [SPARK-44987] [SC-141552][SQL] Attribuer un nom à la classe d’erreur
_LEGACY_ERROR_TEMP_1100 - [SPARK-45032] [SC-141730][CONNECT] Corriger les avertissements de compilation liés à
Top-level wildcard is not allowed and will error under -Xsource:3 - [SPARK-45048] [SC-141629][CONNECT] Ajouter des tests supplémentaires pour le client Python et l’exécution pouvant être attachée
- [SPARK-45072] [SC-141807][CONNECT] Corriger les étendues externes pour les classes ammonite
- [SPARK-45033] [SC-141759][SQL] Prendre en charge les mappages par
sql()paramétrisé - [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] Faire en sorte que la fonction
repeataccepte le type de colonnen - [SPARK-44860] [SC-141103][SQL] Ajouter la fonction SESSION_USER
- [SPARK-45074] [SC-141796][PYTHON][CONNECT]
DataFrame.{sort, sortWithinPartitions}doit prendre en charge les numéros de colonne - [SPARK-45047] [SC-141774][PYTHON][CONNECT]
DataFrame.groupBydoit prendre en charge les numéros - [SPARK-44863] [SC-140798][UI] Ajouter un bouton pour télécharger le vidage de thread au format .txt dans l’interface utilisateur de Spark
- [SPARK-45026] [SC-141604][CONNECT]
spark.sqldoit prendre en charge les types de données non compatibles avec Arrow - [SPARK-44999] [SC-141145][CORE] Refactoriser
ExternalSorterpour réduire les vérifications surshouldPartitionlors de l’appel degetPartition - [SPARK-42304] [SC-141501][SQL] Renommer
_LEGACY_ERROR_TEMP_2189enGET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450][SQL] Corriger IllegalStateException lors du regroupement de deux jeux de données dérivés de la même source
- [SPARK-45018] [SC-141516][PYTHON][CONNECT] Ajouter CalendarIntervalType au client Python
- [SPARK-45024] [SC-141513][PYTHON][CONNECT] Filtrer certaines configurations dans la création de session
- [SPARK-45017] [SC-141508][PYTHON] Ajouter
CalendarIntervalTypeà PySpark - [SPARK-44720] [SC-139375][CONNECT] Faire en sorte que le jeu de données utilise Encoder au lieu d’AgnosticEncoder
- [SPARK-44982] [SC-141027][CONNECT] Marquer les configurations du serveur Spark Connect comme statiques
- [SPARK-44839] [SC-140900][SS][CONNECT] Améliorer la journalisation des erreurs lorsque l’utilisateur tente de sérialiser une session Spark
- [SPARK-44865] [SC-140905][SS] Faire en sorte que StreamingRelationV2 prenne en charge la colonne de métadonnées
- [SPARK-45001] [SC-141141][PYTHON][CONNECT] Implémenter DataFrame.foreachPartition
- [SPARK-44497] [SC-141017][WEBUI] Afficher l’ID de partition de tâche dans la table de tâches
- [SPARK-45006] [SC-141143][UI] Utiliser le même format de date que d’autres éléments de date de l’interface utilisateur pour l’axe X des chronologies
- [SPARK-45000] [SC-141135][PYTHON][CONNECT] Implémenter DataFrame.foreach
- [SPARK-44967] [SC-141137][SQL][CONNECT] L’unité doit être considérée en premier avant d’utiliser un booléen pour TreeNodeTag
- [SPARK-44993] [SC-141088][CORE] Ajouter
ShuffleChecksumUtils.compareChecksumsen réutilisantShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176][CONNECT] Ajouter Dataset.metadataColumn au client Scala
- [SPARK-44965] [SC-141098][PYTHON] Masquer les fonctions/variables internes de
pyspark.sql.functions - [SPARK-44983] [SC-141030][SQL] Convertir la valeur binaire en chaîne par
to_charpour les formatshex,base64etutf-8 - [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] Corriger les tuples nommés pour fonctionner dans createDataFrame
- [SPARK-44985] [SC-141033][CORE] Utiliser toString au lieu de stacktrace pour le reaper de tâche threadDump
- [SPARK-44984] [SC-141028][PYTHON][CONNECT] Supprimer
_get_aliasde DataFrame - [SPARK-44975] [SC-141013][SQL] Supprimer le remplacement inutile de binaryArithmetic (résolu)
- [SPARK-44969] [SC-140957][SQL] Réutiliser
ArrayInsertdansArrayAppend - [SPARK-44549] [SC-140714][SQL] Prendre en charge les fonctions de fenêtre dans les sous-requêtes scalaires mises en corrélation
- [SPARK-44938] [SC-140811][SQL] Remplacer la valeur par défaut de
spark.sql.maxSinglePartitionBytespar 128m - [SPARK-44918] [SC-140816][SQL][PYTHON] Prendre en charge les arguments nommés dans les fonctions UDF Python/Pandas scalaires
- [SPARK-44966] [SC-140907][CORE][CONNECT] Remplacer
var(jamais remplacé) parval - [SPARK-41471] [SC-140804][SQL] Réduire la lecture aléatoire dans Spark quand un seul côté d’une jointure est KeyGroupedPartitioning
- [SPARK-44214] [SC-140528][CORE] Prendre en charge l’interface utilisateur des journaux en direct de Spark Driver
- [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][CONNECT] Ajouter ProducedRowCount à SparkListenerConnectOperationFinished
- [SPARK-42017] [SC-140765][PYTHON][CONNECT]
df['col_name']doit valider le nom de la colonne - [SPARK-40178] [SC-140433][SQL][COONECT] Prendre facilement en charge les indicateurs de fusion pour PySpark et R
- [SPARK-44840] [SC-140593][SQL] Définir
array_insert()en base 1 pour les index négatifs - [SPARK-44939] [SC-140778][R] Prendre en charge Java 21 dans SparkR SystemRequirements
- [SPARK-44936] [SC-140770][CORE] Simplifier le journal quand Spark HybridStore atteint la limite de mémoire
- [SPARK-44908] [SC-140712][ML][CONNECT] Corriger fonctionnalité du paramètre foldCol entre validateurs
- [SPARK-44816] [SC-140717][CONNECT] Améliorer le message d’erreur quand la classe UDF est introuvable
- [SPARK-44909] [SC-140710][ML] Ignorer le démarrage du serveur de streaming de journaux du distributeur torch quand il n’est pas disponible
- [SPARK-44920] [SC-140707][CORE] Utiliser await() à la place d’awaitUninterruptibly() dans TransportClientFactory.createClient()
- [SPARK-44905] [SC-140703][SQL] LastRegex avec état entraîne NullPointerException sur eval pour regexp_replace
- [SPARK-43987] [SC-139594][Shuffle] Séparer le traitement de FinaliseShuffleMerge en pools de threads dédiés
- [SPARK-42768] [SC-140549][SQL] Activer le plan mis en cache pour appliquer AQE par défaut
- [SPARK-44741] [SC-139447][CORE] Prendre en charge MetricFilter basé sur regex dans
StatsdSink - [SPARK-44751] [SC-140532][SQL] Implémentation de l’interface XML FileFormat
- [SPARK-44868] [SC-140438][SQL] Convertir datetime en chaîne par
to_char/to_varchar - [SPARK-44748] [SC-140504][SQL] Exécution de requête pour la clause PARTITION BY dans les arguments UDTF TABLE
- [SPARK-44873] [SC-140427] Prendre en charge la modification de la vue avec des colonnes imbriquées dans le client Hive
- [SPARK-44876] [SC-140431][PYTHON] Corriger la fonction UDF Python optimisée pour Arrow sur Spark Connect
- [SPARK-44520] [SC-137845][SQL] Remplacer le terme UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY par UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY et la divulgation des AE racines
- [SPARK-42664] [SC-139769][CONNECT] Prendre en charge la fonction
bloomFilterpourDataFrameStatFunctions - [SPARK-43567] [SC-139227][PS] Prendre en charge
use_na_sentinelpourfactorize - [SPARK-44859] [SC-140254][SS] Corriger le nom de propriété incorrect dans la documentation de Structured Streaming
- [SPARK-44822] [SC-140182][PYTHON][SQL] Rendre les fonctions définies par l’utilisateur Python par défaut non déterministes
- [SPARK-44731] [SC-139524][PYTHON][CONNECT] Faire fonctionner TimestampNTZ avec des littéraux dans Python Spark Connect
- [SPARK-44836] [SC-140180][PYTHON] Refactoriser les fonctions UDF Python Arrow
- [SPARK-44714] [SC-139238] Assouplir les restrictions de la résolution LCA concernant les requêtes avec having
- [SPARK-44749] [SC-139664][SQL][PYTHON] Prendre en charge les arguments nommés dans les fonctions UDTF Python
- [SPARK-44737] [SC-139512][SQL][UI] Ne pas afficher les erreurs de format JSON sur la page SQL pour les non-SparkThrowables sous l’onglet SQL
- [SPARK-44665] [SC-139307][PYTHON] Ajouter la prise en charge de DataFrame assertDataFrameEqual dans Pandas
- [SPARK-44736] [SC-139622][CONNECT] Ajouter Dataset.explode au client Scala Spark Connect
- [SPARK-44732] [SC-139422][SQL] Prise en charge de la source de données XML intégrée
- [SPARK-44694] [SC-139213][PYTHON][CONNECT] Refactoriser les sessions actives et les exposer en tant qu’API
- [SPARK-44652] [SC-138881] Déclencher une erreur quand un seul df est None
- [SPARK-44562] [SC-138824][SQL] Ajouter OptimizeOneRowRelationSubquery dans le lot de la sous-requête
- [SPARK-44717] [SC-139319][PYTHON][PS] Respecter TimestampNTZ dans le rééchantillonnage
- [SPARK-42849] [SC-139365] [SQL] Variables de session
- [SPARK-44236] [SC-139239][SQL] Désactiver WholeStageCodegen lors de la définition de
spark.sql.codegen.factoryModesur NO_CODEGEN - [SPARK-44695] [SC-139316][PYTHON] Améliorer le message d’erreur pour
DataFrame.toDF - [SPARK-44680] [SC-139234][SQL] Améliorer l’erreur pour les paramètres dans
DEFAULT - [SPARK-43402] [SC-138321][SQL] FileSourceScanExec prend en charge le pushdown de filtres de données avec une sous-requête scalaire
- [SPARK-44641] [SC-139216][SQL] Résultat incorrect dans certains scénarios lorsque SPJ n’est pas déclenché
- [SPARK-44689] [SC-139219][CONNECT] Rendre la gestion des exceptions de la fonction
SparkConnectPlanner#unpackScalarScalaUDFplus universelle - [SPARK-41636] [SC-139061][SQL] Vérifier que
selectFiltersretourne des prédicats dans l’ordre déterministe - [SPARK-44132] [SC-139197][SQL] Matérialiser
Streamdes noms de colonnes de jointure pour éviter l’échec de codegen - [SPARK-42330] [SC-138838][SQL] Attribuer le nom
RULE_ID_NOT_FOUNDà la classe d’erreur_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214][SS] Le niveau de journalisation n’est pas passé correctement au fournisseur de magasins d’état RocksDB
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatusdoit retournerNoneau lieu deSome(null) - [SPARK-44603] [SC-138353] Ajouter pyspark.testing à setup.py
- [SPARK-44252] [SC-137505][SS] Définir une nouvelle classe d’erreur et l’appliquer lorsque le chargement de l’état à partir de DFS échoue
- [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] Lever une erreur lorsque la fonction UDF n’est pas désérialisable
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] Retenter ExecutePlan si la requête initiale n’a pas atteint le serveur
- [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Supprimer la dépendance de Connect Client Catalyst
- [SPARK-44059] [SC-138833][SQL] Ajouter de meilleurs messages d’erreur pour les arguments nommé SQL
- [SPARK-44620] [SC-138831][SQL][PS][CONNECT] Faire en sorte que
ResolvePivotconservePlan_ID_TAG - [SPARK-43838] [SC-137413][SQL] Correction de la sous-requête sur une table unique avec une clause having ne pouvant pas être optimisée
- [SPARK-44555] [SC-138820][SQL] Utilisation de checkError() pour vérifier l’exception dans la suite de commandes et affecter certains noms de classes d’erreur
- [SPARK-44280] [SC-138821][SQL] Ajouter convertJavaTimestampToTimestamp à l’API JDBCDialect
- [SPARK-44602] [SC-138337][SQL][CONNECT][PS] Faire en sorte que
WidenSetOperationTypesconservePlan_ID_TAG - [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
- [SPARK-43838] Rétablir « [SC-137413][SQL] Corriger la sous-requête sur une table unique… »
- [SPARK-44538] [SC-138178][CONNECT][SQL] Rétablir Row.jsonValue et amis
- [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Exécution rattachable dans Spark Connect
- [SPARK-43838] [SC-137413][SQL] Correction de la sous-requête sur une table unique avec une clause having ne pouvant pas être optimisée
- [SPARK-44587] [SC-138315][SQL][CONNECT] Augmenter la limite de récursivité du marshaleur protobuf
- [SPARK-44605] [SC-138338][CORE] Affiner l’API ShuffleWriteProcessor interne
- [SPARK-44394] [SC-138291][CONNECT][WEBUI] Ajouter une page d’interface utilisateur Spark pour Spark Connect
- [SPARK-44585] [SC-138286][MLLIB] Corriger la condition d’avertissement dans MLLib RankingMetrics ndcgAk
- [SPARK-44198] [SC-138137][CORE] Prendre en charge la propagation du niveau de journal aux exécuteurs
- [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType doit prendre en charge une action de secours
- [SPARK-44425] [SC-138135][CONNECT] Vérifier que le sessionId fourni par l’utilisateur est un UUID
- [SPARK-43611] [SC-138051][SQL][PS][CONNECT] Faire en sorte que
ExtractWindowExpressionsconservePLAN_ID_TAG - [SPARK-44560] [SC-138117][PYTHON][CONNECT] Améliorer les tests et la documentation pour les fonctions UDF Python Arrow
- [SPARK-44482] [SC-138067][CONNECT] Le serveur Connect doit pouvoir spécifier l’adresse de liaison
- [SPARK-44528] [SC-138047][CONNECT] Prendre en charge l’utilisation appropriée de hasattr() pour le dataframe Connect
- [SPARK-44525] [SC-138043][SQL] Améliorer le message d’erreur lorsque la méthode Invoke est introuvable
- [SPARK-44355] [SC-137878][SQL] Déplacer WithCTE dans les requêtes de commande
Prise en charge du pilote ODBC/JDBC Databricks
Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).
Environnement du système
- Système d’exploitation : Ubuntu 22.04.3 LTS
- Java : Zulu 8.72.0.17-CA-linux64
- Scala : 2.12.15
- Python : 3.10.12
- R : 4.3.1
- Delta Lake : 3.0.0
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | chiffrement | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0,4 |
| en cours d’exécution | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | Bibliothèque d'exécution Cloud de la communauté du secteur public | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | notebook | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | empaquetage | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requêtes | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | six | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| flèche | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | objet BLOB | 1.2.4 |
| boot | 1.3-28 | brew | 1,0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | horloge | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | jeux de données | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | diagramme | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0,21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | cycle de vie | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrice | 1.5-4.1 | memoise | 2.0.1 |
| méthodes | 4.3.1 | mgcv | 1.8-42 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2,23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0,45 | tools | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | flux | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 natifs |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 natifs |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 natifs |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 natifs |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collecteur | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |