Databricks Runtime 14.2

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.2 avec Apache Spark 3.5.0.

Databricks a publié ces images en novembre 2023.

Améliorations et nouvelles fonctionnalités

CACHE SELECT est désormais ignoré

La commande SQL CACHE SELECT est désormais ignorée en faveur d’un algorithme de mise en cache amélioré. Consultez Optimisation des performances avec la mise en cache sur Azure Databricks.

Correction de la gestion des fichiers corrompus dans les commandes DML

Les commandes DML DELETE, UPDATEet MERGE INTO ne respectent plus les options de lecture ignoreCorruptFiles et ignoreMissingFiles. Lorsqu’elles rencontrent un fichier non lisible dans un tableau, ces commandes échouent désormais même si ces options sont spécifiées.

Vous pouvez maintenant utiliser les fonctions Python from_avro, to_avro, from_protobufet to_protobuf avec le Registre de schémas dans des clusters partagés.

Prise en charge de foreachBatch et de StreamingListener

Vous pouvez désormais utiliser les API foreachBatch() et StreamingListener dans les clusters partagés. Consultez Utiliser foreachBatch pour écrire dans des récepteurs de données arbitraires et Surveillance des requêtes de Structured Streaming sur Azure Databricks.

La concurrence au niveau des lignes est en disponibilité générale et activée par défaut

L’accès concurrentiel au niveau des lignes réduit les conflits entre les opérations d’écriture simultanées en détectant les modifications au niveau des lignes. La concurrence au niveau des lignes est prise en charge uniquement sur les tables sans partitionnement dont font partie les tables avec clustering liquide. La concurrence au niveau des lignes est activée par défaut sur les tables Delta avec les vecteurs de suppression activés. Consultez Conflits d’écriture avec concurrence au niveau des lignes.

Delta Sharing : les destinataires peuvent effectuer des requêtes par lots, CDF et de streaming sur des tables partagées avec des vecteurs de suppression (préversion publique)

Les destinataires Delta Sharing peuvent désormais effectuer des requêtes par lots, CDF et de streaming sur des tables partagées qui utilisent des vecteurs de suppression. Sur Databricks Runtime 14.1, ils peuvent effectuer seulement des requêtes par lots. Consultez les articles Ajouter des tables avec des vecteurs de suppression ou un mappage de colonnes à un partage, Lire des tables avec un mappage de colonnes ou des vecteurs de suppression activés et Lire des tables avec un mappage de colonnes ou des vecteurs de suppression activés.

Clone superficiel pour des tables externes Unity Catalog (préversion publique)

Vous pouvez désormais utiliser un clone superficiel avec des tables externes Unity Catalog. Consultez Clone superficiel pour les tables Unity Catalog.

Nouvel algorithme d’affectation de mise en cache du disque

Le planificateur Spark utilise désormais un nouvel algorithme de mise en cache du disque. L’algorithme améliore l’utilisation du disque et de l’affectation de partitions entre les nœuds, avec une affectation plus rapide au début et après les événements de mise à l’échelle du cluster. Du fait d’une affectation de cache plus stable, la cohérence entre les exécutions est améliorée et la quantité de données déplacées réduite durant les opérations de rééquilibrage.

Ajout de la prise en charge de l’évolution de schéma à from_avro avec connecteur de registre de schéma

Vous pouvez désormais permettre le redémarrage de vos pipelines lorsque des enregistrements ayant évolué sont détectés. Auparavant, si une évolution de schéma se produisait avec le connecteur from_avro, les nouvelles colonnes retournaient null. Consultez Lire et écrire des données Avro en streaming.

Collecte de statistiques multithread plus rapide

La collecte de statistiques est jusqu’à 10 fois plus rapide sur les petits clusters lors de l’exécution de CONVERT TO DELTA ou du clonage à partir de tables Iceberg et Parquet. Consultez Convertir en Delta Lake et Cloner des tables Parquet et Iceberg.

Filtres pushdown de la source Delta sur les fichiers Delta

Pour une meilleure utilisation, les filtres de partition sur les requêtes de streaming de tables Delta font désormais l’objet d’un pushdown vers Delta avant la limitation de débit.

Prise en charge des fonctions scalaires définies par l’utilisateur Scala sur des clusters partagés (préversion publique)

Vous pouvez désormais utiliser des fonctions Scala définies par l’utilisateur sur des clusters Unity Catalog configurés avec le mode d’accès partagé. Consultez Fonctions scalaires définies par l’utilisateur – Scala.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • fastjsonschema, versions 2.18.0 à 2.19.0
    • filelock de la version 3.12.3 à la version 3.12.4
    • googleapis-common-protos de la version 1.60.0 à la version 1.61.0
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :

Apache Spark

Databricks Runtime 14.2 comprend Apache Spark 3.5.0. Cette version comprend l’ensemble des correctifs et améliorations Spark présentes dans Databricks Runtime 14.1 ainsi que les autres correctifs de bogues et améliorations apportés à Spark, à savoir :

  • [SPARK-45592] [DBRRM-624] Rétablir « [SC-146977][SQL] Problème d’exactitude dans AQE avec InMemoryTableScanExec »
  • [SPARK-45524] [DBRRM-625] Rétablir « [SC-146319][PYTHON][SQL] Prise en charge initiale…
  • [SPARK-45433] [DBRRM-621] Rétablir « [SC-145163][SQL] Correction de l’inférence de schéma CSV/JSON…
  • [SPARK-45592] [SC-146977][SQL] Problème d’exactitude dans AQE avec InMemoryTableScanExec
  • [SPARK-45354] Rétablir « [SC-143991][SQL] Résolution ascendante des fonctions »
  • [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] Correction de tests
  • [SPARK-45680] [CONNECT] Libération de session
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Correction de ralentissement dans la lecture Avro
  • [SPARK-45649] [SC-146742][SQL] Unification de l’infrastructure de préparation pour OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL] Création de StructType à partir de JSON
  • [SPARK-45620] [SC-146225][PYTHON] Correction des API orientées utilisateur en rapport avec les fonctions UDTF Python pour une utilisation de la casse mixte
  • [SPARK-45727] [SC-146978][SS] Suppression de mappage non utilisé dans une simulation de propagation de filigrane
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT] Les méthodes catalogue évitent la conversion pandas
  • [SPARK-45574] [SC-146106][SQL] Ajout de la syntaxe :: comme abréviation pour la conversion (cast)
  • [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit ne prend pas en charge --total-executor-cores lors du déploiement sur K8s
  • [SPARK-45661] [SC-146594][SQL][PYTHON] Ajout de toNullable dans StructType, MapType et ArrayType
  • [SPARK-45524] [SC-146319][PYTHON][SQL] Prise en charge initiale de l’API de lecture de source de données Python
  • [SPARK-45542] [SC-145892][CORE] Remplacement de setSafeMode(HdfsConstants.SafeModeAction, boolean) par setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][SQL] SPJ : gestion des partitions d’entrée vides après un filtrage dynamique
  • [SPARK-45454] [SC-144846][SQL] Définition du propriétaire par défaut de la table sur current_user
  • [SPARK-45554] [SC-146875][PYTHON] Introduction d’un paramètre flexible pour assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL] Utilisation de l’ID DataFrame pour valider sémantiquement CollectMetrics
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON] Amélioration du message d’erreur pour les attributs dépendants de JVM sur Spark Connect.
  • [SPARK-45646] [SC-146276][SQL] Suppression des variables de temps codées en dur antérieures à Hive 2.0
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Correction de ralentissement dans la lecture Avro
  • [SPARK-45545] [SC-146484][CORE] Transmission de SSLOptions chaque fois qu’un SparkTransportConf est créé
  • [SPARK-45641] [SC-146260][UI] Affichage de l’heure de démarrage de l’application sur AllJobsPage
  • [SPARK-40154] [SC-146491][Python][Docs] Correction du niveau de stockage dans Dataframe.cache docstring
  • [SPARK-45626] [SC-146259][SQL] Conversion de _LEGACY_ERROR_TEMP_1055 en REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][SQL] Correction d’exactitude pour les sous-requêtes scalaires corrélées imbriquées avec des agrégats COUNT
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON] Application des métriques observées à l’objet Observation
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] Amélioration de Scaladoc pour StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][CORE] Évitement de ParVector, qui ne propage ni ThreadLocals ni SparkSession
  • [SPARK-45604] [SC-146105][SQL] Ajout de la vérification LogicalType sur INT64 -> Conversion DateTime sur le lecteur vectorisé Parquet
  • [SPARK-44649] [SC-145891][SQL] Le filtre de runtime prend en charge la transmission d’expressions côté création équivalentes
  • [SPARK-41674] [SC-128408][SQL] Le filtre d’exécution doit prendre en charge le côté jointure aléatoire multiniveau en tant que côté création de filtre
  • [SPARK-45547] [SC-146228][ML] Validation des vecteurs à l’aide d’une fonction intégrée
  • [SPARK-45558] [SC-145890][SS] Introduction d’un fichier de métadonnées pour l’opérateur avec état de streaming
  • [SPARK-45618] [SC-146252][CORE] Suppression de BaseErrorHandler
  • [SPARK-45638] [SC-146251][SQL][Avro] Amélioration de la couverture des tests de conversion décimale
  • [SPARK-44837] [SC-146020][SQL] Modification du message d’erreur de la colonne ALTER TABLE ALTER PARTITION
  • [SPARK-45561] [SC-146264][SQL] Ajout de conversions appropriées pour TINYINT dans MySQLDialect
  • [SPARK-45632] [SC-146255][SQL] Le cache de table doit éviter les ColumnarToRow inutiles lors de l’activation d’AQE
  • [SPARK-45569] [SC-145932][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][CONNECT] Tests SBT désormais hermétiques.
  • [SPARK-45452] [SC-144836][SQL] Amélioration de InMemoryFileIndex pour utiliser l’API FileSystem.listFiles
  • [SPARK-44735] [SC-146186][SQL] Ajout d’un message d’avertissement lors de l’insertion de colonnes de même nom par ligne qui ne correspondent pas
  • [SPARK-45351] [SC-144791][SQL] Remplacement de la valeur par défaut spark.shuffle.service.db.backend par ROCKSDB
  • [SPARK-45553] [SC-145906][PS] Désapprobation de assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][CORE] Exposition de DeterministicLevel en tant que DeveloperApi
  • [SPARK-45549] [SC-145895][CORE] Suppression de numExistingExecutors non utilisé dans CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][CONNECT] Inclusion de SqlState dans le message proto SparkThrowable
  • [SPARK-45595] [SC-146037] Exposition de sqlstate dans le message d’erreur
  • [SPARK-45628] [SC-146123][ML] Amélioration de vector_to_array pour .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][FOLLOW UP] Désactivation de la décorrélation dans les conditions de jointure pour le test AQE InSubquery
  • [SPARK-45576] [SC-145883][CORE] Suppression des journaux de débogage inutiles dans ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719][CONNECT] Améliorations de l’agent utilisateur : utilisation de la variable d’environnement SPARK_CONNECT_USER_AGENT et inclusion d’attributs spécifiques d’environnement
  • [SPARK-45508] [SC-145513][CORE] Ajout de « –add-opens=java.base/jdk.internal.ref=ALL-UNNAMED » pour que la plateforme puisse accéder à Cleaner sur Java 9+
  • [SPARK-45595] Rétablir « [SC-146037] Exposition de SQLSTATE dans le message d’erreur »
  • [SPARK-45595] [SC-146037] Exposition de SQLSTATE dans le message d’erreur
  • [SPARK-45112] Rétablir « [SC-143259][SQL] Utilisation de la résolution basée sur UnresolvedFunction…
  • [SPARK-45257] [SC-143411][SQL] Activation par défaut de spark.eventLog.compress
  • [SPARK-45586] [SC-145899][SQL] Diminution de la latence du compilateur pour les plans présentant de grandes arborescences d’expressions
  • [SPARK-45517] [SC-145691][CONNECT][14.x] Développement de constructeurs d’exceptions supplémentaires pour prendre en charge les paramètres de l’infrastructure d’erreurs
  • [SPARK-45581] [SC-145896] SQLSTATE rendu obligatoire.
  • [SPARK-45427] [SC-145590][CORE] Ajout des paramètres SSL RPC à SSLOptions et SparkTransportConf
  • [SPARK-45261] [SC-143357][CORE] Correction de EventLogFileWriters pour gérer none en tant que codec
  • [SPARK-45582] [SC-145897][SS] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de streaming en mode sortie
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML : option « rowTag » rendue obligatoire
  • [SPARK-45392] [SC-144362][CORE] Remplacement de Class.newInstance() par Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL] Correction de l’inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au timestampFormat spécifié
  • [SPARK-45458] [SC-145011][SQL] Conversion d’IllegalArgumentException en SparkIllegalArgumentException dans bitwiseExpressions
  • [SPARK-45564] [SC-145735][SQL] Simplification de « DataFrameStatFunctions.bloomFilter » avec l’expression « BloomFilterAggregate »
  • [SPARK-45566] [SC-145777][PS] Prise en charge des utilitaires de test de type Pandas pour l’API Pandas sur Spark
  • [SPARK-45498] [SC-145509][CORE] Suivi : non prise en compte de l’achèvement des tâches de l’ancienne phase…
  • [SPARK-45483] [SC-145152][CONNECT] Correction des groupes de fonctions dans connect.functions
  • [SPARK-45577] [SC-145781][PYTHON] Correction d’UserDefinedPythonTableFunctionAnalyzeRunner pour permettre la transmission de valeurs pliées d’arguments nommés
  • [SPARK-45009] [SC-138223][FOLLOW UP] Désactivation de la décorrélation dans les conditions de jointure pour AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Autorisation de la désactivation sélective de « fallocate »dans le magasin d’états RocksDB
  • [SPARK-45500] [SC-145134][CORE][WEBUI] Affichage du nombre de pilotes anormalement arrêtés dans MasterPage
  • [SPARK-44120] [SC-144349][PYTHON] Prise en charge de Python 3.12
  • [SPARK-45439] [SC-145589][SQL][UI] Réduction de l’utilisation de la mémoire de LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717][UI] Boucle inutile de JSON.stringify et de JSON.parse pour la liste des tâches dans les détails de la phase
  • [SPARK-45567] [SC-145718][CONNECT] Suppression de l’élément if redondant dans org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][SQL] Utilisation de la résolution basée sur UnresolvedFunction dans les fonctions de jeu de données SQL
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Demande add_artifact rendue idempotente
  • [SPARK-44913] [SC-144326][SQL] DS V2 prend en charge le pushdown des fonctions définies par l’utilisateur V2 qui contiennent une méthode magic
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT] Bogue overwrite_partitions de pyspark connect
  • [SPARK-45491] [SC-145622] Ajout de SQLSTATES manquant 2/2
  • [SPARK-45009] [SC-145620][SC-138223][SQL] Décorrélation des sous-requêtes de prédicat dans la condition de jointure
  • [SPARK-45377] [SC-144377][CORE] Gestion d’InputStream dans NettyLogger
  • [SPARK-45248] [SC-143759][CORE]Définition du délai d’expiration du serveur d’interface utilisateur spark
  • [SPARK-44594] [SC-145611][SS] Suppression du paramètre de méthode redondant dans le connecteur kafka
  • [SPARK-45539] [SC-145621][SS] Ajout d’une assertion et d’un journal pour indiquer le caractère obligatoire de la définition de filigrane pour les requêtes d’agrégation de streaming en mode ajout
  • [SPARK-44262] [SC-145639][SQL] Ajout de dropTable et de getInsertStatement à JdbcDialect
  • [SPARK-45516] [SC-145480][CONNECT] Inclusion de QueryContext dans le message proto SparkThrowable
  • [SPARK-45310] [SC-145127][CORE] L’état de rapport de blocs de redistribution doit respecter le service de redistribution lors de la désactivation/migration
  • [SPARK-45521] [SC-145487][ML] Évitement du recalcul de nnz dans VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Remplacement de l’alias de colonne current_database() par current_schema()
  • [SPARK-45116] [SC-145142][SQL] Ajout de commentaire pour le paramètre de jdbcDialect createTable
  • [SPARK-45495][SC-145529][core] Prise en charge du profil de ressource de tâche de niveau phase pour le cluster k8s lorsque l’allocation dynamique est désactivée
  • [SPARK-45487] [SC-145559] Correction des SQLSTATE et des erreurs temporaires
  • [SPARK-45505] [SC-145550][PYTHON] Refactorisation d’analyzeInPython pour le rendre réutilisable
  • [SPARK-45132] [SC-145425][SQL] Correction d’IDENTIFIER pour l’appel de fonction
  • [SPARK-45213] [SC-145020][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126][CONNECT] Vérification d’intégrité de la cohérence des résultats Arrow
  • [SPARK-45163] [SC-143386][SQL] Fusion d’UNSUPPORTED_VIEW_OPERATION et d’UNSUPPORTED_TABLE_OPERATION et correction d’un problème
  • [SPARK-45421] [SC-144814][SQL] Interception d’AnalysisException sur InlineCTE
  • [SPARK-43664] [SC-145404][CONNECT][PS] Déclenchement d’une exception pour ps.sql avec l’objet Pandas-on-Spark sur Spark Connect.
  • [SPARK-45402] [SC-145371][SQL][PYTHON] Ajout de l’API UDTF pour les méthodes « eval » et « terminate » afin de consommer le résultat « analyze » précédent
  • [SPARK-36112] [SC-67885] [SQL] Prise en charge des sous-requêtes EXISTS et IN corrélées avec l’infrastructure DecorrelateInnerQuery
  • [SPARK-45383] [SC-144929][SQL] Correction du message d’erreur pour un voyage dans le temps avec une table non existante
  • [SPARK-43254] [SC-143318][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167] [SS] [CONNECT] Ajout d’un ExecuteHolder facultatif à SparkConnectPlanner
  • [SPARK-45451] [SC-145144][SQL] Niveau de stockage par défaut du cache de jeu de données rendu configurable
  • [SPARK-45192] [SC-143194][UI] Correction du paramètre lineInterpolate en retard pour le bord graphviz
  • [SPARK-45467] [SC-145146][CORE] Remplacement de Proxy.getProxyClass() par Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ML][CONNECT] Ajout d’un transformateur de fonctionnalité d’assemblage de tableau
  • [SPARK-44855] [SC-145226][CONNECT] Petits ajustements pour attacher ExecuteGrpcResponseSender à ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][SQL] Ajout de ESCAPE dans sql() de l’expression Like
  • [SPARK-45494] [SC-145129][CORE][PYTHON] Introduction de fonctions utilitaires pour lire/écrire un tableau d’octets pour PythonWorkerUtils
  • [SPARK-45464] [SC-145125][CORE] Correction de la build de distribution de network-yarn
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Introduction d’un mappeur pour StorageLevel
  • [SPARK-45450] [SC-145009][PYTHON] Correction des importations en fonction de PEP8 : pyspark.pandas et pyspark (core)
  • [SPARK-45475] [SC-145018][SQL] Utilisation de DataFrame.foreachPartition à la place de RDD.foreachPartition dans JdbcUtils
  • [SPARK-45271] [SC-143778][SQL] Fusion de _LEGACY_ERROR_TEMP_1113 dans TABLE_OPERATION et suppression d’une méthode inutilisée dans QueryCompilationErrors
  • [SPARK-45449] [SC-145013][SQL] Problème d’invalidation du cache avec la table JDBC
  • [SPARK-45473] [SC-145017][SQL] Correction d’un message d’erreur incorrect pour RoundBase
  • [SPARK-43299] [SC-145022][SS][CONNECT] Conversion de StreamingQueryException dans le client Scala
  • [SPARK-45474] [SC-145014][CORE][WEBUI] Prise en charge du filtrage de niveau supérieur dans l’API JSON MasterPage
  • [SPARK-45205] [SC-145012][SQL] CommandResultExec pour remplacer les méthodes d’itérateur et éviter le déclenchement de plusieurs travaux
  • [SPARK-45472] [SC-145004][SS] Le magasin d’état RocksDB n’a pas besoin de revérifier l’existence d’un chemin de point de contrôle
  • [SPARK-45470] [SC-145010][SQL] Évitement du collage de la valeur de chaîne de hive orc compression kind
  • [SPARK-45448] [SC-144829][PYTHON] Correction des importations en fonction de PEP8 : pyspark.testing, pyspark.mllib, pyspark.resource et pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] Correction des importations en fonction de PEP8 : pyspark.errors et pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] Diminution de la valeur par défaut de spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT] Vérification que la même session est utilisée pour les méthodes de DataFrame
  • [SPARK-45413] [SC-144847][CORE] Ajout d’un avertissement en vue de l’abandon de la prise en charge de LevelDB
  • [SPARK-45462] [SC-144848][CORE][WEBUI] Affichage de Duration dans ApplicationPage
  • [SPARK-44527] [SC-144855][SQL] Remplacement de ScalarSubquery par null si sa valeur maxRows est égale à 0
  • [SPARK-45401] [SC-144854][PYTHON] Ajout d’une nouvelle méthode cleanup dans l’interface UDTF
  • [SPARK-43704] [SC-144849][CONNECT][PS] Prise en charge de MultiIndex pour to_series()
  • [SPARK-45424] [SC-144888][SQL] Correction du retour des résultats de l’analyse facultative de TimestampFormatter en cas de correspondance de préfixe uniquement
  • [SPARK-45441] [SC-144833][PYTHON] Introduction de fonctions utilitaires supplémentaires pour PythonWorkerUtils
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT] Validation du plan de la session dans DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE] Ajout de paramètres SSL RPC à TransportConf
  • [SPARK-45432] [SC-144818][CORE] Suppression du constructeur déconseillé Hadoop-2 LocatedFileStatus
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression vérifie les étiquettes d’apprentissage
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Ajout de DataType.fromDDL dans PySpark
  • [SPARK-45406] [SC-144793][PYTHON][CONNECT] Suppression de schema du constructeur de DataFrame
  • [SPARK-45404] [SC-144799][CORE] Prise en charge de la variable d’environnement AWS_ENDPOINT_URL
  • [SPARK-43620] [SC-144792][CONNECT][PS] Correction des API Pandas qui dépendent de fonctionnalités non prises en charge
  • [SPARK-45354] [SC-143991][SQL] Résolution ascendante des fonctions
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Ajout des nouvelles tentatives pour l’API artifact. Amélioration de la gestion des erreurs (suivi de [SPARK-45093]).
  • [SPARK-45120] [SC-142780][SPARK-45150][UI] Mise à niveau de d3 de v3 vers v7(v7.8.5) et application des modifications d’API dans l’interface utilisateur
  • [SPARK-44838] [SC-143983][SQL] Amélioration de raise_error
  • [SPARK-45312] [SC-143754][SQL][UI] Prise en charge de l’affichage/masquage du plan svg dans la page d’exécution
  • [SPARK-45378] [SC-144448][CORE] Ajout de convertToNettyForSsl à ManagedBuffer
  • [SPARK-44762] [SC-144338][CONNECT][CORE] Documentation pour SparkConnect.addJobTag et Connect SparkSession.addTag
  • [SPARK-45383] Gestion appropriée des opérations RelationTimeTravel non résolues
  • [SPARK-45347] [SC-144512][SQL][CONNECT] Inclusion de SparkThrowable dans FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis doit lever un plan inline dans AnalysisException
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} doit déclencher des exceptions lorsque le plan n’est pas valide
  • [SPARK-45227] [SC-144233][CORE] Correction d’un léger problème de sécurité de thread avec CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171][PYTHON] Refactorisation de la règle d’analyseur ResolveFunctions pour retarder la création d’une jointure latérale lorsque des arguments de table sont utilisés
  • [SPARK-45266] Rétablir « [SC-144171][PYTHON] Refactorisation de la règle d’analyseur ResolveFunctions pour retarder la création d’une jointure latérale lorsque des arguments de table sont utilisés »
  • [SPARK-45371] [SC-144389][CONNECT] Correction des problèmes d’ombrage dans le client Scala Spark Connect
  • [SPARK-45057] [SC-144214][CORE] Acquisition de verrou de lecture évitée quand keepReadLock a la valeur false
  • [SPARK-45385] [SC-144357][SQL] Désapprobation de spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][SQL] Suppression de la configuration SQL spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON] Refactorisation de la règle d’analyseur ResolveFunctions pour retarder la création d’une jointure latérale lorsque des arguments de table sont utilisés
  • [SPARK-45362] [SC-144198][PYTHON] Projection d’expressions PARTITION BY avant que la méthode « eval » d’une UDTF Python ne les utilise
  • [SPARK-45346] [SC-143925][SQL] L’inférence de schéma Parquet doit respecter l’indicateur sensible à la casse lors de la fusion d’un schéma
  • [SPARK-45341] [SC-143933][CORE] Correction du niveau de titre dans les commentaires de KVStore.java pour permettre à sbt doc de s’exécuter correctement avec Java 17
  • [SPARK-45334] [SC-143914][SQL] Suppression du commentaire trompeur dans parquetSchemaConverter
  • [SPARK-45337] [SC-143932][CORE] Refactorisation AbstractCommandBuilder#getScalaVersion pour supprimer la vérification pour Scala 2.12
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT] Les méthodes de DataFrame ignorent la conversion pandas
  • [SPARK-43662] [SC-143923][PS][CONNECT] Prise en charge de merge_asof dans Spark Connect
  • [SPARK-44126] [SC-143751][CORE] Le nombre d’échecs de migration aléatoire ne doit pas augmenter lorsque l’exécuteur cible est désactivé
  • [SPARK-44550] [SC-119768][SQL] Correction de l’exactitude autorisée pour null IN (empty list) sous ANSI
  • [SPARK-45316] [SC-143783][CORE][SQL] Ajout des nouveaux paramètres ignoreCorruptFiles/ignoreMissingFiles à HadoopRDD et NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] Rapport d’erreurs pour la requête addArtifacts
  • [SPARK-44756] [SC-143787][CORE] Blocage de l’exécuteur lorsque RetryingBlockTransferor ne parvient pas à lancer une nouvelle tentative
  • [SPARK-45333] [SC-143768][CORE] Correction d’une erreur d’unité liée à spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750][SQL][CONNECT] Gestion de la valeur null pour le nom de fichier dans les traces d’exceptions
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId ajoute des informations en colonnes
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON] Prise en charge des paramètres map et array par sql()
  • [SPARK-45138] [SC-143309][SS] Définition d’une nouvelle classe d’erreur et application de celle-ci en cas d’échec de l’enregistrement du point de contrôle d’état dans DFS
  • [SPARK-45297] [SC-143644][SQL] Suppression de la solution de contournement pour le dateformatter ajouté dans SPARK-31827
  • [SPARK-44345] [SC-143593][CORE] Abaissement du niveau de journal unknown shuffle map output à WARN si la migration aléatoire est activée
  • [SPARK-44463] [SC-143251][SS][CONNECT] Amélioration de la gestion des erreurs pour les workers Python de streaming Connect
  • [SPARK-45207] [SC-143603][SQL][CONNECT] Implémentation de l’enrichissement d’erreurs pour le client Scala
  • [SPARK-45240] [SC-143602][SQL][CONNECT] Implémentation de l’enrichissement d’erreurs pour le client Python
  • [SPARK-45216] [SC-143288][SQL] Correction des API Dataset amorcées non déterministes
  • [SPARK-45251] [SC-143419][CONNECT] Ajout du champ client_type pour FetchErrorDetails
  • [SPARK-45137] [SC-143001][CONNECT][PYTHON] Prise en charge des paramètres map/array dans la méthode sql() paramétrisée
  • [SPARK-45224] [SC-143257][PYTHON] Ajout d’exemples avec map et array en tant que paramètres de sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT] Implémentation du RPC FetchErrorDetails
  • [SPARK-45178] [SC-136089] Recours à l’exécution d’un lot unique pour Trigger.AvailableNow avec des sources non prises en charge au lieu d’utiliser un wrapper
  • [SPARK-44823] [14.x][SC-142979][PYTHON] Mise à jour de Black vers la version 23.9.1 et correction des vérifications erronées
  • [SPARK-45078] [SC-142954][SQL] Correction de array_insert ImplicitCastInputTypes inopérant
  • [SPARK-44579] [SC-138428][SQL] Prise en charge de Interrupt on Cancel lors de l’exécution de SQL
  • [SPARK-45252] [SC-143371][CORE] Échappement des symboles supérieur/inférieur à dans les commentaires pour permettre l’exécution de sbt doc
  • [SPARK-45189] [SC-142973][SQL] La création d’UnresolvedRelation à partir de TableIdentifier doit inclure le champ catalog
  • [SPARK-45229] [SC-143254][CORE][UI] Affichage du nombre de pilotes en attente à l’état SUBMITTED dans MasterPage
  • [SPARK-43453] Rétablir « [SC-143135][PS] Ignorer le names de MultiIndex quand axis=1 pour concat »

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.3 LTS
  • Java : Zulu 8.72.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R : 4.3.1
  • Delta Lake : 3.0.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 chiffrement 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0,4
en cours d’exécution 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empaquetage 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requêtes 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 objet BLOB 1.2.4
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 horloge 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 jeux de données 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramme 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrice 1.5-4.1 memoise 2.0.1
méthodes 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1