Databricks Runtime 15.2
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.2 optimisé par Apache Spark 3.5.0.
Databricks a publié cette version en mai 2024.
Conseil
Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.
Modifications de comportement
Vider les fichiers de métadonnées COPY INTO
L’exécution de VACUUM sur une table écrite avec COPY INTO
maintenant nettoie les métadonnées non référencées associées au suivi des fichiers ingérés. Il n’y a aucun impact sur la sémantique opérationnelle de COPY INTO
.
Lakehouse Federation est en disponibilité générale (GA)
Dans Databricks Runtime 15.2 et ultérieur, les connecteurs Lakehouse Federation pour les types de base de données suivants sont en disponibilité générale :
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse (SQL Data Warehouse)
- Databricks
Cette version présente également les améliorations suivantes :
Prise en charge de l’authentification unique (SSO) dans les connecteurs Snowflake et Microsoft SQL Server.
Prise en charge d’Azure Private Link dans le connecteur SQL Server depuis des environnements de calcul serverless. Consultez l’Étape 3 : Créer des règles de point de terminaison privé.
Prise en charge de pushdowns supplémentaires (chaîne, mathématiques et fonctions diverses).
Amélioration du taux de réussite des pushdowns sur différentes formes de requête.
Fonctionnalités de débogage des pushdowns supplémentaires :
- La sortie
EXPLAIN FORMATTED
affiche le texte de la requête poussée vers le bas (pushed-down). - L’interface utilisateur du profil de requête affiche les temps d’exécution de la requête poussée vers le bas (pushed-down), les identificateurs de nœud fédéré et les temps d’exécution des requêtes JDBC (en mode détaillé). Consultez Afficher les requêtes fédérées générées par le système.
- La sortie
BY POSITION
pour le mappage de colonnes à l’aide de COPY INTO
avec des fichiers CSV sans en-tête
Dans Databricks Runtime 15.2 et versions ultérieures, vous pouvez utiliser les mots clés BY POSITION
(ou d’autres syntaxes ( col_name [ , <col_name> ... ] )
) avec COPY INTO
pour les fichiers CSV sans en-tête afin de simplifier le mappage de la colonne source avec la colonne de table cible. Consultez Paramètres.
Réduction de la consommation de mémoire lorsque les tâches Spark échouent avec une erreur de Resubmitted
Dans Databricks Runtime 15.2 et ultérieur, la valeur de retour de la méthode Spark TaskInfo.accumulables()
est vide lorsque les tâches échouent avec une erreur Resubmitted
. Avant, la méthode retournait les valeurs d’une tentative de tâche réussie précédente. Ce changement de comportement affecte les consommateurs suivants :
- Tâches Spark qui utilisent la classe
EventLoggingListener
. - Écouteurs Spark personnalisés.
Pour restaurer le comportement précédent, affectez à spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled
la valeur false
.
L’affichage des versions des plans d’exécution de requête adaptative est désactivé
Pour réduire la consommation de mémoire, les versions des plans d’exécution de requête adaptative (AQE, adaptative query execution) sont désormais désactivées par défaut dans l’interface utilisateur Spark. Pour activer l’affichage des versions des plans AQE dans l’interface utilisateur Spark, définissez spark.databricks.sql.aqe.showPlanChangesInUI.enabled
sur true
.
Baisse du nombre limite de requêtes conservées pour réduire l’utilisation de la mémoire de l’interface utilisateur Spark
Dans Databricks Runtime 15.2 et ultérieur, pour réduire la mémoire consommée par l’interface utilisateur Spark dans le calcul Azure Databricks, la limite du nombre de requêtes visibles dans l’interface utilisateur passe de 1 000 à 100. Pour changer la limite, définissez une nouvelle valeur à l’aide de la configuration spark.sql.ui.retainedExecutions
de Spark.
DESCRIBE HISTORY
affiche désormais les colonnes de clustering pour les tables qui utilisent le clustering liquide
Lorsque vous exécutez une requête DESCRIBE HISTORY
, la colonne operationParameters
affiche un champ clusterBy
par défaut pour les opérations CREATE OR REPLACE
et OPTIMIZE
. Pour une table Delta qui utilise le clustering liquide, le champ clusterBy
est renseigné avec les colonnes de clustering de la table. Si la table n’utilise pas le clustering liquide, le champ est vide.
Améliorations et nouvelles fonctionnalités
La prise en charge des clés primaires et étrangères est en GA
La prise en charge des clés primaires et étrangères dans Databricks Runtime est en disponibilité générale. La version en disponibilité générale inclut les modifications suivantes apportées aux privilèges requis pour utiliser des clés primaires et étrangères :
- Pour définir une clé étrangère, vous devez disposer du privilège
SELECT
sur la table avec la clé primaire à laquelle la clé étrangère fait référence. Vous n’avez pas besoin d’être propriétaire de la table avec la clé primaire, ce qui était obligatoire avant. - La suppression d’une clé primaire à l’aide de la clause
CASCADE
ne nécessite pas de privilèges sur les tables qui définissent des clés étrangères qui référencent la clé primaire. Auparavant, vous deviez posséder les tables de référencement. - La suppression d’une table qui inclut des contraintes nécessite désormais les mêmes privilèges que la suppression de tables qui n’incluent pas de contraintes.
Pour savoir comment utiliser des clés primaires et étrangères avec des tables ou des affichages, consultez Clause CONSTRAINT, Clause ADD CONSTRAINT et Clause DROP CONSTRAINT.
Le clustering liquide est en disponibilité générale
La prise en charge du clustering liquide est désormais en disponibilité générale avec Databricks Runtime 15.2 et versions ultérieures. Consultez Utilisation des clustering liquides pour les tableaux Delta.
L’élargissement du type est disponible en préversion publique
Vous pouvez désormais activer l’élargissement du type sur les tables soutenues par Delta Lake. Les tables avec extension de type activée permettent de modifier le type de colonnes en un type de données plus large sans réécrire les fichiers de données sous-jacents. Voir Élargissement du type.
Clause d’évolution du schéma ajoutée à la syntaxe de fusion SQL
Vous pouvez maintenant ajouter la clause WITH SCHEMA EVOLUTION
à une instruction de fusion SQL pour activer l’évolution du schéma pour l’opération. Consultez Syntaxe d’évolution de schéma pour la fusion.
Les sources de données personnalisées PySpark sont disponibles en préversion publique
Vous pouvez créer une source de données PySpark via l’API DataSource Python (PySpark), qui permet la lecture à partir de sources de données personnalisées et l’écriture dans des récepteurs de données personnalisés dans Apache Spark à l’aide de Python. Consultez Sources de données personnalisées de PySpark
applyInPandas et mapInPandas désormais disponibles sur le calcul de Unity Catalog avec le mode d’accès partagé
Dans le cadre d’une version de maintenance de Databricks Runtime 14.3 LTS, les applyInPandas
types UDF et mapInPandas
sont désormais pris en charge sur les ordinateurs en mode d’accès partagé exécutant Databricks Runtime 14.3 et plus.
Utiliser dbutils.widgets.getAll() pour obtenir tous les widgets d’un notebook
Utilisez dbutils.widgets.getAll()
pour obtenir toutes les valeurs de widget dans un notebook. Cela est particulièrement utile lors de la transmission de plusieurs valeurs de widgets à une requête Spark SQL.
Prise en charge de l’inventaire vacuum
Vous pouvez maintenant spécifier un inventaire des fichiers à prendre en compte lors de l’exécution de la commande VACUUM
sur une table Delta. Consultez la documentation OSS Delta.
Prise en charge des fonctions de compression Zstandard
Vous pouvez désormais utiliser les fonctions zst_compress, zstd_decompress et try_zstd_decompress pour compresser et décompresser les données BINARY
.
Résolution des bogues
Les plans de requête dans l’interface utilisateur SQL affichent maintenant correctement PhotonWriteStage
Lorsqu’elles sont affichées dans l’interface utilisateur SQL, les commandes write
dans les plans de requête n’ont pas correctement affiché PhotonWriteStage
en tant qu’opérateur. Avec cette version, l’interface utilisateur est mise à jour pour afficher PhotonWriteStage
en tant qu’étape. Il s’agit seulement d’un changement de l’interface utilisateur qui n’affecte pas la façon dont les requêtes sont exécutées.
Ray est mis à jour pour résoudre les problèmes liés au démarrage des clusters Ray
Cette publication comprend une version corrigée de Ray qui résout un changement cassant qui empêche les clusters Ray de démarrer avec Databricks Runtime pour le Machine Learning. Cette correction garantit que la fonctionnalité Ray est identique aux versions de Databricks Runtime antérieures à la version 15.2.
GraphFrames est mis à jour pour corriger les résultats incorrects avec Spark 3.5
Cette publication comprend une mise à jour du package GraphFrames afin de résoudre les problèmes qui entraînent des résultats incorrects pour certains algorithmes avec GraphFrames et Spark 3.5.
Correction de la classe d’erreur pour les fonctions DataFrame.sort()
et DataFrame.sortWithinPartitions()
Cette publication comprend une mise à jour des fonctions PySpark DataFrame.sort()
et DataFrame.sortWithinPartitions()
pour s’assurer que la classe d’erreur ZERO_INDEX
est levée lorsque 0
est passé en tant qu’argument d’index. Avant, la classe d’erreur INDEX_NOT_POSITIVE
était levée.
ipywidgets rétrogradé de la version 8.0.4 à la version 7.7.2
Pour corriger les erreurs introduites par une mise à niveau d’ipywidgets vers la version 8.0.4 dans Databricks Runtime 15.0, ipywidgets est rétrogradée à la version 7.7.2 dans Databricks Runtime 15.2. Il s’agit de la même version incluse dans les versions précédentes de Databricks Runtime.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- GitPython de 3.1.42 à 3.1.43
- google-api-core de 2.17.1 à 2.18.0
- google-auth de 2.28.1 à 2.29.0
- google-cloud-storage de 2.15.0 à 2.16.0
- googleapis-common-protos de 1.62.0 à 1.63.0
- ipywidgets de 8.0.4 vers 7.7.2
- mlflow-skinny de 2.11.1 à 2.11.3
- s3transfer de 0.10.0 à 0.10.1
- sqlparse de 0.4.4 à 0.5.0
- typing_extensions de 4.7.1 à 4.10.0
- Bibliothèques R mises à niveau :
- Bibliothèques Java mises à niveau :
- com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-config de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-core de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-directconnect de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-directory de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-ec2 de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-ecs de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-efs de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-elasticache de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-emr de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-glacier de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-glue de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-iam de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-importexport de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-kinesis de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-kms de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-lambda de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-logs de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-opsworks de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-rds de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-redshift de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-route53 de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-s3 de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-ses de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-simpledb de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-sns de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-sqs de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-ssm de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-sts de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-support de 1.12.390 à 1.12.610
- com.amazonaws.aws-java-sdk-workspaces de 1.12.390 à 1.12.610
- com.amazonaws.jmespath-java de 1.12.390 à 1.12.610
Apache Spark
Databricks Runtime 15.2 comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 15.1 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :
- [SPARK-47941] [SC-163568] [SS] [Connect] Propagation des erreurs d’initialisation du Worker ForeachBatch aux utilisateurs pour PySpark
- [SPARK-47412] [SC-163455][SQL] Ajout de la prise en charge du classement pour LPad/RPad.
- [SPARK-47907] [SC-163408][SQL] Mise de bang sous une configuration
- [SPARK-46820] [SC-157093][PYTHON] Correction de la régression des messages d’erreur en restaurant
new_msg
- [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577] Gestionnaires Core/MLLib/Ressources : migration de journalisation structurée
- [SPARK-47890] [SC-163324][CONNECT][PYTHON] Ajout des fonctions variant à Scala et Python.
- [SPARK-47894] [SC-163086][CORE][WEBUI]Ajout de la page
Environment
à l’interface utilisateur maître - [SPARK-47805] [SC-163459][SS] Implémentation de TTL pour MapState
- [SPARK-47900] [SC-163326] Correction de la vérification du classement implicite (UTF8_BINARY)
- [SPARK-47902] [SC-163316][SQL]Création d’expressions Compute Current Time* pliables
- [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Prise en charge du type de colonne dans la fonction split pour scala et python
- [SPARK-47754] [SC-162144][SQL] Postgres : prise en charge de la lecture de tableaux multidimensionnels
- [SPARK-47416] [SC-163001][SQL] Ajout de nouvelles fonctions à CollationBenchmark #90339
- [SPARK-47839] [SC-163075][SQL] Correction du bogue d’agrégation dans RewriteWithExpression
- [SPARK-47821] [SC-162967][SQL] Implémentation de l’expression is_variant_null
- [SPARK-47883] [SC-163184][SQL]
CollectTailExec.doExecute
rendu paresseux avec RowQueue - [SPARK-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
- [SPARK-47924] [SC-163282][CORE] Ajout d’un journal DEBUG à
DiskStore.moveFileToBlock
- [SPARK-47897] [SC-163183][SQL][3.5] Correction de la régression des performances ExpressionSet dans scala 2.12
- [SPARK-47565] [SC-161786][PYTHON] Résilience aux incidents du pool de Workers PySpark
- [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource rendu compatible avec pyspark-connect
- [SPARK-47887] [SC-163122] [CONNECT] Suppression de l’importation
spark/connect/common.proto
inutilisée despark/connect/relations.proto
- [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark.worker_utils rendu compatible avec pyspark-connect
- [SPARK-47691] [SC-161760][SQL] Postgres : prise en charge d’un tableau multidimensionnel côté écriture
- [SPARK-47617] [SC-162513][SQL] Ajout d’une infrastructure de test TPC-DS pour les classements
- [SPARK-47356] [SC-162858][SQL] Ajout de la prise en charge de ConcatWs &Elt (tous les classements)
- [SPARK-47543][SC-161234][CONNECT][PYTHON] Déduction de
dict
commeMapType
à partir de Pandas DataFrame pour permettre la création d’un DataFrame - [SPARK-47863] [SC-162974][SQL] Correction de l’implémentation prenant en charge les classements de startsWith &endsWith pour ICU
- [SPARK-47867] [SC-162966][SQL] Prise en charge de variant dans l’analyse JSON.
- [SPARK-47366] [SC-162475][SQL][PYTHON] Ajout de VariantVal pour PySpark
- [SPARK-47803] [SC-162726][SQL] Prise en charge de cast en variant.
- [SPARK-47769] [SC-162841][SQL] Ajout de l’expression schema_of_variant_agg.
- [SPARK-47420] [SC-162842][SQL] Correction de la sortie du test
- [SPARK-47430] [SC-161178][SQL] Prise en charge de GROUP BY pour MapType
- [SPARK-47357] [SC-162751][SQL] Ajout de la prise en charge de Upper, Lower, InitCap (tous les classements)
- [SPARK-47788] [SC-162729][SS] Garantie du même partitionnement de hachage pour les opérations avec état de streaming
- [SPARK-47776] [SC-162291][SS] Utilisation d’un classement d’inégalité binaire interdite dans le schéma clé de l’opérateur avec état
- [SPARK-47673] [SC-162824][SS] Implémentation de TTL pour ListState
- [SPARK-47818][SC-162845][CONNECT] Présentation du cache du plan dans SparkConnectPlanner pour améliorer les performances des requêtes d’analyse
- [SPARK-47694][SC-162783][CONNECT] Taille maximale de message rendue configurable côté client
- [SPARK-47274] « [SC-162479][PYTHON][SQL] Fournir plus d... » rétabli
- [SPARK-47616] [SC-161193][SQL] Ajout d’un document utilisateur pour le mappage des types de données Spark SQL à partir de MySQL
- [SPARK-47862][SC-162837][PYTHON][CONNECT] Correction de la génération de fichiers proto
- [SPARK-47849] [SC-162724][PYTHON][CONNECT] Modification du script de mise en production pour publier pyspark-connect
- [SPARK-47410] [SC-162518][SQL] Refactorisation de UTF8String et CollationFactory
- [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml rendu compatible avec pyspark-connect
- [SPARK-47707] [SC-161768][SQL] Gestion spéciale du type JSON pour le connecteur MySQL/J 5.x
- [SPARK-47765] « [SC-162636][SQL] Ajout de SET COLLATION à... » rétabli
- [SPARK-47081][SC-162151][CONNECT][FOLLOW] Amélioration de la facilité d’utilisation du gestionnaire d’avancement
- [SPARK-47289] [SC-161877][SQL] Autorisation des extensions à consigner les informations étendues dans le plan d’explication
- [SPARK-47274] [SC-162479][PYTHON][SQL] Contexte plus utile fourni pour les erreurs d’API DataFrame PySpark
- [SPARK-47765] [SC-162636][SQL] Ajout de SET COLLATION aux règles d’analyseur
- [SPARK-47828] [SC-162722][CONNECT][PYTHON]
DataFrameWriterV2.overwrite
échoue avec un plan non valide - [SPARK-47812] [SC-162696][CONNECT][PYTHON] Prise en charge de la sérialisation de SparkSession pour le Worker ForEachBatch
- [SPARK-47253] [SC-162698][CORE] Autorisation de LiveEventBus à s’arrêter sans vider complètement la file d’attente d’événements
- [SPARK-47827] [SC-162625][PYTHON] Avertissements manquants pour les fonctionnalités déconseillées
- [SPARK-47733] [SC-162628][SS] Ajout des métriques personnalisées pour l’opérateur transformWithState faisant partie de l’avancement de la requête
- [SPARK-47784] [SC-162623][SS] Fusion de TTLMode et TimeoutMode en un seul TimeMode.
- [SPARK-47775] [SC-162319][SQL] Prise en charge des types scalaires restants dans la spécification variant.
- [SPARK-47736] [SC-162503][SQL] Ajout de la prise en charge de AbstractArrayType
- [SPARK-47081] [SC-161758][CONNECT] Prise en charge de l’avancement de l’exécution des requêtes
- [SPARK-47682] [SC-162138][SQL] Prise en charge de cast à partir de variant.
- [SPARK-47802][SC-162478][SQL] () rétabli de meaning struct() vers meaning *
- [SPARK-47680] [SC-162318][SQL] Ajout de l’expression variant_explode.
- [SPARK-47809] [SC-162511][SQL]
checkExceptionInExpression
doit vérifier l’erreur pour chaque mode codegen - [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implémentation de
SQLStringFormatter
avecWithRelations
- [SPARK-47693] [SC-162326][SQL] Ajout de l’optimisation pour la comparaison en minuscules d’UTF8String utilisée dans le classement UTF8_BINARY_LCASE
- [SPARK-47541] [SC-162006][SQL] Les chaînes compilées en types complexes prennent en charge les opérations reverse, array_join, concat, map
- [SPARK-46812] [SC-161535][CONNECT][PYTHON] mapInPandas / mapInArrow prennent en charge ResourceProfile
- [SPARK-47727] [SC-161982][PYTHON] SparkConf au niveau racine pour SparkSession et SparkContext
- [SPARK-47406] [SC-159376][SQL] Traitement de TIMESTAMP et DATETIME dans MYSQLDialect
- [SPARK-47081] « [SC-161758][CONNECT] Prise en charge de l’exécution de req... » rétabli
- [SPARK-47681] [SC-162043][SQL] Ajout de l’expression schema_of_variant.
- [SPARK-47783] [SC-162222] Ajout de quelques SQLSTATE manquants et nettoyage de YY000 pour utiliser...
- [SPARK-47634] [SC-161558][SQL] Ajout de la prise en charge héritée de la désactivation de la normalisation des clés de carte
- [SPARK-47746] [SC-162022] Implémentation de l’encodage de plage ordinal dans RocksDBStateEncoder
- [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec doit toujours utiliser context.session
- [SPARK-47643] [SC-161534][SS][PYTHON] Ajout d’un test pyspark pour la source de streaming Python
- [SPARK-47582] [SC-161943][SQL] Migration de Catalyst logInfo avec des variables vers un framework de journalisation structurée
- [SPARK-47558] [SC-162007][SS] Prise en charge de TTL d’état pour ValueState
- [SPARK-47358] [SC-160912][SQL][COLLATION] Amélioration de la prise en charge des expressions répétées pour retourner le datatype correct
- [SPARK-47504] [SC-162044][SQL] Résolution de AbstractDataType simpleStrings pour StringTypeCollated
- [SPARK-47719] « [SC-161909][SQL] Modification de spark.sql.legacy.t... » rétabli
- [SPARK-47657] [SC-162010][SQL] Implémentation de la prise en charge push down du filtre de classement par source de fichier
- [SPARK-47081] [SC-161758][CONNECT] Prise en charge de l’avancement de l’exécution des requêtes
- [SPARK-47744] [SC-161999] Ajout de la prise en charge des octets à valeur négative dans l’encodeur de plage
- [SPARK-47713][SC-162009][SQL][CONNECT] Correction d’une jointure réflexive défaillante
- [SPARK-47310] [SC-161930][SS] Ajout d’un micro-benchmark pour les opérations de fusion pour plusieurs valeurs dans la partie valeur du magasin d’états
- [SPARK-47700] [SC-161774][SQL] Correction de la mise en forme des messages d’erreur avec treeNode
- [SPARK-47752] [SC-161993][PS][CONNECT] pyspark.pandas rendu compatible avec pyspark-connect
- [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implémentation de l’API logWarning/logInfo dans le framework de journalisation structurée
- [SPARK-47107] [SC-161201][SS][PYTHON] Implémentation du lecteur de partition pour la source de données de streaming Python
- [SPARK-47553] [SC-161772][SS] Ajout de la prise en charge java pour les APi de l’opérateur transformWithState
- [SPARK-47719] [SC-161909][SQL] Valeur par défaut de spark.sql.legacy.timeParserPolicy remplacée par CORRECTED
- [SPARK-47655] [SC-161761][SS] Intégration du minuteur avec gestion de l’état initial pour state-v2
- [SPARK-47665] [SC-161550][SQL] Utilisation de SMALLINT pour écrire ShortType dans MYSQL
- [SPARK-47210] [SC-161777][SQL] Ajout d’une conversion implicite sans prise en charge indéterminée
- [SPARK-47653] [SC-161767][SS] Ajout de la prise en charge des types numériques négatifs et de l’encodeur de clé d’analyse de plage
- [SPARK-46743] [SC-160777][SQL] Bogue de dénombrement après le pliage de constante
- [SPARK-47525] [SC-154568][SQL] Prise en charge de la jointure de corrélation de sous-requête sur les attributs de carte
- [SPARK-46366] [SC-151277][SQL] Utilisation de l’expression WITH dans BETWEEN pour éviter les expressions en double
- [SPARK-47563] [SC-161183][SQL] Ajout de la normalisation de la carte lors de la création
- [SPARK-42040] [SC-161171][SQL] SPJ : introduction d’une nouvelle API pour la partition d’entrée V2 pour signaler les statistiques de partition
- [SPARK-47679] [SC-161549][SQL] Utilisation de
HiveConf.getConfVars
ou de noms de conf Hive directement - [SPARK-47685] [SC-161566][SQL] Restauration de la prise en charge du type
Stream
dansDataset#groupBy
- [SPARK-47646] [SC-161352][SQL] try_to_number retourne NULL pour une entrée malformée
- [SPARK-47366] [SC-161324][PYTHON] Ajout des alias pyspark et dataframe parse_json
- [SPARK-47491] [SC-161176][CORE] Ajout de
slf4j-api
jar au chemin d’accès de classe avant les autres dans le répertoirejars
- [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projette CommandResults localement
- [SPARK-47364] [SC-158927][CORE]
PluginEndpoint
avertit lorsque les plug-ins répondent pour un message unidirectionnel - [SPARK-47280] [SC-158350][SQL] Suppression de la limitation du fuseau horaire pour ORACLE TIMESTAMP WITH TIMEZONE
- [SPARK-47551] [SC-161542][SQL] Ajout de l’expression variant_get.
- [SPARK-47559] [SC-161255][SQL] Prise en charge de Codegen pour variant
parse_json
- [SPARK-47572] [SC-161351][SQL] L’application de fenêtre partitionSpec est ordonnée.
- [SPARK-47546] [SC-161241][SQL] Amélioration de la validation lors de la lecture de Variant à partir de Parquet
- [SPARK-47543][SC-161234][CONNECT][PYTHON] Déduction de
dict
commeMapType
à partir de Pandas DataFrame pour permettre la création d’un DataFrame - [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Création d’une colonne avec des classements dans l’API dataframe
- [SPARK-47641] [SC-161376][SQL] Amélioration des performances de
UnaryMinus
etAbs
- [SPARK-47631] [SC-161325][SQL] Suppression de la méthode inutilisée
SQLConf.parquetOutputCommitterClass
- [SPARK-47674] [SC-161504][CORE] Activation de
spark.metrics.appStatusSource.enabled
par défaut - [SPARK-47273] [SC-161162][SS][PYTHON] Implémentation de l’interface d’enregistreur de flux de données Python.
- [SPARK-47637] [SC-161408][SQL] Utilistion de errorCapturingIdentifier dans d’autres emplacements
- [SPARK-47497] « « [SC-160724][SQL] to_csv prend en charge la sortie de array/struct/map/binary en tant que chaînes pretty » rétabli » rétabli
- [SPARK-47492] [SC-161316][SQL] Règles d’espace blanc élargies dans lexer
- [SPARK-47664] [SC-161475][PYTHON][CONNECT] Validation du nom de colonne avec le schéma mis en cache
- [SPARK-47638][SC-161339][PS][CONNECT] Omission de la validation du nom de colonne dans PS
- [SPARK-47363] [SC-161247][SS] État initial sans implémentation de lecteur d’état pour l’API State v2.
- [SPARK-47447] [SC-160448][SQL] Autorisation de lecture de TimestampLTZ Parquet en tant que TimestampNTZ
- [SPARK-47497] « [SC-160724][SQL]
to_csv
prend en charge la sortie dearray/struct/map/binary
comme chaînes pretty » rétabli - [SPARK-47434] [SC-160122][WEBUI] Correction du lien
statistics
dansStreamingQueryPage
- [SPARK-46761] [SC-159045][SQL] Les chaînes entre guillemets dans un chemin JSON doivent prendre en charge ? caractères
- [SPARK-46915] [SC-155729][SQL] Simplification de
UnaryMinus
Abs
et alignement de la classe d’erreur - [SPARK-47431] [SC-160919][SQL] Ajout d’un classement par défaut au niveau de la session
- [SPARK-47620] [SC-161242][PYTHON][CONNECT] Ajout d’une fonction d’assistance pour trier les colonnes
- [SPARK-47570] [SC-161165][SS] Intégration des modifications de l’encodeur d’analyse de plage à l’implémentation du minuteur
- [SPARK-47497] [SC-160724][SQL]
to_csv
prend en charge la sortie dearray/struct/map/binary
comme chaînes pretty - [SPARK-47562] [SC-161166][CONNECT] Gestion littérale des facteurs hors de
plan.py
- [SPARK-47509][SC-160902][SQL] Blocage des expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
- [SPARK-47539] [SC-160750][SQL] Définition de la valeur de retour de la méthode
castToString
commeAny => UTF8String
- [SPARK-47372] [SC-160905][SS] Ajout de la prise en charge de l’encodeur d’état de clé basé sur l’analyse de plage à utiliser avec le fournisseur de magasin d’états
- [SPARK-47517] [SC-160642][CORE][SQL] Choix préféré de Utils.bytesToString pour l’affichage de la taille
- [SPARK-47243] [SC-158059][SS] Correction du nom de package de
StateMetadataSource.scala
- [SPARK-47367] [SC-160913][PYTHON][CONNECT] Prise en charge des sources de données Python avec Spark Connect
- [SPARK-47521] [SC-160666][CORE] Utilisation de
Utils.tryWithResource
lors de la lecture de données aléatoires à partir d’un stockage externe - [SPARK-47474] [SC-160522][CORE] SPARK-47461 rétabli et ajout de commentaires
- [SPARK-47560] [SC-160914][PYTHON][CONNECT] RPC évité pour valider le nom de colonne avec le schéma mis en cache
- [SPARK-47451] [SC-160749][SQL] Prise en charge de to_json(variant).
- [SPARK-47528] [SC-160727][SQL] Ajout de la prise en charge de UserDefinedType à DataTypeUtils.canWrite
- [SPARK-44708] « [SC-160734][PYTHON] Migration de test_reset_index assert_eq pour utiliser assertDataFrameEqual » rétabli
- [SPARK-47506] [SC-160740][SQL] Ajout de la prise en charge à tous les formats de source de fichiers pour les types de données compilés
- [SPARK-47256] [SC-160784][SQL] Attribution de noms aux classes d’erreur _LEGACY_ERROR_TEMP_102[4-7]
- [SPARK-47495] [SC-160720][CORE] Correction du fichier jar de ressource principale ajouté à spark.jars deux fois en mode cluster k8s
- [SPARK-47398] [SC-160572][SQL] Extraction d’une caractéristique pour InMemoryTableScanExec pour permettre l’extension des fonctionnalités
- [SPARK-47479] [SC-160623][SQL] Optimisation du journal des erreurs pour impossible d’écrire des données aux relations avec plusieurs chemins
- [SPARK-47483] [SC-160629][SQL] Ajout de la prise en charge des opérations d’agrégation et de jointure sur des tableaux de chaînes compilées
- [SPARK-47458] [SC-160237][CORE] Résolution du problème lié au calcul du nombre maximal de tâches simultanées pour l’étape de barrière
- [SPARK-47534] [SC-160737][SQL]
o.a.s.variant
déplacé verso.a.s.types.variant
- [SPARK-47396] [SC-159312][SQL] Ajout d’un mappage général pour TIME WITHOUT TIME ZONE vers TimestampNTZType
- [SPARK-44708] [SC-160734][PYTHON] Migration de test_reset_index assert_eq pour utiliser assertDataFrameEqual
- [SPARK-47309] [SC-157733][SC-160398][SQL] XML : ajout des tests d’inférence de schéma pour les balises de valeur
- [SPARK-47007] [SC-160630][SQL] Ajout de l’expression
MapSort
- [SPARK-47523] [SC-160645][SQL] Remplacement de
JsonParser#getCurrentName
déconseillé parJsonParser#currentName
- [SPARK-47440] [SC-160635][SQL] Correction de la syntaxe push non prise en charge vers MsSqlServer
- [SPARK-47512] [SC-160617][SS] Type d’opération de balise utilisé avec l’acquisition/la mise en production du verrou d’instance du magasin d’états RocksDB
- [SPARK-47346] [SC-159425][PYTHON] Mode démon rendu configurable lors de la création de Workers du planificateur Python
- [SPARK-47446] [SC-160163][CORE]
BlockManager
avertit avantremoveBlockInternal
- [SPARK-46526] [SC-156099][SQL] Prise en charge de LIMIT sur les sous-requêtes corrélées où les prédicats référencent uniquement la table externe
- [SPARK-47461] [SC-160297][CORE] Suppression de la fonction privée
totalRunningTasksPerResourceProfile
deExecutorAllocationManager
- [SPARK-47422] [SC-160219][SQL] Prise en charge des chaînes compilées dans les opérations de tableau
- [SPARK-47500] [SC-160627][PYTHON][CONNECT] Gestion des noms des colonnes de facteur hors de
plan.py
- [SPARK-47383] [SC-160144][CORE] Prise en charge de la configuration
spark.shutdown.timeout
- [SPARK-47342] [SC-159049] « [SQL] Prise en charge de TimestampNTZ pour DB2 TIMESTAMP WITH TIME ZONE » rétabli
- [SPARK-47486] [SC-160491][CONNECT] Suppression de la méthode privée
ArrowDeserializers.getString
inutilisée - [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logique client et serveur pour l’écouteur de requête de streaming côté client
- [SPARK-47487] [SC-160534][SQL] Simplification du code dans AnsiTypeCoercion
- [SPARK-47443] [SC-160459][SQL] Prise en charge de l’agrégation de fenêtres pour les classements
- [SPARK-47296] [SC-160457][SQL][COLLATION] Échec des fonctions non prises en charge pour les classements non binaires
- [SPARK-47380][SC-160164][CONNECT] Vérification côté serveur que le SparkSession correspond
- [SPARK-47327] [SC-160069][SQL] Déplacement du test de concurrence des clés de tri vers CollationFactorySuite
- [SPARK-47494] [SC-160495][Doc] Ajout de la documentation de migration pour le changement de comportement de l’inférence de timestamp Parquet depuis Spark 3.3
- [SPARK-47449] [SC-160372][SS] Refactorisation et fractionnement des tests unitaires de liste/minuteur
- [SPARK-46473] [SC-155663][SQL] Réutilisation de la méthode
getPartitionedFile
- [SPARK-47423] [SC-160068][SQL] Classements : prise en charge des opérations ensemblistes pour les chaînes avec des classements
- [SPARK-47439] [SC-160115][PYTHON] Documentation de l’API de source de données Python dans la page de référence de l’API
- [SPARK-47457] [SC-160234][SQL] Correction de
IsolatedClientLoader.supportsHadoopShadedClient
pour gérer Hadoop 3.4+ - [SPARK-47366] [SC-159348][SQL] Implémentation de parse_json.
- [SPARK-46331] [SC-152982][SQL] Suppression de CodegenFallback d’un sous-ensemble d’expressions DateTime et d’une expression version()
- [SPARK-47395] [SC-159404] Ajout de compilation et de classement à d’autres API
- [SPARK-47437] [SC-160117][PYTHON][CONNECT] Correction de la classe d’erreur pour
DataFrame.sort*
- [SPARK-47174] [SC-154483][CONNECT][SS][1/2] SparkConnectListenerBusListener côté serveur pour l’écouteur de requête de streaming côté client
- [SPARK-47324] [SC-158720][SQL] Ajout d’une conversion de timestamp manquante pour les types imbriqués JDBC
- [SPARK-46962] [SC-158834][SS][PYTHON] Ajout d’une interface pour l’API de source de données de streaming python et implémentation d’un Worker python pour exécuter la source de données de streaming python
- [SPARK-45827] [SC-158498][SQL] Vérifications de type de données déplacées vers CreatableRelationProvider
- [SPARK-47342] [SC-158874][SQL] Prise en charge de TimestampNTZ pour DB2 TIMESTAMP WITH TIME ZONE
- [SPARK-47399] [SC-159378][SQL] Colonnes générées sur des expressions avec des classements désactivées
- [SPARK-47146] [SC-158247][CORE] Fuite de thread possible lors de l’opération de tri de jointure de fusion
- [SPARK-46913] [SC-159149][SS] Ajout de la prise en charge des minuteurs basés sur le traitement/heure des événements avec l’opérateur transformWithState
- [SPARK-47375] [SC-159063][SQL] Ajout d’instructions pour le mappage de timestamp dans
JdbcDialect#getCatalystType
- [SPARK-47394] [SC-159282][SQL] Prise en charge de TIMESTAMP WITH TIME ZONE pour H2Dialect
- [SPARK-45827] « [SC-158498][SQL] Déplacer les vérifications de type de données vers... » rétabli
- [SPARK-47208] [SC-159279][CORE] Autorisation de la substitution de la mémoire de charge de base
- [SPARK-42627] [SC-158021][SPARK-26494][SQL] Prise en charge d’Oracle TIMESTAMP WITH LOCAL TIME ZONE
- [SPARK-47055] [SC-156916][PYTHON] Mise à niveau de MyPy 1.8.0
- [SPARK-46906][SC-157205][SS] Ajout d’une vérification de modification d’opérateur avec état pour la diffusion en continu
- [SPARK-47391] [SC-159283][SQL] Suppression de la solution de contournement de cas de test pour JDK 8
- [SPARK-47272] [SC-158960][SS] Ajout de l’implémentation MapState pour l’API State v2.
- [SPARK-47375] [SC-159278][Doc][FollowUp] Correction d’une erreur dans la documentation de l’option preferTimestampNTZ de JDBC
- [SPARK-42328] [SC-157363][SQL] Suppression de _LEGACY_ERROR_TEMP_1175 des classes d’erreur
- [SPARK-47375] [SC-159261][Doc][FollowUp] Correction de la description de l’option preferTimestampNTZ dans la documentation JDBC
- [SPARK-47344] [SC-159146] Erreur INVALID_IDENTIFIER étendue au-delà de l’interception de « - » dans un identificateur non cité et correction de « IS ! NULL » et autres.
- [SPARK-47340] [SC-159039][SQL] Modification de « collate » dans StringType typename en minuscules
- [SPARK-47087] [SC-157077][SQL] Déclenchement de l’exception de Spark avec une classe d’erreur dans la vérification de la valeur de configuration
- [SPARK-47327] [SC-158824][SQL] Résolution du problème de sécurité des threads dans ICU Collator
- [SPARK-47082] [SC-157058][SQL] Correction de la condition d’erreur hors limites
- [SPARK-47331] [SC-158719][SS] Sérialisation à l’aide de classes de cas/primitives/POJO basées sur l’encodeur SQL pour l’API d’état arbitraire v2.
- [SPARK-47250] [SC-158840][SS] Ajout de validations supplémentaires et de modifications NERF pour le fournisseur d’état RocksDB et utilisation de familles de colonnes
- [SPARK-47328] [SC-158745][SQL] Classement UCS_BASIC renommé en UTF8_BINARY
- [SPARK-47207] [SC-157845][CORE] Prise en charge de
spark.driver.timeout
etDriverTimeoutPlugin
- [SPARK-47370] [SC-158956][Doc] Ajout d’une documentation de migration : inférence de type TimestampNTZ sur les fichiers Parquet
- [SPARK-47309][SC-158827][SQL][XML] Ajout des tests unitaires d’inférence de schéma
- [SPARK-47295] [SC-158850][SQL] Ajout d’ICU StringSearch pour les fonctions
startsWith
etendsWith
- [SPARK-47343] [SC-158851][SQL] Correction de NPE lorsque la valeur de la variable
sqlString
est une chaîne Null dans l’exécution immédiate - [SPARK-46293] [SC-150117][CONNECT][PYTHON] Utilisation d’une dépendance transitive
protobuf
- [SPARK-46795] [SC-154143][SQL] Remplacement de
UnsupportedOperationException
parSparkUnsupportedOperationException
danssql/core
- [SPARK-46087] [SC-149023][PYTHON] Synchronisation des dépendances PySpark dans les documents et les exigences de développement
- [SPARK-47169] [SC-158848][SQL] Désactivation du compartimentage sur les colonnes compilées
- [SPARK-42332] [SC-153996][SQL] Modification de la demande en SparkException dans ComplexTypeMergingExpression
- [SPARK-45827] [SC-158498][SQL] Vérifications de type de données déplacées vers CreatableRelationProvider
- [SPARK-47341] [SC-158825][Connect] Remplacement des commandes par des relations dans quelques tests dans SparkConnectClientSuite
- [SPARK-43255] [SC-158026][SQL] Remplacement de la classe d’erreur _LEGACY_ERROR_TEMP_2020 par une erreur interne
- [SPARK-47248] [SC-158494][SQL][COLLATION] Prise en charge améliorée de la fonction de chaîne : contains
- [SPARK-47334] [SC-158716][SQL]
withColumnRenamed
réutilise l’implémentation dewithColumnsRenamed
- [SPARK-46442] [SC-153168][SQL] DS V2 prend en charge le push down de PERCENTILE_CONT et PERCENTILE_DISC
- [SPARK-47313] [SC-158747][SQL] Ajout du traitement de scala.MatchError dans QueryExecution.toInternalError
- [SPARK-45827] [SC-158732][SQL] Ajout du type variant singleton pour Java
- [SPARK-47337] [SC-158743][SQL][DOCKER] Mise à niveau de l’image docker DB2 vers la version 11.5.8.0
- [SPARK-47302] [SC-158609][SQL] Compilation de mot clé comme identificateur
- [SPARK-46817] [SC-154196][CORE] Correction de l’utilisation de
spark-daemon.sh
en ajoutant une commandedecommission
- [SPARK-46739] [SC-153553][SQL] Ajout de la classe d’erreur
UNSUPPORTED_CALL
- [SPARK-47102] [SC-158253][SQL] Ajout de l’indicateur de configuration
COLLATION_ENABLED
- [SPARK-46774] [SC-153925][SQL][AVRO] Utilisation de mapreduce.output.fileoutputformat.compress au lieu de mapred.output.compress déconseillé dans les travaux d’écriture Avro
- [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory : délai d’expiration si le Worker ne se reconnecte pas.
- [SPARK-46835] [SC-158355][SQL][Collations] Prise en charge des jointures pour les classements non binaires
- [SPARK-47131] [SC-158154][SQL][COLLATION] Prise en charge de la fonction de chaîne : contains, startswith, endswith
- [SPARK-46077] [SC-157839][SQL] Considération du type généré par TimestampNTZConverter dans JdbcDialect.compileValue.
- [SPARK-47311] [SC-158465][SQL][PYTHON] Suppression des exceptions Python où PySpark n’est pas dans le chemin Python
- [SPARK-47319] [SC-158599][SQL] Amélioration du calcul de missingInput
- [SPARK-47316] [SC-158606][SQL] Correction de TimestampNTZ dans Postgres Array
- [SPARK-47268] [SC-158158][SQL][Collations] Prise en charge de la repartition avec des classements
- [SPARK-47191] [SC-157831][SQL] Recherche de relation inutile évitée lors de l’annulation du cache de la table/vue
- [SPARK-47168] [SC-158257][SQL] Désactivation du pushdown du filtre Parquet lors de l’utilisation de chaînes compilées autres que par défaut
- [SPARK-47236] [SC-158015][CORE] Correction de
deleteRecursivelyUsingJavaIO
pour ignorer l’entrée de fichier non existante - [SPARK-47238] [SC-158466][SQL] Réduction de l’utilisation de la mémoire de l’exécuteur en rendant le code généré dans WSCG une variable de diffusion
- [SPARK-47249] [SC-158133][CONNECT] Correction d’un bogue dans lequel toutes les exécutions de connexion sont considérées comme abandonnées, quel que soit leur état réel
- [SPARK-47202] [SC-157828][PYTHON] Correction des datetimes de rupture de typo avec tzinfo
- [SPARK-46834] [SC-158139][SQL][Classements] Prise en charge des agrégats
- [SPARK-47277] [SC-158351][3.5] La fonction util PySpark assertDataFrameEqual ne doit pas prendre en charge la diffusion en continu DF
- [SPARK-47155] [SC-158473][PYTHON] Résolution d’un problème de classe d’erreur
- [SPARK-47245] [SC-158163][SQL] Amélioration du code d’erreur pour INVALID_PARTITION_COLUMN_DATA_TYPE
- [SPARK-39771] [SC-158425][CORE] Ajout d’un message d’avertissement dans
Dependency
lorsqu’un trop grand nombre de blocs aléatoires doit être créé. - [SPARK-47277] [SC-158329] La fonction util PySpark assertDataFrameEqual ne doit pas prendre en charge la diffusion en continu DF
- [SPARK-47293] [SC-158356][CORE] Création de batchSchema avec sparkSchema au lieu de les ajouter un par un
- [SPARK-46732] [SC-153517][CONNECT] Le thread de sous-requête/diffusion fonctionne avec la gestion des artefacts de Connect
- [SPARK-44746] [SC-158332][PYTHON] Ajout d’autres documentations Python UDTF pour les fonctions qui acceptent des tables d’entrée
- [SPARK-47120] [SC-157517][SQL] Le filtre de données push down de comparaison Null à partir de la sous-requête produit dans NPE dans le filtre Parquet
- [SPARK-47251] [SC-158291][PYTHON] Bloquer les types non valides de l’argument
args
pour la commandesql
- [SPARK-47251] « [SC-158121][PYTHON] Blocage des types non valides de l’argument
args
pour la commandesql
» rétabli - [SPARK-47015] [SC-157900][SQL] Désactivation du partitionnement sur les colonnes compilées
- [SPARK-46846] [SC-154308][CORE]
WorkerResourceInfo
étendSerializable
explicitement - [SPARK-46641] [SC-156314][SS] Ajout d’un seuil maxBytesPerTrigger
- [SPARK-47244] [SC-158122][CONNECT]
SparkConnectPlanner
rend les fonctions internes privées - [SPARK-47266] [SC-158146][CONNECT]
ProtoUtils.abbreviate
retourne le même type que l’entrée - [SPARK-46961] [SC-158183][SS] Utilisation de ProcessorContext pour stocker et récupérer le handle
- [SPARK-46862] [SC-154548][SQL] Désactivation du nettoyage des colonnes CSV en mode multiligne
- [SPARK-46950] [SC-155803][CORE][SQL] Classe d’erreur
not available codec
alignée - [SPARK-46368] [SC-153236][CORE] Prise en charge de
readyz
dans l’API de soumission REST - [SPARK-46806] [SC-154108] [PYTHON] Amélioration du message d’erreur pour spark.table lorsque le type d’argument est incorrect
- [SPARK-47211] [SC-158008][CONNECT][PYTHON] Correction du classement de chaîne PySpark Connect ignoré
- [SPARK-46552] [SC-151366][SQL]
UnsupportedOperationException
remplacé parSparkUnsupportedOperationException
danscatalyst
- [SPARK-47147] [SC-157842][PYTHON][SQL] Correction de l’erreur de conversion de chaînes compilées PySpark
- [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Correction de l’erreur de classement Spark Connect en ajoutant le champ protobuf collateId
- [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi rendu retriable et correction de la friabilité de ThriftServerWithSparkContextInHttpSuite
- [SPARK-46696] [SC-153832][CORE] Dans ResourceProfileManager, les appels de fonction doivent se produire après les déclarations de variables
- [SPARK-47214] [SC-157862][Python] Création d’une API UDTF pour la méthode analyze pour différencier les arguments NULL constants et d’autres types d’arguments
- [SPARK-46766] [SC-153909][SQL][AVRO] Prise en charge du pool de mémoires tampons ZSTD pour la source de données AVRO
- [SPARK-47192] [SC-157819] Conversion de certaines erreurs _LEGACY_ERROR_TEMP_0035
- [SPARK-46928] [SC-157341][SS] Ajout de la prise en charge de ListState dans l’API d’état arbitraire v2.
- [SPARK-46881] [SC-154612][CORE] Prise en charge de
spark.deploy.workerSelectionPolicy
- [SPARK-46800] [SC-154107][CORE] Prise en charge de
spark.deploy.spreadOutDrivers
- [SPARK-45484] [SC-146014][SQL] Correction du bogue qui utilise un codec de compression parquet incorrect, lz4raw
- [SPARK-46791] [SC-154018][SQL] Prise en charge du jeu Java dans JavaTypeInference
- [SPARK-46332] [SC-150224][SQL] Migration de
CatalogNotFoundException
vers la classe d’erreurCATALOG_NOT_FOUND
- [SPARK-47164] [SC-157616][SQL] La valeur par défaut à partir d’un littéral étroit de type plus large de v2 se comporte comme v1
- [SPARK-46664] [SC-153181][CORE] Amélioration de
Master
pour récupérer rapidement en cas de zéro Worker et application - [SPARK-46759] [SC-153839][SQL][AVRO] Les codecs xz et zstandard prennent en charge le niveau de compression pour les fichiers avro
Prise en charge du pilote ODBC/JDBC Databricks
Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).
Consultez les mises à jour de maintenance databricks Runtime 15.2.
Environnement du système
- Système d’exploitation : Ubuntu 22.04.4 LTS
- Java : Zulu 8.74.0.17-CA-linux64
- Scala : 2.12.15
- Python : 3.11.0
- R : 4.3.2
- Delta Lake : 3.2.0
Bibliothèques Python installées
Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
click | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
contourpy | 1.0.5 | chiffrement | 41.0.3 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
entrypoints | 0,4 | en cours d’exécution | 0.8.3 | facets-overview | 1.1.1 |
filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | empaquetage | 23,2 |
pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
requests | 2.31.0 | rsa | 4,9 | s3transfer | 0.10.1 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | setuptools | 68.0.0 | six | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
wheel | 0.38.4 | zipp | 3.11.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.
Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
---|---|---|---|---|---|
flèche | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | blob | 1.2.4 | boot | 1.3-28 |
brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
class | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
horloge | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
crayon | 1.5.2 | credentials | 2.0.1 | curl | 5.2.0 |
data.table | 1.15.0 | jeux de données | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
diagramme | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | ellipsis | 0.3.2 | evaluate | 0.23 |
fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
KernSmooth | 2.23-21 | knitr | 1,45 | labeling | 0.4.3 |
later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
cycle de vie | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
Matrice | 1.5-4.1 | memoise | 2.0.1 | méthodes | 4.3.2 |
mgcv | 1.8-42 | mime | 0,12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | progress | 1.2.3 |
progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
survival | 3.5-5 | fichier Swagger | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
timeDate | 4032.109 | tinytex | 0,49 | tools | 4.3.2 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | zip | 2.3.1 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
ID de groupe | ID d’artefact | Version |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonaws | aws-java-sdk-config | 1.12.610 |
com.amazonaws | aws-java-sdk-core | 1.12.610 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
com.amazonaws | aws-java-sdk-directory | 1.12.610 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
com.amazonaws | aws-java-sdk-efs | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
com.amazonaws | aws-java-sdk-emr | 1.12.610 |
com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
com.amazonaws | aws-java-sdk-glue | 1.12.610 |
com.amazonaws | aws-java-sdk-iam | 1.12.610 |
com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
com.amazonaws | aws-java-sdk-kms | 1.12.610 |
com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
com.amazonaws | aws-java-sdk-logs | 1.12.610 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
com.amazonaws | aws-java-sdk-rds | 1.12.610 |
com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
com.amazonaws | aws-java-sdk-ses | 1.12.610 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
com.amazonaws | aws-java-sdk-sns | 1.12.610 |
com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonaws | aws-java-sdk-sts | 1.12.610 |
com.amazonaws | aws-java-sdk-support | 1.12.610 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
com.amazonaws | jmespath-java | 1.12.610 |
com.clearspring.analytics | flux | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 natifs |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 natifs |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 natifs |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 natifs |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | profiler | 1.1.1 |
com.ibm.icu | icu4j | 72.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0,25 |
io.delta | delta-sharing-client_2.12 | 1.0.5 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | collecteur | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | arrow-format | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | arrow-vector | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | shims | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |