Partager via

Databricks Runtime 15.2

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.2 optimisé par Apache Spark 3.5.0.

Databricks a publié cette version en mai 2024.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Modifications de comportement

Vider les fichiers de métadonnées COPY INTO

L’exécution de VACUUM sur une table écrite avec COPY INTO maintenant nettoie les métadonnées non référencées associées au suivi des fichiers ingérés. Il n’y a aucun impact sur la sémantique opérationnelle de COPY INTO.

Lakehouse Federation est en disponibilité générale (GA)

Dans Databricks Runtime 15.2 et ultérieur, les connecteurs Lakehouse Federation pour les types de base de données suivants sont en disponibilité générale :

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Cette version présente également les améliorations suivantes :

  • Prise en charge de l’authentification unique (SSO) dans les connecteurs Snowflake et Microsoft SQL Server.

  • Prise en charge d’Azure Private Link dans le connecteur SQL Server depuis des environnements de calcul serverless. Consultez l’Étape 3 : Créer des règles de point de terminaison privé.

  • Prise en charge de pushdowns supplémentaires (chaîne, mathématiques et fonctions diverses).

  • Amélioration du taux de réussite des pushdowns sur différentes formes de requête.

  • Fonctionnalités de débogage des pushdowns supplémentaires :

    • La sortie EXPLAIN FORMATTED affiche le texte de la requête poussée vers le bas (pushed-down).
    • L’interface utilisateur du profil de requête affiche les temps d’exécution de la requête poussée vers le bas (pushed-down), les identificateurs de nœud fédéré et les temps d’exécution des requêtes JDBC (en mode détaillé). Consultez Afficher les requêtes fédérées générées par le système.

BY POSITION pour le mappage de colonnes à l’aide de COPY INTO avec des fichiers CSV sans en-tête

Dans Databricks Runtime 15.2 et versions ultérieures, vous pouvez utiliser les mots clés BY POSITION (ou d’autres syntaxes ( col_name [ , <col_name> ... ] )) avec COPY INTO pour les fichiers CSV sans en-tête afin de simplifier le mappage de la colonne source avec la colonne de table cible. Consultez Paramètres.

Réduction de la consommation de mémoire lorsque les tâches Spark échouent avec une erreur de Resubmitted

Dans Databricks Runtime 15.2 et ultérieur, la valeur de retour de la méthode Spark TaskInfo.accumulables() est vide lorsque les tâches échouent avec une erreur Resubmitted. Avant, la méthode retournait les valeurs d’une tentative de tâche réussie précédente. Ce changement de comportement affecte les consommateurs suivants :

  • Tâches Spark qui utilisent la classe EventLoggingListener.
  • Écouteurs Spark personnalisés.

Pour restaurer le comportement précédent, affectez à spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled la valeur false.

L’affichage des versions des plans d’exécution de requête adaptative est désactivé

Pour réduire la consommation de mémoire, les versions des plans d’exécution de requête adaptative (AQE, adaptative query execution) sont désormais désactivées par défaut dans l’interface utilisateur Spark. Pour activer l’affichage des versions des plans AQE dans l’interface utilisateur Spark, définissez spark.databricks.sql.aqe.showPlanChangesInUI.enabled sur true.

Baisse du nombre limite de requêtes conservées pour réduire l’utilisation de la mémoire de l’interface utilisateur Spark

Dans Databricks Runtime 15.2 et ultérieur, pour réduire la mémoire consommée par l’interface utilisateur Spark dans le calcul Azure Databricks, la limite du nombre de requêtes visibles dans l’interface utilisateur passe de 1 000 à 100. Pour changer la limite, définissez une nouvelle valeur à l’aide de la configuration spark.sql.ui.retainedExecutions de Spark.

DESCRIBE HISTORY affiche désormais les colonnes de clustering pour les tables qui utilisent le clustering liquide

Lorsque vous exécutez une requête DESCRIBE HISTORY, la colonne operationParameters affiche un champ clusterBy par défaut pour les opérations CREATE OR REPLACE et OPTIMIZE. Pour une table Delta qui utilise le clustering liquide, le champ clusterBy est renseigné avec les colonnes de clustering de la table. Si la table n’utilise pas le clustering liquide, le champ est vide.

Améliorations et nouvelles fonctionnalités

La prise en charge des clés primaires et étrangères est en GA

La prise en charge des clés primaires et étrangères dans Databricks Runtime est en disponibilité générale. La version en disponibilité générale inclut les modifications suivantes apportées aux privilèges requis pour utiliser des clés primaires et étrangères :

  • Pour définir une clé étrangère, vous devez disposer du privilège SELECT sur la table avec la clé primaire à laquelle la clé étrangère fait référence. Vous n’avez pas besoin d’être propriétaire de la table avec la clé primaire, ce qui était obligatoire avant.
  • La suppression d’une clé primaire à l’aide de la clause CASCADE ne nécessite pas de privilèges sur les tables qui définissent des clés étrangères qui référencent la clé primaire. Auparavant, vous deviez posséder les tables de référencement.
  • La suppression d’une table qui inclut des contraintes nécessite désormais les mêmes privilèges que la suppression de tables qui n’incluent pas de contraintes.

Pour savoir comment utiliser des clés primaires et étrangères avec des tables ou des affichages, consultez Clause CONSTRAINT, Clause ADD CONSTRAINT et Clause DROP CONSTRAINT.

Le clustering liquide est en disponibilité générale

La prise en charge du clustering liquide est désormais en disponibilité générale avec Databricks Runtime 15.2 et versions ultérieures. Consultez Utilisation des clustering liquides pour les tableaux Delta.

L’élargissement du type est disponible en préversion publique

Vous pouvez désormais activer l’élargissement du type sur les tables soutenues par Delta Lake. Les tables avec extension de type activée permettent de modifier le type de colonnes en un type de données plus large sans réécrire les fichiers de données sous-jacents. Voir Élargissement du type.

Clause d’évolution du schéma ajoutée à la syntaxe de fusion SQL

Vous pouvez maintenant ajouter la clause WITH SCHEMA EVOLUTION à une instruction de fusion SQL pour activer l’évolution du schéma pour l’opération. Consultez Syntaxe d’évolution de schéma pour la fusion.

Les sources de données personnalisées PySpark sont disponibles en préversion publique

Vous pouvez créer une source de données PySpark via l’API DataSource Python (PySpark), qui permet la lecture à partir de sources de données personnalisées et l’écriture dans des récepteurs de données personnalisés dans Apache Spark à l’aide de Python. Consultez Sources de données personnalisées de PySpark

applyInPandas et mapInPandas désormais disponibles sur le calcul de Unity Catalog avec le mode d’accès partagé

Dans le cadre d’une version de maintenance de Databricks Runtime 14.3 LTS, les applyInPandastypes UDF et mapInPandas sont désormais pris en charge sur les ordinateurs en mode d’accès partagé exécutant Databricks Runtime 14.3 et plus.

Utiliser dbutils.widgets.getAll() pour obtenir tous les widgets d’un notebook

Utilisez dbutils.widgets.getAll() pour obtenir toutes les valeurs de widget dans un notebook. Cela est particulièrement utile lors de la transmission de plusieurs valeurs de widgets à une requête Spark SQL.

Prise en charge de l’inventaire vacuum

Vous pouvez maintenant spécifier un inventaire des fichiers à prendre en compte lors de l’exécution de la commande VACUUM sur une table Delta. Consultez la documentation OSS Delta.

Prise en charge des fonctions de compression Zstandard

Vous pouvez désormais utiliser les fonctions zst_compress, zstd_decompress et try_zstd_decompress pour compresser et décompresser les données BINARY.

Résolution des bogues

Les plans de requête dans l’interface utilisateur SQL affichent maintenant correctement PhotonWriteStage

Lorsqu’elles sont affichées dans l’interface utilisateur SQL, les commandes write dans les plans de requête n’ont pas correctement affiché PhotonWriteStage en tant qu’opérateur. Avec cette version, l’interface utilisateur est mise à jour pour afficher PhotonWriteStage en tant qu’étape. Il s’agit seulement d’un changement de l’interface utilisateur qui n’affecte pas la façon dont les requêtes sont exécutées.

Ray est mis à jour pour résoudre les problèmes liés au démarrage des clusters Ray

Cette publication comprend une version corrigée de Ray qui résout un changement cassant qui empêche les clusters Ray de démarrer avec Databricks Runtime pour le Machine Learning. Cette correction garantit que la fonctionnalité Ray est identique aux versions de Databricks Runtime antérieures à la version 15.2.

GraphFrames est mis à jour pour corriger les résultats incorrects avec Spark 3.5

Cette publication comprend une mise à jour du package GraphFrames afin de résoudre les problèmes qui entraînent des résultats incorrects pour certains algorithmes avec GraphFrames et Spark 3.5.

Correction de la classe d’erreur pour les fonctions DataFrame.sort() et DataFrame.sortWithinPartitions()

Cette publication comprend une mise à jour des fonctions PySpark DataFrame.sort() et DataFrame.sortWithinPartitions() pour s’assurer que la classe d’erreur ZERO_INDEX est levée lorsque 0 est passé en tant qu’argument d’index. Avant, la classe d’erreur INDEX_NOT_POSITIVE était levée.

ipywidgets rétrogradé de la version 8.0.4 à la version 7.7.2

Pour corriger les erreurs introduites par une mise à niveau d’ipywidgets vers la version 8.0.4 dans Databricks Runtime 15.0, ipywidgets est rétrogradée à la version 7.7.2 dans Databricks Runtime 15.2. Il s’agit de la même version incluse dans les versions précédentes de Databricks Runtime.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • GitPython de 3.1.42 à 3.1.43
    • google-api-core de 2.17.1 à 2.18.0
    • google-auth de 2.28.1 à 2.29.0
    • google-cloud-storage de 2.15.0 à 2.16.0
    • googleapis-common-protos de 1.62.0 à 1.63.0
    • ipywidgets de 8.0.4 vers 7.7.2
    • mlflow-skinny de 2.11.1 à 2.11.3
    • s3transfer de 0.10.0 à 0.10.1
    • sqlparse de 0.4.4 à 0.5.0
    • typing_extensions de 4.7.1 à 4.10.0
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-directory de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 à 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 à 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 à 1.12.610

Apache Spark

Databricks Runtime 15.2 comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 15.1 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

  • [SPARK-47941] [SC-163568] [SS] [Connect] Propagation des erreurs d’initialisation du Worker ForeachBatch aux utilisateurs pour PySpark
  • [SPARK-47412] [SC-163455][SQL] Ajout de la prise en charge du classement pour LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Mise de bang sous une configuration
  • [SPARK-46820] [SC-157093][PYTHON] Correction de la régression des messages d’erreur en restaurant new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577] Gestionnaires Core/MLLib/Ressources : migration de journalisation structurée
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Ajout des fonctions variant à Scala et Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI]Ajout de la page Environment à l’interface utilisateur maître
  • [SPARK-47805] [SC-163459][SS] Implémentation de TTL pour MapState
  • [SPARK-47900] [SC-163326] Correction de la vérification du classement implicite (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Création d’expressions Compute Current Time* pliables
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Prise en charge du type de colonne dans la fonction split pour scala et python
  • [SPARK-47754] [SC-162144][SQL] Postgres : prise en charge de la lecture de tableaux multidimensionnels
  • [SPARK-47416] [SC-163001][SQL] Ajout de nouvelles fonctions à CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Correction du bogue d’agrégation dans RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implémentation de l’expression is_variant_null
  • [SPARK-47883] [SC-163184][SQL] CollectTailExec.doExecute rendu paresseux avec RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Ajout d’un journal DEBUG à DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Correction de la régression des performances ExpressionSet dans scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Résilience aux incidents du pool de Workers PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource rendu compatible avec pyspark-connect
  • [SPARK-47887] [SC-163122] [CONNECT] Suppression de l’importation spark/connect/common.proto inutilisée de spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark.worker_utils rendu compatible avec pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres : prise en charge d’un tableau multidimensionnel côté écriture
  • [SPARK-47617] [SC-162513][SQL] Ajout d’une infrastructure de test TPC-DS pour les classements
  • [SPARK-47356] [SC-162858][SQL] Ajout de la prise en charge de ConcatWs &Elt (tous les classements)
  • [SPARK-47543][SC-161234][CONNECT][PYTHON] Déduction de dict comme MapType à partir de Pandas DataFrame pour permettre la création d’un DataFrame
  • [SPARK-47863] [SC-162974][SQL] Correction de l’implémentation prenant en charge les classements de startsWith &endsWith pour ICU
  • [SPARK-47867] [SC-162966][SQL] Prise en charge de variant dans l’analyse JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Ajout de VariantVal pour PySpark
  • [SPARK-47803] [SC-162726][SQL] Prise en charge de cast en variant.
  • [SPARK-47769] [SC-162841][SQL] Ajout de l’expression schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Correction de la sortie du test
  • [SPARK-47430] [SC-161178][SQL] Prise en charge de GROUP BY pour MapType
  • [SPARK-47357] [SC-162751][SQL] Ajout de la prise en charge de Upper, Lower, InitCap (tous les classements)
  • [SPARK-47788] [SC-162729][SS] Garantie du même partitionnement de hachage pour les opérations avec état de streaming
  • [SPARK-47776] [SC-162291][SS] Utilisation d’un classement d’inégalité binaire interdite dans le schéma clé de l’opérateur avec état
  • [SPARK-47673] [SC-162824][SS] Implémentation de TTL pour ListState
  • [SPARK-47818][SC-162845][CONNECT] Présentation du cache du plan dans SparkConnectPlanner pour améliorer les performances des requêtes d’analyse
  • [SPARK-47694][SC-162783][CONNECT] Taille maximale de message rendue configurable côté client
  • [SPARK-47274] « [SC-162479][PYTHON][SQL] Fournir plus d... » rétabli
  • [SPARK-47616] [SC-161193][SQL] Ajout d’un document utilisateur pour le mappage des types de données Spark SQL à partir de MySQL
  • [SPARK-47862][SC-162837][PYTHON][CONNECT] Correction de la génération de fichiers proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Modification du script de mise en production pour publier pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Refactorisation de UTF8String et CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml rendu compatible avec pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Gestion spéciale du type JSON pour le connecteur MySQL/J 5.x
  • [SPARK-47765] « [SC-162636][SQL] Ajout de SET COLLATION à... » rétabli
  • [SPARK-47081][SC-162151][CONNECT][FOLLOW] Amélioration de la facilité d’utilisation du gestionnaire d’avancement
  • [SPARK-47289] [SC-161877][SQL] Autorisation des extensions à consigner les informations étendues dans le plan d’explication
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Contexte plus utile fourni pour les erreurs d’API DataFrame PySpark
  • [SPARK-47765] [SC-162636][SQL] Ajout de SET COLLATION aux règles d’analyseur
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite échoue avec un plan non valide
  • [SPARK-47812] [SC-162696][CONNECT][PYTHON] Prise en charge de la sérialisation de SparkSession pour le Worker ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Autorisation de LiveEventBus à s’arrêter sans vider complètement la file d’attente d’événements
  • [SPARK-47827] [SC-162625][PYTHON] Avertissements manquants pour les fonctionnalités déconseillées
  • [SPARK-47733] [SC-162628][SS] Ajout des métriques personnalisées pour l’opérateur transformWithState faisant partie de l’avancement de la requête
  • [SPARK-47784] [SC-162623][SS] Fusion de TTLMode et TimeoutMode en un seul TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Prise en charge des types scalaires restants dans la spécification variant.
  • [SPARK-47736] [SC-162503][SQL] Ajout de la prise en charge de AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Prise en charge de l’avancement de l’exécution des requêtes
  • [SPARK-47682] [SC-162138][SQL] Prise en charge de cast à partir de variant.
  • [SPARK-47802][SC-162478][SQL] () rétabli de meaning struct() vers meaning *
  • [SPARK-47680] [SC-162318][SQL] Ajout de l’expression variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression doit vérifier l’erreur pour chaque mode codegen
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implémentation de SQLStringFormatter avec WithRelations
  • [SPARK-47693] [SC-162326][SQL] Ajout de l’optimisation pour la comparaison en minuscules d’UTF8String utilisée dans le classement UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Les chaînes compilées en types complexes prennent en charge les opérations reverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] mapInPandas / mapInArrow prennent en charge ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] SparkConf au niveau racine pour SparkSession et SparkContext
  • [SPARK-47406] [SC-159376][SQL] Traitement de TIMESTAMP et DATETIME dans MYSQLDialect
  • [SPARK-47081] « [SC-161758][CONNECT] Prise en charge de l’exécution de req... » rétabli
  • [SPARK-47681] [SC-162043][SQL] Ajout de l’expression schema_of_variant.
  • [SPARK-47783] [SC-162222] Ajout de quelques SQLSTATE manquants et nettoyage de YY000 pour utiliser...
  • [SPARK-47634] [SC-161558][SQL] Ajout de la prise en charge héritée de la désactivation de la normalisation des clés de carte
  • [SPARK-47746] [SC-162022] Implémentation de l’encodage de plage ordinal dans RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec doit toujours utiliser context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Ajout d’un test pyspark pour la source de streaming Python
  • [SPARK-47582] [SC-161943][SQL] Migration de Catalyst logInfo avec des variables vers un framework de journalisation structurée
  • [SPARK-47558] [SC-162007][SS] Prise en charge de TTL d’état pour ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Amélioration de la prise en charge des expressions répétées pour retourner le datatype correct
  • [SPARK-47504] [SC-162044][SQL] Résolution de AbstractDataType simpleStrings pour StringTypeCollated
  • [SPARK-47719] « [SC-161909][SQL] Modification de spark.sql.legacy.t... » rétabli
  • [SPARK-47657] [SC-162010][SQL] Implémentation de la prise en charge push down du filtre de classement par source de fichier
  • [SPARK-47081] [SC-161758][CONNECT] Prise en charge de l’avancement de l’exécution des requêtes
  • [SPARK-47744] [SC-161999] Ajout de la prise en charge des octets à valeur négative dans l’encodeur de plage
  • [SPARK-47713][SC-162009][SQL][CONNECT] Correction d’une jointure réflexive défaillante
  • [SPARK-47310] [SC-161930][SS] Ajout d’un micro-benchmark pour les opérations de fusion pour plusieurs valeurs dans la partie valeur du magasin d’états
  • [SPARK-47700] [SC-161774][SQL] Correction de la mise en forme des messages d’erreur avec treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] pyspark.pandas rendu compatible avec pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implémentation de l’API logWarning/logInfo dans le framework de journalisation structurée
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implémentation du lecteur de partition pour la source de données de streaming Python
  • [SPARK-47553] [SC-161772][SS] Ajout de la prise en charge java pour les APi de l’opérateur transformWithState
  • [SPARK-47719] [SC-161909][SQL] Valeur par défaut de spark.sql.legacy.timeParserPolicy remplacée par CORRECTED
  • [SPARK-47655] [SC-161761][SS] Intégration du minuteur avec gestion de l’état initial pour state-v2
  • [SPARK-47665] [SC-161550][SQL] Utilisation de SMALLINT pour écrire ShortType dans MYSQL
  • [SPARK-47210] [SC-161777][SQL] Ajout d’une conversion implicite sans prise en charge indéterminée
  • [SPARK-47653] [SC-161767][SS] Ajout de la prise en charge des types numériques négatifs et de l’encodeur de clé d’analyse de plage
  • [SPARK-46743] [SC-160777][SQL] Bogue de dénombrement après le pliage de constante
  • [SPARK-47525] [SC-154568][SQL] Prise en charge de la jointure de corrélation de sous-requête sur les attributs de carte
  • [SPARK-46366] [SC-151277][SQL] Utilisation de l’expression WITH dans BETWEEN pour éviter les expressions en double
  • [SPARK-47563] [SC-161183][SQL] Ajout de la normalisation de la carte lors de la création
  • [SPARK-42040] [SC-161171][SQL] SPJ : introduction d’une nouvelle API pour la partition d’entrée V2 pour signaler les statistiques de partition
  • [SPARK-47679] [SC-161549][SQL] Utilisation de HiveConf.getConfVars ou de noms de conf Hive directement
  • [SPARK-47685] [SC-161566][SQL] Restauration de la prise en charge du type Stream dans Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] try_to_number retourne NULL pour une entrée malformée
  • [SPARK-47366] [SC-161324][PYTHON] Ajout des alias pyspark et dataframe parse_json
  • [SPARK-47491] [SC-161176][CORE] Ajout de slf4j-api jar au chemin d’accès de classe avant les autres dans le répertoire jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projette CommandResults localement
  • [SPARK-47364] [SC-158927][CORE] PluginEndpoint avertit lorsque les plug-ins répondent pour un message unidirectionnel
  • [SPARK-47280] [SC-158350][SQL] Suppression de la limitation du fuseau horaire pour ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Ajout de l’expression variant_get.
  • [SPARK-47559] [SC-161255][SQL] Prise en charge de Codegen pour variant parse_json
  • [SPARK-47572] [SC-161351][SQL] L’application de fenêtre partitionSpec est ordonnée.
  • [SPARK-47546] [SC-161241][SQL] Amélioration de la validation lors de la lecture de Variant à partir de Parquet
  • [SPARK-47543][SC-161234][CONNECT][PYTHON] Déduction de dict comme MapType à partir de Pandas DataFrame pour permettre la création d’un DataFrame
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Création d’une colonne avec des classements dans l’API dataframe
  • [SPARK-47641] [SC-161376][SQL] Amélioration des performances de UnaryMinus et Abs
  • [SPARK-47631] [SC-161325][SQL] Suppression de la méthode inutilisée SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Activation de spark.metrics.appStatusSource.enabled par défaut
  • [SPARK-47273] [SC-161162][SS][PYTHON] Implémentation de l’interface d’enregistreur de flux de données Python.
  • [SPARK-47637] [SC-161408][SQL] Utilistion de errorCapturingIdentifier dans d’autres emplacements
  • [SPARK-47497] « « [SC-160724][SQL] to_csv prend en charge la sortie de array/struct/map/binary en tant que chaînes pretty » rétabli » rétabli
  • [SPARK-47492] [SC-161316][SQL] Règles d’espace blanc élargies dans lexer
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Validation du nom de colonne avec le schéma mis en cache
  • [SPARK-47638][SC-161339][PS][CONNECT] Omission de la validation du nom de colonne dans PS
  • [SPARK-47363] [SC-161247][SS] État initial sans implémentation de lecteur d’état pour l’API State v2.
  • [SPARK-47447] [SC-160448][SQL] Autorisation de lecture de TimestampLTZ Parquet en tant que TimestampNTZ
  • [SPARK-47497] « [SC-160724][SQL] to_csv prend en charge la sortie de array/struct/map/binary comme chaînes pretty » rétabli
  • [SPARK-47434] [SC-160122][WEBUI] Correction du lien statistics dans StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Les chaînes entre guillemets dans un chemin JSON doivent prendre en charge ? caractères
  • [SPARK-46915] [SC-155729][SQL] Simplification de UnaryMinus Abs et alignement de la classe d’erreur
  • [SPARK-47431] [SC-160919][SQL] Ajout d’un classement par défaut au niveau de la session
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Ajout d’une fonction d’assistance pour trier les colonnes
  • [SPARK-47570] [SC-161165][SS] Intégration des modifications de l’encodeur d’analyse de plage à l’implémentation du minuteur
  • [SPARK-47497] [SC-160724][SQL] to_csv prend en charge la sortie de array/struct/map/binary comme chaînes pretty
  • [SPARK-47562] [SC-161166][CONNECT] Gestion littérale des facteurs hors de plan.py
  • [SPARK-47509][SC-160902][SQL] Blocage des expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
  • [SPARK-47539] [SC-160750][SQL] Définition de la valeur de retour de la méthode castToString comme Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Ajout de la prise en charge de l’encodeur d’état de clé basé sur l’analyse de plage à utiliser avec le fournisseur de magasin d’états
  • [SPARK-47517] [SC-160642][CORE][SQL] Choix préféré de Utils.bytesToString pour l’affichage de la taille
  • [SPARK-47243] [SC-158059][SS] Correction du nom de package de StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Prise en charge des sources de données Python avec Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Utilisation de Utils.tryWithResource lors de la lecture de données aléatoires à partir d’un stockage externe
  • [SPARK-47474] [SC-160522][CORE] SPARK-47461 rétabli et ajout de commentaires
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] RPC évité pour valider le nom de colonne avec le schéma mis en cache
  • [SPARK-47451] [SC-160749][SQL] Prise en charge de to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Ajout de la prise en charge de UserDefinedType à DataTypeUtils.canWrite
  • [SPARK-44708] « [SC-160734][PYTHON] Migration de test_reset_index assert_eq pour utiliser assertDataFrameEqual » rétabli
  • [SPARK-47506] [SC-160740][SQL] Ajout de la prise en charge à tous les formats de source de fichiers pour les types de données compilés
  • [SPARK-47256] [SC-160784][SQL] Attribution de noms aux classes d’erreur _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Correction du fichier jar de ressource principale ajouté à spark.jars deux fois en mode cluster k8s
  • [SPARK-47398] [SC-160572][SQL] Extraction d’une caractéristique pour InMemoryTableScanExec pour permettre l’extension des fonctionnalités
  • [SPARK-47479] [SC-160623][SQL] Optimisation du journal des erreurs pour impossible d’écrire des données aux relations avec plusieurs chemins
  • [SPARK-47483] [SC-160629][SQL] Ajout de la prise en charge des opérations d’agrégation et de jointure sur des tableaux de chaînes compilées
  • [SPARK-47458] [SC-160237][CORE] Résolution du problème lié au calcul du nombre maximal de tâches simultanées pour l’étape de barrière
  • [SPARK-47534] [SC-160737][SQL] o.a.s.variant déplacé vers o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Ajout d’un mappage général pour TIME WITHOUT TIME ZONE vers TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migration de test_reset_index assert_eq pour utiliser assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML : ajout des tests d’inférence de schéma pour les balises de valeur
  • [SPARK-47007] [SC-160630][SQL] Ajout de l’expression MapSort
  • [SPARK-47523] [SC-160645][SQL] Remplacement de JsonParser#getCurrentName déconseillé par JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Correction de la syntaxe push non prise en charge vers MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Type d’opération de balise utilisé avec l’acquisition/la mise en production du verrou d’instance du magasin d’états RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Mode démon rendu configurable lors de la création de Workers du planificateur Python
  • [SPARK-47446] [SC-160163][CORE] BlockManager avertit avant removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Prise en charge de LIMIT sur les sous-requêtes corrélées où les prédicats référencent uniquement la table externe
  • [SPARK-47461] [SC-160297][CORE] Suppression de la fonction privée totalRunningTasksPerResourceProfile de ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Prise en charge des chaînes compilées dans les opérations de tableau
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Gestion des noms des colonnes de facteur hors de plan.py
  • [SPARK-47383] [SC-160144][CORE] Prise en charge de la configuration spark.shutdown.timeout
  • [SPARK-47342] [SC-159049] « [SQL] Prise en charge de TimestampNTZ pour DB2 TIMESTAMP WITH TIME ZONE » rétabli
  • [SPARK-47486] [SC-160491][CONNECT] Suppression de la méthode privée ArrowDeserializers.getString inutilisée
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logique client et serveur pour l’écouteur de requête de streaming côté client
  • [SPARK-47487] [SC-160534][SQL] Simplification du code dans AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Prise en charge de l’agrégation de fenêtres pour les classements
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Échec des fonctions non prises en charge pour les classements non binaires
  • [SPARK-47380][SC-160164][CONNECT] Vérification côté serveur que le SparkSession correspond
  • [SPARK-47327] [SC-160069][SQL] Déplacement du test de concurrence des clés de tri vers CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Ajout de la documentation de migration pour le changement de comportement de l’inférence de timestamp Parquet depuis Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Refactorisation et fractionnement des tests unitaires de liste/minuteur
  • [SPARK-46473] [SC-155663][SQL] Réutilisation de la méthode getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Classements : prise en charge des opérations ensemblistes pour les chaînes avec des classements
  • [SPARK-47439] [SC-160115][PYTHON] Documentation de l’API de source de données Python dans la page de référence de l’API
  • [SPARK-47457] [SC-160234][SQL] Correction de IsolatedClientLoader.supportsHadoopShadedClient pour gérer Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implémentation de parse_json.
  • [SPARK-46331] [SC-152982][SQL] Suppression de CodegenFallback d’un sous-ensemble d’expressions DateTime et d’une expression version()
  • [SPARK-47395] [SC-159404] Ajout de compilation et de classement à d’autres API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Correction de la classe d’erreur pour DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] SparkConnectListenerBusListener côté serveur pour l’écouteur de requête de streaming côté client
  • [SPARK-47324] [SC-158720][SQL] Ajout d’une conversion de timestamp manquante pour les types imbriqués JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Ajout d’une interface pour l’API de source de données de streaming python et implémentation d’un Worker python pour exécuter la source de données de streaming python
  • [SPARK-45827] [SC-158498][SQL] Vérifications de type de données déplacées vers CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Prise en charge de TimestampNTZ pour DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Colonnes générées sur des expressions avec des classements désactivées
  • [SPARK-47146] [SC-158247][CORE] Fuite de thread possible lors de l’opération de tri de jointure de fusion
  • [SPARK-46913] [SC-159149][SS] Ajout de la prise en charge des minuteurs basés sur le traitement/heure des événements avec l’opérateur transformWithState
  • [SPARK-47375] [SC-159063][SQL] Ajout d’instructions pour le mappage de timestamp dans JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Prise en charge de TIMESTAMP WITH TIME ZONE pour H2Dialect
  • [SPARK-45827] « [SC-158498][SQL] Déplacer les vérifications de type de données vers... » rétabli
  • [SPARK-47208] [SC-159279][CORE] Autorisation de la substitution de la mémoire de charge de base
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Prise en charge d’Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][PYTHON] Mise à niveau de MyPy 1.8.0
  • [SPARK-46906][SC-157205][SS] Ajout d’une vérification de modification d’opérateur avec état pour la diffusion en continu
  • [SPARK-47391] [SC-159283][SQL] Suppression de la solution de contournement de cas de test pour JDK 8
  • [SPARK-47272] [SC-158960][SS] Ajout de l’implémentation MapState pour l’API State v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Correction d’une erreur dans la documentation de l’option preferTimestampNTZ de JDBC
  • [SPARK-42328] [SC-157363][SQL] Suppression de _LEGACY_ERROR_TEMP_1175 des classes d’erreur
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Correction de la description de l’option preferTimestampNTZ dans la documentation JDBC
  • [SPARK-47344] [SC-159146] Erreur INVALID_IDENTIFIER étendue au-delà de l’interception de « - » dans un identificateur non cité et correction de « IS ! NULL » et autres.
  • [SPARK-47340] [SC-159039][SQL] Modification de « collate » dans StringType typename en minuscules
  • [SPARK-47087] [SC-157077][SQL] Déclenchement de l’exception de Spark avec une classe d’erreur dans la vérification de la valeur de configuration
  • [SPARK-47327] [SC-158824][SQL] Résolution du problème de sécurité des threads dans ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Correction de la condition d’erreur hors limites
  • [SPARK-47331] [SC-158719][SS] Sérialisation à l’aide de classes de cas/primitives/POJO basées sur l’encodeur SQL pour l’API d’état arbitraire v2.
  • [SPARK-47250] [SC-158840][SS] Ajout de validations supplémentaires et de modifications NERF pour le fournisseur d’état RocksDB et utilisation de familles de colonnes
  • [SPARK-47328] [SC-158745][SQL] Classement UCS_BASIC renommé en UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Prise en charge de spark.driver.timeout et DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Ajout d’une documentation de migration : inférence de type TimestampNTZ sur les fichiers Parquet
  • [SPARK-47309][SC-158827][SQL][XML] Ajout des tests unitaires d’inférence de schéma
  • [SPARK-47295] [SC-158850][SQL] Ajout d’ICU StringSearch pour les fonctions startsWith et endsWith
  • [SPARK-47343] [SC-158851][SQL] Correction de NPE lorsque la valeur de la variable sqlString est une chaîne Null dans l’exécution immédiate
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Utilisation d’une dépendance transitive protobuf
  • [SPARK-46795] [SC-154143][SQL] Remplacement de UnsupportedOperationException par SparkUnsupportedOperationException dans sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Synchronisation des dépendances PySpark dans les documents et les exigences de développement
  • [SPARK-47169] [SC-158848][SQL] Désactivation du compartimentage sur les colonnes compilées
  • [SPARK-42332] [SC-153996][SQL] Modification de la demande en SparkException dans ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Vérifications de type de données déplacées vers CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Remplacement des commandes par des relations dans quelques tests dans SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Remplacement de la classe d’erreur _LEGACY_ERROR_TEMP_2020 par une erreur interne
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Prise en charge améliorée de la fonction de chaîne : contains
  • [SPARK-47334] [SC-158716][SQL] withColumnRenamed réutilise l’implémentation de withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 prend en charge le push down de PERCENTILE_CONT et PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Ajout du traitement de scala.MatchError dans QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Ajout du type variant singleton pour Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Mise à niveau de l’image docker DB2 vers la version 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Compilation de mot clé comme identificateur
  • [SPARK-46817] [SC-154196][CORE] Correction de l’utilisation de spark-daemon.sh en ajoutant une commande decommission
  • [SPARK-46739] [SC-153553][SQL] Ajout de la classe d’erreur UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Ajout de l’indicateur de configuration COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Utilisation de mapreduce.output.fileoutputformat.compress au lieu de mapred.output.compress déconseillé dans les travaux d’écriture Avro
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory : délai d’expiration si le Worker ne se reconnecte pas.
  • [SPARK-46835] [SC-158355][SQL][Collations] Prise en charge des jointures pour les classements non binaires
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Prise en charge de la fonction de chaîne : contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Considération du type généré par TimestampNTZConverter dans JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Suppression des exceptions Python où PySpark n’est pas dans le chemin Python
  • [SPARK-47319] [SC-158599][SQL] Amélioration du calcul de missingInput
  • [SPARK-47316] [SC-158606][SQL] Correction de TimestampNTZ dans Postgres Array
  • [SPARK-47268] [SC-158158][SQL][Collations] Prise en charge de la repartition avec des classements
  • [SPARK-47191] [SC-157831][SQL] Recherche de relation inutile évitée lors de l’annulation du cache de la table/vue
  • [SPARK-47168] [SC-158257][SQL] Désactivation du pushdown du filtre Parquet lors de l’utilisation de chaînes compilées autres que par défaut
  • [SPARK-47236] [SC-158015][CORE] Correction de deleteRecursivelyUsingJavaIO pour ignorer l’entrée de fichier non existante
  • [SPARK-47238] [SC-158466][SQL] Réduction de l’utilisation de la mémoire de l’exécuteur en rendant le code généré dans WSCG une variable de diffusion
  • [SPARK-47249] [SC-158133][CONNECT] Correction d’un bogue dans lequel toutes les exécutions de connexion sont considérées comme abandonnées, quel que soit leur état réel
  • [SPARK-47202] [SC-157828][PYTHON] Correction des datetimes de rupture de typo avec tzinfo
  • [SPARK-46834] [SC-158139][SQL][Classements] Prise en charge des agrégats
  • [SPARK-47277] [SC-158351][3.5] La fonction util PySpark assertDataFrameEqual ne doit pas prendre en charge la diffusion en continu DF
  • [SPARK-47155] [SC-158473][PYTHON] Résolution d’un problème de classe d’erreur
  • [SPARK-47245] [SC-158163][SQL] Amélioration du code d’erreur pour INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Ajout d’un message d’avertissement dans Dependency lorsqu’un trop grand nombre de blocs aléatoires doit être créé.
  • [SPARK-47277] [SC-158329] La fonction util PySpark assertDataFrameEqual ne doit pas prendre en charge la diffusion en continu DF
  • [SPARK-47293] [SC-158356][CORE] Création de batchSchema avec sparkSchema au lieu de les ajouter un par un
  • [SPARK-46732] [SC-153517][CONNECT] Le thread de sous-requête/diffusion fonctionne avec la gestion des artefacts de Connect
  • [SPARK-44746] [SC-158332][PYTHON] Ajout d’autres documentations Python UDTF pour les fonctions qui acceptent des tables d’entrée
  • [SPARK-47120] [SC-157517][SQL] Le filtre de données push down de comparaison Null à partir de la sous-requête produit dans NPE dans le filtre Parquet
  • [SPARK-47251] [SC-158291][PYTHON] Bloquer les types non valides de l’argument args pour la commande sql
  • [SPARK-47251] « [SC-158121][PYTHON] Blocage des types non valides de l’argument args pour la commande sql » rétabli
  • [SPARK-47015] [SC-157900][SQL] Désactivation du partitionnement sur les colonnes compilées
  • [SPARK-46846] [SC-154308][CORE] WorkerResourceInfo étend Serializable explicitement
  • [SPARK-46641] [SC-156314][SS] Ajout d’un seuil maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner rend les fonctions internes privées
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate retourne le même type que l’entrée
  • [SPARK-46961] [SC-158183][SS] Utilisation de ProcessorContext pour stocker et récupérer le handle
  • [SPARK-46862] [SC-154548][SQL] Désactivation du nettoyage des colonnes CSV en mode multiligne
  • [SPARK-46950] [SC-155803][CORE][SQL] Classe d’erreur not available codec alignée
  • [SPARK-46368] [SC-153236][CORE] Prise en charge dereadyz dans l’API de soumission REST
  • [SPARK-46806] [SC-154108] [PYTHON] Amélioration du message d’erreur pour spark.table lorsque le type d’argument est incorrect
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Correction du classement de chaîne PySpark Connect ignoré
  • [SPARK-46552] [SC-151366][SQL] UnsupportedOperationException remplacé par SparkUnsupportedOperationException dans catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Correction de l’erreur de conversion de chaînes compilées PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Correction de l’erreur de classement Spark Connect en ajoutant le champ protobuf collateId
  • [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi rendu retriable et correction de la friabilité de ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] Dans ResourceProfileManager, les appels de fonction doivent se produire après les déclarations de variables
  • [SPARK-47214] [SC-157862][Python] Création d’une API UDTF pour la méthode analyze pour différencier les arguments NULL constants et d’autres types d’arguments
  • [SPARK-46766] [SC-153909][SQL][AVRO] Prise en charge du pool de mémoires tampons ZSTD pour la source de données AVRO
  • [SPARK-47192] [SC-157819] Conversion de certaines erreurs _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Ajout de la prise en charge de ListState dans l’API d’état arbitraire v2.
  • [SPARK-46881] [SC-154612][CORE] Prise en charge de spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Prise en charge de spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Correction du bogue qui utilise un codec de compression parquet incorrect, lz4raw
  • [SPARK-46791] [SC-154018][SQL] Prise en charge du jeu Java dans JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migration de CatalogNotFoundException vers la classe d’erreur CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] La valeur par défaut à partir d’un littéral étroit de type plus large de v2 se comporte comme v1
  • [SPARK-46664] [SC-153181][CORE] Amélioration de Master pour récupérer rapidement en cas de zéro Worker et application
  • [SPARK-46759] [SC-153839][SQL][AVRO] Les codecs xz et zstandard prennent en charge le niveau de compression pour les fichiers avro

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.2.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 chiffrement 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 en cours d’exécution 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetage 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
horloge 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 jeux de données 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 méthodes 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 fichier Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1