Databricks Runtime 14.3 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.3 LTS avec Apache Spark 3.5.0.

Cette version intègre toutes les fonctionnalités, améliorations et correctifs de bogues de toutes les versions précédentes de Databricks Runtime. Databricks a publié cette version en février 2024.

Remarque

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez les cycles de vie de prise en charge de Databricks Runtime.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Améliorations et nouvelles fonctionnalités

Prise en charge du système de fichiers de l'espace de travail dans les fonctions définies par l'utilisateur (UDF) PySpark sur les clusters en mode d’accès standard (anciennement mode d’accès partagé)

Les fonctions définies par l’utilisateur PySpark sur des clusters standard peuvent désormais importer des modules Python à partir de dossiers Git, de fichiers d'espace de travail ou de volumes UC.

Pour plus d’informations sur l’utilisation des modules dans des dossiers Git ou des fichiers d’espace de travail, consultez Work with Python and R modules.

Prise en charge des optimisations MERGE vectorielles de suppression sans Photon

Photon n’est plus nécessaire pour les opérations MERGE pour tirer parti des optimisations des vecteurs de suppression. Consultez les vecteurs de suppression dans Databricks.

API de catalogue Spark désormais entièrement prises en charge en mode d’accès standard

Vous pouvez maintenant utiliser toutes les fonctions de l’API spark.catalog à la fois en Python et en Scala sur le calcul configuré avec le mode d’accès standard.

Delta UniForm est désormais en disponibilité générale

UniForm est maintenant en disponibilité générale et utilise la fonctionnalité de table IcebergCompatV2. Vous pouvez désormais activer ou mettre à niveau UniForm sur des tables existantes. Consultez lire les tables Delta Lake avec les clients Iceberg à l’aide de UniForm.

Nouvelle fonction SQL EXECUTE IMMEDIATE

Vous pouvez maintenant utiliser la EXECUTE IMMEDIATE syntaxe pour prendre en charge les requêtes paramétrables dans SQL. Voir EXECUTE IMMEDIATE.

Recalculer les statistiques des sauts de données pour les tables Delta

Vous pouvez maintenant recalculer les statistiques stockées dans le journal Delta après avoir modifié les colonnes utilisées pour les données ignorées. Consultez Spécifier des colonnes de statistiques.

Informations sur l'état de requête pour les requêtes de diffusion en continu avec état

Vous pouvez désormais interroger des données et des métadonnées d’état de flux structuré. Consultez Lire les informations d’état de Structured Streaming.

Utiliser Microsoft Entra ID pour l’authentification Kafka sur des clusters standard

Vous pouvez désormais authentifier les services Event Hubs via OAuth avec Microsoft Entra ID sur le calcul configuré avec le mode d’accès standard. Consultez Authentification.

La prise en charge du nettoyage des fichiers et des partitions est ajoutée pour améliorer les performances des requêtes

Pour accélérer certaines requêtes qui s’appuient sur l’égalité compatibles avec les valeurs Null au sein des conditions JOIN, nous prenons désormais en charge DynamicFilePruning et DynamicPartitionPruning pour l’opérateur EqualNullSafe dans les JOIN.

Déclarer des variables temporaires dans une session SQL

Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées à partir des requêtes. Voir Variables.

Mises à jour de Thriftserver pour supprimer des fonctionnalités inutilisées

Le code de Thriftserver a été mis à jour pour supprimer le code de fonctionnalités obsolètes. En raison de ces modifications, les configurations suivantes ne sont plus prises en charge :

  • Les fichiers JAR auxiliaires de Hive, configurés en utilisant la propriété hive.aux.jars.path, ne sont plus pris en charge pour les connexions hive-thriftserver.
  • Le fichier init global de Hive (.hiverc), dont l’emplacement est configuré en utilisant la propriété hive.server2.global.init.file.location ou la variable d’environnement HIVE_CONF_DIR, n’est plus pris en charge pour les connexions hive-thriftserver.

Utiliser les fichiers truststore et keystore (magasin de clés) dans les volumes Unity Catalog

Vous pouvez désormais utiliser des fichiers truststore et keystore dans les volumes Unity Catalog pour vous authentifier auprès d'un Confluent Schema Registry pour les données avro ou protocol buffer. Consulter la documentation relative à avro ou Protocol Buffers.

Prise en charge du format de fichier XML natif (préversion publique)

La prise en charge du format de fichier XML natif est désormais en avant-première publique. La prise en charge du format de fichier XML permet l’ingestion, l’interrogation et l’analyse des données XML pour le traitement par lots ou la diffusion en continu. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge des expressions SQL telles que from_xml, et peut générer des documents XML. Il ne nécessite aucun fichier JAR externe et fonctionne de manière transparente avec Auto Loader, read_files, COPY INTO et DLT. Consultez Lire et écrire des fichiers XML.

Prise en charge du stockage Cloudflare R2 (Version préliminaire publique)

Vous pouvez désormais utiliser Cloudflare R2 comme stockage cloud pour les données inscrites dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre. Le stockage R2 prend en charge toutes les ressources databricks et IA prises en charge dans AWS S3, Azure Data Lake Storage et Google Cloud Storage. Consultez Utilisation des réplicas Cloudflare R2 ou migration du stockage vers Cloudflare R2 et Connexion à un emplacement externe Cloudflare R2.

L'accès de Spark et dbutils aux fichiers d’espace de travail est pris en charge sur les clusters Unity Catalog à accès standard

L'accès Spark et dbutils en lecture et écriture aux fichiers de l'espace de travail est désormais pris en charge sur les clusters Unity Catalog en mode d'accès standard. Consultez Utilisation des fichiers d’espace de travail.

Prise en charge des scripts init et de la bibliothèque de clusters sur les clusters Unity Catalog à accès standard

Installation des scripts init associés aux clusters de l’étendue et des bibliothèques Python et JAR sur les clusters Unity Catalog en mode d'accès standard, y compris l’installation à l’aide des stratégies de cluster, est désormais en disponibilité générale. Databricks recommande d’installer des scripts d’initialisation et des bibliothèques à partir de volumes de catalogue Unity.

Mises à niveau de la bibliothèque

  • Bibliothèques de Python mises à niveau :
    • fastjsonschema, versions 2.19.0 à 2.19.1
    • filelock de 3.12.4 à 3.13.1
    • googleapis-common-protos de 1.61.0 à 1.62.0
    • packaging de 22.0 à 23.2
  • Bibliothèques R mises à niveau :
    • foreign de 0.8-82 à 0.8-85
    • nlme de 3.1-162 à 3.1-163
    • rpart de 4.1.19 à 4.1.21
  • Bibliothèques de Java mises à niveau :
    • com.databricks.databricks-sdk-java de 0.7.0 à 0.13.0
    • org.apache.orc.orc-core de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.1 à 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 à 2.11.0

Apache Spark

Databricks Runtime 14.3 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans la version précédente, ainsi que les éléments suivants :

  • [SPARK-46541] [SC-153546][sql][CONNECT] Correction de la référence de colonne ambiguë dans la jointure automatique
  • [SPARK-45433] Rétablir « [SC-145163][sql] Correction de l'inférence du schéma CSV/JSON...
  • [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Rendre addArtifact réessayable
  • [SPARK-46660] [SC-153391][connect] Les requêtes ReattachExecute mettent à jour la validité de SessionHolder.
  • [SPARK-46670] [SC-153273][python][SQL] Rendre DataSourceManager auto-clonable en séparant les sources de données Python statiques et d’exécution.
  • [SPARK-46720] [SC-153410][sql][PYTHON] Refactoriser Python source de données pour s’aligner sur d’autres sources de données intégrées DSv2
  • [SPARK-46684] [SC-153275][python][CONNECT] Correction de CoGroup.applyInPandas/Arrow pour passer correctement des arguments
  • [SPARK-46667] [SC-153271][sc-153263][SQL] XML : Lever une erreur sur plusieurs sources de données XML
  • [SPARK-46382] [SC-151881][sql]XML : ignoreSurroundingSpaces par défaut sur true
  • [SPARK-46382] [SC-153178][sql] XML : Mettre à jour la documentation pour ignoreSurroundingSpaces
  • [SPARK-45292] Rétablir « [SC-151609][sql][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader »
  • [SPARK-45292] [SC-151609][sql][HIVE] Supprimer guava des classes partagées de IsolatedClientLoader
  • [SPARK-46311] [SC-150137][core] Journaliser l’état final des pilotes pendant Master.removeDriver
  • [SPARK-46413] [SC-151052][python] Valider le type de retour de la UDF Python Arrow
  • [SPARK-46633] [WARMFIX][sc-153092][SQL] Corriger le lecteur Avro pour gérer les blocs de longueur nulle
  • [SPARK-46537] [SC-151286][sql] Conversion NPE et assertions de commandes en erreurs internes
  • [SPARK-46179] [SC-151678][sql] Ajout de CrossDbmsQueryTestSuites, qui exécute d'autres SGBD contre des fichiers d’or utilisant d'autres SGBD, en commençant par Postgres
  • [SPARK-44001] [SC-151413][protobuf] Ajouter une option pour permettre le déballage des types de wrappers bien connus de protobuf
  • [SPARK-40876] [SC-151786][sql] Élargissement des promotions de type pour les décimales avec une plus grande échelle dans les lecteurs Parquet
  • [SPARK-46605] [SC-151769][connect] Faire en sorte que la fonction lit/typedLit prenne en charge s.c.immutable.ArraySeq dans le module de connexion
  • [SPARK-46634] [SC-153005][sql] la validation littérale ne doit pas descendre dans les champs Null
  • [SPARK-37039] [SC-153094][ps] Correctif Series.astype pour fonctionner correctement avec une valeur manquante
  • [SPARK-46312] [SC-150163][core] Utilisation lower_camel_case dans store_types.proto
  • [SPARK-46630] [SC-153084][sql] XML : Valider le nom d’élément XML en écriture
  • [SPARK-46627] [SC-152981][ss][UI] Corriger le contenu de la chronologie de l’info-bulle sur l’interface utilisateur de diffusion en continu
  • [SPARK-46248] [SC-151774][sql] XML : prise en charge des options ignoreCorruptFiles et ignoreMissingFiles
  • [SPARK-46386] [SC-150766][python] Améliorer les assertions d’observation (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][core] Commentaire de mise à jour sur isZero dans AccumulateorV2
  • [SPARK-46601] [SC-151785] [CORE] Correction de l'erreur de log dans handleStatusMessage
  • [SPARK-46568] [SC-151685][python] Rendre les options de source de données en Python insensibles à la casse en utilisant un dictionnaire
  • [SPARK-46611] [SC-151783][core] Supprimer ThreadLocal en remplaçant SimpleDateFormat par DateTimeFormatter
  • [SPARK-46604] [SC-151768][sql] Faire en sorte que Literal.apply prenne en charge s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][sql][PYTHON] Correction du nom de sortie de pyspark.sql.functions.user et session_user
  • [SPARK-46621] [SC-151794][python] Résolution des valeurs NULL dans Exception.getMessage dans l'exception capturée Py4J
  • [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader doit respecter le mode mémoire lors de la création de vecteurs de colonne pour la colonne manquante
  • [SPARK-46613] [SC-151778][sql][PYTHON] Enregistrer l'exception complète en cas d'échec de la recherche des sources de données Python
  • [SPARK-46559] [SC-151364][mllib] Inclure le export dans le nom du package avec des accents graves
  • [SPARK-46522] [SC-151784][python] Bloquer l’inscription de source de données Python avec des conflits de noms
  • [SPARK-45580] [SC-149956][sql] Gérer le cas où une sous-requête imbriquée devient une jointure d’existence
  • [SPARK-46609] [SC-151714][sql] Éviter l’explosion exponentielle dans PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][sql] Correction de NPE lors de la description d'une colonne étendue sans statistiques de colonne.
  • [SPARK-46599] [SC-147661][sc-151770][SQL] XML : Utiliser TypeCoercion.findTightestCommonType pour la vérification de compatibilité
  • [SPARK-40876] [SC-151129][sql] Élargissement des promotions de type dans les lecteurs Parquet
  • [SPARK-46179] [SC-151069][sql] Extraire du code dans des fonctions réutilisables dans SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][sql] Prise en charge de s.c.immutable.ArraySeq en tant que customCollectionCls dans MapObjects
  • [SPARK-46585] [SC-151622][core] Construit metricPeaks directement en tant que immutable.ArraySeq au lieu d'utiliser mutable.ArraySeq.toSeq dans Executor
  • [SPARK-46488] [SC-151173][sql] Ignorer l’appel de la fonction trimAll lors de l’analyse des horodatages
  • [SPARK-46231] [SC-149724][python] Migrer tout le reste NotImplementedError & TypeError dans l’infrastructure d’erreur PySpark
  • [SPARK-46348] [SC-150281][core] Prise en charge de spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][core] Durée de récupération du log Spark HA
  • [SPARK-46358] [SC-150307][connect] Simplification de la vérification de la condition dans le ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][sql]Remplacez l’heure/la date actuelle avant l’évaluation des expressions de table inline.
  • [SPARK-46563] [SC-151441][sql] La vue simpleString ne respecte pas la configuration spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Réduire la profondeur de la pile en remplaçant (string|array).size par (string|array).length
  • [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(tous les champs d’un struct) entraîne un échec d’assertion
  • [SPARK-46565] [SC-151414][python] Affiner les classes d’erreur et les messages d’erreur pour Python sources de données
  • [SPARK-46576] [SC-151614][sql] Améliorer les messages d’erreur pour le mode d’enregistrement de source de données non pris en charge
  • [SPARK-46540] [SC-151355][python] Respectez les noms de colonnes lorsque la fonction de lecture de source de données en Python produit des objets Row nommés
  • [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite fuit SessionState de la ruche
  • [SPARK-44556] [SC-151562][sql] Réutilisation OrcTail lors de l’activation de VectorizedReader
  • [SPARK-46587] [SC-151618][sql] XML : Correction de la conversion des grands entiers XSD
  • [SPARK-46382] [SC-151297][sql] XML : Capturer des valeurs entre les éléments
  • [SPARK-46567] [SC-151447][core] Supprimer ThreadLocal pour ReadAheadInputStream
  • [SPARK-45917] [SC-151269][python][SQL] Inscription automatique de Python source de données au démarrage
  • [SPARK-28386] [SC-151014][sql] Impossible de résoudre les ORDER BY colonnes avec GROUP BY et HAVING
  • [SPARK-46524] [SC-151446][sql] Améliorer les messages d’erreur pour le mode d’enregistrement non valide
  • [SPARK-46294] [SC-150672][sql] Nettoyer la sémantique d’init et la valeur zéro
  • [SPARK-46301] [SC-150100][core] Prise en charge de spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][sql] Supprimer la vérification pour c>=0 de ExternalCatalogUtils#needsEscaping car elle est toujours vraie
  • [SPARK-46553] [SC-151360][ps] FutureWarning pour interpolate avec un dtype objet
  • [SPARK-45914] [SC-151312][python] Prise en charge de l'API de validation et d’abandon pour l'écriture des sources de données Python
  • [SPARK-46543] [SC-151350][python][CONNECT] Générer PySparkValueError pour les champs vides
  • [SPARK-46520] [SC-151227][python] Prise en charge du mode de remplacement pour l'écriture des sources de données Python
  • [SPARK-46502] [SC-151235][sql] Supporter les types de timestamp dans UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][connect] Transmettre les paramètres de message dans les métadonnées de ErrorInfo
  • [SPARK-46397] Rétablir « [SC-151311][python][CONNECT] La fonction sha2 devrait lever PySparkValueError pour numBits non valide »
  • [SPARK-46170] [SC-149472][sql] Prise en charge de l’injection de règles de stratégie après la planification de requêtes adaptatives dans SparkSessionExtensions
  • [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable ne doit pas charger la table
  • [SPARK-46397] [SC-151311][python][CONNECT] La fonction sha2 devrait déclencher PySparkValueError pour numBits non valide
  • [SPARK-46145] [SC-149471][sql] spark.catalog.listTables ne lève pas d’exception lorsque la table ou la vue est introuvable
  • [SPARK-46272] [SC-151012][sql] Support CTAS à l’aide de sources DSv2
  • [SPARK-46480] [SC-151127][core][SQL] Corriger NPE lors de la tentative de tâche de cache de table
  • [SPARK-46100] [SC-149051][core][PYTHON] Réduire la profondeur de la pile en remplaçant (chaîne|tableau).size par (chaîne|tableau).length
  • [SPARK-45795] [SC-150764][sql] DS V2 prend en charge le mode push-down
  • [SPARK-46485] [SC-151133][sql] V1Write ne doit pas ajouter un tri quand ce n'est pas nécessaire
  • [SPARK-46468] [SC-151121] [SQL] Gestion du bogue COUNT pour les sous-requêtes EXISTS avec agrégat sans clés de regroupement
  • [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE Prise en charge de SQL
  • [SPARK-46498] [SC-151199][core] Supprimer shuffleServiceEnabled de o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][sql] Définir les configurations de base sur le CORRECTED mode par défaut
  • [SPARK-45525] [SC-151120][sql][PYTHON] Prise en charge de l’écriture dans une source de données à l'aide de Python via DSv2
  • [SPARK-46505] [SC-151187][connect] Rendre le seuil d’octets configurable dans ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][sql] Suppression des configurations SQL héritées de rebasage de dateheure
  • [SPARK-46443] [SC-151123][sql] Précision décimale et échelle doivent être décidés par le dialecte H2.
  • [SPARK-46384] [SC-150694][spark-46404][SS][ui] Correction du graphique de pile de durée d'opération sur la page structurée de diffusion en continu
  • [SPARK-46207] [SC-151068][sql] Prise en charge de MergeInto dans DataFrameWriterV2
  • [SPARK-46452] [SC-151018][sql] Ajouter une nouvelle API dans DataWriter pour écrire un itérateur d’enregistrements
  • [SPARK-46273] [SC-150313][sql] Prise en charge d’INTO/OVERWRITE INSERT à l’aide de sources DSv2
  • [SPARK-46344] [SC-150267][core] Avertissement approprié lorsqu'un pilote existe avec succès, mais que le maître est déconnecté
  • [SPARK-46284] [SC-149944][python][CONNECT] Ajouter session_user fonction à Python
  • [SPARK-46043] [SC-149786][sql] Prise en charge de la création de tables à l’aide de sources DSv2
  • [SPARK-46323] [SC-150191][python] Correction du nom de sortie de pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][python][CONNECT] Ajouter Column.isNaN dans PySpark
  • [SPARK-46456] [SC-151050][core] Ajouter spark.ui.jettyStopTimeout pour définir le délai d’expiration pour l'arrêt du serveur Jetty afin de débloquer l’arrêt de SparkContext
  • [SPARK-43427] [SC-150356][protobuf] spark protobuf : autoriser l'upcasting des types d'entiers non signés
  • [SPARK-46399] [SC-151013][14.x][Core] Ajout de l’état de sortie à l’événement de fin d’application pour l’utilisation de Spark Listener
  • [SPARK-46423] [SC-150752][python][SQL] Faire en sorte que l'instance de Data Source Python soit sur DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][python][SQL] Prise en charge des métriques Python dans la source de données Python
  • [SPARK-46330] [SC-151015] Chargement des blocs d’interface utilisateur Spark sur une durée longue quand HybridStore est activé
  • [SPARK-46378] [SC-150397][sql] Toujours supprimer le tri après la conversion de l’agrégat en Project
  • [SPARK-45506] [SC-146959][connect] Ajout de la prise en charge de l’URI Ivy à la fonction addArtifact de SparkConnect
  • [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close() pour éviter la fuite de mémoire
  • [SPARK-46427] [SC-150759][python][SQL] Modifier la description de la source de données Python pour qu'elle soit bien présentée dans explain.
  • [SPARK-45597] [SC-150730][python][SQL] Prise en charge de la création de table à l’aide d’une source de données Python dans SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][python] Ajout de getMessageParameters ainsi que de la prise en charge de getQueryContext
  • [SPARK-46453] [SC-150897][connect] Générer une exception depuis internalError() dans SessionHolder
  • [SPARK-45758] [SC-147454][sql] Introduire un mappeur pour les codecs de compression hadoop
  • [SPARK-46213] [PYTHON] Introduction de PySparkImportError pour le framework d’erreurs
  • [SPARK-46230] [SC-149960][python] Migration de RetriesExceeded vers l’erreur PySpark
  • [SPARK-45035] [SC-145887][sql] Correction de ignoreCorruptFiles/ignoreMissingFiles avec CSV/JSON multiligne signalera une erreur
  • [SPARK-46289] [SC-150846][sql] Prend en charge la gestion de l'ordre des UDT en mode interprété
  • [SPARK-46229] [SC-150798][python][CONNECT] Ajouter applyInArrow à groupBy et cogroup dans Spark Connect
  • [SPARK-46420] [SC-150847][sql] Supprimer le transport inutilisé dans SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migration de tous les éléments RuntimeError restants dans le framework d’erreurs de PySpark
  • [SPARK-45796] [SC-150613][sql] Prise en charge de MODE() WITHIN GROUP (ORDER BY col)
  • [SPARK-40559] [SC-149686][python][14.X] Ajouter applyInArrow à groupBy et cogroup
  • [SPARK-46069] [SC-149672][sql] Prise en charge de l'unwrap du type de timestamp en type de date
  • [SPARK-46406] [SC-150770][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][ss] Convertir IllegalStateException en internalError dans les itérateurs de session
  • [SPARK-45807] [SC-150751][sql] Améliorer l’API ViewCatalog
  • [SPARK-46009] [SC-149771][sql][CONNECT] Fusionner la règle d’analyse de PercentileCont et PercentileDisc dans functionCall
  • [SPARK-46403] [SC-150756][sql] Décodage du fichier binaire Parquet avec la méthode getBytesUnsafe
  • [SPARK-46389] [SC-150779][core] Fermez manuellement l’instance RocksDB/LevelDB lors de la levée d'une exception checkVersion
  • [SPARK-46360] [SC-150376][python] Améliorer le débogage des messages d’erreur avec la nouvelle getMessage API
  • [SPARK-46233] [SC-149766][python] Migrer tout le reste AttributeError dans l’infrastructure d’erreur PySpark
  • [SPARK-46394] [SC-150599][sql] Correction des problèmes de spark.catalog.listDatabases() sur les schémas contenant des caractères spéciaux lorsque l'option spark.sql.legacy.keepCommandOutputSchema est définie sur vrai
  • [SPARK-45964] [SC-148484][sql] Suppression de l'accesseur SQL privé dans les paquets XML et JSON sous le paquet catalyst.
  • [SPARK-45856] [SC-148691] Déplacement de ArtifactManager de Spark Connect dans SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][connect] Correction du script de lancement spark-connect-scala-client
  • [SPARK-46416] [SC-150699][core] Ajouter @tailrec à HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][sql] Restreindre les charsets dans encode()
  • [SPARK-46253] [SC-150416][python] Lire la source de données Python à l'aide de MapInArrow
  • [SPARK-46339] [SC-150266][ss] Répertoire avec nom de numéro de lot ne doit pas être traité comme journal des métadonnées
  • [SPARK-46353] [SC-150396][core] Refactorisation pour améliorer la RegisterWorker couverture des tests unitaires
  • [SPARK-45826] [SC-149061][sql] Ajout d'une configuration SQL pour les traces de pile dans le contexte de requête DataFrame
  • [SPARK-45649] [SC-150300][sql] Unifier le cadre de préparation pour OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][core] Correction du maître pour mette à jour un collaborateur de UNKNOWN à ALIVE sur le msg RegisterWorker
  • [SPARK-46388] [SC-150496][sql] HiveAnalysis manque la protection du modèle de query.resolved
  • [SPARK-46401] [SC-150609][core] Utilisation !isEmpty() au RoaringBitmap lieu de getCardinality() > 0 dans RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][sql] Classifier les exceptions dans le catalogue de tables JDBC
  • [SPARK-45798] [SC-150513][connect] Suivi : ajouter l'identifiant de session du serveur à SessionHolderInfo
  • [SPARK-46153] [SC-146564][sc-150508][SQL] XML : Ajout de la prise en charge de TimestampNTZType
  • [SPARK-46075] [SC-150393][connect] Améliorations apportées à SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Remplacement de l’utilisation incorrecte dans la documentation de setConf par conf.set
  • [SPARK-46202] [SC-150420][connect] Exposer de nouvelles API ArtifactManager pour prendre en charge les répertoires cibles personnalisés
  • [SPARK-45824] [SC-147648][sql] Appliquer la classe d’erreur dans ParseException
  • [SPARK-45845] [SC-148163][ss][UI] Ajouter un nombre de lignes d’état supprimées à l’interface utilisateur de streaming
  • [SPARK-46316] [SC-150181][core] Activer buf-lint-action sur le core module
  • [SPARK-45816] [SC-147656][sql] Retourner NULL en cas de dépassement lors de la conversion de timestamp en entiers
  • [SPARK-46333] [SC-150263][sql] Remplacer IllegalStateException par SparkException.internalError dans le catalyseur
  • [SPARK-45762] [SC-148486][core] Prise en charge des gestionnaires aléatoires définis dans les fichiers JAR des utilisateurs en changeant l'ordre de démarrage
  • [SPARK-46239] [SC-149752][core] Masquer les Jetty informations
  • [SPARK-45886] [SC-148089][sql] Sortie de la trace de pile complète dans le contexte DataFrame callSite
  • [SPARK-46290] [SC-150059][python] Modifier saveMode en indicateur booléen pour DataSourceWriter
  • [SPARK-45899] [SC-148097][connect] Définir errorClass dans errorInfoToThrowable
  • [SPARK-45841] [SC-147657][sql] Exposition de la trace de pile par DataFrameQueryContext
  • [SPARK-45843] [SC-147721][core] Prise en charge de killall dans l’API de soumission REST
  • [SPARK-46234] [SC-149711][python] Introduction PySparkKeyError pour l’infrastructure d’erreur PySpark
  • [SPARK-45606] [SC-147655][sql] Restrictions de publication sur le filtre d’exécution multicouche
  • [SPARK-45725] [SC-147006][sql] Supprimer le filtre d’exécution de sous-requête IN non par défaut
  • [SPARK-45694] [SC-147314][spark-45695][SQL] Nettoyer l’utilisation déconseillée de l’API View.force et ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][sql] Rendre withOrigin plus générique
  • [SPARK-46292] [SC-150086][core][UI] Afficher un résumé des workers dans MasterPage
  • [SPARK-45685] [SC-146881][core][SQL] Utiliser LazyList au lieu de Stream
  • [SPARK-45888] [SC-149945][ss] Appliquer le cadre de classe d'erreur à la source de données d'état (métadonnées)
  • [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed doit conserver l'ordre dict/map
  • [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Nettoyer SeqOps.view et ArrayOps.view conversions
  • [SPARK-46029] [SC-149255][sql] Échapper le guillemet simple, _ et % pour le pushdown DS V2
  • [SPARK-46275] [SC-150189] Protobuf : Retour de Null en mode permissif quand la désérialisation échoue.
  • [SPARK-46320] [SC-150187][core] Soutien spark.master.rest.host
  • [SPARK-46092] [SC-149658][sql] Ne pas pousser les filtres de groupe de lignes Parquet qui sont en dépassement
  • [SPARK-46300] [SC-150097][python][CONNECT] Mettre en correspondance les comportements mineurs dans la colonne avec une couverture de test complète
  • [SPARK-46298] [SC-150092][python][CONNECT] Mettre en correspondance l’avertissement de dépréciation, le cas de test et l’erreur de Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Nettoyer l’utilisation obsolète de l’API liée à StringContext/StringOps/RightProjection/LeftProjection/Either et l’utilisation des types de BufferedIterator/CanBuildFrom/Traversable.
  • [SPARK-33393] [SC-148407][sql] Prise en charge de SHOW TABLE EXTENDED dans v2
  • [SPARK-45737] [SC-147011][sql] Supprimer inutile .toArray[InternalRow] dans SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][ss] Exiger un verrou d’instance pour acquérir des métriques RocksDB pour empêcher la concurrence avec les opérations en arrière-plan
  • [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed doit respecter l’ordre de dictée
  • [SPARK-46274] [SC-150043] [SQL] Correction de l’opérateur de plage computeStats() pour vérifier la validité de la longueur avant la conversion
  • [SPARK-46040] [SC-149767][sql][Python] Mettre à jour l'API UDTF pour "analyser" les colonnes de partitionnement/tri afin de prendre en charge les expressions générales
  • [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty doit fonctionner avec tous les types de données
  • [SPARK-45678] [SC-146825][core] Couvre BufferReleasingInputStream.available/reset sous tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][core][SQL][connect] Nettoyer l’utilisation déconseillée de l’API liée à IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][sql] Introduction de la syntaxe select * except
  • [SPARK-46269] [SC-149816][ps] Activer d’autres tests de fonction de compatibilité NumPy
  • [SPARK-45807] [SC-149851][sql] Ajouter createOrReplaceView(..) / replaceView(..) au ViewCatalog
  • [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introduire une fonction implicite dans laquelle Scala Array doit être encapsulé immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][core] Améliorer les PersistenceEngine performances avec KryoSerializer
  • [SPARK-45746] [SC-149359][python] Retourne des messages d’erreur spécifiques si la méthode UDTF 'analyze' ou 'eval' accepte ou retourne des valeurs incorrectes
  • [SPARK-46186] [SC-149707][connect] Correction de la transition d’état illégale lors de l’interruption d’ExecuteThreadRunner avant le démarrage
  • [SPARK-46262] [SC-149803][ps] Activer le test pour np.left_shift l’objet Pandas-on-Spark.
  • [SPARK-45093] [SC-149679][connect][PYTHON] Prise en charge appropriée de la gestion et de la conversion des erreurs pour AddArtifactHandler
  • [SPARK-46188] [SC-149571][doc][3.5] Correction du css des tables générées par Spark doc
  • [SPARK-45940] [SC-149549][python] Ajouter InputPartition à l’interface DataSourceReader
  • [SPARK-43393] [SC-148301][sql] Résoudre le bogue de dépassement d’expression de séquence.
  • [SPARK-46144] [SC-149466][sql] Échec de INSERT INTO ... Instruction REPLACE si la condition contient une sous-requête
  • [SPARK-46118] [SC-149096][sql][SS][connect] Utiliser SparkSession.sessionState.conf au lieu de SQLContext.conf marquer SQLContext.conf comme déconseillé
  • [SPARK-45760] [SC-147550][sql] Ajouter une expression With pour éviter la duplication des expressions
  • [SPARK-43228] [SC-149670][sql] Les clés de jointure correspondent également à PartitioningCollection dans CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][ps] Test SparkPandasNotImplementedError avec nettoyage du code inutilisé
  • [SPARK-46119] [SC-149205][sql] Redéfinir la méthode toString pour UnresolvedAlias
  • [SPARK-46206] [SC-149674][ps] Utiliser une exception d’étendue plus étroite pour le processeur SQL
  • [SPARK-46191] [SC-149565][core] Améliorer FileSystemPersistenceEngine.persist le msg d’erreur en cas de fichier existant
  • [SPARK-46036] [SC-149356][sql] Suppression de la classe d’erreur de la fonction raise_error
  • [SPARK-46055] [SC-149254][sql] Réécrire l'implémentation des API de base de données du catalogue
  • [SPARK-46152] [SC-149454][sql] XML : Ajouter la prise en charge de DecimalType dans l’inférence de schéma XML
  • [SPARK-45943] [SC-149452][sql] Déplacer DetermineTableStats vers les règles de résolution
  • [SPARK-45887] [SC-148994][sql] Harmoniser l’implémentation du codegen et du non-codegen de Encode
  • [SPARK-45022] [SC-147158][sql] Fournir un contexte pour les erreurs d’API de jeu de données
  • [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Remplacer toIterator par iteratorIterableOnce
  • [SPARK-46141] [SC-149357][sql] Modifier la valeur par défaut pour spark.sql.legacy.ctePrecedencePolicy en CORRECTED
  • [SPARK-45663] [SC-146617][core][MLLIB] Remplacer IterableOnceOps#aggregate par IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][sql] Réutilisation des objets littéraux dans la règle ComputeCurrentTime
  • [SPARK-45803] [SC-147489][core] Supprimer le non utilisé RpcAbortException
  • [SPARK-46148] [SC-149350][ps] Corriger pyspark.pandas.mlflow.load_model test (Python 3.12)
  • [SPARK-46110] [SC-149090][python] Utiliser des classes d’erreur dans catalogue, conf, connect, observation, modules pandas
  • [SPARK-45827] [SC-149203][sql] Correction de variantes avec codegen et lecteur vectorisé désactivé
  • [SPARK-46080] Rétablir « [SC-149012][python] Mettre à niveau Cloudpickle vers 3.0.0 »
  • [SPARK-45460] [SC-144852][sql] Remplacer scala.collection.convert.ImplicitConversions par scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][sql] Supprimer la résolution spéciale de l'Espace de noms non résolu pour certaines commandes
  • [SPARK-45600] [SC-148976][python] Faire de l'enregistrement des sources de données Python un paramètre au niveau de la session
  • [SPARK-46074] [SC-149063][connect][SCALA] Détails insuffisants dans le message d’erreur sur l’échec des fonctions définies par l’utilisateur
  • [SPARK-46114] [SC-149076][python] Ajouter PySparkIndexError pour l’infrastructure d’erreurs
  • [SPARK-46120] [SC-149083][connect][PYTHON] Supprimer la fonction d’assistance DataFrame.withPlan
  • [SPARK-45927] [SC-148660][python] Mise à jour de la gestion des chemins d’accès pour la source de données Python
  • [SPARK-46062] [14.x][sc-148991][SQL] Synchroniser l’indicateur isStreaming entre la définition CTE et la référence
  • [SPARK-45698] [SC-146736][core][SQL][ss] Nettoyer l’utilisation déconseillée de l’API liée à Buffer
  • [SPARK-46064] [SC-148984][sql][SS] Déplacer EliminateEventTimeWatermark vers l'analyseur et le modifier pour qu'il ne prenne effet que sur l'enfant résolu
  • [SPARK-45922] [SC-149038][connect][CLIENT] Refactorisation des nouvelles tentatives mineures (suivi de plusieurs stratégies)
  • [SPARK-45851] [SC-148419][connect][SCALA] Prise en charge de plusieurs stratégies dans le client Scala
  • [SPARK-45974] [SC-149062][sql] Ajout d'un jugement non vide de scan.filterAttributes pour RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][connect] Dataset.groupingSets dans le client Scala Spark Connect
  • [SPARK-45136] [SC-146607][connect] Amélioration de ClosureCleaner avec la prise en charge d’Ammonite
  • [SPARK-46084] [SC-149020][ps] Refactorisation de l'opération de cast de type de données pour le type catégoriel.
  • [SPARK-46083] [SC-149018][python] Faire de SparkNoSuchElementException comme une API d’erreur standardisée
  • [SPARK-46048] [SC-148982][python][CONNECT] Prise en charge des DataFrame.groupingSets dans Python Spark Connect
  • [SPARK-46080] [SC-149012][python] Mettre à niveau Cloudpickle vers la version 3.0.0
  • [SPARK-46082] [SC-149015][python][CONNECT] Correction de la représentation de chaîne protobuf pour l’API Pandas Functions avec Spark Connect
  • [SPARK-46065] [SC-148985][ps] Refactorer (DataFrame|Series).factorize() pour qu'il utilise create_map.
  • [SPARK-46070] [SC-148993][sql] Compiler le modèle regex dans SparkDateTimeUtils.getZoneId en dehors de la boucle chaude
  • [SPARK-46063] [SC-148981][python][CONNECT] Améliorer les messages d’erreur liés aux types d’arguments dans cute, rollup, groupby et pivot
  • [SPARK-44442] [SC-144120][mesos] Suppression de la prise en charge de Mesos
  • [SPARK-45555] [SC-147620][python] Inclut un objet à déboguer pour l’échec d’assertion
  • [SPARK-46048] [SC-148871][python][SQL] Prise en charge de DataFrame.groupingSets dans PySpark
  • [SPARK-45768] [SC-147304][sql][PYTHON] Faire de FaultHandler une configuration d'exécution pour l'exécution de Python dans SQL
  • [SPARK-45996] [SC-148586][python][CONNECT] Afficher les messages d’exigence de dépendance appropriés pour Spark Connect
  • [SPARK-45681] [SC-146893][ui] Cloner une version js de UIUtils.errorMessageCell pour un rendu d’erreur cohérent sur l’interface utilisateur
  • [SPARK-45767] [SC-147225][core] Suppression de TimeStampedHashMap et de son UT
  • [SPARK-45696] [SC-148864][core] Correction déconseillée de la méthode tryCompleteWith in trait Promise
  • [SPARK-45503] [SC-146338][ss] Ajouter la configuration pour définir la compression RocksDB
  • [SPARK-45338] [SC-143934][core][SQL] Remplacer scala.collection.JavaConverters par scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][sql] Correction ArrayIndexOutOfBoundsException dans conv()
  • [SPARK-45912] [SC-144982][sc-148467][SQL] Amélioration de l’API XSDToSchema : Passer à l’API HDFS pour l’accessibilité du stockage cloud
  • [SPARK-45819] [SC-147570][core] Prise en charge de clear dans l’API REST de soumission
  • [SPARK-45552] [14.x][sc-146874][PS] Introduire des paramètres flexibles pour assertDataFrameEqual
  • [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Fournir une interface pour d’autres sources de streaming pour ajouter _metadata des colonnes
  • [SPARK-45929] [SC-148692][sql] Prise en charge de l’opération groupingSets dans l’API dataframe
  • [SPARK-46012] [SC-148693][core] EventLogFileReader ne doit pas lire les journaux cycliques si le fichier d'état de l'application est manquant
  • [SPARK-45965] [SC-148575][sql] Déplacer les expressions de partitionnement DSv2 dans functions.partitioning
  • [SPARK-45971] [SC-148541][core][SQL] Corriger le nom du package à SparkCollectionUtilsorg.apache.spark.util
  • [SPARK-45688] [SC-147356][spark-45693][CORE] Nettoyer l’utilisation déconseillée de l’API liée à MapOps &Fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][sc-148497][SQL] Supprimer treatEmptyValuesAsNulls et utiliser nullValue l’option à la place dans XML
  • [SPARK-45988] [SC-148580][spark-45989][PYTHON] Corriger les annotations de type pour gérer list un alias générique dans Python 3.11+
  • [SPARK-45999] [SC-148595][ps] Utilisation d'une PandasProduct dédiée dans cumprod
  • [SPARK-45986] [SC-148583][ml][PYTHON] Correction pyspark.ml.torch.tests.test_distributor dans Python 3.11
  • [SPARK-45994] [SC-148581][python] Change description-file to description_file
  • [SPARK-45575] [SC-146713][sql] Prise en charge des options de voyage dans le temps pour l'API Read df
  • [SPARK-45747] [SC-148404][ss] Utiliser les informations de clé de préfixe dans les métadonnées d’état pour gérer la lecture de l’état pour l'agrégation par fenêtre de session
  • [SPARK-45898] [SC-148213][sql] Réécrire les API de table de catalogue pour utiliser un plan logique non résolu
  • [SPARK-45828] [SC-147663][sql] Supprimer la méthode déconseillée dans dsl
  • [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Mettre à niveau protobuf vers la version 4.25.1 pour prendre en charge Python 3.11
  • [SPARK-45911] [SC-148226][core] Rendre TLS1.3 la valeur par défaut pour RPC SSL
  • [SPARK-45955] [SC-148429][ui] Réduction de la prise en charge de Flamegraph et des détails du vidage de thread
  • [SPARK-45936] [SC-148392][ps] Optimize Index.symmetric_difference
  • [SPARK-45389] [SC-144834][sql][3.5] Règle de correspondance MetaException correcte lors de l’obtention des métadonnées de partition
  • [SPARK-45655] [SC-148085][sql][SS] Autoriser les expressions non déterministes dans AggregateFunctions dans CollectMetrics
  • [SPARK-45946] [SC-148448][ss] Correction de l’utilisation de l’écriture FileUtils déconseillée pour passer un charset par défaut dans RocksDBSuite
  • [SPARK-45511] [SC-148285][ss] Source de données d’état - Lecteur
  • [SPARK-45918] [SC-148293][ps] Optimize MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][connect][PYTHON] Retourne les métriques observées à partir de commandes
  • [SPARK-45867] [SC-147916][core] Prise en charge de spark.worker.idPattern
  • [SPARK-45945] [SC-148418][connect] Ajouter une fonction d’assistance pour parser
  • [SPARK-45930] [SC-148399][sql] Soutien des UDFs non déterministes dans MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][python] Créer Python API UDTF pour arrêter la consommation de lignes de la table d’entrée
  • [SPARK-45731] [SC-147929][sql] Mettre également à jour les statistiques de partition avec ANALYZE TABLE la commande
  • [SPARK-45868] [SC-148355][connect] Vous assurer que spark.table utilise le même analyseur avec un spark standard
  • [SPARK-45882] [SC-148161][sql] Le partitionnement par BroadcastHashJoinExec doit respecter CoalescedHashPartitioning lors de sa propagation.
  • [SPARK-45710] [SC-147428][sql] Affecter des noms à l’erreur _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][sql] Traiter les décimales (x, 0) identiques à IntegralType dans PromoteStrings
  • [SPARK-45786] [SC-147552][sql] Correction des résultats incorrects de la multiplication décimale et de la division
  • [SPARK-45871] [SC-148084][connect] Optimisations de conversion de collections liées à .toBuffer dans les modules connect
  • [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager peut rechercher un sparkcontext arrêté
  • [SPARK-45913] [SC-148289][python] Faire en sorte que les attributs internes soient privés à partir d’erreurs PySpark.
  • [SPARK-45827] [SC-148201][sql] Ajouter un type de données Variant dans Spark.
  • [SPARK-44886] [SC-147876][sql] Introduire CLUSTER BY la clause CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][core] Prise en charge de spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][connect] Vérifier l'ID de session côté serveur
  • [SPARK-45896] [SC-148091][sql] Construction de ValidateExternalType avec le bon type attendu
  • [SPARK-45902] [SC-148123][sql] Supprimer la fonction resolvePartitionColumns inutilisée de DataSource
  • [SPARK-45909] [SC-148137][sql] Suppression du cast NumericType s’il peut être converti en upcast en toute sécurité dans IsNotNull
  • [SPARK-42821] [SC-147715][sql] Supprimer les paramètres inutilisés dans les méthodes splitFiles
  • [SPARK-45875] [SC-148088][core] Supprimer MissingStageTableRowData du core module
  • [SPARK-45783] [SC-148120][python][CONNECT] Améliorer les messages d’erreur lorsque le mode Spark Connect est activé, mais que l’URL distante n’est pas définie
  • [SPARK-45804] [SC-147529][ui] Ajouter la configuration spark.ui.threadDump.flamegraphEnabled pour activer/désactiver le graphique en flammes
  • [SPARK-45664] [SC-146878][sql] Introduire un mappeur pour les codecs de compression orc
  • [SPARK-45481] [SC-146715][sql] Présentation d'un mappeur pour les codecs de compression Parquet
  • [SPARK-45752] [SC-148005][sql] Simplifiez le code pour vérifier les relations CTE non référencées
  • [SPARK-44752] [SC-146262][sql] XML : Mettre à jour Spark Docs
  • [SPARK-45752] [SC-147869][sql] Le CTE non référencé doit être vérifié en intégralité par CheckAnalysis0.
  • [SPARK-45842] [SC-147853][sql] Refactoriser les API de fonctions du catalogue pour utiliser l’analyseur
  • [SPARK-45639] [SC-147676][sql][PYTHON] Prise en charge du chargement des sources de données Python dans DataFrameReader
  • [SPARK-45592] [SC-146977][sql] Problème de correction dans AQE avec InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][ss] Introduction de la source de métadonnées pour interroger les informations sur l'état du streaming.
  • [SPARK-45739] [SC-147059][python] Catch IOException au lieu de EOFException seul pour faulthandler
  • [SPARK-45677] [SC-146700] Amélioration de la journalisation des erreurs pour l’API Observation
  • [SPARK-45544] [SC-146873][core] Intégrer la prise en charge SSL dans TransportContext
  • [SPARK-45654] [SC-147152][python] Ajouter Python API d’écriture de source de données
  • [SPARK-45771] [SC-147270][core] Activer spark.eventLog.rolling.enabled par défaut
  • [SPARK-45713] [SC-146986][python] Prise en charge de l’inscription de sources de données Python
  • [SPARK-45656] [SC-146488][sql] Correction de l'observation lorsque des observations identifiées portent le même nom sur différents jeux de données
  • [SPARK-45808] [SC-147571][connect][PYTHON] Meilleure gestion des erreurs pour les exceptions SQL
  • [SPARK-45774] [SC-147353][core][UI] Prise en charge de spark.master.ui.historyServerUrl dans ApplicationPage
  • [SPARK-45776] [SC-147327][core] Supprimer la vérification null défensive de MapOutputTrackerMaster#unregisterShuffle ajoutée dans SPARK-39553
  • [SPARK-45780] [SC-147410][connect] Propager tous les threads locaux du client Spark Connect dans InheritableThread
  • [SPARK-45785] [SC-147419][core] Prise en charge de spark.deploy.appNumberModulo pour effectuer une rotation du numéro d'application
  • [SPARK-45793] [SC-147456][core] Améliorer les codecs de compression intégrés
  • [SPARK-45757] [SC-147282][ml] Éviter le re-calcul de NNZ dans Binarizer
  • [SPARK-45209] [SC-146490][core][UI] Prise en charge des graphiques de type flamme pour la page de vidage de thread de l’exécuteur
  • [SPARK-45777] [SC-147319][core] Prise en charge de spark.test.appId dans LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][python] Refactoriser la vérification null pour avoir des raccourcis
  • [SPARK-45711] [SC-146854][sql] Introduire un mappeur pour les codecs de compression avro
  • [SPARK-45523] [SC-146077][python] Retourne un message d’erreur utile si l’UDTF retourne None pour une colonne non nullable
  • [SPARK-45614] [SC-146729][sql] Affecter des noms à l’erreur _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][sql] Améliorer Dataset.isEmpty() en appliquant une limite globale 1
  • [SPARK-45569] [SC-145915][sql] Attribuer le nom à l’erreur _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][core][WEBUI] Correctif Spark History Server pour trier Duration correctement la colonne
  • [SPARK-45754] [SC-147169][core] Prise en charge de spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][sql] Simplifiez DataFrameStatFunctions.countMinSketch avec CountMinSketchAgg
  • [SPARK-45753] [SC-147167][core] Prise en charge de spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][core][UI] Améliorer MasterPage pour afficher Resource la colonne uniquement lorsqu’elle existe
  • [SPARK-45112] [SC-143259][sql] Utiliser une résolution basée sur 'UnresolvedFunction' dans les fonctions du jeu de données SQL

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 14.3.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.3 LTS
    • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R : 4.3.1
  • Delta Lake : 3.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
bellesoupe4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 comm 0.1.2
contourpy 1.0.5 chiffrement 39.0.1 cycliste 0.11.0
Cython 0.29.32 Kit de développement logiciel Databricks (SDK) 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 décorateur 5.1.1 defusedxml 0.7.1
distlib 0.3.7 Conversion de docstring en markdown 0.11 points d’entrée 0,4
exécution 0.8.3 aperçu des facettes 1.1.1 fastjsonschema 2.19.1
verrou de fichier 3.13.1 outils de police 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.2
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 serveur Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
carnet de notes 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empaquetage 23,2 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requêtes 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 données en pile 0.2.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5
ténacité 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornade 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 c’est quoi le patch 1.0.2
roue 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de la copie instantanée du Posit Gestionnaire de package CRAN du 13-07-2023 : https://packagemanager.posit.co/cran/2023-07-13/.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 12.0.1 Askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 BLOB 1.2.4
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachemire 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 classe 7.3-22 cli 3.6.1
clipr 0.8.0 horloge 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compilateur 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 jeux de données 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramme 1.6.5 diffobj 0.3.5
digérer 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipse 0.3.2
évaluer 0,21 fans 1.0.4 farver 2.1.1
carte rapide 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 futur 1.33.0 future.apply 1.11.0
gargle 1.5.1 produits génériques 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphisme 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 outils HTML 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
étiquetage 0.4.2 plus tard 1.3.1 lattice 0.21-8
lave 1.7.2.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrice 1.5-4.1 memoise 2.0.1
méthodes 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modèleur 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pilier 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.8 éloge 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progrès 1.2.2
progressr 0.13.0 promesses 1.2.0.1 prototype 1.0.0
proxy 0,4-27 p.s. 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest (algorithme d'apprentissage automatique) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recettes 1.0.6
match retour 1.0.1 revanche2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 écailles 1.2.1
selectr 0,4-2 informations sur la session 1.2.2 shape 1.4.6
brillant 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.3.1
statistiques4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 mise en forme de texte 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 changement d'heure 0.2.0 date-heure 4022.108
tinytex 0,45 outils 4.3.1 tzdb 0.4.0
vérificateur d'URL 1.0.1 Utilise ça 2.2.2 utf8 1.2.3
utils 4.3.1 Identifiant unique universel (UUID) 1.1:0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 Waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Installé Java et bibliothèques Scala (version du cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caféine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_natif-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone annotations_sujettes_aux_erreurs 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,25
io.delta delta-sharing-client_2.12 1.1.4
io.dropwizard.metrics annotation des métriques 4.2.19
io.dropwizard.metrics métriques de base 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métriques-vérifications de santé 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics servlets de métriques 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx de collecte 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow vecteur-flèche 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api (API de stockage pour Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper gardien de zoo 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.52.v20230823
org.eclipse.jetty serveur jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket serveur websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible avec scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on