Partager via

Databricks Runtime 14.3 LTS

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.3 LTS avec Apache Spark 3.5.0.

Databricks a publié cette version en février 2024.

Remarque

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez Cycle de vie de la version de Databricks Runtime LTS.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Améliorations et nouvelles fonctionnalités

Prise en charge du système de fichiers d’espace de travail dans les fonctions définies par l’utilisateur (UDF) de PySpark sur les clusters partagés

Les UDF de PySpark sur les clusters partagés peuvent désormais importer des modules Python à partir de dossiers Git, de fichiers d’espace de travail ou de volumes UC.

Pour plus d’informations sur l’utilisation des modules dans des dossiers Git Databricks ou des fichiers d’espace de travail, consultez Utiliser des modules Python et R.

Prise en charge des optimisations MERGE de vecteur de suppression sans Photon

Photon n’est plus nécessaire pour les opérations MERGE pour tirer parti des optimisations des vecteurs de suppression. Consultez Que sont les vecteurs de suppression ?.

Les API de catalogue SPARK sont désormais totalement prises en charge dans le mode d’accès partagé

Vous pouvez maintenant utiliser toutes les fonctions de l’API spark.catalog dans Python et Scala sur du calcul configuré avec le mode d’accès partagé.

Delta UniForm est désormais en disponibilité générale

UniForm est maintenant en disponibilité générale et utilise la fonctionnalité de table IcebergCompatV2. Vous pouvez désormais activer ou mettre à niveau UniForm sur des tables existantes. Consultez Utiliser UniForm pour lire les tables Delta avec les clients Iceberg.

Nouvelle fonction SQL EXECUTE IMMEDIATE

Vous pouvez maintenant utiliser la syntaxe EXECUTE IMMEDIATE pour prendre en charge les requêtes paramétrisées dans SQL. Consultez EXECUTE IMMEDIATE.

Recalculer les statistiques des sauts de données pour les tables Delta

Vous pouvez maintenant recalculer les statistiques stockées dans le journal Delta après avoir modifié les colonnes utilisées pour les sauts de données. Consultez Spécifier des colonnes de statistiques Delta.

Informations d’état de requête pour les requêtes de diffusion en continu avec état

Vous pouvez désormais interroger des données et des métadonnées d’état de flux structuré. Consultez Lire les informations d’état Structured Streaming.

Utiliser Microsoft Entra ID pour l’authentification Kafka sur des clusters partagés

Vous pouvez désormais authentifier les services Event Hubs via OAuth avec Microsoft Entra ID sur le calcul configuré avec le mode d’accès partagé. Consultez Authentification du principal de service avec Microsoft Entra ID et Azure Event Hubs.

Ajout de la prise en charge du nettoyage des fichiers et des partitions pour améliorer les performances des requêtes

Pour accélérer certaines requêtes qui s’appuient sur l’égalité tolérant les valeurs Null dans les conditions JOIN, nous prenons désormais en charge DynamicFilePruning et DynamicPartitionPruning pour l’opérateur EqualNullSafe dans les JOIN.

Déclarer des variables temporaires dans une session SQL

Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées à partir des requêtes. Voir Variables.

Mises à jour de Thriftserver pour supprimer des fonctionnalités inutilisées

Le code de Thriftserver a été mis à jour pour supprimer le code de fonctionnalités obsolètes. En raison de ces modifications, les configurations suivantes ne sont plus prises en charge :

  • Les fichiers JAR auxiliaires de Hive, configurés en utilisant la propriété hive.aux.jars.path, ne sont plus pris en charge pour les connexions hive-thriftserver.
  • Le fichier init global de Hive (.hiverc), dont l’emplacement est configuré en utilisant la propriété hive.server2.global.init.file.location ou la variable d’environnement HIVE_CONF_DIR, n’est plus pris en charge pour les connexions hive-thriftserver.

Utiliser les fichiers truststore et keystore (magasin de clés) dans les volumes Unity Catalog

Vous pouvez utiliser des fichiers truststore et keystore dans les volumes Unity Catalog pour vous authentifier auprès de Confluent Schema Registry. Consultez la documentation pour avro ou tampons de protocole.

Prise en charge du format de fichier XML natif (préversion publique)

La prise en charge du format de fichier XML natif est désormais en avant-première publique. La prise en charge du format de fichier XML permet l’ingestion, l’interrogation et l’analyse des données XML pour le traitement par lots ou la diffusion en continu. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge des expressions SQL telles que from_xml, et peut générer des documents XML. Il ne nécessite pas de jars externes et fonctionne de manière transparente avec Auto Loader, read_files, COPY INTO, et Delta Live Tables. Consultez Lire et écrire des fichiers XML.

Prise en charge du stockage Cloudflare R2 (Version préliminaire publique)

Vous pouvez désormais utiliser Cloudflare R2 comme stockage cloud pour les données inscrites dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre. Le stockage R2 prend en charge toutes les données de Databricks et les ressources d’IA prises en charge dans AWS S3, Azure Data Lake Storage Gen2 et Google Cloud Storage. Consultez Utiliser les réplicas de Cloudflare R2 ou migrer le stockage vers R2 et Créer des informations d’identification de stockage pour se connecter à Cloudflare R2.

Prise en charge de l’accès Spark et dbutils aux fichiers d’espace de travail sur des clusters de catalogue Unity à accès partagé

L’accès en lecture et en écriture aux fichiers d’espace de travail Spark et dbutils est désormais pris en charge sur les clusters catalogue Unity en mode d’accès partagé. Consultez Utilisation des fichiers d’espace de travail.

Prise en charge de scripts d’initialisation et de bibliothèques de clusters sur les clusters de catalogue Unity à accès partagé

L’installation de scripts d’initialisation limités au cluster et de bibliothèques Python et JAR sur des clusters de catalogue Unity en mode d’accès partagé, y compris l’installation à l’aide de stratégies de cluster, est désormais en disponibilité générale. Databricks recommande d’installer des scripts d’initialisation et des bibliothèques à partir de volumes de catalogue Unity.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • fastjsonschema, versions 2.19.0 à 2.19.1
    • filelock de 3.12.4 à 3.13.1
    • googleapis-common-protos de 1.61.0 à 1.62.0
    • packaging de 22.0 à 23.2
  • Bibliothèques R mises à niveau :
    • foreign de 0.8-82 à 0.8-85
    • nlme de 3.1-162 à 3.1-163
    • rpart de 4.1.19 à 4.1.21
  • Bibliothèques Java mises à niveau :
    • com.databricks.databricks-sdk-java de 0.7.0 à 0.13.0
    • org.apache.orc.orc-core de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.1 à 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 à 2.11.0

Apache Spark

Databricks Runtime 14.3 comprend Apache Spark 3.5.0. Cette version inclut l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 14.2 ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-46541] [SC-153546][SQL][CONNECT] Correction de la référence de colonne ambiguë dans l’auto-jointure
  • [SPARK-45433] Rétablissement de « [SC-145163][SQL] Correction de l’inférence de schéma CSV/JSON…
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Possibilité de nouvelle tentative pour addArtifact
  • [SPARK-46660] [SC-153391][CONNECT] ReattachExecute demande des mises à jour du caractère actif de SessionHolder
  • [SPARK-46670] [SC-153273][PYTHON][SQL] Make DataSourceManager rendu auto-clonable en séparant les sources de données Python statiques et à l’exécution
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Refactorisation de la source de données Python pour s’aligner sur d’autres sources de données intégrées DSv2
  • [SPARK-46684] [SC-153275][PYTHON][CONNECT] Correction de CoGroup.applyInPandas/Arrow pour passer des arguments correctement
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML : Erreur levée sur plusieurs sources de données XML
  • [SPARK-46382] [SC-151881][SQL] XML : ignoreSurroundingSpaces défini par défaut sur true
  • [SPARK-46382] [SC-153178][SQL] XML : Mise à jour de la documentation pour ignoreSurroundingSpaces
  • [SPARK-45292] Rétablissement de « [SC-151609][SQL][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader »
  • [SPARK-45292] [SC-151609][SQL][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] Journalisation de l’état final des pilotes pendant Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] Validation du returnType de Arrow Python UDF
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] Correction du lecteur Avro pour la gestion des blocs de longueur nulle
  • [SPARK-46537] [SC-151286][SQL] Conversion de NPE et des assertions de commandes en erreurs internes
  • [SPARK-46179] [SC-151678][SQL] Ajout de CrossDbmsQueryTestSuites, qui exécute d’autres SGBD sur des fichiers de référence avec d’autres SGBD, en commençant par Postgres
  • [SPARK-44001] [SC-151413][PROTOBUF] Ajout d’une option pour autoriser le désenveloppement des types de wrapper bien connus de protobuf
  • [SPARK-40876] [SC-151786][SQL] Élargissement de la promotion de type pour les décimales avec une échelle plus grande dans les lecteurs Parquet
  • [SPARK-46605] [SC-151769][CONNECT] La fonction lit/typedLit dans un module de connexion prend en charge s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][SQL] La validation d’un littéral ne doit pas descendre jusqu’aux champs Null
  • [SPARK-37039] [SC-153094][PS] Correction de Series.astype pour fonctionner correctement avec une valeur manquante
  • [SPARK-46312] [SC-150163][CORE] Utilisation de lower_camel_case dans store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML : Validation du nom de l’élément XML lors de l’écriture
  • [SPARK-46627] [SC-152981][SS][UI] Correction du contenu de l’info-bulle de chronologie sur l’interface utilisateur de diffusion en continu
  • [SPARK-46248] [SC-151774][SQL] XML : Prise en charge des options ignoreCorruptFiles et ignoreMissingFiles
  • [SPARK-46386] [SC-150766][PYTHON] Amélioration des assertions d’observation (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Mise à jour du commentaire sur isZero dans AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Correction de l’erreur de journal dans handleStatusMessage
  • [SPARK-46568] [SC-151685][PYTHON] Options de source de données Python changées en dictionnaire ne respectant pas la casse
  • [SPARK-46611] [SC-151783][CORE] Suppression de ThreadLocal en remplaçant SimpleDateFormat par DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Literal.apply prend en charge s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][SQL][PYTHON] Correction de nom de la sortie de pyspark.sql.functions.user et session_user
  • [SPARK-46621] [SC-151794][PYTHON] Traitement de la valeur Null de Exception.getMessage dans l’exception capturée Py4J
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader doit respecter le mode mémoire lors de la création de vecteurs de colonnes pour la colonne manquante
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Journalisation de l’exception complète en cas d’échec de la recherche de sources de données Python
  • [SPARK-46559] [SC-151364][MLLIB] Inclusion dans un wrapper de l’élément export dans le nom de package avec des accents graves (backticks)
  • [SPARK-46522] [SC-151784][PYTHON] Blocage de l’inscription de source de données Python avec des conflits de noms
  • [SPARK-45580] [SC-149956][SQL] Gestion des cas où une sous-requête imbriquée devient une jointure d’existence
  • [SPARK-46609] [SC-151714][SQL] Explosion exponentielle évitée dans PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Correction de NPE lors de la description d’une colonne étendue sans statistiques de colonne
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML : Utilisation de TypeCoercion.findTightestCommonType pour la vérification de compatibilité
  • [SPARK-40876] [SC-151129][SQL] Élargissement des promotions de types dans les lecteurs Parquet
  • [SPARK-46179] [SC-151069][SQL] Retrait du code dans les fonctions réutilisables de SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Prise en charge de s.c.immutable.ArraySeq en tant que customCollectionCls dans MapObjects
  • [SPARK-46585] [SC-151622][CORE] metricPeaks construit directement en tant que immutable.ArraySeq au lieu d’utiliser mutable.ArraySeq.toSeq dans Executor
  • [SPARK-46488] [SC-151173][SQL] Appel de trimAll ignoré lors de l’analyse de l’horodatage
  • [SPARK-46231] [SC-149724][CONNECT][PYTHON] Migration de tous les éléments NotImplementedError et TypeError restants dans le framework d’erreurs de PySpark
  • [SPARK-46348] [SC-150281][CORE] Prise en charge de spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Journalisation de la durée de récupération de Spark HA
  • [SPARK-46358] [SC-150307][CONNECT] Simplification de la vérification des conditions dans le ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL] Remplacement de l’heure/date actuelle avant l’évaluation des expressions de table inline.
  • [SPARK-46563] [SC-151441][SQL] L’affichage de simpleString ne suit pas la configuration despark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Réduction de la profondeur d’arborescence des appels de procédure en remplaçant (string|array).size par (string|array).length
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(tous les champs d’un struct) entraîne un échec d’assertion
  • [SPARK-46565] [SC-151414][PYTHON] Optimisation des classes d’erreurs et des messages d’erreur pour les sources de données Python
  • [SPARK-46576] [SC-151614][SQL] Amélioration des messages d’erreur pour le mode d’enregistrement de source de données non pris en charge
  • [SPARK-46540] [SC-151355][PYTHON] Respect des noms de colonne quand la fonction de lecture de source de données Python produit des objets Row nommés
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite divulgue le SessionState de la ruche
  • [SPARK-44556] [SC-151562][SQL] Réutilisation de OrcTail lors de l’activation de vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML : Correction de la conversion des grands entiers XSD
  • [SPARK-46382] [SC-151297][SQL] XML : Capture des valeurs dispersées entre des éléments
  • [SPARK-46567] [SC-151447][CORE] Suppression de ThreadLocal pour ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Inscription automatique de la source de données Python au démarrage
  • [SPARK-28386] [SC-151014][SQL] Impossible de résoudre les colonnes ORDER BY avec GROUP BY et HAVING
  • [SPARK-46524] [SC-151446][SQL] Amélioration des messages d’erreur pour un mode d’enregistrement non valide
  • [SPARK-46294] [SC-150672][SQL] Nettoyage de la sémantique de la valeur d’initialisation / zéro
  • [SPARK-46301] [SC-150100][CORE] Prise en charge de spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Suppression de la vérification pour c>=0 dans ExternalCatalogUtils#needsEscaping car sa valeur est toujours true
  • [SPARK-46553] [SC-151360][PS] FutureWarning pour interpolate avec l’objet dtype
  • [SPARK-45914] [SC-151312][PYTHON] Prise en charge de l’API de commit et d’abandon pour l’écriture d’une source de données Python
  • [SPARK-46543] [SC-151350][PYTHON][CONNECT] json_tuple lève désormais une erreur PySparkValueError pour les champs vides
  • [SPARK-46520] [SC-151227][PYTHON] Prise en charge du mode de remplacement pour l’écriture d’une source de données Python
  • [SPARK-46502] [SC-151235][SQL] Prise en charge des types timestamp dans UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Passage de paramètres de message dans les métadonnées de ErrorInfo
  • [SPARK-46397] Rétablissement de « [SC-151311][PYTHON][CONNECT] La fonction sha2 doit déclencher PySparkValueError pour des numBits non valides »
  • [SPARK-46170] [SC-149472][SQL] Prise en charge de l’injection de règles de stratégie du post-planificateur de requêtes adaptatif dans SparkSessionExtensions
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable ne doit pas charger la table
  • [SPARK-46397][SC-151311][PYTHON][CONNECT] La fonction sha2 doit déclencher PySparkValueError pour des numBits non valides
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables ne lève pas d’exception quand la table ou la vue est introuvable
  • [SPARK-46272] [SC-151012][SQL] Prise en charge de CTAS avec des sources DSv2
  • [SPARK-46480] [SC-151127][CORE][SQL] Correction du NPE lors d’une tentative de tâche de cache de table
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Réduction de la profondeur de l’arborescence des appels de procédure en remplaçant (string|array).size par (string|array).length
  • [SPARK-45795] [SC-150764][SQL] DS V2 prend en charge le mode pushdown
  • [SPARK-46485] [SC-151133][SQL] V1Write ne doit pas ajouter de tri quand ce n’est pas nécessaire
  • [SPARK-46468] [SC-151121] [SQL] Gestion du bogue COUNT pour les sous-requêtes EXISTS avec agrégat sans clés de regroupement
  • [SPARK-46246] [SC-150927][SQL] Prise en charge de EXECUTE IMMEDIATE SQL
  • [SPARK-46498] [SC-151199][CORE] Suppression de shuffleServiceEnabled dans o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Définition des configurations de rebasement sur le mode CORRECTED par défaut
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Prise en charge de l’écriture d’une source de données Python en utilisant DSv2
  • [SPARK-46505] [SC-151187][CONNECT] Le seuil d’octets est désormais configurable dans ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Suppression des configurations SQL de rebasement de datetime hérité
  • [SPARK-46443] [SC-151123][SQL] La précision décimale et l’échelle doivent être décidés par le dialecte H2
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Correction de l’histogramme empilé de la durée des opérations sur la page de streaming structuré
  • [SPARK-46207] [SC-151068][SQL] Prise en charge de MergeInto dans DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Ajout d’une nouvelle API dans DataWriter pour écrire un itérateur d’enregistrements
  • [SPARK-46273] [SC-150313][SQL] Prise en charge de INSERT INTO/OVERWRITE en utilisant des sources DSv2
  • [SPARK-46344] [SC-150267][CORE] Avertissement correct quand un pilote existe effectivement mais qu’il est déconnecté
  • [SPARK-46284] [SC-149944][PYTHON][CONNECT] Ajout de la fonction session_user à Python
  • [SPARK-46043] [SC-149786][SQL] Prise en charge de la création de table en utilisant des sources DSv2
  • [SPARK-46323] [SC-150191][SQL][PYTHON] Correction du nom en sortie de pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][PYTHON][CONNECT] Ajout de Column.isNaN dans PySpark
  • [SPARK-46456] [SC-151050][CORE] Ajout de spark.ui.jettyStopTimeout pour définir le délai d’expiration de l’arrêt du serveur Jetty pour débloquer l’arrêt de SparkContext
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf : autoriser l’upcast des types d’entiers non signés
  • [SPARK-46399] [SC-151013][14.x][Core] Ajout de l’état de sortie à l’événement de fin d’application pour l’utilisation de Spark Listener
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Instance de source de données Python au niveau de DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Prise en charge des métriques Python dans une source de données Python
  • [SPARK-46330] [SC-151015] Chargement des blocs d’interface utilisateur Spark sur une durée longue quand HybridStore est activé
  • [SPARK-46378] [SC-150397][SQL] Le tri est toujours supprimé après la conversion de l’agrégat en projet
  • [SPARK-45506] [SC-146959][CONNECT] Ajout de la prise en charge de l’URI ivy à SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][CONNECT][SQL] ArrowConverters.createEmptyArrowBatch appelle close() pour éviter une fuite de mémoire
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Modification de la description de la source de données Python pour la rendre plus explicite
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Prise en charge de la création de table en utilisant une source de données Python dans SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][PYTHON] Ajout de la prise en charge de getMessageParameters et de getQueryContext
  • [SPARK-46453] [SC-150897][CONNECT] Exception levée depuis internalError() dans SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Introduction d’un mappeur pour les codecs de compression Hadoop
  • [SPARK-46213] [PYTHON] Introduction de PySparkImportError pour le framework d’erreurs
  • [SPARK-46230] [SC-149960][PYTHON] Migration de RetriesExceeded dans une erreur PySpark
  • [SPARK-45035] [SC-145887][SQL] Correction de l’erreur signalée par CorruptFiles/ignoreMissingFiles avec les fichiers CSV/JSON multilignes
  • [SPARK-46289] [SC-150846][SQL] Prise en charge de l’ordre des UDT en mode interprété
  • [SPARK-46229] [SC-150798][PYTHON][CONNECT] Ajout de applyInArrow à groupBy et cogroup dans Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Suppression du transport inutilisé dans SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migration de tous les éléments RuntimeError restants dans le framework d’erreurs de PySpark
  • [SPARK-45796] [SC-150613][SQL] Prise en charge de MODE() WITHIN GROUP (ORDER BY colonne)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Ajout de applyInArrow à groupBy et cogroup
  • [SPARK-46069] [SC-149672][SQL] Prise en charge du désenveloppement du type timestamp en type date
  • [SPARK-46406] [SC-150770][SQL] Affectation d’un nom à la classe d’erreurs _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] Conversion de IllegalStateException en internalError dans les itérateurs de session
  • [SPARK-45807] [SC-150751][SQL] Amélioration de l’API ViewCatalog
  • [SPARK-46009] [SC-149771][SQL][CONNECT] Fusion de la règle d’analyse de PercentileCont et PercentileDisc dans functionCall
  • [SPARK-46403] [SC-150756][SQL] Décodage des fichiers binaires Parquet avec la méthode getBytesUnsafe
  • [SPARK-46389] [SC-150779][CORE] Fermeture manuelle de l’instance de RocksDB/LevelDB quand checkVersion lève une exception
  • [SPARK-46360] [SC-150376][PYTHON] Amélioration du débogage des messages d’erreur avec la nouvelle API getMessage
  • [SPARK-46233] [SC-149766][CONNECT][PYTHON] Migration de tous les éléments AttributeError restants dans le framework d’erreurs de PySpark
  • [SPARK-46394] [SC-150599][SQL] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true
  • [SPARK-45964] [SC-148484][SQL] Suppression de l’accesseur SQL privé dans le package XML et JSON sous le package Catalyst
  • [SPARK-45856] [SC-148691] Déplacement de ArtifactManager de Spark Connect dans SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][CONNECT] Correction du script de lancement spark-connect-scala-client
  • [SPARK-46416] [SC-150699][CORE] Ajout de @tailrec à HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Limitation des jeux de caractères dans encode()
  • [SPARK-46253] [SC-150416][PYTHON] Planification de la lecture de la source de données Python en utilisant MapInArrow
  • [SPARK-46339] [SC-150266][SS] Un répertoire avec nom de numéro de lot ne doit pas être traité comme journal des métadonnées
  • [SPARK-46353] [SC-150396][CORE] Refactorisation pour améliorer la couverture des tests unitaires de RegisterWorker
  • [SPARK-45826] [SC-149061][SQL] Ajout d’une configuration SQL pour les traces de l’arborescence des appels de procédure dans le contexte des requêtes DataFrame
  • [SPARK-45649] [SC-150300][SQL] Unification de l’infrastructure de préparation pour OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Correction du Master pour mettre à jour un Worker de UNKNOWN vers ALIVE sur le message RegisterWorker
  • [SPARK-46388] [SC-150496][SQL] La protection du modèle de query.resolved est manquante dans HiveAnalysis
  • [SPARK-46401] [SC-150609][CORE][SQL] Utilisation de !isEmpty() sur RoaringBitmap au lieu de getCardinality() > 0 dans RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Classification des exceptions dans le catalogue des tables JDBC
  • [SPARK-45798] [SC-150513][CONNECT] Suivi : Ajout de serverSessionId à SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML : Ajout de la prise en charge de TimestampNTZType
  • [SPARK-46075] [SC-150393][CONNECT] Améliorations apportées à SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Remplacement de l’utilisation incorrecte dans la documentation de setConf par conf.set
  • [SPARK-46202] [SC-150420][CONNECT] Exposition des nouvelles API ArtifactManager pour prendre en charge les répertoires cibles personnalisés
  • [SPARK-45824] [SC-147648][SQL] Application de la classe d’erreurs dans ParseException
  • [SPARK-45845] [SC-148163][SS][UI] Ajout du nombre de lignes d’état supprimées à l’interface utilisateur de streaming
  • [SPARK-46316] [SC-150181][SQL] Activation de buf-lint-action sur le module core
  • [SPARK-45816] [SC-147656][SQL] Retour de NULL lors d’un dépassement lors du cast de types timestamp en entiers
  • [SPARK-46333] [SC-150263][SQL] Remplacement de IllegalStateException par SparkException.internalError dans Catalyst
  • [SPARK-45762] [SC-148486][CORE] Prise en charge des gestionnaires aléatoires définis dans des fichiers JAR utilisateur en changeant l’ordre de démarrage
  • [SPARK-46239] [SC-149752][CORE] Masquage des informations de Jetty
  • [SPARK-45886] [SC-148089][SQL] Génération d’une trace d’arborescence des appels de procédure complète dans callSite du contexte DataFrame
  • [SPARK-46290] [SC-150059][PYTHON] Changement de saveMode en un indicateur booléen pour DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Définition de errorClass dans errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Exposition de l’arborescence des appels de procédure par DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Prise en charge dekillall dans l’API de soumission REST
  • [SPARK-46234] [SC-149711][PYTHON] Introduction de PySparkKeyError pour le framework d’erreurs de PySpark
  • [SPARK-45606] [SC-147655][SQL] Restrictions de publication sur le filtre d’exécution multicouche
  • [SPARK-45725] [SC-147006][SQL] Suppression du filtre d’exécution de sous-requête IN qui n’est pas la valeur par défaut
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Nettoyage de l’utilisation de l’API déconseillée View.force et ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] withOrigin est désormais plus générique
  • [SPARK-46292] [SC-150086][CORE][UI] Affichage d’un résumé des Workers dans MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Utilisation de LazyList à la place de Stream
  • [SPARK-45888] [SC-149945][SS] Application du framework de classe d’erreurs à la source de données (de métadonnées) d’état
  • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed doit conserver l’ordre dict/map
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Nettoyages des conversions SeqOps.view et ArrayOps.view
  • [SPARK-46029] [SC-149255][SQL] Mise en échappement du guillemet simple, de _ et de % pour le pushdown DS V2
  • [SPARK-46275] [SC-150189] Protobuf : Retour de Null en mode permissif quand la désérialisation échoue.
  • [SPARK-46320] [SC-150187][CORE] Prise en charge de spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] Pas de pushdown des filtres de groupe de lignes Parquet qui font l’objet d’un dépassement
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Mise en correspondance des comportements mineurs dans Column avec une couverture de test complète
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Mise en correspondance de l’avertissement d’utilisation déconseillée, du cas de test et de l’erreur de Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Nettoyage de l’utilisation de l’API déconseillée liée à StringContext/StringOps/RightProjection/LeftProjection/Either et à l’utilisation de type de BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Prise en charge de SHOW TABLE EXTENDED dans v2
  • [SPARK-45737] [SC-147011][SQL] Suppression du .toArray[InternalRow] inutile dans SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Verrou d’instance exigé pour acquérir des métriques RocksDB afin d’éviter une concurrence pour les opérations en arrière-plan
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed doit respecter l’ordre de dict
  • [SPARK-46274] [SC-150043] [SQL] Correction de l’opérateur de plage computeStats() pour vérifier la validité de la longueur avant la conversion
  • [SPARK-46040] [SC-149767][SQL][Python] Mise à jour de l’API UDTF pour « analyser » les colonnes de partitionnement/classement afin de prendre en charge les expressions générales
  • [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty doit fonctionner avec tous les types de données
  • [SPARK-45678] [SC-146825][CORE] Couverture de BufferReleasingInputStream.available/reset sous tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Nettoyage de l’utilisation de l’API déconseillée liée à IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][SQL] Introduction de la syntaxe select * except
  • [SPARK-46269] [SC-149816][PS] Activation de plus de tests des fonctions de compatibilité de NumPy
  • [SPARK-45807] [SC-149851][SQL] Ajout de createOrReplaceView(..) / replaceView(..) à ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introduction d’une fonction implicite pour les tableaux Scala à inclure dans un wrapper dans immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][CORE] Améliorer des performances de PersistenceEngine avec KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Retour de messages d’erreur spécifiques si la méthode« analyze » ou « eval » accepte ou retourne des valeurs incorrectes
  • [SPARK-46186] [SC-149707][CONNECT] Correction de la transition d’état interdite lors de l’interruption de ExecuteThreadRunner avant le démarrage
  • [SPARK-46262] [SC-149803][PS] Activation du test pour np.left_shift pour l’objet Pandas-on-Spark.
  • [SPARK-45093] [SC-149679][CONNECT][PYTHON] Prise en charge correcte de la gestion et de la conversion des erreurs pour AddArtifactHandler
  • [SPARK-46188] [SC-149571][Doc][3.5] Correction du CSS des tables générées de la documentation Spark
  • [SPARK-45940] [SC-149549][PYTHON] Ajout de InputPartition à l’interface DataSourceReader
  • [SPARK-43393] [SC-148301][SQL] Résolution du bogue de dépassement de capacité de l’expression de séquence.
  • [SPARK-46144] [SC-149466][SQL] Échec de l’instruction INSERT INTO … REPLACE si la condition contient une sous-requête
  • [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Utilisation de SparkSession.sessionState.conf à la place de SQLContext.conf et marquage de SQLContext.conf comme déconseillé
  • [SPARK-45760] [SC-147550][SQL] Ajout de l’expression With pour éviter la duplication d’expressions
  • [SPARK-43228] [SC-149670][SQL] Les clés de jointure correspondent également à PartitioningCollection dans CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][PS] Test de SparkPandasNotImplementedError avec nettoyage du code inutilisé
  • [SPARK-46119] [SC-149205][SQL] Remplacement de la méthode toString pour UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Utilisation d’une exception d’étendue plus étroite pour le processeur SQL
  • [SPARK-46191] [SC-149565][CORE] Amélioration du message d’erreur FileSystemPersistenceEngine.persist en cas de fichier existant
  • [SPARK-46036] [SC-149356][SQL] Suppression de error-class dans la fonction raise_error
  • [SPARK-46055] [SC-149254][SQL] Réécriture de l’implémentation des API de base de données du catalogue
  • [SPARK-46152] [SC-149454][SQL] XML : Ajout de la prise en charge de DecimalType dans l’inférence de schéma XML
  • [SPARK-45943] [SC-149452][SQL] Déplacement de DetermineTableStats vers les règles de résolution
  • [SPARK-45887] [SC-148994][SQL] Alignement de l’implémentation de codegen et non-codegen de Encode
  • [SPARK-45022] [SC-147158][SQL] Ajout du contexte pour les erreurs d’API de jeu de données
  • [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Remplacement de toIterator par iterator pour IterableOnce
  • [SPARK-46141] [SC-149357][SQL] Changement de la valeur par défaut de spark.sql.legacy.ctePrecedencePolicy en CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Replacement de IterableOnceOps#aggregate par IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Réutilisation des objets littéraux dans la règle ComputeCurrentTime
  • [SPARK-45803] [SC-147489][CORE] Suppression de RpcAbortException, qui n’était plus utilisée
  • [SPARK-46148] [SC-149350][PS] Correction du test pyspark.pandas.mlflow.load_model (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Utilisation des classes d’erreurs dans les modules catalog, conf, connect, observation, pandas
  • [SPARK-45827] [SC-149203][SQL] Correction des variantes avec codegen et le lecteur vectorisé désactivé
  • [SPARK-46080] Rétablissement de « [SC-149012][PYTHON] Mise à niveau de Cloudpickle vers 3.0.0 »
  • [SPARK-45460] [SC-144852][SQL] Replacement de scala.collection.convert.ImplicitConversions par scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Suppression de la résolution spéciale de UnresolvedNamespace pour certaines commandes
  • [SPARK-45600] [SC-148976][PYTHON] L’inscription des sources de données Python se fait désormais au niveau de la session
  • [SPARK-46074] [SC-149063][CONNECT][SCALA] Détails insuffisants dans le message d’erreur sur l’échec UDF
  • [SPARK-46114] [SC-149076][PYTHON] Ajout de PySparkIndexError pour le framework d’erreur
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] Suppression de la fonction d’assistance DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Mise à jour de la gestion des chemins d’accès pour la source de données Python
  • [SPARK-46062] [14.x][SC-148991][SQL] Synchronisation de l’indicateur isStreaming entre la définition et la référence CTE
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Nettoyage de l’utilisation de l’API déconseillée liée à Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Déplacement de EliminateEventTimeWatermark vers l’analyseur et changement pour une prise d’effet seulement sur l’enfant résolu
  • [SPARK-45922] [SC-149038][CONNECT][CLIENT] Refactorisation mineure des nouvelles tentatives (suivi de plusieurs stratégies)
  • [SPARK-45851] [SC-148419][CONNECT][SCALA] Prise en charge de plusieurs stratégies dans le client Scala
  • [SPARK-45974] [SC-149062][SQL] Ajout d’un jugement scan.filterAttributes non vide pour RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets dans le client Scala Spark Connect
  • [SPARK-45136] [SC-146607][CONNECT] Amélioration de ClosureCleaner avec la prise en charge d’Ammonite
  • [SPARK-46084] [SC-149020][PS] Refactorisation de l’opération de cast de type de données pour le type Categorical.
  • [SPARK-46083] [SC-149018][PYTHON] SparkNoSuchElementException en tant qu’API d’erreur canonique
  • [SPARK-46048] [SC-148982][PYTHON][CONNECT] Prise en charge de DataFrame.groupingSets dans Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Mise à niveau de Cloudpickle vers 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][CONNECT] Correction de la représentation sous forme de chaîne de protobuf pour l’API Pandas Functions avec Spark Connect
  • [SPARK-46065] [SC-148985][PS] Refactorisation de (DataFrame|Series).factorize() pour utiliser create_map.
  • [SPARK-46070] [SC-148993][SQL] Compilation du modèle regex dans SparkDateTimeUtils.getZoneId en dehors de la boucle fréquemment exécutée
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] Amélioration des messages d’erreur liés aux types d’arguments dans cute, rollup, groupby et pivot
  • [SPARK-44442] [SC-144120][MESOS] Suppression de la prise en charge de Mesos
  • [SPARK-45555] [SC-147620][PYTHON] Inclut un objet déboguable pour l’assertion en échec
  • [SPARK-46048] [SC-148871][PYTHON][CONNECT] Prise en charge de DataFrame.groupingSets dans PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] faulthandler est désormais une configuration d’exécution pour l’exécution de Python dans SQL
  • [SPARK-45996] [SC-148586][PYTHON][CONNECT] Affichage des messages corrects sur les dépendances requises pour Spark Connect
  • [SPARK-45681] [SC-146893][UI] Clonage d’une version js de UIUtils.errorMessageCell pour un rendu des erreurs cohérent sur l’interface utilisateur
  • [SPARK-45767] [SC-147225][CORE] Suppression de TimeStampedHashMap et de son UT
  • [SPARK-45696] [SC-148864][CORE] Correction de la méthode tryCompleteWith dans la caractéristique de l’objet Promise est déconseillée
  • [SPARK-45503] [SC-146338][SS] Ajout d’une configuration à la définition de la compression RocksDB
  • [SPARK-45338] [SC-143934][CORE][SQL] Remplacement de scala.collection.JavaConverters par scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Correction de ArrayIndexOutOfBoundsException dans conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Amélioration de l’API XSDToSchema : Modification de l’API HDFS pour l’accessibilité du stockage cloud
  • [SPARK-45819] [SC-147570][CORE] Prise en charge declear dans l’API de soumission REST
  • [SPARK-45552] [14.x][SC-146874][PS] Introduction de paramètres flexibles pour assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Ajout d’une interface pour d’autres sources de streaming permettant d’ajouter des colonnes _metadata
  • [SPARK-45929] [SC-148692][SQL] Prise en charge de l’opération groupingSets dans l’API dataframe
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader ne doit pas lire les journaux avec rotation si le fichier d’état de l’application est manquant
  • [SPARK-45965] [SC-148575][SQL] Déplacement des expressions de partitionnement DSv2 dans functions.partitioning
  • [SPARK-45971] [SC-148541][CORE][SQL] Correction du nom du package de SparkCollectionUtils en org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Nettoyage de l’utilisation de l’API déconseillée liée à MapOps et correction de method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] Suppression de treatEmptyValuesAsNulls et utilisation à la place de l’option nullValue dans XML
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Correction des typehints pour gérer list GenericAlias dans Python 3.11+
  • [SPARK-45999] [SC-148595][PS] Utilisation d’un PandasProduct dédié dans cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Correction de pyspark.ml.torch.tests.test_distributor dans Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Changement de description-file en description_file
  • [SPARK-45575] [SC-146713][SQL] Options de voyage dans le temps pour l’API de lecture df
  • [SPARK-45747] [SC-148404][SS] Utilisation des informations de clé de préfixe dans les métadonnées d’état pour gérer l’état de la lecture pour l’agrégation des fenêtres de session
  • [SPARK-45898] [SC-148213][SQL] Réécriture des API de table de catalogue pour utiliser un plan logique non résolu
  • [SPARK-45828] [SC-147663][SQL] Suppression de la méthode déconseillée dans dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Mise à niveau de protobuf vers 4.25.1 pour prendre en charge Python 3.11
  • [SPARK-45911] [SC-148226][CORE] TLS1.3 est désormais la valeur par défaut pour RPC SSL
  • [SPARK-45955] [SC-148429][UI] Réduction de la prise en charge pour Flamegraph et les détails de l’image mémoire des threads
  • [SPARK-45936] [SC-148392][PS] Optimisation de Index.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Corriger la règle de correspondance de MetaException lors de l’obtention des métadonnées de partition
  • [SPARK-45655] [SC-148085][SQL][SS] Expressions non déterministes autorisées au sein de AggregateFunctions dans CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Correction de l’utilisation de l’écriture de FileUtils dépréciée pour passer le jeu de caractères par défaut dans RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Source de données d’état – Lecteur
  • [SPARK-45918] [SC-148293][PS] Optimisation de MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][CONNECT][PYTHON] Retour des métriques observées depuis les commandes
  • [SPARK-45867] [SC-147916][CORE] Prise en charge de spark.worker.idPattern
  • [SPARK-45945] [SC-148418][CONNECT] Ajout d’une fonction d’assistance pour parser
  • [SPARK-45930] [SC-148399][SQL] Prise en charge des fonctions définies par l’utilisateur non déterministes dans MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] Création d’une API UDTF Python pour arrêter la consommation de lignes de la table d’entrée
  • [SPARK-45731] [SC-147929][SQL] Mise à jour également des statistiques de partition avec la commande ANALYZE TABLE
  • [SPARK-45868] [SC-148355][CONNECT] Vérification de l’utilisation par spark.table du même analyseur avec Vanilla Spark
  • [SPARK-45882] [SC-148161][SQL] Le partitionnement de propagation BroadcastHashJoinExec doit respecter CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][SQL] Attribution de noms aux erreurs _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][SQL] Traitement de decimal(x, 0) identique à celui de IntegralType dans PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Correction des résultats imprécis de la multiplication et de la division décimales
  • [SPARK-45871] [SC-148084][CONNECT] Optimisations de la conversion des collections liée à .toBuffer dans les modules connect
  • [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager peut rechercher un sparkcontext arrêté
  • [SPARK-45913] [SC-148289][PYTHON] Les attributs internes sont désormais privés dans les erreurs PySpark.
  • [SPARK-45827] [SC-148201][SQL] Ajout d’un type de données Variant dans Spark.
  • [SPARK-44886] [SC-147876][SQL] Introduction de la clause CLUSTER BY pour CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Prise en charge de spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][CONNECT] Déclaration de l’ID de session côté serveur
  • [SPARK-45896] [SC-148091][SQL] Construction de ValidateExternalType avec le type attendu correct
  • [SPARK-45902] [SC-148123][SQL] Suppression de la fonction resolvePartitionColumns inutilisée dans DataSource
  • [SPARK-45909] [SC-148137][SQL] Suppression du cast de NumericType s’il peut faire l’objet d’un up-cast sûr dans IsNotNull
  • [SPARK-42821] [SC-147715][SQL] Suppression des paramètres inutilisés dans les méthodes splitFiles
  • [SPARK-45875] [SC-148088][CORE] Suppression de MissingStageTableRowData dans le module core
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Amélioration des messages d’erreur quand le mode Spark Connect est activé mais que l’URL distante n’est pas définie
  • [SPARK-45804] [SC-147529][UI] Configuration de Add spark.ui.threadDump.flamegraphEnabled pour activer/désactiver le graphique Flame
  • [SPARK-45664] [SC-146878][SQL] Introduction d’un mappeur pour les codecs de compression orc
  • [SPARK-45481] [SC-146715][SQL] Introduction d’un mappeur pour les codecs de compression parquet
  • [SPARK-45752] [SC-148005][SQL] Simplification du code pour vérifier les relations CTE non référencées
  • [SPARK-44752] [SC-146262][SQL] XML : Mise à jour de la documentation Spark
  • [SPARK-45752] [SC-147869][SQL] Les CTE non référencées doivent toutes être vérifiées par CheckAnalysis0
  • [SPARK-45842] [SC-147853][SQL] Refactorisation des API de fonctions de catalogue pour utiliser l’analyseur
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Prise en charge du chargement des sources de données Python dans DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Problème d’exactitude dans AQE avec InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Introduction de la source de métadonnées d’état pour interroger les informations de métadonnées d’état du streaming
  • [SPARK-45739] [SC-147059][PYTHON] Interception de IOException au lieu de EOFException uniquement pour faulthandler
  • [SPARK-45677] [SC-146700] Amélioration de la journalisation des erreurs pour l’API Observation
  • [SPARK-45544] [SC-146873][CORE] Intégration de la prise en charge de SSL dans TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Ajout de l’API d’écriture de source de données Python
  • [SPARK-45771] [SC-147270][CORE] Activation par défaut de spark.eventLog.rolling.enabled
  • [SPARK-45713] [SC-146986][PYTHON] Prise en charge de l’inscription de sources de données Python
  • [SPARK-45656] [SC-146488][SQL] Correction de l’observation en cas d’observations nommées portant le même nom sur des jeux de données différents
  • [SPARK-45808] [SC-147571][CONNECT][PYTHON] Gestion améliorée des erreurs pour les exceptions SQL
  • [SPARK-45774] [SC-147353][CORE][UI] Prise en charge de spark.master.ui.historyServerUrl dans ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Suppression de la vérification défensive des valeurs Null pour MapOutputTrackerMaster#unregisterShuffle ajoutée dans SPARK-39553
  • [SPARK-45780] [SC-147410][CONNECT] Propagation de tous les threads clients Spark Connect dans InheritableThread
  • [SPARK-45785] [SC-147419][CORE] Prise en charge de spark.deploy.appNumberModulo pour effectuer la rotation du numéro d’application
  • [SPARK-45793] [SC-147456][CORE] Amélioration des codecs de compression intégrés
  • [SPARK-45757] [SC-147282][ML] Recalcul de NNZ désormais évité dans Binarizer
  • [SPARK-45209] [SC-146490][CORE][UI] Prise en charge des graphiques en flamme pour la page Image mémoire des threads de l’exécuteur
  • [SPARK-45777] [SC-147319][CORE] Prise en charge de spark.test.appId dans LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] Refactorisation de la vérification des valeurs Null pour disposer de raccourcis
  • [SPARK-45711] [SC-146854][SQL] Introduction d’un mappeur pour les codecs de compression avro
  • [SPARK-45523] [SC-146077][Python] Retour d’un message d’erreur utile si UDTF retourne None pour une colonne non-nullable
  • [SPARK-45614] [SC-146729][SQL] Attribution de noms aux erreurs _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Amélioration de Dataset.isEmpty() en appliquant une limite globale 1
  • [SPARK-45569] [SC-145915][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Correction de Spark History Server pour trier correctement la colonne Duration
  • [SPARK-45754] [SC-147169][CORE] Prise en charge de spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Simplification de DataFrameStatFunctions.countMinSketch avecCountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Prise en charge de spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][UI] Amélioration de MasterPage pour afficher la colonne Resource seulement quand elle existe
  • [SPARK-45112] [SC-143259][SQL] Utilisation de la résolution basée sur UnresolvedFunction dans les fonctions de jeu de données SQL

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 14.3. Ceci est commenté lors de la version initiale.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.3 LTS
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R : 4.3.1
  • Delta Lake : 3.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 chiffrement 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0,4
en cours d’exécution 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empaquetage 23,2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requêtes 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 objet BLOB 1.2.4
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 horloge 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 jeux de données 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramme 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrice 1.5-4.1 memoise 2.0.1
méthodes 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1