Databricks Runtime 14.3 LTS
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.3 LTS avec Apache Spark 3.5.0.
Databricks a publié cette version en février 2024.
Remarque
LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez Cycle de vie de la version de Databricks Runtime LTS.
Conseil
Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.
Améliorations et nouvelles fonctionnalités
- Prise en charge du système de fichiers d’espace de travail dans les fonctions définies par l’utilisateur (UDF) de PySpark sur les clusters partagés
- Prise en charge des optimisations
MERGE
de vecteur de suppression sans Photon - Les API de catalogue SPARK sont désormais totalement prises en charge dans le mode d’accès partagé
- Delta UniForm est désormais en disponibilité générale
- Nouvelle fonction SQL EXECUTE IMMEDIATE
- Recalculer les statistiques des sauts de données pour les tables Delta
- informations d’état de requête pour les requêtes de diffusion en continu avec état
- Utiliser Microsoft Entra ID pour l’authentification Kafka sur des clusters partagés
- Ajout de la prise en charge du nettoyage des fichiers et des partitions pour améliorer les performances des requêtes
- Déclarer des variables temporaires dans une session SQL
- Mises à jour de Thriftserver pour supprimer des fonctionnalités inutilisées
- Utiliser les fichiers truststore et keystore (magasin de clés) dans les volumes Unity Catalog
- Prise en charge du format de fichier XML natif (préversion publique)
- Prise en charge du stockage Cloudflare R2 (Version préliminaire publique)
- Prise en charge de l’accès Spark et dbutils aux fichiers d’espace de travail sur des clusters de catalogue Unity à accès partagé
- Prise en charge de scripts d’initialisation et de bibliothèques de clusters sur les clusters de catalogue Unity à accès partagé
Prise en charge du système de fichiers d’espace de travail dans les fonctions définies par l’utilisateur (UDF) de PySpark sur les clusters partagés
Les UDF de PySpark sur les clusters partagés peuvent désormais importer des modules Python à partir de dossiers Git, de fichiers d’espace de travail ou de volumes UC.
Pour plus d’informations sur l’utilisation des modules dans des dossiers Git Databricks ou des fichiers d’espace de travail, consultez Utiliser des modules Python et R.
Prise en charge des optimisations MERGE
de vecteur de suppression sans Photon
Photon n’est plus nécessaire pour les opérations MERGE
pour tirer parti des optimisations des vecteurs de suppression. Consultez Que sont les vecteurs de suppression ?.
Les API de catalogue SPARK sont désormais totalement prises en charge dans le mode d’accès partagé
Vous pouvez maintenant utiliser toutes les fonctions de l’API spark.catalog
dans Python et Scala sur du calcul configuré avec le mode d’accès partagé.
Delta UniForm est désormais en disponibilité générale
UniForm est maintenant en disponibilité générale et utilise la fonctionnalité de table IcebergCompatV2
. Vous pouvez désormais activer ou mettre à niveau UniForm sur des tables existantes. Consultez Utiliser UniForm pour lire les tables Delta avec les clients Iceberg.
Nouvelle fonction SQL EXECUTE IMMEDIATE
Vous pouvez maintenant utiliser la syntaxe EXECUTE IMMEDIATE pour prendre en charge les requêtes paramétrisées dans SQL. Consultez EXECUTE IMMEDIATE.
Recalculer les statistiques des sauts de données pour les tables Delta
Vous pouvez maintenant recalculer les statistiques stockées dans le journal Delta après avoir modifié les colonnes utilisées pour les sauts de données. Consultez Spécifier des colonnes de statistiques Delta.
Informations d’état de requête pour les requêtes de diffusion en continu avec état
Vous pouvez désormais interroger des données et des métadonnées d’état de flux structuré. Consultez Lire les informations d’état Structured Streaming.
Utiliser Microsoft Entra ID pour l’authentification Kafka sur des clusters partagés
Vous pouvez désormais authentifier les services Event Hubs via OAuth avec Microsoft Entra ID sur le calcul configuré avec le mode d’accès partagé. Consultez Authentification du principal de service avec Microsoft Entra ID et Azure Event Hubs.
Ajout de la prise en charge du nettoyage des fichiers et des partitions pour améliorer les performances des requêtes
Pour accélérer certaines requêtes qui s’appuient sur l’égalité tolérant les valeurs Null dans les conditions JOIN, nous prenons désormais en charge DynamicFilePruning
et DynamicPartitionPruning
pour l’opérateur EqualNullSafe
dans les JOIN.
Déclarer des variables temporaires dans une session SQL
Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées à partir des requêtes. Voir Variables.
Mises à jour de Thriftserver pour supprimer des fonctionnalités inutilisées
Le code de Thriftserver a été mis à jour pour supprimer le code de fonctionnalités obsolètes. En raison de ces modifications, les configurations suivantes ne sont plus prises en charge :
- Les fichiers JAR auxiliaires de Hive, configurés en utilisant la propriété
hive.aux.jars.path
, ne sont plus pris en charge pour les connexionshive-thriftserver
. - Le fichier init global de Hive (
.hiverc
), dont l’emplacement est configuré en utilisant la propriétéhive.server2.global.init.file.location
ou la variable d’environnementHIVE_CONF_DIR
, n’est plus pris en charge pour les connexionshive-thriftserver
.
Utiliser les fichiers truststore et keystore (magasin de clés) dans les volumes Unity Catalog
Vous pouvez utiliser des fichiers truststore et keystore dans les volumes Unity Catalog pour vous authentifier auprès de Confluent Schema Registry. Consultez la documentation pour avro ou tampons de protocole.
Prise en charge du format de fichier XML natif (préversion publique)
La prise en charge du format de fichier XML natif est désormais en avant-première publique. La prise en charge du format de fichier XML permet l’ingestion, l’interrogation et l’analyse des données XML pour le traitement par lots ou la diffusion en continu. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge des expressions SQL telles que from_xml
, et peut générer des documents XML. Il ne nécessite pas de jars externes et fonctionne de manière transparente avec Auto Loader, read_files
, COPY INTO
, et Delta Live Tables. Consultez Lire et écrire des fichiers XML.
Prise en charge du stockage Cloudflare R2 (Version préliminaire publique)
Vous pouvez désormais utiliser Cloudflare R2 comme stockage cloud pour les données inscrites dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre. Le stockage R2 prend en charge toutes les données de Databricks et les ressources d’IA prises en charge dans AWS S3, Azure Data Lake Storage Gen2 et Google Cloud Storage. Consultez Utiliser les réplicas de Cloudflare R2 ou migrer le stockage vers R2 et Créer des informations d’identification de stockage pour se connecter à Cloudflare R2.
Prise en charge de l’accès Spark et dbutils aux fichiers d’espace de travail sur des clusters de catalogue Unity à accès partagé
L’accès en lecture et en écriture aux fichiers d’espace de travail Spark et dbutils
est désormais pris en charge sur les clusters catalogue Unity en mode d’accès partagé. Consultez Utilisation des fichiers d’espace de travail.
Prise en charge de scripts d’initialisation et de bibliothèques de clusters sur les clusters de catalogue Unity à accès partagé
L’installation de scripts d’initialisation limités au cluster et de bibliothèques Python et JAR sur des clusters de catalogue Unity en mode d’accès partagé, y compris l’installation à l’aide de stratégies de cluster, est désormais en disponibilité générale. Databricks recommande d’installer des scripts d’initialisation et des bibliothèques à partir de volumes de catalogue Unity.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- fastjsonschema, versions 2.19.0 à 2.19.1
- filelock de 3.12.4 à 3.13.1
- googleapis-common-protos de 1.61.0 à 1.62.0
- packaging de 22.0 à 23.2
- Bibliothèques R mises à niveau :
- foreign de 0.8-82 à 0.8-85
- nlme de 3.1-162 à 3.1-163
- rpart de 4.1.19 à 4.1.21
- Bibliothèques Java mises à niveau :
- com.databricks.databricks-sdk-java de 0.7.0 à 0.13.0
- org.apache.orc.orc-core de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
- org.apache.orc.orc-shims de 1.9.1 à 1.9.2
- org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 à 2.11.0
Apache Spark
Databricks Runtime 14.3 comprend Apache Spark 3.5.0. Cette version inclut l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 14.2 ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :
- [SPARK-46541] [SC-153546][SQL][CONNECT] Correction de la référence de colonne ambiguë dans l’auto-jointure
- [SPARK-45433] Rétablissement de « [SC-145163][SQL] Correction de l’inférence de schéma CSV/JSON…
- [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Possibilité de nouvelle tentative pour addArtifact
- [SPARK-46660] [SC-153391][CONNECT] ReattachExecute demande des mises à jour du caractère actif de SessionHolder
- [SPARK-46670] [SC-153273][PYTHON][SQL] Make DataSourceManager rendu auto-clonable en séparant les sources de données Python statiques et à l’exécution
- [SPARK-46720] [SC-153410][SQL][PYTHON] Refactorisation de la source de données Python pour s’aligner sur d’autres sources de données intégrées DSv2
- [SPARK-46684] [SC-153275][PYTHON][CONNECT] Correction de CoGroup.applyInPandas/Arrow pour passer des arguments correctement
- [SPARK-46667] [SC-153271][SC-153263][SQL] XML : Erreur levée sur plusieurs sources de données XML
- [SPARK-46382] [SC-151881][SQL] XML : ignoreSurroundingSpaces défini par défaut sur true
- [SPARK-46382] [SC-153178][SQL] XML : Mise à jour de la documentation pour
ignoreSurroundingSpaces
- [SPARK-45292] Rétablissement de « [SC-151609][SQL][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader »
- [SPARK-45292] [SC-151609][SQL][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader
- [SPARK-46311] [SC-150137][CORE] Journalisation de l’état final des pilotes pendant
Master.removeDriver
- [SPARK-46413] [SC-151052][PYTHON] Validation du returnType de Arrow Python UDF
- [SPARK-46633] [WARMFIX][SC-153092][SQL] Correction du lecteur Avro pour la gestion des blocs de longueur nulle
- [SPARK-46537] [SC-151286][SQL] Conversion de NPE et des assertions de commandes en erreurs internes
- [SPARK-46179] [SC-151678][SQL] Ajout de CrossDbmsQueryTestSuites, qui exécute d’autres SGBD sur des fichiers de référence avec d’autres SGBD, en commençant par Postgres
- [SPARK-44001] [SC-151413][PROTOBUF] Ajout d’une option pour autoriser le désenveloppement des types de wrapper bien connus de protobuf
- [SPARK-40876] [SC-151786][SQL] Élargissement de la promotion de type pour les décimales avec une échelle plus grande dans les lecteurs Parquet
- [SPARK-46605] [SC-151769][CONNECT] La fonction
lit/typedLit
dans un module de connexion prend en charges.c.immutable.ArraySeq
- [SPARK-46634] [SC-153005][SQL] La validation d’un littéral ne doit pas descendre jusqu’aux champs Null
- [SPARK-37039] [SC-153094][PS] Correction de
Series.astype
pour fonctionner correctement avec une valeur manquante - [SPARK-46312] [SC-150163][CORE] Utilisation de
lower_camel_case
dansstore_types.proto
- [SPARK-46630] [SC-153084][SQL] XML : Validation du nom de l’élément XML lors de l’écriture
- [SPARK-46627] [SC-152981][SS][UI] Correction du contenu de l’info-bulle de chronologie sur l’interface utilisateur de diffusion en continu
- [SPARK-46248] [SC-151774][SQL] XML : Prise en charge des options ignoreCorruptFiles et ignoreMissingFiles
- [SPARK-46386] [SC-150766][PYTHON] Amélioration des assertions d’observation (pyspark.sql.observation)
- [SPARK-46581] [SC-151789][CORE] Mise à jour du commentaire sur isZero dans AccumulatorV2
- [SPARK-46601] [SC-151785] [CORE] Correction de l’erreur de journal dans handleStatusMessage
- [SPARK-46568] [SC-151685][PYTHON] Options de source de données Python changées en dictionnaire ne respectant pas la casse
- [SPARK-46611] [SC-151783][CORE] Suppression de ThreadLocal en remplaçant SimpleDateFormat par DateTimeFormatter
- [SPARK-46604] [SC-151768][SQL]
Literal.apply
prend en charges.c.immuable.ArraySeq
- [SPARK-46324] [SC-150223][SQL][PYTHON] Correction de nom de la sortie de pyspark.sql.functions.user et session_user
- [SPARK-46621] [SC-151794][PYTHON] Traitement de la valeur Null de Exception.getMessage dans l’exception capturée Py4J
- [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader doit respecter le mode mémoire lors de la création de vecteurs de colonnes pour la colonne manquante
- [SPARK-46613] [SC-151778][SQL][PYTHON] Journalisation de l’exception complète en cas d’échec de la recherche de sources de données Python
- [SPARK-46559] [SC-151364][MLLIB] Inclusion dans un wrapper de l’élément
export
dans le nom de package avec des accents graves (backticks) - [SPARK-46522] [SC-151784][PYTHON] Blocage de l’inscription de source de données Python avec des conflits de noms
- [SPARK-45580] [SC-149956][SQL] Gestion des cas où une sous-requête imbriquée devient une jointure d’existence
- [SPARK-46609] [SC-151714][SQL] Explosion exponentielle évitée dans PartitioningPreservingUnaryExecNode
- [SPARK-46535] [SC-151288][SQL] Correction de NPE lors de la description d’une colonne étendue sans statistiques de colonne
- [SPARK-46599] [SC-147661][SC-151770][SQL] XML : Utilisation de TypeCoercion.findTightestCommonType pour la vérification de compatibilité
- [SPARK-40876] [SC-151129][SQL] Élargissement des promotions de types dans les lecteurs Parquet
- [SPARK-46179] [SC-151069][SQL] Retrait du code dans les fonctions réutilisables de SQLQueryTestSuite
- [SPARK-46586] [SC-151679][SQL] Prise en charge de
s.c.immutable.ArraySeq
en tant quecustomCollectionCls
dansMapObjects
- [SPARK-46585] [SC-151622][CORE]
metricPeaks
construit directement en tant queimmutable.ArraySeq
au lieu d’utilisermutable.ArraySeq.toSeq
dansExecutor
- [SPARK-46488] [SC-151173][SQL] Appel de trimAll ignoré lors de l’analyse de l’horodatage
- [SPARK-46231] [SC-149724][CONNECT][PYTHON] Migration de tous les éléments
NotImplementedError
etTypeError
restants dans le framework d’erreurs de PySpark - [SPARK-46348] [SC-150281][CORE] Prise en charge de
spark.deploy.recoveryTimeout
- [SPARK-46313] [SC-150164][CORE] Journalisation de la durée de récupération de
Spark HA
- [SPARK-46358] [SC-150307][CONNECT] Simplification de la vérification des conditions dans le
ResponseValidator#verifyResponse
- [SPARK-46380] [SC-151078][SQL] Remplacement de l’heure/date actuelle avant l’évaluation des expressions de table inline.
- [SPARK-46563] [SC-151441][SQL] L’affichage de simpleString ne suit pas la configuration despark.sql.debug.maxToStringFields
- [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Réduction de la profondeur d’arborescence des appels de procédure en remplaçant (string|array).size par (string|array).length
- [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(tous les champs d’un struct) entraîne un échec d’assertion
- [SPARK-46565] [SC-151414][PYTHON] Optimisation des classes d’erreurs et des messages d’erreur pour les sources de données Python
- [SPARK-46576] [SC-151614][SQL] Amélioration des messages d’erreur pour le mode d’enregistrement de source de données non pris en charge
- [SPARK-46540] [SC-151355][PYTHON] Respect des noms de colonne quand la fonction de lecture de source de données Python produit des objets Row nommés
- [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite divulgue le SessionState de la ruche
- [SPARK-44556] [SC-151562][SQL] Réutilisation de
OrcTail
lors de l’activation de vectorizedReader - [SPARK-46587] [SC-151618][SQL] XML : Correction de la conversion des grands entiers XSD
- [SPARK-46382] [SC-151297][SQL] XML : Capture des valeurs dispersées entre des éléments
- [SPARK-46567] [SC-151447][CORE] Suppression de ThreadLocal pour ReadAheadInputStream
- [SPARK-45917] [SC-151269][PYTHON][SQL] Inscription automatique de la source de données Python au démarrage
- [SPARK-28386] [SC-151014][SQL] Impossible de résoudre les colonnes ORDER BY avec GROUP BY et HAVING
- [SPARK-46524] [SC-151446][SQL] Amélioration des messages d’erreur pour un mode d’enregistrement non valide
- [SPARK-46294] [SC-150672][SQL] Nettoyage de la sémantique de la valeur d’initialisation / zéro
- [SPARK-46301] [SC-150100][CORE] Prise en charge de
spark.worker.(initial|max)RegistrationRetries
- [SPARK-46542] [SC-151324][SQL] Suppression de la vérification pour
c>=0
dansExternalCatalogUtils#needsEscaping
car sa valeur est toujours true - [SPARK-46553] [SC-151360][PS]
FutureWarning
pourinterpolate
avec l’objet dtype - [SPARK-45914] [SC-151312][PYTHON] Prise en charge de l’API de commit et d’abandon pour l’écriture d’une source de données Python
- [SPARK-46543] [SC-151350][PYTHON][CONNECT]
json_tuple
lève désormais une erreur PySparkValueError pour les champs vides - [SPARK-46520] [SC-151227][PYTHON] Prise en charge du mode de remplacement pour l’écriture d’une source de données Python
- [SPARK-46502] [SC-151235][SQL] Prise en charge des types timestamp dans UnwrapCastInBinaryComparison
- [SPARK-46532] [SC-151279][CONNECT] Passage de paramètres de message dans les métadonnées de
ErrorInfo
- [SPARK-46397] Rétablissement de « [SC-151311][PYTHON][CONNECT] La fonction
sha2
doit déclencherPySparkValueError
pour desnumBits
non valides » - [SPARK-46170] [SC-149472][SQL] Prise en charge de l’injection de règles de stratégie du post-planificateur de requêtes adaptatif dans SparkSessionExtensions
- [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable ne doit pas charger la table
- [SPARK-46397][SC-151311][PYTHON][CONNECT] La fonction
sha2
doit déclencherPySparkValueError
pour desnumBits
non valides - [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables ne lève pas d’exception quand la table ou la vue est introuvable
- [SPARK-46272] [SC-151012][SQL] Prise en charge de CTAS avec des sources DSv2
- [SPARK-46480] [SC-151127][CORE][SQL] Correction du NPE lors d’une tentative de tâche de cache de table
- [SPARK-46100] [SC-149051][CORE][PYTHON] Réduction de la profondeur de l’arborescence des appels de procédure en remplaçant (string|array).size par (string|array).length
- [SPARK-45795] [SC-150764][SQL] DS V2 prend en charge le mode pushdown
- [SPARK-46485] [SC-151133][SQL] V1Write ne doit pas ajouter de tri quand ce n’est pas nécessaire
- [SPARK-46468] [SC-151121] [SQL] Gestion du bogue COUNT pour les sous-requêtes EXISTS avec agrégat sans clés de regroupement
- [SPARK-46246] [SC-150927][SQL] Prise en charge de EXECUTE IMMEDIATE SQL
- [SPARK-46498] [SC-151199][CORE] Suppression de
shuffleServiceEnabled
danso.a.spark.util.Utils#getConfiguredLocalDirs
- [SPARK-46440] [SC-150807][SQL] Définition des configurations de rebasement sur le mode
CORRECTED
par défaut - [SPARK-45525] [SC-151120][SQL][PYTHON] Prise en charge de l’écriture d’une source de données Python en utilisant DSv2
- [SPARK-46505] [SC-151187][CONNECT] Le seuil d’octets est désormais configurable dans
ProtoUtils.abbreviate
- [SPARK-46447] [SC-151025][SQL] Suppression des configurations SQL de rebasement de datetime hérité
- [SPARK-46443] [SC-151123][SQL] La précision décimale et l’échelle doivent être décidés par le dialecte H2
- [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Correction de l’histogramme empilé de la durée des opérations sur la page de streaming structuré
- [SPARK-46207] [SC-151068][SQL] Prise en charge de MergeInto dans DataFrameWriterV2
- [SPARK-46452] [SC-151018][SQL] Ajout d’une nouvelle API dans DataWriter pour écrire un itérateur d’enregistrements
- [SPARK-46273] [SC-150313][SQL] Prise en charge de INSERT INTO/OVERWRITE en utilisant des sources DSv2
- [SPARK-46344] [SC-150267][CORE] Avertissement correct quand un pilote existe effectivement mais qu’il est déconnecté
- [SPARK-46284] [SC-149944][PYTHON][CONNECT] Ajout de la fonction
session_user
à Python - [SPARK-46043] [SC-149786][SQL] Prise en charge de la création de table en utilisant des sources DSv2
- [SPARK-46323] [SC-150191][SQL][PYTHON] Correction du nom en sortie de pyspark.sql.functions.now
- [SPARK-46465] [SC-151059][PYTHON][CONNECT] Ajout de
Column.isNaN
dans PySpark - [SPARK-46456] [SC-151050][CORE] Ajout de
spark.ui.jettyStopTimeout
pour définir le délai d’expiration de l’arrêt du serveur Jetty pour débloquer l’arrêt de SparkContext - [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf : autoriser l’upcast des types d’entiers non signés
- [SPARK-46399] [SC-151013][14.x][Core] Ajout de l’état de sortie à l’événement de fin d’application pour l’utilisation de Spark Listener
- [SPARK-46423] [SC-150752][PYTHON][SQL] Instance de source de données Python au niveau de DataSource.lookupDataSourceV2
- [SPARK-46424] [SC-150765][PYTHON][SQL] Prise en charge des métriques Python dans une source de données Python
- [SPARK-46330] [SC-151015] Chargement des blocs d’interface utilisateur Spark sur une durée longue quand HybridStore est activé
- [SPARK-46378] [SC-150397][SQL] Le tri est toujours supprimé après la conversion de l’agrégat en projet
- [SPARK-45506] [SC-146959][CONNECT] Ajout de la prise en charge de l’URI ivy à SparkConnect addArtifact
- [SPARK-45814] [SC-147871][CONNECT][SQL] ArrowConverters.createEmptyArrowBatch appelle close() pour éviter une fuite de mémoire
- [SPARK-46427] [SC-150759][PYTHON][SQL] Modification de la description de la source de données Python pour la rendre plus explicite
- [SPARK-45597] [SC-150730][PYTHON][SQL] Prise en charge de la création de table en utilisant une source de données Python dans SQL (DSv2 exec)
- [SPARK-46402] [SC-150700][PYTHON] Ajout de la prise en charge de getMessageParameters et de getQueryContext
- [SPARK-46453] [SC-150897][CONNECT] Exception levée depuis
internalError()
dansSessionHolder
- [SPARK-45758] [SC-147454][SQL] Introduction d’un mappeur pour les codecs de compression Hadoop
- [SPARK-46213] [PYTHON] Introduction de
PySparkImportError
pour le framework d’erreurs - [SPARK-46230] [SC-149960][PYTHON] Migration de
RetriesExceeded
dans une erreur PySpark - [SPARK-45035] [SC-145887][SQL] Correction de l’erreur signalée par CorruptFiles/ignoreMissingFiles avec les fichiers CSV/JSON multilignes
- [SPARK-46289] [SC-150846][SQL] Prise en charge de l’ordre des UDT en mode interprété
- [SPARK-46229] [SC-150798][PYTHON][CONNECT] Ajout de applyInArrow à groupBy et cogroup dans Spark Connect
- [SPARK-46420] [SC-150847][SQL] Suppression du transport inutilisé dans SparkSQLCLIDriver
- [SPARK-46226] [PYTHON] Migration de tous les éléments
RuntimeError
restants dans le framework d’erreurs de PySpark - [SPARK-45796] [SC-150613][SQL] Prise en charge de MODE() WITHIN GROUP (ORDER BY colonne)
- [SPARK-40559] [SC-149686][PYTHON][14.X] Ajout de applyInArrow à groupBy et cogroup
- [SPARK-46069] [SC-149672][SQL] Prise en charge du désenveloppement du type timestamp en type date
- [SPARK-46406] [SC-150770][SQL] Affectation d’un nom à la classe d’erreurs _LEGACY_ERROR_TEMP_1023
- [SPARK-46431] [SC-150782][SS] Conversion de
IllegalStateException
eninternalError
dans les itérateurs de session - [SPARK-45807] [SC-150751][SQL] Amélioration de l’API ViewCatalog
- [SPARK-46009] [SC-149771][SQL][CONNECT] Fusion de la règle d’analyse de PercentileCont et PercentileDisc dans functionCall
- [SPARK-46403] [SC-150756][SQL] Décodage des fichiers binaires Parquet avec la méthode getBytesUnsafe
- [SPARK-46389] [SC-150779][CORE] Fermeture manuelle de l’instance de
RocksDB/LevelDB
quandcheckVersion
lève une exception - [SPARK-46360] [SC-150376][PYTHON] Amélioration du débogage des messages d’erreur avec la nouvelle API
getMessage
- [SPARK-46233] [SC-149766][CONNECT][PYTHON] Migration de tous les éléments
AttributeError
restants dans le framework d’erreurs de PySpark - [SPARK-46394] [SC-150599][SQL] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand
spark.sql.legacy.keepCommandOutputSchema
est défini sur true - [SPARK-45964] [SC-148484][SQL] Suppression de l’accesseur SQL privé dans le package XML et JSON sous le package Catalyst
- [SPARK-45856] [SC-148691] Déplacement de ArtifactManager de Spark Connect dans SparkSession (sql/core)
- [SPARK-46409] [SC-150714][CONNECT] Correction du script de lancement spark-connect-scala-client
- [SPARK-46416] [SC-150699][CORE] Ajout de
@tailrec
àHadoopFSUtils#shouldFilterOutPath
- [SPARK-46115] [SC-149154][SQL] Limitation des jeux de caractères dans
encode()
- [SPARK-46253] [SC-150416][PYTHON] Planification de la lecture de la source de données Python en utilisant MapInArrow
- [SPARK-46339] [SC-150266][SS] Un répertoire avec nom de numéro de lot ne doit pas être traité comme journal des métadonnées
- [SPARK-46353] [SC-150396][CORE] Refactorisation pour améliorer la couverture des tests unitaires de
RegisterWorker
- [SPARK-45826] [SC-149061][SQL] Ajout d’une configuration SQL pour les traces de l’arborescence des appels de procédure dans le contexte des requêtes DataFrame
- [SPARK-45649] [SC-150300][SQL] Unification de l’infrastructure de préparation pour OffsetWindowFunctionFrame
- [SPARK-46346] [SC-150282][CORE] Correction du Master pour mettre à jour un Worker de
UNKNOWN
versALIVE
sur le messageRegisterWorker
- [SPARK-46388] [SC-150496][SQL] La protection du modèle de
query.resolved
est manquante dans HiveAnalysis - [SPARK-46401] [SC-150609][CORE][SQL] Utilisation de
!isEmpty()
surRoaringBitmap
au lieu degetCardinality() > 0
dansRemoteBlockPushResolver
- [SPARK-46393] [SC-150603][SQL] Classification des exceptions dans le catalogue des tables JDBC
- [SPARK-45798] [SC-150513][CONNECT] Suivi : Ajout de serverSessionId à SessionHolderInfo
- [SPARK-46153] [SC-146564][SC-150508][SQL] XML : Ajout de la prise en charge de TimestampNTZType
- [SPARK-46075] [SC-150393][CONNECT] Améliorations apportées à SparkConnectSessionManager
- [SPARK-46357] [SC-150596] Remplacement de l’utilisation incorrecte dans la documentation de setConf par conf.set
- [SPARK-46202] [SC-150420][CONNECT] Exposition des nouvelles API ArtifactManager pour prendre en charge les répertoires cibles personnalisés
- [SPARK-45824] [SC-147648][SQL] Application de la classe d’erreurs dans
ParseException
- [SPARK-45845] [SC-148163][SS][UI] Ajout du nombre de lignes d’état supprimées à l’interface utilisateur de streaming
- [SPARK-46316] [SC-150181][SQL] Activation de
buf-lint-action
sur le modulecore
- [SPARK-45816] [SC-147656][SQL] Retour de
NULL
lors d’un dépassement lors du cast de types timestamp en entiers - [SPARK-46333] [SC-150263][SQL] Remplacement de
IllegalStateException
parSparkException.internalError
dans Catalyst - [SPARK-45762] [SC-148486][CORE] Prise en charge des gestionnaires aléatoires définis dans des fichiers JAR utilisateur en changeant l’ordre de démarrage
- [SPARK-46239] [SC-149752][CORE] Masquage des informations de
Jetty
- [SPARK-45886] [SC-148089][SQL] Génération d’une trace d’arborescence des appels de procédure complète dans
callSite
du contexte DataFrame - [SPARK-46290] [SC-150059][PYTHON] Changement de saveMode en un indicateur booléen pour DataSourceWriter
- [SPARK-45899] [SC-148097][CONNECT] Définition de errorClass dans errorInfoToThrowable
- [SPARK-45841] [SC-147657][SQL] Exposition de l’arborescence des appels de procédure par
DataFrameQueryContext
- [SPARK-45843] [SC-147721][CORE] Prise en charge de
killall
dans l’API de soumission REST - [SPARK-46234] [SC-149711][PYTHON] Introduction de
PySparkKeyError
pour le framework d’erreurs de PySpark - [SPARK-45606] [SC-147655][SQL] Restrictions de publication sur le filtre d’exécution multicouche
- [SPARK-45725] [SC-147006][SQL] Suppression du filtre d’exécution de sous-requête IN qui n’est pas la valeur par défaut
- [SPARK-45694] [SC-147314][SPARK-45695][SQL] Nettoyage de l’utilisation de l’API déconseillée
View.force
etScalaNumberProxy.signum
- [SPARK-45805] [SC-147488][SQL]
withOrigin
est désormais plus générique - [SPARK-46292] [SC-150086][CORE][UI] Affichage d’un résumé des Workers dans MasterPage
- [SPARK-45685] [SC-146881][CORE][SQL] Utilisation de
LazyList
à la place deStream
- [SPARK-45888] [SC-149945][SS] Application du framework de classe d’erreurs à la source de données (de métadonnées) d’état
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamed
doit conserver l’ordre dict/map - [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Nettoyages des conversions
SeqOps.view
etArrayOps.view
- [SPARK-46029] [SC-149255][SQL] Mise en échappement du guillemet simple, de
_
et de%
pour le pushdown DS V2 - [SPARK-46275] [SC-150189] Protobuf : Retour de Null en mode permissif quand la désérialisation échoue.
- [SPARK-46320] [SC-150187][CORE] Prise en charge de
spark.master.rest.host
- [SPARK-46092] [SC-149658][SQL] Pas de pushdown des filtres de groupe de lignes Parquet qui font l’objet d’un dépassement
- [SPARK-46300] [SC-150097][PYTHON][CONNECT] Mise en correspondance des comportements mineurs dans Column avec une couverture de test complète
- [SPARK-46298] [SC-150092][PYTHON][CONNECT] Mise en correspondance de l’avertissement d’utilisation déconseillée, du cas de test et de l’erreur de Catalog.createExternalTable
- [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Nettoyage de l’utilisation de l’API déconseillée liée à
StringContext/StringOps/RightProjection/LeftProjection/Either
et à l’utilisation de type deBufferedIterator/CanBuildFrom/Traversable
- [SPARK-33393] [SC-148407][SQL] Prise en charge de SHOW TABLE EXTENDED dans v2
- [SPARK-45737] [SC-147011][SQL] Suppression du
.toArray[InternalRow]
inutile dansSparkPlan#executeTake
- [SPARK-46249] [SC-149797][SS] Verrou d’instance exigé pour acquérir des métriques RocksDB afin d’éviter une concurrence pour les opérations en arrière-plan
- [SPARK-46260] [SC-149940][PYTHON][SQL]
DataFrame.withColumnsRenamed
doit respecter l’ordre de dict - [SPARK-46274] [SC-150043] [SQL] Correction de l’opérateur de plage computeStats() pour vérifier la validité de la longueur avant la conversion
- [SPARK-46040] [SC-149767][SQL][Python] Mise à jour de l’API UDTF pour « analyser » les colonnes de partitionnement/classement afin de prendre en charge les expressions générales
- [SPARK-46287] [SC-149949][PYTHON][CONNECT]
DataFrame.isEmpty
doit fonctionner avec tous les types de données - [SPARK-45678] [SC-146825][CORE] Couverture de BufferReleasingInputStream.available/reset sous tryOrFetchFailedException
- [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Nettoyage de l’utilisation de l’API déconseillée liée à
IterableOnceExtensionMethods
. - [SPARK-43980] [SC-148992][SQL] Introduction de la syntaxe
select * except
- [SPARK-46269] [SC-149816][PS] Activation de plus de tests des fonctions de compatibilité de NumPy
- [SPARK-45807] [SC-149851][SQL] Ajout de createOrReplaceView(..) / replaceView(..) à ViewCatalog
- [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introduction d’une fonction implicite pour les tableaux Scala à inclure dans un wrapper dans
immutable.ArraySeq
. - [SPARK-46205] [SC-149655][CORE] Améliorer des performances de
PersistenceEngine
avecKryoSerializer
- [SPARK-45746] [SC-149359][Python] Retour de messages d’erreur spécifiques si la méthode« analyze » ou « eval » accepte ou retourne des valeurs incorrectes
- [SPARK-46186] [SC-149707][CONNECT] Correction de la transition d’état interdite lors de l’interruption de ExecuteThreadRunner avant le démarrage
- [SPARK-46262] [SC-149803][PS] Activation du test pour
np.left_shift
pour l’objet Pandas-on-Spark. - [SPARK-45093] [SC-149679][CONNECT][PYTHON] Prise en charge correcte de la gestion et de la conversion des erreurs pour AddArtifactHandler
- [SPARK-46188] [SC-149571][Doc][3.5] Correction du CSS des tables générées de la documentation Spark
- [SPARK-45940] [SC-149549][PYTHON] Ajout de InputPartition à l’interface DataSourceReader
- [SPARK-43393] [SC-148301][SQL] Résolution du bogue de dépassement de capacité de l’expression de séquence.
- [SPARK-46144] [SC-149466][SQL] Échec de l’instruction INSERT INTO … REPLACE si la condition contient une sous-requête
- [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Utilisation de
SparkSession.sessionState.conf
à la place deSQLContext.conf
et marquage deSQLContext.conf
comme déconseillé - [SPARK-45760] [SC-147550][SQL] Ajout de l’expression With pour éviter la duplication d’expressions
- [SPARK-43228] [SC-149670][SQL] Les clés de jointure correspondent également à PartitioningCollection dans CoalesceBucketsInJoin
- [SPARK-46223] [SC-149691][PS] Test de SparkPandasNotImplementedError avec nettoyage du code inutilisé
- [SPARK-46119] [SC-149205][SQL] Remplacement de la méthode
toString
pourUnresolvedAlias
- [SPARK-46206] [SC-149674][PS] Utilisation d’une exception d’étendue plus étroite pour le processeur SQL
- [SPARK-46191] [SC-149565][CORE] Amélioration du message d’erreur
FileSystemPersistenceEngine.persist
en cas de fichier existant - [SPARK-46036] [SC-149356][SQL] Suppression de error-class dans la fonction raise_error
- [SPARK-46055] [SC-149254][SQL] Réécriture de l’implémentation des API de base de données du catalogue
- [SPARK-46152] [SC-149454][SQL] XML : Ajout de la prise en charge de DecimalType dans l’inférence de schéma XML
- [SPARK-45943] [SC-149452][SQL] Déplacement de DetermineTableStats vers les règles de résolution
- [SPARK-45887] [SC-148994][SQL] Alignement de l’implémentation de codegen et non-codegen de
Encode
- [SPARK-45022] [SC-147158][SQL] Ajout du contexte pour les erreurs d’API de jeu de données
- [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Remplacement de
toIterator
pariterator
pourIterableOnce
- [SPARK-46141] [SC-149357][SQL] Changement de la valeur par défaut de spark.sql.legacy.ctePrecedencePolicy en CORRECTED
- [SPARK-45663] [SC-146617][CORE][MLLIB] Replacement de
IterableOnceOps#aggregate
parIterableOnceOps#foldLeft
- [SPARK-45660] [SC-146493][SQL] Réutilisation des objets littéraux dans la règle ComputeCurrentTime
- [SPARK-45803] [SC-147489][CORE] Suppression de
RpcAbortException
, qui n’était plus utilisée - [SPARK-46148] [SC-149350][PS] Correction du test pyspark.pandas.mlflow.load_model (Python 3.12)
- [SPARK-46110] [SC-149090][PYTHON] Utilisation des classes d’erreurs dans les modules catalog, conf, connect, observation, pandas
- [SPARK-45827] [SC-149203][SQL] Correction des variantes avec codegen et le lecteur vectorisé désactivé
- [SPARK-46080] Rétablissement de « [SC-149012][PYTHON] Mise à niveau de Cloudpickle vers 3.0.0 »
- [SPARK-45460] [SC-144852][SQL] Replacement de
scala.collection.convert.ImplicitConversions
parscala.jdk.CollectionConverters
- [SPARK-46073] [SC-149019][SQL] Suppression de la résolution spéciale de UnresolvedNamespace pour certaines commandes
- [SPARK-45600] [SC-148976][PYTHON] L’inscription des sources de données Python se fait désormais au niveau de la session
- [SPARK-46074] [SC-149063][CONNECT][SCALA] Détails insuffisants dans le message d’erreur sur l’échec UDF
- [SPARK-46114] [SC-149076][PYTHON] Ajout de PySparkIndexError pour le framework d’erreur
- [SPARK-46120] [SC-149083][CONNECT][PYTHON] Suppression de la fonction d’assistance
DataFrame.withPlan
- [SPARK-45927] [SC-148660][PYTHON] Mise à jour de la gestion des chemins d’accès pour la source de données Python
- [SPARK-46062] [14.x][SC-148991][SQL] Synchronisation de l’indicateur isStreaming entre la définition et la référence CTE
- [SPARK-45698] [SC-146736][CORE][SQL][SS] Nettoyage de l’utilisation de l’API déconseillée liée à
Buffer
- [SPARK-46064] [SC-148984][SQL][SS] Déplacement de EliminateEventTimeWatermark vers l’analyseur et changement pour une prise d’effet seulement sur l’enfant résolu
- [SPARK-45922] [SC-149038][CONNECT][CLIENT] Refactorisation mineure des nouvelles tentatives (suivi de plusieurs stratégies)
- [SPARK-45851] [SC-148419][CONNECT][SCALA] Prise en charge de plusieurs stratégies dans le client Scala
- [SPARK-45974] [SC-149062][SQL] Ajout d’un jugement scan.filterAttributes non vide pour RowLevelOperationRuntimeGroupFiltering
- [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets dans le client Scala Spark Connect
- [SPARK-45136] [SC-146607][CONNECT] Amélioration de ClosureCleaner avec la prise en charge d’Ammonite
- [SPARK-46084] [SC-149020][PS] Refactorisation de l’opération de cast de type de données pour le type Categorical.
- [SPARK-46083] [SC-149018][PYTHON] SparkNoSuchElementException en tant qu’API d’erreur canonique
- [SPARK-46048] [SC-148982][PYTHON][CONNECT] Prise en charge de DataFrame.groupingSets dans Python Spark Connect
- [SPARK-46080] [SC-149012][PYTHON] Mise à niveau de Cloudpickle vers 3.0.0
- [SPARK-46082] [SC-149015][PYTHON][CONNECT] Correction de la représentation sous forme de chaîne de protobuf pour l’API Pandas Functions avec Spark Connect
- [SPARK-46065] [SC-148985][PS] Refactorisation de
(DataFrame|Series).factorize()
pour utilisercreate_map
. - [SPARK-46070] [SC-148993][SQL] Compilation du modèle regex dans SparkDateTimeUtils.getZoneId en dehors de la boucle fréquemment exécutée
- [SPARK-46063] [SC-148981][PYTHON][CONNECT] Amélioration des messages d’erreur liés aux types d’arguments dans cute, rollup, groupby et pivot
- [SPARK-44442] [SC-144120][MESOS] Suppression de la prise en charge de Mesos
- [SPARK-45555] [SC-147620][PYTHON] Inclut un objet déboguable pour l’assertion en échec
- [SPARK-46048] [SC-148871][PYTHON][CONNECT] Prise en charge de DataFrame.groupingSets dans PySpark
- [SPARK-45768] [SC-147304][SQL][PYTHON] faulthandler est désormais une configuration d’exécution pour l’exécution de Python dans SQL
- [SPARK-45996] [SC-148586][PYTHON][CONNECT] Affichage des messages corrects sur les dépendances requises pour Spark Connect
- [SPARK-45681] [SC-146893][UI] Clonage d’une version js de UIUtils.errorMessageCell pour un rendu des erreurs cohérent sur l’interface utilisateur
- [SPARK-45767] [SC-147225][CORE] Suppression de
TimeStampedHashMap
et de son UT - [SPARK-45696] [SC-148864][CORE] Correction de la méthode tryCompleteWith dans la caractéristique de l’objet Promise est déconseillée
- [SPARK-45503] [SC-146338][SS] Ajout d’une configuration à la définition de la compression RocksDB
- [SPARK-45338] [SC-143934][CORE][SQL] Remplacement de
scala.collection.JavaConverters
parscala.jdk.CollectionConverters
- [SPARK-44973] [SC-148804][SQL] Correction de
ArrayIndexOutOfBoundsException
dansconv()
- [SPARK-45912] [SC-144982][SC-148467][SQL] Amélioration de l’API XSDToSchema : Modification de l’API HDFS pour l’accessibilité du stockage cloud
- [SPARK-45819] [SC-147570][CORE] Prise en charge de
clear
dans l’API de soumission REST - [SPARK-45552] [14.x][SC-146874][PS] Introduction de paramètres flexibles pour
assertDataFrameEqual
- [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Ajout d’une interface pour d’autres sources de streaming permettant d’ajouter des colonnes
_metadata
- [SPARK-45929] [SC-148692][SQL] Prise en charge de l’opération groupingSets dans l’API dataframe
- [SPARK-46012] [SC-148693][CORE] EventLogFileReader ne doit pas lire les journaux avec rotation si le fichier d’état de l’application est manquant
- [SPARK-45965] [SC-148575][SQL] Déplacement des expressions de partitionnement DSv2 dans functions.partitioning
- [SPARK-45971] [SC-148541][CORE][SQL] Correction du nom du package de
SparkCollectionUtils
enorg.apache.spark.util
- [SPARK-45688] [SC-147356][SPARK-45693][CORE] Nettoyage de l’utilisation de l’API déconseillée liée à
MapOps
et correction demethod += in trait Growable is deprecated
- [SPARK-45962] [SC-144645][SC-148497][SQL] Suppression de
treatEmptyValuesAsNulls
et utilisation à la place de l’optionnullValue
dans XML - [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Correction des typehints pour gérer
list
GenericAlias dans Python 3.11+ - [SPARK-45999] [SC-148595][PS] Utilisation d’un
PandasProduct
dédié danscumprod
- [SPARK-45986] [SC-148583][ML][PYTHON] Correction de
pyspark.ml.torch.tests.test_distributor
dans Python 3.11 - [SPARK-45994] [SC-148581][PYTHON] Changement de
description-file
endescription_file
- [SPARK-45575] [SC-146713][SQL] Options de voyage dans le temps pour l’API de lecture df
- [SPARK-45747] [SC-148404][SS] Utilisation des informations de clé de préfixe dans les métadonnées d’état pour gérer l’état de la lecture pour l’agrégation des fenêtres de session
- [SPARK-45898] [SC-148213][SQL] Réécriture des API de table de catalogue pour utiliser un plan logique non résolu
- [SPARK-45828] [SC-147663][SQL] Suppression de la méthode déconseillée dans dsl
- [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Mise à niveau de
protobuf
vers 4.25.1 pour prendre en chargePython 3.11
- [SPARK-45911] [SC-148226][CORE] TLS1.3 est désormais la valeur par défaut pour RPC SSL
- [SPARK-45955] [SC-148429][UI] Réduction de la prise en charge pour Flamegraph et les détails de l’image mémoire des threads
- [SPARK-45936] [SC-148392][PS] Optimisation de
Index.symmetric_difference
- [SPARK-45389] [SC-144834][SQL][3.5] Corriger la règle de correspondance de MetaException lors de l’obtention des métadonnées de partition
- [SPARK-45655] [SC-148085][SQL][SS] Expressions non déterministes autorisées au sein de AggregateFunctions dans CollectMetrics
- [SPARK-45946] [SC-148448][SS] Correction de l’utilisation de l’écriture de FileUtils dépréciée pour passer le jeu de caractères par défaut dans RocksDBSuite
- [SPARK-45511] [SC-148285][SS] Source de données d’état – Lecteur
- [SPARK-45918] [SC-148293][PS] Optimisation de
MultiIndex.symmetric_difference
- [SPARK-45813] [SC-148288][CONNECT][PYTHON] Retour des métriques observées depuis les commandes
- [SPARK-45867] [SC-147916][CORE] Prise en charge de
spark.worker.idPattern
- [SPARK-45945] [SC-148418][CONNECT] Ajout d’une fonction d’assistance pour
parser
- [SPARK-45930] [SC-148399][SQL] Prise en charge des fonctions définies par l’utilisateur non déterministes dans MapInPandas/MapInArrow
- [SPARK-45810] [SC-148356][Python] Création d’une API UDTF Python pour arrêter la consommation de lignes de la table d’entrée
- [SPARK-45731] [SC-147929][SQL] Mise à jour également des statistiques de partition avec la commande
ANALYZE TABLE
- [SPARK-45868] [SC-148355][CONNECT] Vérification de l’utilisation par
spark.table
du même analyseur avec Vanilla Spark - [SPARK-45882] [SC-148161][SQL] Le partitionnement de propagation BroadcastHashJoinExec doit respecter CoalescedHashPartitioning
- [SPARK-45710] [SC-147428][SQL] Attribution de noms aux erreurs _LEGACY_ERROR_TEMP_21[59,60,61,62]
- [SPARK-45915] [SC-148306][SQL] Traitement de decimal(x, 0) identique à celui de IntegralType dans
PromoteStrings
- [SPARK-45786] [SC-147552][SQL] Correction des résultats imprécis de la multiplication et de la division décimales
- [SPARK-45871] [SC-148084][CONNECT] Optimisations de la conversion des collections liée à
.toBuffer
dans les modulesconnect
- [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager peut rechercher un sparkcontext arrêté
- [SPARK-45913] [SC-148289][PYTHON] Les attributs internes sont désormais privés dans les erreurs PySpark.
- [SPARK-45827] [SC-148201][SQL] Ajout d’un type de données Variant dans Spark.
- [SPARK-44886] [SC-147876][SQL] Introduction de la clause CLUSTER BY pour CREATE/REPLACE TABLE
- [SPARK-45756] [SC-147959][CORE] Prise en charge de
spark.master.useAppNameAsAppId.enabled
- [SPARK-45798] [SC-147956][CONNECT] Déclaration de l’ID de session côté serveur
- [SPARK-45896] [SC-148091][SQL] Construction de
ValidateExternalType
avec le type attendu correct - [SPARK-45902] [SC-148123][SQL] Suppression de la fonction
resolvePartitionColumns
inutilisée dansDataSource
- [SPARK-45909] [SC-148137][SQL] Suppression du cast de
NumericType
s’il peut faire l’objet d’un up-cast sûr dansIsNotNull
- [SPARK-42821] [SC-147715][SQL] Suppression des paramètres inutilisés dans les méthodes splitFiles
- [SPARK-45875] [SC-148088][CORE] Suppression de
MissingStageTableRowData
dans le modulecore
- [SPARK-45783] [SC-148120][PYTHON][CONNECT] Amélioration des messages d’erreur quand le mode Spark Connect est activé mais que l’URL distante n’est pas définie
- [SPARK-45804] [SC-147529][UI] Configuration de Add spark.ui.threadDump.flamegraphEnabled pour activer/désactiver le graphique Flame
- [SPARK-45664] [SC-146878][SQL] Introduction d’un mappeur pour les codecs de compression orc
- [SPARK-45481] [SC-146715][SQL] Introduction d’un mappeur pour les codecs de compression parquet
- [SPARK-45752] [SC-148005][SQL] Simplification du code pour vérifier les relations CTE non référencées
- [SPARK-44752] [SC-146262][SQL] XML : Mise à jour de la documentation Spark
- [SPARK-45752] [SC-147869][SQL] Les CTE non référencées doivent toutes être vérifiées par CheckAnalysis0
- [SPARK-45842] [SC-147853][SQL] Refactorisation des API de fonctions de catalogue pour utiliser l’analyseur
- [SPARK-45639] [SC-147676][SQL][PYTHON] Prise en charge du chargement des sources de données Python dans DataFrameReader
- [SPARK-45592] [SC-146977][SQL] Problème d’exactitude dans AQE avec InMemoryTableScanExec
- [SPARK-45794] [SC-147646][SS] Introduction de la source de métadonnées d’état pour interroger les informations de métadonnées d’état du streaming
- [SPARK-45739] [SC-147059][PYTHON] Interception de IOException au lieu de EOFException uniquement pour faulthandler
- [SPARK-45677] [SC-146700] Amélioration de la journalisation des erreurs pour l’API Observation
- [SPARK-45544] [SC-146873][CORE] Intégration de la prise en charge de SSL dans TransportContext
- [SPARK-45654] [SC-147152][PYTHON] Ajout de l’API d’écriture de source de données Python
- [SPARK-45771] [SC-147270][CORE] Activation par défaut de
spark.eventLog.rolling.enabled
- [SPARK-45713] [SC-146986][PYTHON] Prise en charge de l’inscription de sources de données Python
- [SPARK-45656] [SC-146488][SQL] Correction de l’observation en cas d’observations nommées portant le même nom sur des jeux de données différents
- [SPARK-45808] [SC-147571][CONNECT][PYTHON] Gestion améliorée des erreurs pour les exceptions SQL
- [SPARK-45774] [SC-147353][CORE][UI] Prise en charge de
spark.master.ui.historyServerUrl
dansApplicationPage
- [SPARK-45776] [SC-147327][CORE] Suppression de la vérification défensive des valeurs Null pour
MapOutputTrackerMaster#unregisterShuffle
ajoutée dans SPARK-39553 - [SPARK-45780] [SC-147410][CONNECT] Propagation de tous les threads clients Spark Connect dans InheritableThread
- [SPARK-45785] [SC-147419][CORE] Prise en charge de
spark.deploy.appNumberModulo
pour effectuer la rotation du numéro d’application - [SPARK-45793] [SC-147456][CORE] Amélioration des codecs de compression intégrés
- [SPARK-45757] [SC-147282][ML] Recalcul de NNZ désormais évité dans Binarizer
- [SPARK-45209] [SC-146490][CORE][UI] Prise en charge des graphiques en flamme pour la page Image mémoire des threads de l’exécuteur
- [SPARK-45777] [SC-147319][CORE] Prise en charge de
spark.test.appId
dansLocalSchedulerBackend
- [SPARK-45523] [SC-146331][PYTHON] Refactorisation de la vérification des valeurs Null pour disposer de raccourcis
- [SPARK-45711] [SC-146854][SQL] Introduction d’un mappeur pour les codecs de compression avro
- [SPARK-45523] [SC-146077][Python] Retour d’un message d’erreur utile si UDTF retourne None pour une colonne non-nullable
- [SPARK-45614] [SC-146729][SQL] Attribution de noms aux erreurs _LEGACY_ERROR_TEMP_215[6,7,8]
- [SPARK-45755] [SC-147164][SQL] Amélioration de
Dataset.isEmpty()
en appliquant une limite globale1
- [SPARK-45569] [SC-145915][SQL] Attribution d’un nom à l’erreur _LEGACY_ERROR_TEMP_2153
- [SPARK-45749] [SC-147153][CORE][WEBUI] Correction de
Spark History Server
pour trier correctement la colonneDuration
- [SPARK-45754] [SC-147169][CORE] Prise en charge de
spark.deploy.appIdPattern
- [SPARK-45707] [SC-146880][SQL] Simplification de
DataFrameStatFunctions.countMinSketch
avecCountMinSketchAgg
- [SPARK-45753] [SC-147167][CORE] Prise en charge de
spark.deploy.driverIdPattern
- [SPARK-45763] [SC-147177][CORE][UI] Amélioration de
MasterPage
pour afficher la colonneResource
seulement quand elle existe - [SPARK-45112] [SC-143259][SQL] Utilisation de la résolution basée sur UnresolvedFunction dans les fonctions de jeu de données SQL
Prise en charge du pilote ODBC/JDBC Databricks
Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).
Mises à jour de maintenance
Consultez Mises à jour de maintenance de Databricks Runtime 14.3. Ceci est commenté lors de la version initiale.
Environnement du système
- Système d’exploitation : Ubuntu 22.04.3 LTS
- Java : Zulu 8.74.0.17-CA-linux64
- Scala : 2.12.15
- Python : 3.10.12
- R : 4.3.1
- Delta Lake : 3.1.0
Bibliothèques Python installées
Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
---|---|---|---|---|---|
anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | click | 8.0.4 | comm | 0.1.2 |
contourpy | 1.0.5 | chiffrement | 39.0.1 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0,4 |
en cours d’exécution | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
filelock | 3.13.1 | fonttools | 4.25.0 | googleapis-common-protos | 1.62.0 |
grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
notebook | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
oauthlib | 3.2.0 | empaquetage | 23,2 | pandas | 1.5.3 |
pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 8.0.0 | pyarrow-hotfix | 0,5 | pycparser | 2.21 |
pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
requêtes | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
six | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.14 |
virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
zipp | 1.0.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.
Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
---|---|---|---|---|---|
flèche | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
bit | 4.0.5 | bit64 | 4.0.5 | objet BLOB | 1.2.4 |
boot | 1.3-28 | brew | 1,0-8 | brio | 1.1.3 |
broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
clipr | 0.8.0 | horloge | 0.7.0 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
curl | 5.0.1 | data.table | 1.14.8 | jeux de données | 4.3.1 |
DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
devtools | 2.4.5 | diagramme | 1.6.5 | diffobj | 0.3.5 |
digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
evaluate | 0,21 | fansi | 1.0.4 | farver | 2.1.1 |
fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
foreach | 1.5.2 | foreign | 0.8-85 | forge | 0.2.0 |
fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
lava | 1.7.2.1 | cycle de vie | 1.0.3 | listenv | 0.9.0 |
lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
MASS | 7.3-60 | Matrice | 1.5-4.1 | memoise | 2.0.1 |
méthodes | 4.3.1 | mgcv | 1.8-42 | mime | 0,12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
rmarkdown | 2,23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0,45 |
tools | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
zip | 2.3.0 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
ID de groupe | ID d’artefact | Version |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | flux | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.13.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 natifs |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 natifs |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 natifs |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 natifs |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0,25 |
io.delta | delta-sharing-client_2.12 | 1.0.3 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | collecteur | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | arrow-format | 12.0.1 |
org.apache.arrow | arrow-memory-core | 12.0.1 |
org.apache.arrow | arrow-memory-netty | 12.0.1 |
org.apache.arrow | arrow-vector | 12.0.1 |
org.apache.avro | avro | 1.11.2 |
org.apache.avro | avro-ipc | 1.11.2 |
org.apache.avro | avro-mapred | 1.11.2 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
org.apache.logging.log4j | log4j-api | 2.20.0 |
org.apache.logging.log4j | log4j-core | 2.20.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.0 |
org.roaringbitmap | RoaringBitmap | 0.9.45 |
org.roaringbitmap | shims | 0.9.45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |