Partager via

Databricks Runtime 15.4 LTS (bêta)

  • Article

Important

Databricks Runtime 15.4 LTS est en version bêta. Le contenu des environnements pris en charge peut changer pendant la version bêta. Les modifications peuvent inclure la liste des packages ou des versions de packages installés.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.4 LTS, technologie Apache Spark 3.5.0.

Modifications de comportement

Basculer vers le mode de liaison de schéma par défaut pour les vues

Les vues s’adaptent désormais aux modifications de schéma dans la requête sous-jacente à l’aide de la compensation de schéma avec des règles de cast régulières. Il s’agit d’un changement par rapport au mode par défaut précédent (BINDING), qui levait des erreurs lorsqu’un cast sécurisé ne pouvait pas être effectué lors du référencement de la vue.

Voir CREATE VIEW et cast, fonction.

Interdire l’utilisation de la syntaxe non documentée ! à la place de NOT en dehors des expressions booléennes

Avec cette version, l’utilisation de ! comme synonyme de NOT en dehors des expressions booléennes n’est plus autorisée. Par exemple, des instructions telles que les suivantes : CREATE ... IF ! EXISTS, IS ! NULL, une propriété de champ ou colonne ! NULL, ! IN et ! BETWEEN, doivent être remplacées par : CREATE ... IF NOT EXISTS, IS NOT NULL, une propriété de champ ou colonne NOT NULL, NOT IN et NOT BETWEEN.

Ce changement garantit la cohérence, s’aligne sur la norme SQL, et rend votre code SQL plus portable.

L’opérateur de préfixe booléen ! (par exemple, !is_mgr ou !(true AND false)) n’est pas affecté par ce changement.

Interdire la syntaxe de définition de colonne non documentée dans les vues

Databricks prend en charge CREATE VIEW avec des colonnes nommées et des commentaires de colonne. Auparavant, la spécification des types de colonnes, contraintes NOT NULL, ou DEFAULT, était autorisée. Avec cette version, vous ne pouvez plus utiliser cette syntaxe.

Ce changement garantit la cohérence, s’aligne sur la norme SQL, et prend en charge les améliorations futures.

Gestion cohérente des erreurs pour le décodage Base64 dans Spark et Photon

Cette version modifie la façon dont Photon gère les erreurs de décodage Base64 pour qu’elles correspondent à la gestion Spark de ces erreurs. Avant ces modifications, le chemin de génération de code Photon et Spark ne parvenait parfois pas à déclencher des exceptions d’analyse, tandis que l’exécution interprétée par Spark déclenchait correctement IllegalArgumentException ou ConversionInvalidInputError. Cette mise à jour garantit que Photon déclenche constamment les mêmes exceptions que Spark pendant les erreurs de décodage Base64, ce qui fournit une gestion des erreurs plus prévisible et fiable.

L’ajout d’une contrainte CHECK sur une colonne non valide retourne maintenant la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION

Pour fournir une messagerie d’erreur plus utile, dans Databricks Runtime 15.3 et versions ultérieures, une instruction ALTER TABLE ADD CONSTRAINT qui inclut une contrainte CHECK référençant un nom de colonne non valide retourne la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, une erreur INTERNAL_ERROR était retournée.

Améliorations et nouvelles fonctionnalités

API de jeu de données typées avec des fonctions définies par l’utilisateur Scala

Ajout de la prise en charge des API de jeu de données typées avec des fonctions définies par l’utilisateur Scala (à l’exclusion des fonctions UDAF) sur des clusters compatibles avec Unity Catalog avec le mode d’accès partagé. Consultez API de jeu de données typé.

Activer UniForm Iceberg en utilisant ALTER TABLE

Vous pouvez désormais activer UniForm Iceberg sur des tables existantes sans réécrire les fichiers de données. Consultez Activer en modifiant une table existante.

try_url_decode function

Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée en URL. Si la chaîne n’est pas au format correct, la fonction retourne NULL au lieu de lever une erreur.

Autoriser éventuellement l’optimiseur à s’appuyer sur des contraintes de clé étrangère non appliquées

Pour améliorer les performances des requêtes, vous pouvez désormais spécifier le mot clé RELY sur les contraintes FOREIGN KEY lorsque vous exécutez CREATE ou ALTER sur une table.

Exécutions de travaux parallélisées pour les remplacements sélectifs

Les remplacements sélectifs à l’aide de replaceWhere exécutent désormais des travaux qui suppriment les données et insèrent de nouvelles données en parallèle, ce qui améliore les performances des requêtes et l’utilisation du cluster.

Amélioration des performances pour le flux des changements de données avec des remplacements sélectifs

Les remplacements sélectifs à l’aide de replaceWhere sur les tables avec flux des changements de données n’écrivent plus de fichiers de changements de données distincts pour les données insérées. Ces opérations utilisent une colonne masquée _change_type présente dans les fichiers de données Parquet sous-jacents pour enregistrer les changements sans amplification d’écriture.

Latence de requête améliorée pour la commande COPY INTO

Cette version inclut une modification qui améliore la latence de requête pour la commande COPY INTO. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le magasin d’états RocksDB. Avec ce changement, vous devez constater une amélioration de la durée de démarrage pour les requêtes avec des états volumineux, telles que les requêtes avec un grand nombre de fichiers déjà ingérés.

Prise en charge de la suppression de la fonctionnalité de table de contraintes de vérification

Vous pouvez désormais supprimer la fonctionnalité de table checkConstraints d’une table Delta en utilisant ALTER TABLE table_name DROP FEATURE checkConstraints. Consultez Désactiver des contraintes de validation.

Le calcul mono-utilisateur prend en charge le contrôle d’accès affiné, les vues matérialisées et les tables de streaming (préversion publique)

Lorsqu’un espace de travail est activé pour le calcul serverless, Databricks Runtime 15.4 LTS ajoute la prise en charge du contrôle d’accès affiné sur le calcul mono-utilisateur. Lorsqu’une requête accède à l’un des objets suivants, la ressource de calcul mono-utilisateur sur Databricks Runtime 15.4 LTS transmet la requête au calcul serverless pour exécuter le filtrage des données :

  • Vues définies sur des tables sur lesquelles l’utilisateur n’a pas le privilège SELECT.
  • Vues dynamiques.
  • Tableaux avec des filtres de lignes ou des masques de colonne appliqués.
  • Vues matérialisées et tables de streaming.

Ces requêtes ne sont pas prises en charge sur le calcul mono-utilisateur exécutant Databricks Runtime 15.3 et versions antérieures.

Pour plus d’informations, consultez Contrôle d’accès affiné sur le calcul mono-utilisateur.

Prise en charge étendue des bibliothèques Java et Scala

À compter de Databricks Runtime 15.4 LTS, toutes les bibliothèques Java et Scala groupées avec Databricks Runtime sont disponibles dans tous les modes d’accès au calcul lorsque vous utilisez Unity Catalog. Pour en savoir plus sur la prise en charge du langage sur le calcul compatible avec Unity Catalog, consultez Limitations du mode d’accès au calcul pour Unity Catalog.

Prise en charge étendue des opérations de jeu de données Scala

Avec cette version, les ressources de calcul activées pour Unity Catalog qui utilisent le mode d’accès partagé prennent en charge les opérations de Dataset Scala suivantes : map, mapPartitions, foreachPartition, flatMap, reduce et filter.

Scala est en disponibilité générale sur le calcul partagé Unity Catalog

Avec cette version, Scala est en disponibilité générale sur le calcul compatible avec Unity Catalog en mode d’accès partagé, avec notamment la prise en charge des fonctions scalaires définies par l’utilisateur. Les fonctions d’agrégation définies par l’utilisateur Hive, les fonctions définies par l’utilisateur Hive et Structured Streaming ne sont pas pris en charge. Pour obtenir la liste complète des limitations, consultez Limitations du mode d’accès du calcul pour Unity Catalog.

Résolution des bogues

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • azure-core de 1.30.1 vers 1.30.2
    • google-auth de 2.29.0 vers 2.31.0
    • google-cloud-storage de 2.16.0 vers 2.17.0
    • google-resumable-media de 2.7.0 vers 2.7.1
    • googleapis-common-protos de 1.63.0 vers 1.63.2
    • mlflow-skinny de 2.11.3 vers 2.11.4
    • proto-plus de 1.23.0 vers 1.24.0
    • s3transfer de 0.10.1 vers 0.10.2
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • com.databricks.databricks-sdk-java de 0.17.1 vers 0.27.0
    • com.ibm.icu.icu4j de 72.1 vers 75.1
    • io.delta-sharing-client_2.12 de 1.0.5 à 1.1.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 vers 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 15.3 ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-49054] [DBRRM-1153][SQL] La valeur par défaut de colonne doit prendre en charge les fonctions current_*
  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Autoriser le regroupement sur les expressions dans les sous-requêtes scalaires, s’ils sont liés à des lignes externes
  • [SPARK-48873] [SC-171061][SQL] Utilisation de UnsafeRow dans l’analyseur JSON.
  • [SPARK-48834] [BEHAVE-79][SC-170972][SQL] Désactivation de l’entrée/sortie de variante vers les fonctions définies par l’utilisateur scalaire python, les fonctions UDTF et les fonctions UDAF lors de la compilation des requêtes
  • [SPARK-48441] [SC-170980][SQL][WARMFIX] Correction du comportement stringTrim pour les classements non UTF8_BINARY
  • [SPARK-48440] [SC-170895][SQL][WARMFIX] Correction du comportement stringTranslate pour les classements non UTF8_BINARY
  • [SPARK-48872] [SC-170866][PYTHON] Réduction de la surcharge de _capture_call_site
  • [SPARK-48862] [SC-170845][PYTHON][CONNECT] Éviter d’appeler _proto_to_string lorsque le niveau INFO n’est pas activé
  • [SPARK-48852] [SC-170837][CONNECT] Correction de la fonction de troncature de chaîne dans connect
  • [SPARK-48791] [SC-170658][CORE] Correction de la régression perf provoquée par la surcharge d’inscription d’accumulateurs à l’aide de CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Prise en charge de la variable d’environnement SPARK_SQL_LEGACY_CREATE_HIVE_TABLE
  • [SPARK-48241] [SC-165811][SQL] Échec d’analyse CSV avec des colonnes de type char/varchar
  • [SPARK-48168] [SC-166900][SQL] Ajout de la prise en charge des opérateurs de décalage au niveau du bit
  • [SPARK-48148] [SC-165630][CORE] Les objets JSON ne doivent pas être modifiés lorsqu’ils sont lus en tant que CHAÎNE
  • [SPARK-46625] [SC-170561] CTE avec clause Identifier en tant que référence
  • [SPARK-48771] [SC-170546][SQL] Accélération de LogicalPlanIntegrity.validateExprIdUniqueness pour les plans de requête volumineux
  • [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Le nom de colonne par défaut de cast est désormais compatible avec Spark Classic
  • [SPARK-48623] [SC-170544][CORE] Migrations de journalisations structurées [Partie 2]
  • [SPARK-48296] [SC-166138][SQL] Prise en charge de Codegen pour to_xml
  • [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter pour la jointure à plusieurs niveaux doit vérifier le type de jointure enfant
  • [SPARK-46957] [SC-169807][CORE][15.x][15.3][15.2] La mise hors service des fichiers aléatoires migrés doit être en mesure de nettoyer à partir de l’exécuteur
  • [SPARK-48686] [SC-170365][SQL] Amélioration des performances de ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588][PYTHON] Introduction de spark.profile.render pour le profilage basé sur SparkSession
  • [SPARK-48048] [SC-169099] Rétablissement de « [SC-164846][CONNECT][SS] Ajout de la prise en charge de l’écouteur côté client pour Scala »
  • [SPARK-47910] [SC-168929][CORE] Fermeture du flux lorsque DiskBlockObjectWriter closeResources pour éviter la fuite de mémoire
  • [SPARK-48816] [SC-170547][SQL] Raccourci pour les convertisseurs d’intervalle dans UnivocityParser
  • [SPARK-48589] [SC-170132][SQL][SS] Ajout d’options snapshotStartBatchId et snapshotPartitionId à la source de données d’état
  • [SPARK-48280] [SC-170293][SQL] Amélioration de la surface de test de classement à l’aide du parcours d’expressions
  • [SPARK-48837] [SC-170540][ML] Dans CountVectorizer, lecture du paramètre binaire une seule fois par transformation, et non une fois par ligne
  • [SPARK-48803] [SC-170541][SQL] Levée d’une erreur interne dans orc(De)serializer pour s’aligner sur ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON] Filtrage des images liées à IPython à partir de la pile utilisateur
  • [SPARK-48818] [SC-170414][PYTHON] Simplification des fonctions percentile
  • [SPARK-48479] [SC-169079][SQL] Prise en charge de la création de fonctions SQL définies par l’utilisateur scalaires et table dans l’analyseur
  • [SPARK-48697] [SC-170122][LC-4703][SQL] Ajout de filtres de chaîne prenant en charge le classement
  • [SPARK-48800] [SC-170409][CONNECT][SS] Exécution d’opération « deflake » sur ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][SQL] Correction depuis la version pour l’alias de fonction intégré random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
  • [SPARK-48638] [SC-169575][CONNECT] Ajout de la prise en charge d’ExecutionInfo pour DataFrame
  • [SPARK-48064] [SC-164697][SQL] Mettre à jour les messages d’erreur pour les classes d’erreur liées à la routine
  • [SPARK-48810] [CONNECT] L’API de session stop() doit être idempotente et ne pas échouer si la session est déjà fermée par le serveur
  • [SPARK-48650] [15.x][PYTHON] Affichage du site d’appel correct à partir du notebook IPython
  • [SPARK-48271] [SC-166076][SQL] Conversion de l’erreur de correspondance dans RowEncoder en UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] Correction de l’incompatibilité de résolution de type varchar pour DataSourceV2 CTAS
  • [SPARK-48792] [SC-170335][SQL] Correction de la régression pour INSERT avec une liste de colonnes partielle sur une table avec char/varchar
  • [SPARK-48767] [SC-170330][SQL] Correction de certaines invites d’erreur lorsque les données de type variant ne sont pas valides
  • [SPARK-48719] [SC-170339][SQL] Correction du bogue de calcul de RegrSlope et RegrIntercept lorsque le premier paramètre a la valeur Null
  • [SPARK-48815] [SC-170334][CONNECT] Mise à jour de l’environnement lors de l’arrêt de la session de connexion
  • [SPARK-48646] [SC-169020][PYTHON] Affinage de la documentation de l’API de source de données Python et des indicateurs de type
  • [SPARK-48806] [SC-170310][SQL] Transmission de l’exception réelle en cas d’échec de url_decode
  • [SPARK-48653] [SC-169267][PYTHON] Correction des références de classe d’erreur de source de données Python non valides
  • [SPARK-47777] [SC-168818] Correction du test de connexion à la source de données de streaming Python
  • [SPARK-48732] [SC-169793][SQL] Nettoyage de l’utilisation déconseillée de l’API liée à JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL] Correction de la table de cache avec une colonne compilée
  • [SPARK-48623] [SC-169034][CORE] Migrations de journalisation structurée
  • [SPARK-48655] [SC-169542][SQL] SPJ : Ajout de tests pour ignorer la lecture aléatoire pour les requêtes d’agrégation
  • [SPARK-48586] [SC-169808][SS] Suppression de l’acquisition de verrous dans doMaintenance() en effectuant une copie approfondie des mappages de fichiers dans RocksDBFileManager dans load()
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] Refactorisation du contrôle de version pour la lecture/écriture des métadonnées d’opérateur et les appelants
  • [SPARK-48808] [SC-170309][SQL] Correction de NPE lors de la connexion de thriftserver via Hive 1.2.1 lorsque le schéma de résultat est vide
  • [SPARK-48715] [SC-170291][SQL] Intégration de la validation UTF8String dans les implémentations de fonction de chaîne prenant en charge le classement
  • [SPARK-48747] [SC-170120][SQL] Ajout d’un itérateur de point de code à UTF8String
  • [SPARK-48748] [SC-170115][SQL] Mise en cache de numChars dans UTF8String
  • [SPARK-48744] [SC-169817][Core] L’entrée de journal ne doit être construite qu’une seule fois
  • [SPARK-46122] [SC-164313][SQL] Définition de spark.sql.legacy.createHiveTableByDefault sur false par défaut
  • [SPARK-48765] [SC-170119][DEPLOY] Amélioration de l’évaluation des valeurs par défaut pour SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][SQL] Ajout d’un document de migration pour le changement de comportement de CREATE TABLE AS SELECT depuis Spark 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] Propagation du schéma mis en cache dans les opérations de DataFrame
  • [SPARK-48766] [SC-170126][PYTHON] Documentation de la différence de comportement de extraction entre element_at et try_element_at
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT] Ne doit pas mettre explain en cache
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] Passage aux métadonnées de l’opérateur de lecture une fois sur le pilote, afin de vérifier si nous pouvons trouver des informations pour numColsPrefixKey utilisées pour les requêtes d’agrégation de fenêtre de session
  • [SPARK-48656] [SC-169529][CORE] Exécution d’une vérification de longueur et levée de l’erreur COLLECTION_SIZE_LIMIT_EXCEEDED dans CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL] Introduction d’un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
  • [SPARK-48472] [SC-169044][SQL] Activation des expressions de réflexion avec les chaînes classées
  • [SPARK-48699] [SC-169597][SQL] Affinage de l’API de classement
  • [SPARK-48682] [SC-169812][SQL][BEHAVE-58] Utilisation d’ICU dans l’expression InitCap pour les chaînes UTF8_BINARY
  • [SPARK-48282] [SC-169813][SQL] Modification de la logique de recherche de chaîne pour le classement UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][SQL] Activation de la prise en charge du classement pour l’expression Mode
  • [SPARK-48320] [SPARK-48490] Synchronisation de la dernière caractéristique de journalisation et des cas de test à partir d’OSS Spark
  • [SPARK-48629] [SC-169479] Migration du code résiduel vers un framework de journalisation structurée
  • [SPARK-48681] [SC-169469][SQL][BEHAVE-58] Utilisation d’ICU dans l’expression inférieures/supérieures pour les chaînes UTF8_BINARY
  • [SPARK-48573] [15.x][SC-169582][SQL] Mise à niveau de la version d’ICU
  • [SPARK-48687] [Backport][15.x][SS] Ajout d’une modification pour effectuer la validation du schéma d’état et la mise à jour sur le pilote pour les requêtes avec état
  • [SPARK-47579] [15.x][SC-167310][CORE][PART4] Migration de logInfo avec des variables vers un framework de journalisation structurée
  • [SPARK-48008] [SC-167363][1/2] Prise en charge des fonctions UDAF dans Spark Connect
  • [SPARK-48713] [SQL] Ajout d’une vérification de plage d’index pour UnsafeRow.pointTo lorsque baseObject est un tableau d’octets
  • [SPARK-48718] [ES-1159458][SC-169581][SQL] Gestion et correction du cas où le désérialiseur dans le cogroupe est résolu pendant l’application de la règle DeduplicateRelation
  • [SPARK-48578] [SC-169505][SQL] Ajout de fonctions associées à la validation de chaîne UTF8
  • [SPARK-48670] [SC-169598][SQL] Fourniture d’une suggestion dans le cadre d’un message d’erreur lorsque un nom de classement non valide est donné
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA… … RK-48291] Framework de journal structuré côté java
  • [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib : Migration de logWarn avec des variables vers un framework de journalisation structurée
  • [SPARK-48705] [SC-169590][PYTHON] Utilisation explicite de worker_main quand il démarre par pyspark
  • [SPARK-48706] [SC-169589][PYTHON] Les fonctions définies par l’utilisateur Python dans les fonctions d’ordre supérieur ne doivent pas lever d’erreur interne
  • [SPARK-48498] [BEHAVE-38][SC-168060][SQL] Toujours faire le remplissage de caractères dans les prédicats
  • [SPARK-48662] [SC-169533][SQL] Correction de l’expression StructsToXml avec des classements
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates et dropDuplicatesWIthinWatermark doivent accepter des arguments de longueur variable
  • [SPARK-48678] [SC-169463][CORE] Optimisations des performances pour SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Renommage de UTF8_BINARY_LCASE en UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL] : Correction de l’attribut de nullabilité dans le décodeur UDF
  • [SPARK-47579] [SC-165297][CORE][PART1] Migration de logInfo avec des variables vers un framework de journalisation structurée (nouveau)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal Ne pas utiliser les méthodes déconseillées
  • [SPARK-48431] [SC-167290][LC-4066][SQL] Ne pas transférer les prédicats sur les colonnes classées aux lecteurs de fichiers
  • [SPARK-47579] Rétablissement de « [SC-165297][CORE][PART1] Migration de logInfo avec des variables vers un framework de journalisation structurée »
  • [SPARK-47585] [SC-164306][SQL] SQL core : Migration de logInfo avec des variables vers un framework de journalisation structurée
  • [SPARK-48466] [SC-169042][SQL] Création d’un nœud dédié pour EmptyRelation dans AQE
  • [SPARK-47579] [SC-165297][CORE][PART1] Migration de logInfo avec des variables vers un framework de journalisation structurée
  • [SPARK-48410] [SC-168320][SQL] Correction de l’expression InitCap pour les classements UTF8_BINARY_LCASE & ICU
  • [SPARK-48318] [SC-167709][SQL] Activation de la prise en charge des jointures de hachage pour tous les classements (types complexes)
  • [SPARK-48435] [SC-168128][SQL] Le classement UNICODE ne doit pas prendre en charge l’égalité binaire
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Prise en charge de l’utilisation de colonnes en tant que paramètres pour plusieurs fonctions dans pyspark/scala
  • [SPARK-48591] [SC-169081][PYTHON] Ajout d’une fonction d’assistance pour simplifier Column.py
  • [SPARK-48574] [SC-169043][SQL] Correction de la prise en charge des StructTypes avec classements
  • [SPARK-48305] [SC-166390][SQL] Ajout de la prise en charge du classement pour les expressions CurrentLike
  • [SPARK-48342] [SC-168941][SQL] Introduction de l’analyseur de script SQL
  • [SPARK-48649] [SC-169024][SQL] Ajout de configurations « ignoreInvalidPartitionPaths » et « spark.sql.files.ignoreInvalidPartitionPaths » pour permettre d’ignorer les chemins de partition non valides
  • [SPARK-48000] [SC-167194][SQL] Activation de la prise en charge de la jointure de hachage pour tous les classements (StringType)
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON] Implémentation de DataFrameQueryContext dans Spark Connect
  • [SPARK-48602] [SC-168692][SQL] Le générateur csv prend en charge un style de sortie différent avec spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][SQL] Modification de la comparaison de chaînes pour UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830] Refactorisation [SQL] : utilisation d’idMap auxiliaire au lieu de OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] Éviter d’initialiser statiquement le threadpool sur ExecutePlanResponseReattachableIterator
  • [SPARK-48648] [SC-168932][PYTHON][CONNECT] SparkConnectClient.tags est correctement threadlocal
  • [SPARK-47911] [SC-164658][SQL] Introduction d’un BinaryFormatter universel pour rendre la sortie binaire cohérente
  • [SPARK-48642] [SC-168889][CORE] Fausse erreur SparkOutOfMemoryError provoquée par l’arrêt de tâche en cas de débordement
  • [SPARK-48572] [SC-168844][SQL] Correction des expressions DateSub, DateAdd, WindowTime, TimeWindow et SessionWindow
  • [SPARK-48600] [SC-168841][SQL] Correction du cast implicite des expressions FrameLessOffsetWindowFunction
  • [SPARK-48644] [SC-168933][SQL] Exécution d’une vérification de longueur et levée de l’erreur COLLECTION_SIZE_LIMIT_EXCEEDED dans Hex.hex
  • [SPARK-48587] [SC-168824][VARIANT] Éviter l’amplification du stockage lors de l’accès à un sous-variant
  • [SPARK-48647] [SC-168936][PYTHON][CONNECT] Affinage du message d’erreur pour YearMonthIntervalType dans df.collect
  • [SPARK-48307] [SC-167802][SQL] InlineCTE doit conserver les relations non incorporées dans le nœud WithCTE d’origine
  • [SPARK-48596] [SC-168581][SQL] Amélioration des performances pour calculer la chaîne hexadécimale pour long
  • [SPARK-48621] [SC-168726][SQL] Correction de la simplification Like dans l’optimiseur pour les chaînes classées
  • [SPARK-47148] [SC-164179][SQL] Éviter de matérialiser AQE ExchangeQueryStageExec lors de l’annulation
  • [SPARK-48584] [SC-168579][SQL] Amélioration des performances pour unescapePathName
  • [SPARK-48281] [SC-167260][SQL] Modification de la logique de recherche de chaîne pour le classement UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] Remplacement de séquence d’octets UTF-8 non valide
  • [SPARK-48595] [SC-168580][CORE] Nettoyage de l’utilisation déconseillée de l’API liée à commons-compress
  • [SPARK-48030] [SC-164303][SQL] SPJ : mise en cache de rowOrdering et structType pour InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL] Ajout de la caractéristique WriteFilesExecBase pour l’écriture v1
  • [SPARK-48551] [SC-168438][SQL] Amélioration des performances pour escapePathName
  • [SPARK-48565] [SC-168437][INTERFACE UTILISATEUR] Correction de l’affichage de vidage de thread dans l’interface utilisateur
  • [SPARK-48364] [SC-166782][SQL] Ajout d’un cast de type AbstractMapType et correction du mappage de paramètres RaiseError pour fonctionner avec des chaînes classées
  • [SPARK-48421] [SC-168689][SQL] SPJ : Ajout de documentation
  • [SPARK-48604] [SC-168698][SQL] Remplacement de l’appel de méthode new ArrowType.Decimal(precision, scale) déconseillé
  • [SPARK-46947] [SC-157561][CORE] Retardement de l’initialisation du gestionnaire de mémoire jusqu’à ce que le plug-in Driver soit chargé
  • [SPARK-48411] [SC-168576][SS][PYTHON] Ajout d’un test E2E pour DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][SS] Suivi des échecs de validation de ligne d’état à l’aide d’une classe d’erreur explicite
  • [SPARK-48221] [SC-167143][SQL] Modification de la logique de recherche de chaîne pour le classement UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][SQL] Ajout de la prise en charge du classement pour expression Levenshtein
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT] Correction de la représentation sous forme de chaîne de fonction lambda
  • [SPARK-48622] [SC-168710][SQL] Obtention de SQLConf une fois lors de la résolution des noms de colonnes
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT] Renommage du champ parent en child dans ColumnAlias
  • [SPARK-48403] [SC-168319][SQL] Correction des expressions supérieures et inférieures pour les classements UTF8_BINARY_LCASE & ICU
  • [SPARK-48162] [SC-166062][SQL] Ajout de la prise en charge du classement pour les expressions MISC
  • [SPARK-48518] [SC-167718][CORE] La compression LZF peut s’exécuter en parallèle
  • [SPARK-48474] [SC-167447][CORE] Correction du nom de classe du journal dans SparkSubmitArguments et SparkSubmit
  • [SPARK-48012] [SC-168267][SQL] SPJ : Prise en charge des expressions de transformation pour lecture aléatoire d’un côté
  • [SPARK-48552] [SC-168212][SQL] L’inférence de schéma CSV à plusieurs lignes doit également lever FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] StreamingQueryListener.spark peut être défini
  • [SPARK-48569] [SC-168321][SS][CONNECT] Gestion des cas de périphérie dans query.name
  • [SPARK-48544] [SC-168323][SQL] Réduction de la sollicitation de la mémoire des TreeNode BitSets vides
  • [SPARK-47260] [SC-167323][SQL] Attribution de noms à la classe d’erreur _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] Propagation du schéma mis en cache dans les opérations de définition
  • [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation pour la jointure doit vérifier si l’enfant restant est uniquement BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE] Les noms courts des codecs de compression ne respectent pas la casse, à l’exception de la journalisation des événements
  • [SPARK-48447] [SC-167607][SS] Vérification de la classe du fournisseur du magasin d’états avant d’appeler le constructeur
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff et DateTimeUtils.timestampAdd ne doivent pas lever l’exception INTERNAL_ERROR
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] Ajout d’une classe d’erreur pour la compatibilité du schéma d’état et refactorisation mineure
  • [SPARK-48413] [SC-167669][SQL] ALTER COLUMN avec classement
  • [SPARK-48561] [SC-168250][PS][CONNECT] Levée de PandasNotImplementedError pour les fonctions de traçage non prises en charge
  • [SPARK-48465] [SC-167531][SQL] Éviter la propagation de relation vide sans opération
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT] Mise en cache de propriétés supplémentaires
  • [SPARK-48540] [SC-168069][CORE] Éviter les paramètres de chargement de sortie ivy dans stdout
  • [SPARK-48535] [SC-168057][SS] Mise à jour des documents de configuration pour indiquer la possibilité d’un problème de perte/altération des données si la capacité à ignorer les valeurs Null pour la configuration des jointures flux-flux est activée
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT] Mise en cache du schéma spécifié par l’utilisateur dans applyInPandas et applyInArrow
  • [SPARK-47873] [SC-163473][SQL] Écriture des chaînes compilées dans le metastore Hive à l’aide du type de chaîne standard
  • [SPARK-48461] [SC-167442][SQL] Remplacement de NullPointerExceptions par une classe d’erreur dans l’expression AssertNotNull
  • [SPARK-47833] [SC-163191][SQL][CORE] Fourniture d’une pile d’appelants pour checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [SC-163146][SQL] Port HIVE-12270 : Ajout de la prise en charge de DBTokenStore au jeton de délégation HS2
  • [SPARK-47578] [SC-167497][R] Migration de RPackageUtils avec des variables vers un framework de journalisation structurée
  • [SPARK-47875] [SC-162935][CORE] Suppression de spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE] Définition de spark.hadoop.fs.s3a.connection.establish.timeout sur 30 secondes s’il est manquant
  • [SPARK-47972] [SC-167692][SQL] Restriction de l’expression CAST pour les classements
  • [SPARK-48430] [SC-167489][SQL] Correction de l’extraction de valeurs de carte lorsque la carte contient des chaînes classées
  • [SPARK-47318] [SC-162712][CORE][3.5] Ajout de l’arrondi HKDF à la dérivation de clé AuthEngine pour suivre les pratiques KEX standard
  • [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Correction des sous-requêtes scalaires non valides avec group-by ou des colonnes non équivalentes qui ont été incorrectement autorisées
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON] Mise en cache du schéma spécifié par l’utilisateur dans DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS] Correction d’un bogue dans Windows où le démarrage de plusieurs instances Spark au cours de la même seconde provoque un échec
  • [SPARK-45891] [SC-167608] Rétablissement de « Décrire le schéma de déchiquetage pour variant »
  • [SPARK-48391] [SC-167554][CORE] Utilisation de la fonction addAll au lieu de add dans la méthode fromAccumulatorInfos de la classe TaskMetrics
  • [SPARK-48496] [SC-167600][CORE] Utilisation d’instances de modèle regex statiques dans JavaUtils.timeStringAs et JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][SQL] Correction du message d’erreur NPE pour le fichier csv de délimiteur null
  • [SPARK-48489] [SC-167598][SQL] Levée d’une meilleure erreur accessible par l’utilisateur lors de la lecture d’un schéma illégal à partir d’une source de données texte
  • [SPARK-48471] [SC-167324][CORE] Amélioration de la documentation et du guide d’utilisation du serveur d’historique
  • [SPARK-45891] [SC-167597] Décrire le schéma de déchiquetage pour variant
  • [SPARK-47333] [SC-159043][SQL] Utilisation de checkInputDataTypes pour vérifier les types de paramètres de la fonction to_xml
  • [SPARK-47387] [SC-159310][SQL] Suppression de certaines classes d’erreur inutilisées
  • [SPARK-48265] [ES-1131440][SQL] La déduction du lot de limites de groupe de fenêtres doit effectuer un pliage constant
  • [SPARK-47716] [SC-167444][SQL] Éviter le conflit de noms d’affichage dans le cas de test de tri sémantique SQLQueryTestSuite
  • [SPARK-48159] [SC-167141][SQL] Extension de la prise en charge des chaînes classées sur les expressions datetime
  • [SPARK-48462] [SC-167271][SQL][Tests] Utilisation de withSQLConf dans les tests : refactorisation de HiveQuerySuite et HiveTableScanSuite
  • [SPARK-48392] [SC-167195][CORE] Charger également spark-defaults.conf lorsque --properties-file est fourni
  • [SPARK-48468] [SC-167417] Ajout de l’interface LogicalQueryStage dans catalyst
  • [SPARK-47578] [SC-164988][CORE] Rétroportage manuel pour Spark PR #46309 : Migration de logWarning avec des variables vers un framework de journalisation structurée
  • [SPARK-48415] [SC-167321] Rétablissement de « [PYTHON] Refactorisation de TypeName pour prendre en charge les types de données paramétrisés »
  • [SPARK-46544] [SC-151361][SQL] Prise en charge de la version v2 DESCRIBE TABLE EXTENDED avec statistiques de table
  • [SPARK-48325] [SC-166963][CORE] Toujours spécifier des messages dans ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][SQL] Ajout de la prise en charge des classements pour les paramètres régionaux ICU et les spécificateurs de classement
  • [SPARK-47221] [SC-157870][SQL] Utilisation de signatures de CsvParser vers AbstractParser
  • [SPARK-47246] [SC-158138][SQL] Remplacement de InternalRow.fromSeq par new GenericInternalRow pour enregistrer une conversion de collection
  • [SPARK-47597] [SC-163932][STREAMING] Rétroportage manuel pour Spark PR #46192 : Streaming : Migration de logInfo avec des variables vers un framework de journalisation structurée
  • [SPARK-48415] [SC-167130][PYTHON] Refactorisation de TypeName pour prendre en charge les types de données paramétrisés
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] Faire en sorte que printSchema utilise le schéma mis en cache
  • [SPARK-48432] [ES-1097114][SQL] Éviter l’unboxing d’entiers dans UnivocityParser
  • [SPARK-47463] [SC-162840][SQL] Utilisation de V2Predicate pour inclure dans un wrapper une expression avec le type de retour booléen
  • [SPARK-47781] [SC-162293][SQL] Gestion des décimales d’échelle négative pour les sources de données JDBC
  • [SPARK-48394] [SC-166966][CORE] Nettoyage de mapIdToMapIndex sur mapoutput unregister
  • [SPARK-47072] [SC-156933][SQL] Correction des formats d’intervalle pris en charge dans les messages d’erreur
  • [SPARK-47001] [SC-162487][SQL] Vérification de pushdown dans l’optimiseur
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] _parse_datatype_string est compatible avec Spark Connect
  • [SPARK-48329] [SC-166518][SQL] Activation de spark.sql.sources.v2.bucketing.pushPartValues.enabled par défaut
  • [SPARK-48412] [SC-166898][PYTHON] Refactorisation de l’analyse json du type de données
  • [SPARK-48215] [SC-166781][SQL] Extension de la prise en charge des chaînes classées sur l’expression date_format
  • [SPARK-45009] [SC-166873][SQL][SUIVI] Ajout d’une classe d’erreur et de tests pour la décorrélation des sous-requêtes de prédicat dans une condition de jointure qui référencent les deux enfants de jointure
  • [SPARK-47960] [SC-165295][SS][15.x] Autorisation du chaînage d’autres opérateurs avec état après l’opérateur transformWithState.
  • [SPARK-48340] [SC-166468][PYTHON] Prise en charge du fait que prefer_timestamp_ntz est absent de l’inférence de schéma TimestampNTZ
  • [SPARK-48157] [SC-165902][SQL] Ajout de la prise en charge du classement pour les expressions CSV
  • [SPARK-48158] [SC-165652][SQL] Ajout de la prise en charge du classement pour les expressions XML
  • [SPARK-48160] [SC-166064][SQL] Ajout de la prise en charge du classement pour les expressions XPATH
  • [SPARK-48229] [SC-165901][SQL] Ajout de la prise en charge du classement pour les expressions inputFile
  • [SPARK-48367] [SC-166487][CONNECT] Correction de lint-scala pour scalafmt afin de détecter les fichiers à mettre en forme correctement
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Refactorisation de la structure pour le contexte d’erreur DataFrame
  • [SPARK-48370] [SC-166787][CONNECT] Checkpoint et localCheckpoint dans le client Scala Spark Connect
  • [SPARK-48247] [SC-166028][PYTHON] Utilisation de toutes les valeurs d’un dict lors de l’inférence du schéma MapType
  • [SPARK-48395] [SC-166794][PYTHON] Correction de StructType.treeString pour les types paramétrisés
  • [SPARK-48393] [SC-166784][PYTHON] Déplacement d’un groupe de constantes vers pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implémentation de StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Checkpoint et localCheckpoint dans Spark Connect

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.78.0.19-CA-linux64
  • Scala : 2.12.18
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.2.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 chiffrement 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 en cours d’exécution 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetage 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
horloge 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 jeux de données 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 méthodes 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 fichier Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1