Databricks Runtime 11.3 LTS (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.3 LTS avec Apache Spark 3.3.0. Databricks a publié cette version en octobre 2022.

Remarque

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez les cycles de vie de prise en charge de Databricks Runtime.

Modifications de comportement

[Breaking change] La nouvelle version de Python nécessite la mise à jour des clients Python Databricks Connect V1

Remarque

Une mise à jour ultérieure déplace la version Python dans Databricks Runtime 11.3 LTS vers la version 3.9.21. La version 3.9.21 n’introduit aucune modification comportementale.

Pour appliquer les correctifs de sécurité requis, la version Python dans Databricks Runtime 11.3 LTS est mise à jour de 3.9.5 à 3.9.19. Étant donné que ces modifications peuvent entraîner des erreurs dans les clients qui utilisent des fonctions PySpark spécifiques, tous les clients qui utilisent Databricks Connect V1 pour Python avec Databricks Runtime 11.3 LTS doivent être mis à jour vers Python 3.9.7 ou version ultérieure.

Améliorations et nouvelles fonctionnalités

Python mis à niveau de 3.9.19 à 3.9.21

La version Python dans Databricks Runtime 11.3 LTS est mise à jour de 3.9.19 à 3.9.21.

Le déclencheur Structured Streaming « Trigger Once » est désormais obsolète

Le paramètre Trigger.Once est obsolète. Databricks recommande que vous utilisiez Trigger.AvailableNow. Consultez Configurer les intervalles de déclenchement pour Structured Streaming.

Modifier le chemin source pour l’auto-chargeur

Vous pouvez désormais modifier le chemin d’entrée du répertoire pour Auto Loader, configuré avec le mode de liste de répertoires, sans avoir à choisir un nouveau répertoire du point de contrôle. Consultez Modifier le chemin d’accès source pour Auto Loader.

Le connecteur Databricks Kinesis prend désormais en charge la lecture des flux de données de Kinesis en mode EFO.

Vous pouvez maintenant utiliser la source de streaming structurée Databricks Kinesis dans Databricks Runtime 11.3 LTS pour exécuter des requêtes qui lisent à partir de flux de données Kinesis en mode fan-out amélioré. Cela permet un débit dédié par partition, par consommateur, et la livraison des enregistrements en mode push.

Nouvelles fonctions géospatiales H3 et ajout du support Photon pour toutes les fonctions H3

Présentation de 4 nouvelles fonctions H3, h3_maxchild, h3_minchild, h3_pointash3et h3_pointash3string. Ces fonctions sont disponibles dans SQL, Scala et Python. Toutes les expressions H3 sont désormais prises en charge dans Photon. Consultez Fonctions géospatiales H3.

Nouvelles fonctionnalités pour les E/S prédictives

Photon prend désormais en charge le mode Plage pour les fenêtres sur intervalle complet, en utilisant RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon prend également en charge le mode Plage pour les fenêtres croissantes, en utilisant RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Augmentation des partitions initiales pour rechercher des requêtes sélectives

La valeur des partitions initiales à analyser a été augmentée à 10 pour une requête sélective avec take/tail/limit dans des clusters avec Photon et LIMIT dans Databricks SQL. Avec 10 partitions, vous pouvez éviter la surcharge liée au lancement de plusieurs petits travaux et à une montée en puissance lente. Vous pouvez aussi configurer ceci via spark.sql.limit.selectiveInitialNumPartitions.

Visualisation des nouvelles versions du plan AQE

Présentation des versions du plan AQE qui vous permet de visualiser les mises à jour de votre plan d’exécution à partir de l’exécution de requêtes adaptatives (AQE).

Nouveaux modes de suivi de la progression asynchrone et de purge des journaux

Présentation des modes Structured Streaming appelés suivi de progression asynchrone et purge de journal asynchrone. Le mode de purge de journal asynchrone réduit la latence des requêtes de streaming en supprimant les journaux utilisés pour le suivi de la progression en arrière-plan.

Structured Streaming sur Unity Catalog prend désormais en charge display()

Vous pouvez maintenant utiliser display() lorsque vous utilisez Structured Streaming pour travailler avec des tables inscrites dans Unity Catalog.

Les événements de pipeline sont maintenant journalisés au format JSON

Azure Databricks écrit désormais des événements de pipeline dans le journal du pilote au format JSON. Bien que chaque événement soit analysable au format JSON, les événements volumineux peuvent ne pas contenir tous les champs, ou les champs peuvent être tronqués. Chaque événement est enregistré dans une seule ligne avec le préfixe Event received: . Vous trouverez ci-dessous un exemple d’événement.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Traitement avec état arbitraire dans le streaming structuré avec Python

Présentation de la fonction applyInPandasWithState qui peut être utilisée pour effectuer un traitement avec état arbitraire dans PySpark. Cela équivaut à la fonction flatMapGroupsWithState dans l’API Java.

Inférence de date dans les fichiers CSV

Présentation de l’inférence améliorée des colonnes de type date dans les fichiers CSV. Lorsque le format de date est cohérent entre les enregistrements d’une colonne, ces colonnes peuvent être déduites en tant que DateType. Vous pouvez également avoir une combinaison de formats de date entre différentes colonnes. Azure Databricks peut déterminer automatiquement le format de date de chaque colonne. Les colonnes de date dans les fichiers CSV antérieurs à Databricks Runtime 11.3 LTS sont laissées comme StringType.

Prise en charge des clones pour les tables Apache Parquet et Apache Iceberg (préversion publique)

Le clone peut désormais être utilisé pour créer et mettre à jour de manière incrémentielle des tables Delta qui reflètent les tables Apache Parquet et Apache Iceberg. Vous pouvez mettre à jour votre table Parquet source et appliquer progressivement les modifications à votre table Delta clonée avec la commande `clone`. Consultez Cloner progressivement les tables Parquet et Apache Iceberg vers Delta Lake.

Utiliser SQL pour spécifier des emplacements de stockage au niveau du schéma et du catalogue pour les tables gérées Unity Catalog

Vous pouvez maintenant utiliser la commande SQL MANAGED LOCATION pour spécifier un emplacement de stockage cloud pour les tables managées au niveau du catalogue et du schéma. Voir CREATE CATALOG et CREATE SCHEMA.

Changements de comportement

Databricks Connect 11.3.2

La mise à jour du client Databricks Connect 11.3.2 est désormais prise en charge. Référez-vous à la section Databricks Connect et les notes de publication de Databricks Connect.

Mise à jour du connecteur Snowflake pour Azure Databricks

Le connecteur Azure Databricks Snowflake a été mis à jour vers la dernière version du code à partir du référentiel open source, Snowflake Data Source pour Apache Spark. Il est désormais entièrement compatible avec Databricks Runtime 11.3 LTS, y compris le pushdown de prédicat et le pushdown de plan de requête interne tout en conservant toutes les fonctionnalités de la version open source.

Le cache Hadoop pour S3A est désormais désactivé

Le cache Hadoop (FileSystem API Apache Hadoop Main 3.3.4) pour S3A est désormais désactivé. Et ce, afin de s’aligner sur les autres connecteurs de stockage cloud. Pour les charges de travail qui s’appuient sur la mise en cache du système de fichiers, assurez-vous que les systèmes de fichiers nouvellement créés sont fournis avec les configurations Hadoop qui conviennent, y compris les fournisseurs d’informations d’identification.

Le schéma de collection de statistiques Delta Lake correspond désormais à l’ordre des colonnes dans la définition de schéma de table

Cette modification résout un bogue dans le protocole Delta Lake où les statistiques n’ont pas été collectées pour les colonnes en raison d’une incompatibilité dans le classement des colonnes DataFrame et table. Dans certains cas, vous pouvez rencontrer une détérioration des performances d’écriture en raison de la collecte de statistiques sur les champs précédemment non suivis. Consultez Ignorer des données.

applyInPandasWithState lève une erreur si la requête a un shuffle après l’opérateur

L’opérateur applyInPandasWithState génère une erreur si la requête contient shuffle après l’opérateur. Cela se produit lorsque l’utilisateur ajoute shuffle une fois l’opération effectuée, ou que l’optimiseur ou le récepteur ajoute shuffle implicitement.

Mises à niveau de la bibliothèque

  • Bibliothèques de Python mises à niveau :
    • distlib de la version 0.3.5 vers la version 0.3.6
  • Bibliothèques R mises à niveau :
    • broom de la version 1.0.0 vers la version 1.0.1
    • callr de la version 3.7.1 vers la version 3.7.2
    • dplyr de la version 1.0.9 vers la version 1.0.10
    • dtplyr de la version 1.2.1 vers la version 1.2.2
    • forcats de la version 0.5.1 vers la version 0.5.2
    • future de la version 1.27.0 vers la version 1.28.0
    • future.apply de la version 1.9.0 vers la version 1.9.1
    • gert de la version 1.7.0 vers la version 1.8.0
    • globals de la version 0.16.0 vers la version 0.16.1
    • gtable de la version 0.3.0 vers la version 0.3.1
    • haven de la version 2.5.0 vers la version 2.5.1
    • hms de la version 1.1.1 vers la version 1.1.2
    • httr de la version 1.4.3 vers la version 1.4.4
    • knitr de la version 1.39 vers la version 1.40
    • modelr de la version 0.1.8 vers la version 0.1.9
    • pillar de 1.8.0 à 1.8.1
    • progressr de la version 0.10.1 vers la version 0.11.0
    • readxl de la version 1.4.0 vers la version 1.4.1
    • reprex de la version 2.0.1 vers la version 2.0.2
    • rlang de la version 1.0.4 vers la version 1.0.5
    • rmarkdown de la version 2.14 vers la version 2.16
    • RSQLite de la version 2.2.15 vers la version 2.2.16
    • rstudioapi de la version 0.13 vers la version 0.14
    • rversions de la version 2.1.1 vers la version 2.1.2
    • rvest de la version 1.0.2 vers la version 1.0.3
    • scales de la version 1.2.0 vers la version 1.2.1
    • sparklyr de la version 1.7.7 vers la version 1.7.8
    • stringr de la version 1.4.0 vers la version 1.4.1
    • survie de 3,2-13 à 3,4-0
    • tinytex de la version 0.40 vers la version 0.41
    • viridisLite de la version 0.4.0 vers la version 0.4.1
  • Bibliothèques de Java mises à niveau :
    • com.fasterxml.jackson.core.jackson-annotations de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.core.jackson-core de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.core.jackson-databind de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer de la version 2.13.3 vers la version 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de la version 2.13.3 vers la version2.13.4
    • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks à 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime de la version 3.3.2 vers la version 3.3.4
    • org.apache.orc.orc-core de 1.7.5 à 1.7.6
    • org.apache.orc.orc-mapreduce de la version 1.7.5 vers la version 1.7.6
    • org.apache.orc.orc-shims de la version 1.7.5 vers la version 1.7.6
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common de la version 1.12.0-databricks-0004 à 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson de la version 1.12.0-databricks-0004 à 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet de la version 2.34 vers la version 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core de la version 2.34 vers la version 2.36
    • org.glassfish.jersey.core.jersey-client de la version 2.34 vers la version 2.36
    • org.glassfish.jersey.core.jersey-common de la version 2.34 vers la version 2.36
    • org.glassfish.jersey.core.jersey-server de la version 2.34 vers la version 2.36
    • org.glassfish.jersey.inject.jersey-hk2 de la version 2.34 vers la version 2.36

Apache Spark

Databricks Runtime 11.3 LTS comprend Apache Spark 3.3.0. Cette version inclut l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 11.2 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Retarder onDisconnected pour permettre au pilote de recevoir ExecutorExitCode
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] Améliorer le processus LaunchTask pour éviter les échecs d'étape causés par l'échec de l'envoi des messages LaunchTask.
  • [SPARK-40474] [SC-106248][cherry-pick] Corriger le comportement d’inférence de schéma CSV pour les colonnes de type datetime et introduire la détection automatique des champs Date
  • [SPARK-40535] [SC-111243][sql] Correction du bogue où la mémoire tampon de l’AggregatingAccumulator ne serait pas créée si les lignes d’entrée sont vides
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implémenter applyInPandasWithState dans PySpark
  • [SPARK-40460] [SC-110832][ss] Corriger les métriques de streaming lors de la sélection de _metadata
  • [SPARK-40324] [SC-109943][sql] Fournir un contexte de requête de ParseException
  • [SPARK-40466] [SC-110899][ss] Améliorer le message d’erreur lorsque DSv2 est désactivé alors que DSv1 n’est pas disponible
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext doit être bon marché pour appeler à plusieurs reprises
  • [SPARK-40169] [SC-110772][sql] Ne pas pousser vers le bas les filtres Parquet qui ne font pas référence au schéma de données
  • [SPARK-40467] [SC-110759][ss] Diviser FlatMapGroupsWithState en plusieurs suites de tests
  • [SPARK-40468] [SC-110813][sql] Corriger la taille des colonnes au format CSV lorsque _corrupt_record est sélectionné
  • [SPARK-40291] [SC-110085][sql] Améliorer le message d’erreur lorsqu’une colonne n’apparaît pas dans la clause GROUP BY
  • [SPARK-40398] [SC-110762][core][SQL] Utiliser une boucle au lieu de l'API Arrays.stream
  • [SPARK-40433] [SC-110684][ss][PYTHON] Ajouter toJVMRow dans PythonSQLUtils pour convertir une ligne PySpark sérialisée en ligne JVM
  • [SPARK-40414] [SC-110568][sql][PYTHON] Types plus génériques sur PythonArrowInput et PythonArrowOutput
  • [SPARK-40352] [SC-109945][sql] Ajouter des alias de fonction : len, datepart, dateadd, date_diff et curdate
  • [SPARK-40470] [SC-110761][sql] Handle GetArrayStructFields et GetMapValue dans la fonction « arrays_zip »
  • [SPARK-40387] [SC-110685][sql] Améliorer l’implémentation de Spark Decimal
  • [SPARK-40429] [SC-110675][sql] Définir uniquement KeyGroupedPartitioning lorsque la colonne référencée se trouve dans la sortie
  • [SPARK-40432] [SC-110716][ss][PYTHON] Introduire GroupStateImpl et GroupStateTimeout dans PySpark
  • [SPARK-39915] [SC-110496][sql] Vérifier que le partitionnement de sortie est spécifié par l’utilisateur dans AQE
  • [SPARK-29260] [SQL] Prendre en charge ALTER DATABASE SET LOCATION si HMS le prend en charge
  • [SPARK-40185] [SC-110056][sql] Supprimer la suggestion de colonne lorsque la liste des candidats est vide
  • [SPARK-40362] [SC-110401][sql] Corriger la canonicalisation de BinaryComparison
  • [SPARK-40411] [SC-110381][ss] Refactoriser FlatMapGroupsWithStateExec pour avoir une caractéristique parente
  • [SPARK-40293] [SC-110084][sql] Rendre le message d’erreur de table V2 plus significatif
  • [SPARK-38734] [SC-110383][sql] Supprimer la classe d’erreur INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Corriger les noms de colonnes dans la fonction « arrays_zip » lorsque les tableaux proviennent de structs imbriqués
  • [SPARK-40276] [SC-109674][core] Réduire la taille du résultat de RDD.takeOrdered
  • [SPARK-40197] [SC-109176][sql] Remplacer le plan de requête par le contexte de MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Migrer vers la classe d’erreur DATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][sql] Propager les colonnes de métadonnées via Project
  • [SPARK-40280] [SC-110146][sql] Ajouter la prise en charge du pushdown Parquet pour les types annotated int et long
  • [SPARK-40220] [SC-110143][sc-109175][SQL] Ne pas générer la carte vide des paramètres de message d’erreur
  • [SPARK-40295] [SC-110070][sql] Autoriser les fonctions v2 avec des arguments littéraux dans la distribution/l’ordre d’écriture
  • [SPARK-40156] [SC-109264][sql] url_decode() doit retourner une classe d’erreur
  • [SPARK-39195] [SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
  • [SPARK-40260] [SC-109424][sql] Utiliser des classes d’erreur pour les erreurs de compilation liées à GROUP BY par position
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Fournir un contexte de requête pour ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][sql] Améliorer la fonction TO_BINARY()
  • [SPARK-40209] [SC-109081][sql] Ne pas modifier la valeur d’intervalle de Decimal dans changePrecision() en cas d’erreur
  • [SPARK-40319] [SC-109873][sql] Supprimer la méthode d’erreur d’exécution de requête dupliquée pour PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Les fonctions numériques try_add/try_divide/try_subtract/try_multiply doivent générer une erreur provenant de leurs expressions enfants
  • [SPARK-40183] [SC-108907][sql] Utiliser la classe d’erreur NUMERIC_VALUE_OUT_OF_RANGE pour le dépassement de valeur dans la conversion décimale
  • [SPARK-40180] [SC-109069][sql] Mettre en forme les messages d’erreur par spark-sql
  • [SPARK-40153] [SC-109165][sql] Unifier les fonctions de résolution et les fonctions à valeur de table
  • [SPARK-40308] [SC-109880][sql] Autoriser des arguments de délimiteur non constantes dans la fonction str_to_map
  • [SPARK-40219] [SC-110052][sc-109663][SQL] Plan logique de vue résolu doit contenir le schéma pour éviter la recherche redondante
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Format des messages d’erreur dans le serveur Thrift
  • [SPARK-39917] [SC-109038][sql] Utiliser différentes classes d’erreur pour les dépassements arithmétiques numériques et d’intervalles
  • [SPARK-40033] [SC-109875][sql] Prise en charge de la réduction de schéma imbriqué via la fonction element_at
  • [SPARK-40194] [SC-109660][sql] La fonction SPLIT appliquée avec une expression régulière vide doit supprimer la chaîne vide finale
  • [SPARK-40228] [SC-109835][sql] Ne pas simplifier multiLike si son expression enfant est suffisamment simple à évaluer
  • [SPARK-40039] [SC-109896][sc-109260][SS] Présentation d’un gestionnaire de fichiers de point de contrôle de streaming basé sur l’interface abortable de Hadoop
  • [SPARK-40285] [SC-109679][sql] Simplifiez la roundTo[Numeric] pour Spark Decimal
  • [SPARK-39896] [SC-109658][sql] La règle UnwrapCastInBinaryComparison doit fonctionner même lorsque la conversion du littéral dans une expression In/InSet échoue
  • [SPARK-40040] [SC-109662][sql] Envoyer une limite locale aux deux côtés si la condition de jointure est vide
  • [SPARK-40055] [SC-109075][sql] listCatalogs doit également retourner spark_catalog même quand spark_catalog implémentation est defaultSessionCatalog
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) peut ne pas créer exactement N partitions dans certains cas (hors AQE)
  • [SPARK-40207] [SC-109401][sql] Spécifiez le nom de colonne lorsque le type de données n’est pas pris en charge par la source de données
  • [SPARK-40245] [SC-109295][sql] Corriger la vérification de l’égalité FileScan lorsque les colonnes de partition ou de filtre de données ne sont pas lues
  • [SPARK-40113] [SC-109405][sql] Implémentations de l’interface DataSourceV2 pour ParquetScanBuilder dans Reactor
  • [SPARK-40211] [SC-109226][core][SQL] Autoriser la personnalisation du nombre de partitions initiales dans le comportement take()
  • [SPARK-40252] [SC-109379][sql] Remplacer Stream.collect(Collectors.joining) par StringJoiner Api
  • [SPARK-40247] [SC-109272][sql] Correction de la vérification d’égalité des BitSet
  • [SPARK-40067] [SQL] Utilisation de Table#name() au lieu de Scan#name() pour remplir le nom de table dans le nœud BatchScan dans SparkUI
  • [SPARK-39966] [SQL] Utilisation d’un filtre V2 dans SupportsDelete
  • [SPARK-39607] [SC-109268][sql][DSV2] Prise en charge des fonctionnalités de distribution et de classement via les fonctions V2 lors de l’écriture
  • [SPARK-40224] [SC-109271][sql] Faire en sorte que ObjectHashAggregateExec libère la mémoire plus tôt lorsqu’il bascule vers une exécution basée sur le tri
  • [SPARK-40013] [SQL] Les expressions DS V2 doivent avoir la valeur par défaut toString
  • [SPARK-40214] [SC-109079][python][SQL] ajouter 'get' aux fonctions
  • [SPARK-40192] [SC-109089][sql][ML] Supprimer le groupby redondant
  • [SPARK-40146] [SC-108694][sql] Simplifier le codegen pour l’accès aux valeurs d’une Map
  • [SPARK-40109] [SQL] Nouvelle fonction SQL : get()
  • [SPARK-39929] [SQL] Prise en charge du pushdown des fonctions de chaînes (non ANSI) avec DS V2
  • [SPARK-39819] [SQL] Le pushdown d’agrégation DS V2 prend désormais en charge les requêtes avec Top N ou pagination, y compris les tris avec expressions
  • [SPARK-40213] [SC-109077][sql] Prise en charge de la conversion de valeurs ASCII pour les caractères Latin-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
  • [SPARK-39764] [SQL] Rendre identiques PhysicalOperation et ScanOperation
  • [SPARK-39964] [SQL] Le pushdown DS V2 doit unifier le chemin de traduction
  • [SPARK-39528] [SQL] Utilisation du filtre V2 dans SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] Mode ANSI : retourne toujours null sur l’accès non valide à la colonne mappée
  • [SPARK-39912] [SPARK-39828][sql] Améliorer CatalogImpl
  • [SPARK-39833] [SC-108736][sql] Désactiver l’index de colonne Parquet dans DSv1 pour résoudre un problème d’exactitude en cas de chevauchement des colonnes de partition et de données
  • [SPARK-39880] [SQL] La commande V2 SHOW FUNCTIONS doit imprimer le nom de fonction qualifié comme v1
  • [SPARK-39767] [SQL] Supprimer UnresolvedDBObjectName et ajouter UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][sql] Ajout de la fonctionnalité SparkSession.config(Map)
  • [SPARK-40136] [SQL] Corriger le fragment des contextes de requête SQL
  • [SPARK-40107] [SC-108689][sql] Extraire la conversion empty2null de FileFormatWriter
  • [SPARK-40121] [PYTHON][sql] Initialiser la projection utilisée pour Python UDF
  • [SPARK-40128] [SQL] Faire en sorte que vectorizedColumnReader reconnaisse DELTA_LENGTH_BYTE_ARRAY en tant qu’encodage de colonne autonome
  • [SPARK-40132] [ML] Rétablir rawPredictionCol dans MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][sql] Améliorer EliminateSorts pour permettre la suppression de tris via LocalLimit
  • [SPARK-39629] [SQL] Soutien v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Ajouter la surcharge array_sort(column, comparator) dans les opérations DataFrame
  • [SPARK-40117] [PYTHON][sql] Convertir la condition en java dans DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Amélioration de la répartition dans ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Ajout du nom du catalogue de sessions pour la table et la fonction de base de données v1
  • [SPARK-39889] [SQL] Utilisation de différentes classes d’erreur pour les valeurs numériques/intervalles divisées par 0
  • [SPARK-39741] [SQL] Prise en charge de l'encodage/décodage d'URL en tant que fonction prédéfinie et nettoyage des fonctions liées à l'URL
  • [SPARK-40102] [SQL] Utilisation de SparkException au lieu d’IllegalStateException dans SparkPlan
  • [SPARK-40014] [SQL] Prise en charge de la conversion des décimales aux intervalles ANSI
  • [SPARK-39776] [SQL][follow] Mise à jour des UT de PlanStabilitySuite en mode ANSI
  • [SPARK-39963] [SQL] Simplifier SimplifyCasts.isWiderCast

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 11.3.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.5 LTS
    • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.21
  • R : 4.1.3
  • Delta Lake : 2.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
argon2-cffi 20.1.0 générateur asynchrone 1,10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 black 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.3 chiffrement 3.4.8
cycliste 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 décorateur 5.1.0 defusedxml 0.7.1
distlib 0.3.6 points d’entrée 0,3 aperçu des facettes 1.0.0
verrou de fichier 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.0
Jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 carnet de notes 6.4.5 numpy 1.20.3
empaquetage 21,0 Pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requêtes 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.2
ténacité 8.0.1 terminado 0.9.4 chemin de test 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornade 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 roue 0.37.0
widgetsnbextension 3.6.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir du snapshot Microsoft CRAN du 08-09-2022. L’instantané n’est plus disponible.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 BLOB 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.1
bslib 0.4.0 cachemire 1.0.6 callr 3.7.2
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
classe 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compilateur 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digérer 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 ellipse 0.3.2 évaluer 0,16
fans 1.0.3 farver 2.1.1 carte rapide 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
futur 1.28.0 future.apply 1.9.1 gargle 1.2.0
produits génériques 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphisme 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0.9 hms 1.1.2
outils HTML 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2,23-20
knitr 1.40 étiquetage 0.4.2 plus tard 1.3.0
lattice 0.20-45 lave 1.6.10 cycle de vie 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrice 1.4-1
memoise 2.0.1 méthodes 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modèleur 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pilier 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.7
éloge 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progrès 1.2.2 progressr 0.11.0 promesses 1.2.0.1
proto 1.0.0 proxy 0,4-27 p.s. 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest (algorithme d'apprentissage automatique) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
recettes 1.0.1 match retour 1.0.1 revanche2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2,16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
écailles 1.2.1 selectr 0,4-2 informations sur la session 1.2.2
shape 1.4.6 brillant 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Statistiques 4.1.3 statistiques4 4.1.3 stringi 1.7.8
stringr 1.4.1 survival 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
mise en forme de texte 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 date-heure 4021.104
tinytex 0.41 outils 4.1.3 tzdb 0.3.0
vérificateur d'URL 1.0.1 Utilise ça 2.1.6 utf8 1.2.2
utils 4.1.3 Identifiant unique universel (UUID) 1.1:0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 Waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Installé Java et bibliothèques Scala (version du cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx de collecte 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow vecteur-flèche 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper gardien de zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.46.v20220331
org.eclipse.jetty serveur jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket serveur websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark inutilisé 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on