Databricks Runtime 10.3 (non pris en charge)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.3 et Databricks Runtime 10.3 Photon, avec Apache Spark 3.2.1. Photon est en préversion publique. Databricks a publié ces images en février 2022.

Améliorations et nouvelles fonctionnalités

Les enregistreurs Parquet et Avro utilisent désormais le fuseau horaire de session lors de la relocalisation des horodateurs dans les sources de données Parquet

Les enregistreurs parquet et Avro utilisent désormais le fuseau horaire de session lors de la relocalisation en mode legacy horodateur au lieu d’utiliser le fuseau horaire JVM par défaut. Par défaut, le fuseau horaire de la session est défini sur le fuseau horaire de JVM.

Nouvelles fonctions dans Spark SQL

Les fonctions Spark SQL suivantes sont désormais prises en charge :

  • aes_decrypt: déchiffre les entrées à l’aide d’AES.
  • aes_encrypt: chiffre les entrées à l’aide de l’algorithme AES.
  • Contains: détermine si une expression contient une autre expression.
  • EndsWith: détermine si une expression se termine par une autre expression.
  • percentile_cont: retourne une valeur de centile.
  • startswith: détermine si une expression débute par une autre expression.

La fusion de l'aléa faible est maintenant disponible en général

La commande Delta MERGE INTO utilise une technique appelée fusion faible aléatoire, qui réduit la permutation des lignes non modifiées. Cela améliore les performances de la commande et permet de conserver le clustering existant sur la table, tel que l’ordre de plan. Cette fonctionnalité a été introduite dans Databricks Runtime 9,0 pour la version préliminaire publique et a maintenant atteint la disponibilité générale. Pour activer la fusion faible aléatoire, affectez à spark.databricks.delta.merge.enableLowShuffle la valeur true. Consultez Fusion faible et aléatoire sur Azure Databricks.

Nouvelle COPIE DANS les fonctionnalités : mode de validation et évolution du schéma

Mode de validation : COPY INTO prend désormais en charge un VALIDATE mode dans lequel les données à charger dans une table sont validées, mais ne sont pas écrites dans la table. Ces validations comprennent :

  • Indique si les données peuvent être analysées.
  • Indique si le schéma correspond à celui de la table ou si le schéma doit évoluer.
  • Indique si toutes les contraintes d’acceptation de valeurs Null et de validation sont respectées.

Exemple d’utilisation :

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Par défaut, toutes les données à charger sont validées. Vous pouvez fournir un certain nombre de lignes à valider avec le mot cléROWS, par exemple VALIDATE 15 ROWS. L'instruction COPY INTO renvoie un aperçu des données de 50 lignes ou moins, lorsqu'un nombre inférieur à 50 est utilisé avec le mot clé ROWS).

Évolution du schéma : COPY INTO prend désormais en charge l’évolution du schéma avec l'option mergeSchema dans COPY_OPTIONS . Pour faire évoluer le schéma d'une table, vous devez avoir des autorisationsOWN sur cette table.

Exemple d’utilisation :

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Consultez COPIER DANS.

Les colonnes d’identité sont désormais prises en charge dans les tables Delta (préversion publique)

Delta Lake prend désormais en charge les colonnes d’identité. Lorsque vous écrivez dans une table Delta qui définit une colonne d’identité et que vous ne fournissez pas de valeurs pour cette colonne, Delta affecte désormais automatiquement une valeur unique et statistiquement croissante ou décroissante. Consultez CREATE TABLE [USING].

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • distlib de 0.3.3 à 0.3.4
    • filelock de 3.4.0 vers 3.4.2
    • numpy de 1.19.2 à 1.20.1
    • plotly de 5.3.1 vers 5.5.0
  • Bibliothèques R mises à niveau :
    • ports de 1.4.0 à 1.4.1
    • brio de 1.1.2 à 1.1.3
    • broom de 0.7.10 à 0.7.11
    • classe de 7.3-19 à 7.3-20
    • cpp11 de 0.4.1 vers 0.4.2
    • DBI de 1.1.1 à 1.1.2
    • devtools de 2.4.2 à 2.4.3
    • digest de 0.6.28 vers 0.6.29
    • dtplyr de 1.1.0 à 1.2.0
    • fansi de 0.5.0 à 1.0.2
    • foreign de 0.8-81 à 0.8-82
    • fs de 1.5.0 à 1.5.2
    • gert de 1.4.3 à 1.5.0
    • glue de 1.5.0 à 1.6.0
    • httpuv de 1.6.3 à 1.6.5
    • jsonlite de 1.7.2 à 1.7.3
    • knitr de 1.36 vers 1.37
    • MASS comprise entre 7.3-54 et 7.3-55
    • Matrix de 1.3-4 à 1.4-0
    • nlme de 3.1-152 à 3.1-155
    • nnet de 7.3-16 à 7.3-17
    • OpenSSL de 1.4.5 à 1.4.6
    • parrallelly de 1.29.0 à 1.30.0
    • pkgbuild de 1.2.0 à 1.3.1
    • pkgload de 1.2.3 vers 1.2.4
    • progressr de 0.9.0 vers 0.10.0
    • Rcpp de 1.0.7 à 1.0.8
    • readr de 2.1.0 vers 2.1.1
    • remotes de 2.4.1 vers 2.4.2
    • RSQLite de 2.2.8 à 2.2.9
    • sessioninfo de 1.2.1 à 1.2.2
    • sparklyr de 1.7.2 à 1.7.4
    • testthat de 3.1.0 vers 3.1.1
    • tinytex de 0.35 vers 0.36
    • usethis de 2.1.3 vers 2.1.5
    • vroom de 1.5.6 à 1.5.7
    • withr de 2.4.2 à 2.4.3
    • xfun de 0.28 vers 0.29
    • xml2 de 1.3.2 à 1.3.3
  • Bibliothèques Java mises à niveau :
    • dev.ludovic.netlib.arpack de 1.3.2 à 2.2.1
    • dev.ludovic.netlib.blas de 1.3.2 à 2.2.1
    • dev.ludovic.netlib.lapack de 1.3.2 à 2.2.1
    • io.delta.delta-sharing-spark_2.12 de 0.2.0 à 0.3.0

Apache Spark

Databricks Runtime 10.3 comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 10.2 (non pris en charge), ainsi que les corrections de bogues supplémentaires et les améliorations apportées à Spark qui suivent :

  • [SPARK-37896] [SQL] implémenter un ConstantColumnVector et améliorer les performances des métadonnées des fichiers masqués
  • [SPARK-37924] [SQL] trier les propriétés de la table par clé dans afficher les tables crées sur la vue (v1)
  • [SPARK-37636] [SQL] Migrer Créer Espace de noms pour utiliser la commande V2 par défaut
  • [SPARK-37381] [SQL] Unifie les tests v1 et v2 Montrer la table crée
  • [SPARK-37876] [CORE] [SQL] déplacer SpecificParquetRecordReaderBase.listDirectory versTestUtils
  • [Spark-37854] [Core] Remplacer la vérification de type par la correspondance de modèle dans le code Spark
  • [Spark-36967] [Core] signale une taille de bloc de lecture aléatoire exacte s’il est décalé
  • [SPARK-37864] [SQL] Prise en charge des valeurs booléennes en lecture vectorisée ; utilisation de l'encodage RLE avec Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator doit rapidement ignorer la vérification de l’alignement avec la plateforme non alignée
  • [SPARK-37855] [SQL] IllegalStateException lors de la transformation d’un tableau à l’intérieur d’une structure imbriquée
  • [SPARK-37858] [SQL] lever SparkRuntimeException avec les classes d’erreur à partir des fonctions AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker ne doit pas essayer d’obtenir l’état d’un fichier ignoré
  • [Spark-37860] [UI] corriger taskindex dans la chronologie de l’événement de tâche de page d’étape
  • [SPARK-36879] [SQL] prend en charge l’encodage de page de données Parquet v2 (DELTA_BINARY_PACKED) pour le chemin vectorisé
  • [SPARK-37828] [SQL] filtres Push dans RebalancePartitions
  • [SPARK-37802] [SQL] [3,2] le nom de champ composite doit fonctionner avec l’agrégat push enfoncé
  • [SPARK-37826] [SQL] utilisez le nom du codec zstd dans les noms de fichier ORC pour hive ORC impl
  • [SPARK-37820] [SQL] remplacer ApacheCommonBase64 par JavaBase64 pour les funcs de chaîne
  • [SPARK-37832] [SQL] le convertisseur de struct Orc doit utiliser un tableau pour rechercher des convertisseurs de champ plutôt qu’une liste liée
  • [SPARK-37786] [SQL] StreamingQueryListener prennent en charge l’utilisation de SQLConf.
  • [SPARK-37527] [SQL] traduisez d’autres fonctions d’agrégation standard pour la poussée
  • [SPARK-37777] [SQL] mettre à jour la syntaxe SQL des fonctions SHOW
  • [Spark-8582] [Core] point de contrôle de manière dynamique lorsqu’il lui est demandé de le faire pour les véritables
  • [SPARK-37822] [SQL] StringSplit doit retourner un tableau sur les éléments non null
  • [SPARK-37812] [SQL] lors de la désérialisation d’un struct Orc, réutilisez la ligne de résultats lorsque cela est possible
  • [SPARK-37367] [SQL] réactiver le test d’exception dans DDLParserSuite. create view – de base
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals doit rapidement ignorer la vérification de l’alignement avec la plateforme non alignée
  • [SPARK-37817] [SQL] [mineur] supprimer le code inaccessible dans complexTypeExtractors. scala
  • [SPARK-37807] [SQL] résoudre une faute de frappe dans le message HttpAuthenticationException
  • [SPARK-37750] [SQL] mode ANSI : retourne éventuellement un résultat null si l’élément n’existe pas dans le tableau/le mappage
  • [SPARK-37789] [SQL] ajoutez une classe pour représenter les fonctions d’agrégation générales dans DS V2
  • [SPARK-37785] [SQL][CORE] Ajoute Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] StreamingQueryListener prennent en charge l’utilisation de SQLConf.
  • [SPARK-37783] [SS] [SQL] [CORE] activez la récursivité à la fin dans la mesure du possible
  • [SPARK-37726] [SQL] ajouter des métriques de taille de débordement pour trier la jointure de fusion
  • [SPARK-37800] [SQL] TreeNode. argString formate de manière incorrecte les arguments de type Set [_]
  • [SPARK-37716] [SQL] améliorer les messages d’erreur lorsqu’un LateralJoin a des expressions non déterministes
  • [SPARK-37779] [SQL] rendre ColumnarToRowExec plan canonicalizable après (de) sérialisation
  • [SPARK-37578] [SQL] mettre à jour les métriques de tâche à partir des métriques personnalisées ds v2
  • [SPARK-37676] [SQL] prend en charge la fonction d’agrégation ANSI : percentile_cont
  • [SPARK-37724] [SQL] mode ansi : désactiver les mots clés réservés ANSI par défaut
  • [SPARK-37705] [SQL] [3,2] rebaser les horodateurs dans le fuseau horaire de session enregistré dans les métadonnées Parquet/Avro
  • [SPARK-34755] [SQL] prend en charge les utils pour le format de numéro de transformation
  • [SPARK-36703] [SQL] supprime le tri s’il s’agit de l’enfant de RepartitionByExpression
  • [SPARK-37369] [SQL] évitez la transition redondante ColumnarToRow sur InMemoryTableScan
  • [SPARK-37450] [SQL] élaguer les champs inutiles de la génération
  • [SPARK-37728] [SQL] la lecture de colonnes imbriquées avec un lecteur ORC vectorisé peut provoquer la ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] ajouter du code-gen pour trier l’agrégat sans regrouper les clés
  • [Spark-37659] [UI] [3.2] Correction de la condition de concurrence FsHistoryProvider entre la liste et les informations du journal delet
  • [SPARK-37727] [SQL] Afficher les configurations ignorées et masquer les avertissements pour les configurations déjà définies dans SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL] JdbcConnectionProvider indique si le contexte de sécurité est modifié
  • [spark-37273] [SQL] prend en charge les colonnes de métadonnées de fichier caché dans SPARK SQL
  • [SPARK-36876] [SQL] prend en charge le nettoyage de Partition dynamique pour HiveTableScanExec
  • [SPARK-37546] [SQL] V2 la commande ReplaceTableAsSelect doit qualifier l’emplacement
  • [SPARK-37545] [SQL] V2 la commande ReplaceTableAsSelect doit qualifier l’emplacement
  • [SPARK-37707] [SQL] autorise l’attribution de magasin et le cast implicite entre les types datetime
  • [SPARK-37644] [SQL] prend en charge la fonction d’agrégation de la source v2 complète
  • [Spark-37695] [Core] [lecture aléatoire] ignorer les blocs de diagnostic ob fusionnés à partir d’un push en lecture aléatoire
  • [SPARK-35295] [ML] remplacez entièrement com. github. fommil. netlib par dev. ludovic. netlib : 2.0
  • [spark-37694] [SQL] interdire la suppression de ressources dans l’interface cli SQL SPARK
  • [SPARK-37330] [SQL] migrer ReplaceTableStatement vers la commande v2
  • [SPARK-27974] [SQL] prend en charge la fonction d’agrégation ANSI : array_agg
  • [SPARK-36902] [SQL] migrer CreateTableAsSelectStatement vers la commande v2
  • [SPARK-37678] [PYTHON] Fix _cleanup_and_return signature
  • [SPARK-37613] [SQL] prend en charge la fonction d’agrégation ANSI : regr_count
  • [SPARK-37689] [SQL] le développement doit être pris en charge dans PropagateEmptyRelation
  • [SPARK-37654] [SQL] corriger le NPE dans Row. getSeq quand field a la valeur Null
  • [SPARK-37496] [SQL] migrer ReplaceTableAsSelectStatement vers la commande v2
  • [SPARK-37483] [SQL] prise en charge push des N premiers vers la source de données JDBC V2
  • [SPARK-37577][SQL] Correction de ClassCastException : ArrayType ne peut pas être converti en StructType pour Générer le nettoyage
  • [SPARK-37310] [SQL] migrer l’espace de noms ALTER... DÉFINIR les propriétés pour utiliser la commande v2 par défaut
  • [SPARK-37501] [SQL] la TABLE create/replace doit qualifier l’emplacement pour la commande v2
  • [SPARK-37343] [SQL] implémentation de createIndex, IndexExists et dropIndex dans JDBC (dialecte postgres)
  • [Spark-37060] [Core] [3.2] gérer la réponse de l’état du pilote à partir des réplicas de sauvegarde
  • [SPARK-37629] [SQL] accélérer l’Expression.canonicalization
  • [SPARK-37633] [SQL] la conversion sans encapsuler doit ignorer si le downcast a échoué avec un...
  • [SPARK-37631] [SQL] nettoyage du Code sur la promotion des chaînes en type double dans les fonctions mathématiques
  • [SPARK-37569] [SQL] ne marquez pas les champs de vue imbriquée comme nullable
  • [SPARK-37557] [SQL] remplacer le hachage de l’objet par l’agrégat de tri si l’enfant est déjà trié
  • [SPARK-36850] [SQL] Migrer CreateTableStatement vers le framework de commande v2
  • [SPARK-37592] [SQL] améliorer les performances deJoinSelection
  • [SPARK-37217] [SQL] le nombre de partitions dynamiques doit être vérifié tôt lors de l’écriture dans des tables externes
  • [SPARK-37584] [SQL] nouvelle fonction SQL : map_contains_key
  • [SPARK-37455] [SQL] remplacer le hachage de l’objet par l’agrégat de tri si l’enfant est déjà trié
  • [SPARK-34735] [SQL] [UI] ajouter des configurations modifiées pour l’exécution de SQL dans l’interface utilisateur
  • [SPARK-37540] [SQL] détecter des voyages de temps plus non pris en charge
  • [SPARK-37376] [SQL] introduire une nouvelle interface DataSource V2 HasPartitionKey
  • [SPARK-37666] [SQL] défini GCM comme mode par défaut dans aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader doit revenir à la version associée, pas toujours hadoop-2.7.4
  • [SPARK-37561] [SQL] évitez de charger toutes les fonctions lors de l’obtention des DelegationToken de la ruche
  • [SPARK-37370] [SQL] ajoutez des configurations SQL pour contrôler la génération de code de jointure récemment ajoutée 3,3
  • [SPARK-37311] [SQL] migrer l’espace de noms ALTER... DÉFINIR l’emplacement pour utiliser la commande v2 par défaut
  • [SPARK-37192] [SQL] Migrer SHOW CREATE TABLE pour utiliser la commande V2 par défaut
  • [SPARK-37219] [SQL] ajouter à la prise en charge de la syntaxe
  • [SPARK-37316] [SQL] ajouter code-génération pour la jointure de fusion de tri de l’existence
  • [SPARK-37591] [SQL] prend en charge le mode GCM paraes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] ajoutez les arguments mode et padding à aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] ajouter des fonctions intégrées aes_encrypt et aes_decrypt
  • [SPARK-37392] [SQL] corriger le bogue de performance lors de l’inférence de contraintes pour la génération
  • [Spark-37481] [Core] [webui] Correction de la disparition des étapes ignorées après une nouvelle tentative
  • [SPARK-37533] [SQL] nouvelle fonction SQL : try_element_at
  • [SPARK-37451] [SQL] correction du type de chaîne de conversion en type décimal si SPARK. SQL. legacy. allowNegativeScaleOfDecimal est activé
  • [Spark-37062] [SS] introduisez une nouvelle source de données pour fournir un ensemble cohérent de lignes par microlot
  • [SPARK-37552] [SQL] Ajout de la fonction convert_timezone()
  • [spark-37555] [SQL] SPARK-SQL doit transmettre le dernier commentaire non fermé au backend
  • [SPARK-37286] [SQL] déplacer compileAggregates à partir de JDBCRDD vers JdbcDialect
  • [SPARK-37485] [CORE] [SQL] remplacez mapforeach par les expressions qui ne produisent aucun résultat avec
  • [SPARK-37556] [SQL] Deser void class échoue avec la sérialisation Java
  • [SPARK-37520] [SQL] ajoutez les startswith()endswith() fonctions de chaîne et
  • [spark-37471] [SQL] SPARK-SQL prise en charge ; dans un commentaire entre crochets imbriqués
  • [SPARK-37360] [SQL] prend en charge TimestampNTZ dans la source de données JSON
  • [SPARK-37508] [SQL] Add contains () string (fonction)
  • [SPARK-37494] [SQL] unification des options v1 et v2 sortie de la commande SHOW CREATE TABLE
  • [SPARK-37524] [SQL] nous devrions supprimer toutes les tables après avoir testé le nettoyage de la partition dynamique.
  • [SPARK-37389] [SQL] vérifier les commentaires entre crochets non fermés
  • [SPARK-37220] [SQL] ne pas fractionner le fichier d’entrée pour le lecteur Parquet avec la poussée de l’agrégat
  • [SPARK-37326] [SQL] prend en charge TimestampNTZ dans la source de données CSV
  • [SPARK-35867] [SQL] activer la lecture vectorielle pour VectorizedPlainValuesReader. readBooleans
  • [SPARK-37484] [CORE] [SQL] remplacez get et getOrElse par getOrElse
  • [SPARK-37492] [SQL] optimiser le code de test Orc avec withAllNativeOrcReaders
  • [Spark-37458] [SS] supprimer les SerializeFromObject inutiles du plan de foreachBatch

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.3.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.3 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.8.10
  • R : 4.1.2
  • Delta Lake : 1.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empaquetage 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 19/01/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 objet BLOB 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1,37 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 cycle de vie 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 Matrice 1.4-0
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2,10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0,36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1