Partager via

Databricks Runtime 10.5 (non pris en charge)

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.5, avec Apache Spark 3.2.1. Databricks a publié ces images en mai 2022.

Améliorations et nouvelles fonctionnalités

SQL : Nouvelles fonctions to_number et try_to_number

La fonction to_number et la fonction try_to_number vous permettent de convertir des représentations de caractères de nombres dans différents formats en DECIMAL.

SQL : Nouvelle fonction try_sum

Contrairement à sum, la fonction d’agrégation try_sum retourne NULL au lieu d’une erreur lorsqu’un dépassement de capacité se produit.

SQL : Mise à jour des fonctions ceil, ceiling et floor

La fonction ceil, la fonction ceiling et la fonction floor prennent désormais en charge un deuxième argument facultatif pour spécifier une échelle cible.

SQL : Nouvelles fonctions d’agrégation regr_avgx et regr_avgy

La nouvelle fonction d’agrégation regr_avgx et la fonction d’agrégation regr_avgy prennent en charge les régressions linéaires.

SQL : Mise à jour des fonctions contains, startswith et endswith

La fonction contains, la fonction startswith et la fonction endswith prennent désormais en charge les types de données binaires comme entrée en plus des chaînes.

SQL : Nouvelle fonction array_size

La nouvelle fonction array_size calcule la taille d’un tableau.

Catalogue Unity : la sortie LIST SQL supprime la colonne is_directory et ajoute le suffixe / aux chemins d’accès au répertoire (préversion publique)

La sortie de l’instruction SQL LIST permettant de répertorier les chemins d’accès régis par Unity Catalog a changé. La colonne is_directory n’est plus affichée. Au lieu de cela, les chemins qui représentent des répertoires se terminent par une barre oblique de fin (/) pour les colonnes path et name. Cette modification est cohérente avec la sortie de la commande dbutils.fs.ls.

Chargeur automatique : nouvelle fonction SQL CLOUD_FILES_STATE

Vous pouvez utiliser la nouvelle fonction CLOUD_FILES_STATE pour interroger l’état interne d’un flux de chargeur automatique. Consultez Interrogation de fichiers découverts par le chargeur automatique.

Chargeur automatique : la prise en charge des notifications de fichier est désormais en disponibilité générale

La prise en charge des notifications de fichier pour Auto Loader sur Google Cloud est désormais en disponibilité générale.

Delta Lake : nouvelle option maxRecordsPerFile pour le nombre maximal d’enregistrements écrits dans un seul fichier

Lorsque vous utilisez les API DataFrame pour écrire dans une table Delta, vous pouvez utiliser l’option maxRecordsPerFile permettant de spécifier le nombre maximal d’enregistrements à écrire dans un seul fichier. La spécification d’une valeur égale à zéro ou d’une valeur négative représente aucune limite. Consultez Configurer Delta Lake pour contrôler la taille du fichier de données.

Dépréciation de Koalas

Koalas est maintenant déconseillé. Koalas fournit des API pandas sur Apache Spark. Koalas a reçu la contribution de la communauté et a été disponible en tant qu’API pandas sur Spark à partir d’Apache Spark 3.2. Koalas continue d’être préinstallé pour Databricks Runtime 10.5, mais ne sera plus préinstallé à partir de la prochaine version de Databricks Runtime.

Pour en savoir plus sur l’API pandas sur Spark, consultez :

Nouvelle colonne _metadata pour tous les formats de fichiers

Vous pouvez obtenir des informations de métadonnées pour les fichiers d’entrée avec la colonne _metadata. La colonne _metadata est masquée. Cette colonne est disponible pour tous les formats de fichier d’entrée. Pour inclure la colonne _metadata dans un retour de DataFrame, vous devez référencer explicitement cette colonne dans votre requête. Consultez Colonne métadonnées de fichier.

Tester votre pipeline Delta Live Tables avec Databricks Runtime 10.5

Databricks Runtime 10.5 est désormais la version preview prise en charge pour Delta Live Tables. Pour tester votre pipeline avec Databricks Runtime 10.5, définissez le paramètre channel sur preview dans vos paramètres de pipeline.

Résolution des bogues

  • Correction de l’affichage des résultats des métriques numUpdatedRows et numCopiedRows pour les opérations de mise à jour sur les tables Delta qui ont activé la capture des changements de données (CDC).

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • plotly de la version 5.5.0 vers la version 5.6.0
  • Bibliothèques R mises à niveau :
    • base de la version 4.1.2 vers la version 4.1.3
    • caret de 6.0-90 vers 6.0-91
    • cluster de 2.1.2 à 2.1.3
    • commonmark de 1.7 à 1.8.0
    • compiler de la version 4.1.2 vers la version 4.1.3
    • crayon de 1.5.0 à 1.5.1
    • datasets de la version 4.1.2 vers la version 4.1.3
    • desc de 1.4.0 vers 1.4.1
    • fansi de 1.0.2 à 1.0.3
    • glue de 1.6.1 à 1.6.2
    • graphics de la version 4.1.2 vers la version 4.1.3
    • grDevices de la version 4.1.2 vers la version 4.1.3
    • grid de la version 4.1.2 vers la version 4.1.3
    • knitr de 1.37 vers 1.38
    • MASS de 7.3-55 à 7.3-56
    • Matrix de 1.4-0 à 1.4-1
    • methods de 4.1.2 à 4.1.3
    • mgcv de 1.8-39 à 1.8-40
    • nlme de 3.1-155 à 3.1-157
    • OpenSSL de 1.4.6 à 2.0.0
    • parallel de 4.1.2 à 4.1.3
    • plyr de 1.8.6 à 1.8.7
    • processx de 3.5.2 à 3.5.3
    • r2d3 de 0.2.5 à 0.2.6
    • Rcpp de 1.0.8 à 1.0.8.3
    • rlang de 1.0.1 vers 1.0.2
    • rmarkdown de 2.11 à 2.13
    • RSQLite de 2.2.10 à 2.2.11
    • sass de 0.4.0 à 0.4.1
    • splines de 4.1.2 à 4.1.3
    • stas de 4.1.2 à 4.1.3
    • stats4 de 4.1.2 à 4.1.3
    • tcltk de 4.1.2 à 4.1.3
    • tools de 4.1.2 à 4.1.3
    • utils de 4.1.2 à 4.1.3
    • uuid de 1.0-3 à 1.0-4
    • waldo de 0.3.1 à 0.4.0
    • withr de 2.4.3 à 2.5.0
    • xfun de 0.29 à 0.30
  • Bibliothèques Java mises à niveau :
    • com.h2database.h2 de 1.4.195 à 2.1.210
    • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks à 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime de 3.3.1 à 3.3.2
    • org.rocksdb.rocksdbjni de 6.24.2 vers 6.20.3

Apache Spark

Databricks Runtime 10.5 comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 10.4 LTS ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-38354] [SC-97886] Rétablissement de « [SQL] Ajouter une métrique de sondes de hachage pour la jointure de hachage aléatoire »
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Instrumentation d’un module PySpark SQL avec enregistreur d’événements d’utilisation générale
  • [SPARK-38333] [SQL] L’expression PlanExpression doit ignorer la fonction addExprTree dans l’exécuteur
  • [SPARK-38646] [PYTHON][10.x] Extraction d’une caractéristique pour les fonctions Python
  • [SPARK-38674] [PHOTON] Ajout d’une métrique à PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Remplacement de la valeur trouvée par un élément non Null dans la liste restante pour la clé et suppression des éléments Null restants des valeurs dans le magasin keyWithIndexToValue pour les jointures flux-flux
  • [SPARK-38446] [Core] Correction du blocage entre ExecutorClassLoader et FileDownloadCallback provoqué par Log4j
  • [SPARK-38705] [SQL] Utilisation de l’identificateur de fonction dans la commande create and drop function
  • [SPARK-38684] [SS] Correction du problème d’exactitude sur la jointure externe flux-flux avec le fournisseur de magasin d’état RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase ne trouve pas la ligne de décalage dont l’entrée n’est pas null
  • [SPARK-38204] [SS] Utilisation de StatefulOpClusteredDistribution pour les opérateurs avec état avec respect de la compatibilité descendante
  • [SPARK-38616] [SQL] Suivi du texte de requête SQL dans Catalyst TreeNode
  • [SPARK-38600] [SQL] Inclusion de unit dans la chaîne sql de TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagation des métadonnées à partir de colonnes imbriquées dans Alias
  • [SPARK-38535] [SQL] Ajout de l’énumération datetimeUnit et l’utiliser dans TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Mise à jour du type de résultat histogram_numeric (x, y) pour rendre x == au type d’entrée
  • [SPARK-38148] [SQL] Ne pas ajouter de taille de partition dynamique s’il existe une taille de partition statique
  • [SPARK-37527] [SQL] Compilation de COVAR_POP, COVAR_SAMP et CORR dans H2Dialet
  • [SPARK-38510] [SQL] Réessayer ClassSymbol.selfType pour contourner les références cycliques
  • [SPARK-38509] [SQL] Désinscription des fonctions TIMESTAMPADD/DIFF et supprimer DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Impossible de lire TimestampNTZ comme TimestampLTZ
  • [SPARK-38526] [SQL] Correction du nom d’alias de fonction trompeur pour RuntimeReplaceable
  • [SPARK-38335] [SQL] Implémentation de la prise en charge de l’analyseur pour les valeurs de colonne DEFAULT
  • [SPARK-38593] [SS] Report de la métrique du nombre d’événements de suppression tardive abandonnés dans SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Ajout de numRowsDroppedByWatermark à SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Restauration du comportement de to_timestamp qui autorise les types numériques
  • [SPARK-38481] [SQL] Remplacement de l’exception de dépassement de capacité Java de TIMESTAMPADD par une exception Spark
  • [SPARK-37753] [SQL] Ajustement de la logique pour rétrograder la jointure de hachage de diffusion dans DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH doivent prendre en charge les types chaîne et binaire
  • [SPARK-38345] [SQL] Introduction de la fonction SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Amélioration des messages d’erreur d’instruction vide et <EOF> dans ParseException
  • [SPARK-37614] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_avgx et regr_avgy
  • [SPARK-38560] [SQL] Si Sum, Count et Any s’accompagnent de distinct, ne pas faire d’agrégation partielle.
  • [SPARK-38360] [SQL][SS][PYTHON] Introduction d’une fonction exists pour TreeNode afin d’éliminer les modèles de code en double
  • [SPARK-38385] [SQL] Amélioration des messages d’erreur des cas d’« entrée incompatible » d’ANTLR
  • [SPARK-38240] [SQL] Amélioration de RuntimeReplaceable et ajout d’une recommandation pour l’ajout de nouvelles fonctions
  • [SPARK-38542] [SQL] UnsafeHashedRelation doit sérialiser numKeys
  • [SPARK-38521] [SQL] Passage de partitionOverwriteMode d’une chaîne à une variable dans Scala
  • [SPARK-38558] [SQL] Suppression des casts inutiles entre IntegerType et IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly prend en charge les expressions pliables
  • [SPARK-38410] [SQL] Prise en charge de la spécification du numéro de partition initial pour le rééquilibrage
  • [SPARK-38107] [SQL] Utilisation des classes d’erreur dans les erreurs des UDF Python/Pandas
  • [SPARK-38354] [SQL] Ajout d’une métrique de sondes de hachage pour la jointure de hachage aléatoire
  • [SPARK-38112] [SQL] Utilisation des classes d’erreur dans les erreurs de gestion de date/timestamp
  • [SPARK-38361] [SQL] Ajout d’une méthode de fabrique getConnection dans JDBCDialect.
  • [SPARK-37865] [SQL] Correction du bogue de déduplication de l’union
  • [SPARK-38298] [SQL][Tests] Correction de DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite sous le mode ANSI
  • [SPARK-38407] [SQL] CAST ANSI : limitation du cast des types complexes non Null plus flexible
  • [SPARK-38352] [SQL] Correction de DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite en mode ANSI
  • [SPARK-38054] [SQL] Prise en charge des espaces de noms de liste dans le dialecte JDBC v2 MySQL
  • [SPARK-37960] [SQL] Nouvelle infrastructure pour représenter des expressions de catalyseur dans les API DS v2
  • [SPARK-38103] [SQL] Migration des erreurs d’analyse de transformation dans le nouveau framework d’erreurs
  • [SPARK-38519] [SQL] L’exception AQE doit respecter SparkFatalException
  • [SPARK-38528] [SQL] Itération sur la séquence d’agrégation lors de la création d’une liste de projets dans ExtractGenerator
  • [SPARK-38320] [SS] Correction du délai flatMapGroupsWithState dans le lot avec des données pour la clé
  • [SPARK-38442] [SQL] Correction de ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite en mode ANSI
  • [SPARK-38268] [SQL] Masquage du champ « failOnError » dans la méthode toString Abs/CheckOverflow
  • [SPARK-37949] [SQL] Amélioration de l’estimation des statistiques de rééquilibrage
  • [SPARK-38450] [SQL] Correction de HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite sous le mode ANSI
  • [SPARK-38501] [SQL] Correction des échecs de test thriftserver en mode ANSI
  • [SPARK-37895] [SQL] Filtrage de la colonne push avec des colonnes entre guillemets
  • [SPARK-38449] [SQL] Éviter d’appeler createTable quand ignoreIfExists=true et que la table existe
  • [SPARK-38406] [SQL] Amélioration des performances de ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Extraction du générateur de l’expression GeneratorOuter contenue par un opérateur Generate.
  • [SPARK-38309] [CORE] Correction des métriques SHS shuffleTotalReads et shuffleTotalBlocks
  • [SPARK-38412] [SS] Correction de la séquence permutée de et vers stateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][SQL][SS] Remplacement des correspondances de modèle sur les expressions booléennes par des instructions conditionnelles
  • [SPARK-38104] [SQL] Migration des erreurs d’analyse de fenêtre dans le nouveau framework d’erreurs
  • [SPARK-38434] [SQL] Sémantique correcte de la méthode CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Le traitement SS ne peut pas être démarré, car la com...
  • [SPARK-38378] [SQL] Refactorisation de la définition de grammaire ANTLR en fichiers Parser et Lexer distincts
  • [SPARK-37475] [SQL] Ajout d’un paramètre d’échelle aux fonctions floor et ceil
  • [SPARK-38411] [CORE] Utilisation de UTF-8 lors doMergeApplicationListingInternal de la lecture des journaux des événements
  • [SPARK-36553] [ML] KMeans évite les statistiques auxiliaires de calcul pour les grands K
  • [SPARK-38393] [SQL] Nettoyage de l’utilisation déconseillée de GenSeq/GenMap
  • [SPARK-38389] [SQL] Ajout des alias DATEDIFF() et DATE_DIFF() pour TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Correction du calcul de poids du cache d’index aléatoire pour les petits fichiers d’index
  • [SPARK-38353] [PYTHON] Instrumentation des méthodes magiques enter et exit pour l’API Pandas sur Spark
  • [SPARK-38323] [SQL][Streaming] Prise en charge des métadonnées de fichier masquées dans la diffusion en continu
  • [SPARK-38138] [SQL] Matérialisation des sous-requêtes QueryPlan
  • [SPARK-38094] Activation des noms de colonnes de schéma correspondants par ID de champ
  • [SPARK-37923] [SQL] Génération des transformations de partition pour BucketSpec à l’intérieur de l’analyseur
  • [SPARK-38363] [SQL] Éviter l’erreur d’exécution dans Dataset.summary()/Dataset.describe() quand le mode ANSI est activé
  • [SPARK-38284] [SQL] Ajout de la fonction TIMESTAMPDIFF()
  • [SPARK-38251] [SQL] Changement de Cast.toString en « cast » au lieu de « ansi_cast » en mode ANSI
  • [SPARK-38314] [SQL] Correction de l’échec de lecture des fichiers Parquet après l’écriture des métadonnées de fichier masquées dans

Consultez Mises à jour de maintenance de Databricks Runtime 10.5.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.8.10
  • R : 4.1.3
  • Delta Lake : 1.2.1

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empaquetage 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 28/03/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 objet BLOB 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1,38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
cycle de vie 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
Matrice 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1