Partage via


Databricks Runtime 10.3 (EoL)

Remarque

Cette version databricks Runtime a atteint la fin de vie et n’est plus disponible. Pour connaître les dates de fin de vie, consultez l’historique de fin de support et de fin de vie. Pour plus d’informations sur la stratégie et le calendrier de prise en charge de Databricks Runtime, consultez les cycles de vie de la prise en charge de Databricks.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.3 et Databricks Runtime 10.3 Photon, avec Apache Spark 3.2.1. Photon est en préversion publique. Databricks a publié cette version en février 2022.

Améliorations et nouvelles fonctionnalités

Les enregistreurs Parquet et Avro utilisent désormais le fuseau horaire de session lors de la relocalisation des horodateurs dans les sources de données Parquet

Les enregistreurs Parquet et Avro utilisent désormais le fuseau horaire de session pour le recalage de l'horodatage en mode legacy, au lieu d’utiliser le fuseau horaire JVM par défaut. Par défaut, le fuseau horaire de la session est défini sur le fuseau horaire de JVM.

Nouvelles fonctions dans Spark SQL

Les fonctions Spark SQL suivantes sont désormais prises en charge :

  • aes_decrypt: déchiffre les entrées à l’aide d’AES.
  • aes_encrypt: chiffre les entrées à l’aide de l’algorithme AES.
  • Contains: détermine si une expression contient une autre expression.
  • EndsWith: détermine si une expression se termine par une autre expression.
  • percentile_cont: retourne une valeur de centile.
  • startswith: détermine si une expression débute par une autre expression.

La fusion de l'aléatoire faible est maintenant généralement disponible

La commande Delta MERGE INTO utilise une technique appelée fusion à faible mixage, qui réduit la réorganisation des lignes non modifiées. Cela améliore les performances de la commande et permet de préserver le clustering existant de la table, tel que le Z-ordering. Cette fonctionnalité a été introduite dans Databricks Runtime 9,0 pour la version préliminaire publique et a maintenant atteint la disponibilité générale. Pour activer la fusion faible aléatoire, affectez à spark.databricks.delta.merge.enableLowShuffle la valeur true. Consultez Low Shuffle Merge sur Azure Databricks.

Nouvelles fonctionnalités de COPY INTO : mode de validation et évolution du schéma

Mode de validation : COPY INTO prend désormais en charge un VALIDATE mode dans lequel les données à charger dans une table sont validées, mais ne sont pas écrites dans la table. Ces validations comprennent :

  • Indique si les données peuvent être analysées.
  • Indique si le schéma correspond à celui de la table ou si le schéma doit évoluer.
  • Indique si toutes les contraintes de nullabilité et de vérification sont respectées.

Exemple d’utilisation :

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Par défaut, toutes les données à charger sont validées. Vous pouvez fournir un certain nombre de lignes à valider avec le mot cléROWS, par exemple VALIDATE 15 ROWS. L'instruction COPY INTO renvoie un aperçu des données de 50 lignes ou moins, lorsqu'un nombre inférieur à 50 est utilisé avec le mot clé ROWS).

Évolution du schéma : COPY INTO prend désormais en charge l’évolution du schéma avec l'option mergeSchema dans COPY_OPTIONS . Pour faire évoluer le schéma d'une table, vous devez avoir des autorisationsOWN sur cette table.

Exemple d’utilisation :

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Voir COPY INTO.

Les colonnes d’identité sont désormais prises en charge dans les tables Delta (aperçu public)

Delta Lake prend désormais en charge les colonnes d’identité. Lorsque vous écrivez dans une table Delta qui définit une colonne d’identité et que vous ne fournissez pas de valeurs pour cette colonne, Delta affecte désormais automatiquement une valeur unique et statistiquement croissante ou décroissante. Consultez CREATE TABLE [USING].

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • distlib de 0.3.3 à 0.3.4
    • filelock de 3.4.0 vers 3.4.2
    • numpy de 1.19.2 à 1.20.1
    • plotly de la version 5.3.1 à la version 5.5.0
  • Bibliothèques R mises à niveau :
    • retours de fonctionnalités de 1.4.0 à 1.4.1
    • brio de 1.1.2 à 1.1.3
    • broom de 0.7.10 à 0.7.11
    • classe de 7.3-19 à 7.3-20
    • cpp11 de 0.4.1 vers 0.4.2
    • DBI de 1.1.1 à 1.1.2
    • devtools de 2.4.2 à 2.4.3
    • mise à jour de digest de 0.6.28 vers 0.6.29
    • dtplyr de 1.1.0 à 1.2.0
    • fansi de 0.5.0 à 1.0.2
    • foreign de 0.8-81 à 0.8-82
    • fs de 1.5.0 à 1.5.2
    • gert de 1.4.3 à 1.5.0
    • glue de 1.5.0 à 1.6.0
    • httpuv de 1.6.3 à 1.6.5
    • jsonlite de 1.7.2 à 1.7.3
    • knitr de 1.36 vers 1.37
    • MASS de la version 7.3-54 à la version 7.3-55
    • Matrix de 1.3-4 à 1.4-0
    • nlme de 3.1-152 à 3.1-155
    • nnet de 7.3-16 à 7.3-17
    • OpenSSL de 1.4.5 à 1.4.6
    • parallèlement de 1.29.0 à 1.30.0
    • pkgbuild de 1.2.0 à 1.3.1
    • pkgload de la version 1.2.3 à la version 1.2.4
    • progressr de 0.9.0 vers 0.10.0
    • Rcpp de 1.0.7 à 1.0.8
    • passer de la version 2.1.0 à la version 2.1.1 de readr
    • mises à jour des remotes de la version 2.4.1 à 2.4.2
    • RSQLite de 2.2.8 à 2.2.9
    • sessioninfo de 1.2.1 à 1.2.2
    • sparklyr de 1.7.2 à 1.7.4
    • testthat de 3.1.0 vers 3.1.1
    • tinytex de 0.35 à 0.36
    • usethis de la version 2.1.3 à la version 2.1.5
    • vroom de 1.5.6 à 1.5.7
    • withr de 2.4.2 à 2.4.3
    • xfun de 0.28 vers 0.29
    • xml2 de 1.3.2 à 1.3.3
  • Bibliothèques Java mises à niveau :
    • dev.ludovic.netlib.arpack de 1.3.2 à 2.2.1
    • dev.ludovic.netlib.blas de 1.3.2 à 2.2.1
    • dev.ludovic.netlib.lapack de 1.3.2 à 2.2.1
    • io.delta.delta-sharing-spark_2.12 de 0.2.0 à 0.3.0

Apache Spark

Databricks Runtime 10.3 comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs spark et les améliorations inclus dans Databricks Runtime 10.2 (EoL), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

  • [SPARK-37896] [SQL] implémenter un ConstantColumnVector et améliorer les performances des métadonnées des fichiers masqués
  • [SPARK-37924] [SQL] Trier les propriétés de table par clé dans SHOW CREATE TABLE sur VIEW (v1)
  • [SPARK-37636] [SQL] Migrer la commande CRÉER UN ESPACE DE NOMS pour qu'elle utilise par défaut la commande V2
  • [SPARK-37381] [SQL] Tests Unify v1 et v2 SHOW CREATE TABLE
  • [SPARK-37876] [CORE][sql] Déplacer SpecificParquetRecordReaderBase.listDirectory vers TestUtils
  • [Spark-37854] [Core] Remplacer la vérification de type par la correspondance de modèle dans le code Spark
  • [SPARK-36967] [CORE] Signaler la taille exacte d'un bloc d'échange si elle est biaisée
  • [SPARK-37864] [SQL] Prise en charge des valeurs booléennes en lecture vectorisée ; utilisation de l'encodage RLE avec Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator doit rapidement ignorer la vérification de l’alignement avec la plateforme non alignée
  • [SPARK-37855] [SQL] IllegalStateException lors de la transformation d’un tableau à l’intérieur d’une structure imbriquée
  • [SPARK-37858] [SQL] générer SparkRuntimeException avec les classes d’erreur depuis les fonctions AES.
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker ne doit pas essayer d’obtenir l’état d’un fichier ignoré
  • [SPARK-37860] [UI] corriger le task-index dans la chronologie des événements de tâches de la page de l'étape
  • [SPARK-36879] [SQL] prend en charge l’encodage de page de données Parquet v2 (DELTA_BINARY_PACKED) pour le chemin vectorisé
  • [SPARK-37828] [SQL] Appliquer les filtres dans RebalancePartitions
  • [SPARK-37802] [SQL][3.2] Le nom de champ composite doit fonctionner avec le pushdown d'agrégat
  • [SPARK-37826] [SQL] utilisez le nom du codec zstd dans les noms de fichier ORC pour hive ORC impl
  • [SPARK-37820] [SQL] remplacer ApacheCommonBase64 par JavaBase64 pour les funcs de chaîne
  • [SPARK-37832] [SQL] le convertisseur de struct Orc doit utiliser un tableau pour rechercher des convertisseurs de champ plutôt qu’une liste liée
  • [SPARK-37786] [ SQL] Support de StreamingQueryListener à l’aide de SQLConf.get pour obtenir le SQLConf du SessionState correspondant
  • [SPARK-37527] [SQL] traduisez d’autres fonctions d’agrégation standard pour la poussée
  • [SPARK-37777] [SQL] Mettez à jour la syntaxe SQL de SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Effectuer un point de contrôle rapidement lorsqu'il est demandé de le faire pour de vrai
  • [SPARK-37822] [SQL] StringSplit doit retourner un tableau sur les éléments non null
  • [SPARK-37812] [SQL] lors de la désérialisation d’un struct Orc, réutilisez la ligne de résultats lorsque cela est possible
  • [SPARK-37367] [SQL] réactiver le test d’exception dans DDLParserSuite.create view – de base
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals doit rapidement ignorer la vérification de l’alignement avec la plateforme non alignée
  • [SPARK-37817] [SQL][mineur] Supprimer le code inaccessible dans complexTypeExtractors.scala
  • [SPARK-37807] [SQL] résoudre une faute de frappe dans le message HttpAuthenticationException
  • [SPARK-37750] [SQL] mode ANSI : retourne éventuellement un résultat null si l’élément n’existe pas dans le tableau/le mappage
  • [SPARK-37789] [SQL] ajoutez une classe pour représenter les fonctions d’agrégation générales dans DS V2
  • [SPARK-37785] [SQL][core] Add Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Ajouter la prise en charge de QueryExecutionListener en utilisant SQLConf.get pour obtenir le SQLConf correspondant de SessionState
  • [SPARK-37783] [SS][sql][CORE] Activer la récursion terminale dans la mesure du possible
  • [SPARK-37726] [SQL] Ajouter des métriques de taille de débordement pour la jointure par fusion et tri
  • [SPARK-37800] [SQL] TreeNode. argString formate de manière incorrecte les arguments de type Set [_]
  • [SPARK-37716] [SQL] améliorer les messages d’erreur lorsqu’un LateralJoin a des expressions non déterministes
  • [SPARK-37779] [SQL] Rendre le plan ColumnarToRowExec canonisable après (de)sérialisation
  • [SPARK-37578] [SQL] mettre à jour les métriques de tâche à partir des métriques personnalisées ds v2
  • [SPARK-37676] [SQL] prend en charge la fonction d’agrégation ANSI : percentile_cont
  • [SPARK-37724] [SQL] Mode ANSI : désactiver les mots clés réservés ANSI par défaut
  • [SPARK-37705] [SQL][3.2] Rebaser les horodateurs dans le fuseau horaire de session enregistré dans les métadonnées Parquet/Avro
  • [SPARK-34755] [SQL] prend en charge les utilitaires pour le format de transformation des numéros
  • [SPARK-36703] [SQL] supprimer le tri si c'est l'enfant de RepartitionByExpression
  • [SPARK-37369] [SQL] Éviter la transition redondante ColumnarToRow sur InMemoryTableScan
  • [SPARK-37450] [SQL] élaguer les champs inutiles du générateur
  • [SPARK-37728] [SQL] la lecture de colonnes imbriquées avec un lecteur ORC vectorisé peut provoquer la ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] ajouter du code-gen pour trier l’agrégat sans regrouper les clés
  • [Spark-37659] [UI] [3.2] Correction de la condition de concurrence FsHistoryProvider entre la liste et les informations du journal delet
  • [SPARK-37727] [SQL] Afficher les configurations ignorées et masquer les avertissements pour les configurations déjà définies dans SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL] JdbcConnectionProvider indique si le contexte de sécurité est modifié
  • [SPARK-37273] [SQL] Supporte les colonnes de métadonnées de fichiers cachés dans SPARK SQL
  • [SPARK-36876] [SQL] prend en charge le nettoyage de Partition dynamique pour HiveTableScanExec
  • [SPARK-37546] [SQL] V2 la commande ReplaceTableAsSelect doit qualifier l’emplacement
  • [SPARK-37545] [SQL] V2 la commande ReplaceTableAsSelect doit qualifier l’emplacement
  • [SPARK-37707] [SQL] autorise l’attribution de stockage et la conversion implicite entre les types datetime
  • [SPARK-37644] [SQL] Prise en charge de l'optimisation complète des agrégats pour la source de données v2.
  • [SPARK-37695] [CORE][shuffle] Ignorer l'analyse des blocs fusionnés de shuffle basé sur push
  • [SPARK-35295] [ML] remplacez entièrement com. github. fommil. netlib par dev. ludovic. netlib : 2.0
  • [SPARK-37694] [SQL] Interdire la suppression des ressources dans l’interface CLI SQL Spark
  • [SPARK-37330] [SQL] migrer ReplaceTableStatement vers la commande v2
  • [SPARK-27974] [SQL] prend en charge la fonction d’agrégation ANSI : array_agg
  • [SPARK-36902] [SQL] migrer CreateTableAsSelectStatement vers la commande v2
  • [SPARK-37678] [PYTHON] Corriger la signature de _cleanup_and_return
  • [SPARK-37613] [SQL] prend en charge la fonction d’agrégation ANSI : regr_count
  • [SPARK-37689] [SQL] Expand doit être pris en charge dans PropagateEmptyRelation
  • [SPARK-37654] [SQL] Corriger le NPE dans Row.getSeq lorsque le champ a pour valeur Null
  • [SPARK-37496] [SQL] migrer ReplaceTableAsSelectStatement vers la commande v2
  • [SPARK-37483] [SQL] prise en charge push des N premiers vers la source de données JDBC V2
  • [SPARK-37577][SQL] Correction de ClassCastException : ArrayType ne peut pas être converti en StructType pour Générer le nettoyage
  • [SPARK-37310] [SQL] Migrer l'espace de noms ALTER... SET PROPERTIES pour utiliser la commande V2 par défaut
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE doit qualifier l’emplacement de la commande v2
  • [SPARK-37343] [SQL] implémentation de createIndex, IndexExists et dropIndex dans JDBC (dialecte postgres)
  • [Spark-37060] [Core] [3.2] gérer la réponse de l’état du pilote à partir des réplicas de sauvegarde
  • [SPARK-37629] [SQL] accélérer l’Expression.canonicalization
  • [SPARK-37633] [SQL] la conversion sans encapsuler doit ignorer si le downcast a échoué avec un...
  • [SPARK-37631] [SQL] Nettoyage du code sur la promotion des chaînes au type double dans les fonctions mathématiques
  • [SPARK-37569] [ SQL] Ne marquez pas les champs d’affichage imbriqués comme nullables
  • [SPARK-37557] [SQL] remplacer le hachage de l’objet par l’agrégat de tri si l’enfant est déjà trié
  • [SPARK-36850] [SQL] Migrer CreateTableStatement vers le framework de commande v2
  • [SPARK-37592] [SQL] améliorer les performances deJoinSelection
  • [SPARK-37217] [SQL] le nombre de partitions dynamiques doit être vérifié tôt lors de l’écriture dans des tables externes
  • [SPARK-37584] [SQL] nouvelle fonction SQL : map_contains_key
  • [SPARK-37455] [SQL] Remplacer la fonction de hachage par une agrégation de tri lorsque les données sont déjà triées.
  • [SPARK-34735] [SQL][ui] Ajouter des configurations modifiées pour l’exécution de SQL dans l’interface utilisateur
  • [SPARK-37540] [SQL] détecter davantage de voyages temporels non pris en charge
  • [SPARK-37376] [SQL] introduire une nouvelle interface DataSource V2 HasPartitionKey
  • [SPARK-37666] [SQL] défini GCM comme mode par défaut dans aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader doit revenir à la version associée, pas toujours hadoop-2.7.4
  • [SPARK-37561] [SQL] Éviter de charger toutes les fonctions lors de l’obtention du DelegationToken de Hive
  • [SPARK-37370] [SQL] ajoutez des configurations SQL pour contrôler la génération de code de jointure récemment ajoutée 3,3
  • [SPARK-37311] [SQL] Migration de la commande ALTER NAMESPACE... SET LOCATION pour utiliser la commande V2 par défaut
  • [SPARK-37192] [SQL] Migrer SHOW TBLPROPERTIES pour utiliser la commande V2 par défaut
  • [SPARK-37219] [SQL] ajouter à la prise en charge de la syntaxe
  • [SPARK-37316] [SQL] ajouter code-génération pour la jointure de fusion de tri de l’existence
  • [SPARK-37591] [SQL] prend en charge le mode GCM paraes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] ajoutez les arguments mode et padding à aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] ajouter des fonctions intégrées aes_encrypt et aes_decrypt
  • [SPARK-37392] [SQL] corriger le bogue de performance lors de l’inférence de contraintes pour la génération
  • [SPARK-37481] [Core][webui] Correction de la disparition des étapes ignorées après une nouvelle tentative
  • [SPARK-37533] [SQL] nouvelle fonction SQL : try_element_at
  • [SPARK-37451] [SQL] Corriger le cast du type de chaîne vers le type décimal si spark.sql.legacy.allowNegativeScaleOfDecimal est activé
  • [Spark-37062] [SS] introduisez une nouvelle source de données pour fournir un ensemble cohérent de lignes par microlot
  • [SPARK-37552] [SQL] Ajout de la fonction convert_timezone()
  • [spark-37555] [SQL] SPARK-SQL doit transmettre le dernier commentaire non fermé au backend
  • [SPARK-37286] [SQL] déplacer compileAggregates à partir de JDBCRDD vers JdbcDialect
  • [SPARK-37485] [CORE][sql] Remplacer map par des expressions qui ne produisent aucun résultat foreach
  • [SPARK-37556] [SQL] Deser void class échoue avec la sérialisation Java
  • [SPARK-37520] [SQL] ajouter les fonctions de chaîne startswith()endswith()
  • [SPARK-37471] [SQL] SPARK-SQL prend en charge ; dans un commentaire imbriqué entre crochets
  • [SPARK-37360] [SQL] prend en charge TimestampNTZ dans la source de données JSON
  • [SPARK-37508] [SQL] Ajouter la fonction de chaîne CONTAINS()
  • [SPARK-37494] [SQL] Unification des options v1 et v2 pour la sortie de la commande SHOW CREATE TABLE
  • [SPARK-37524] [SQL] nous devrions supprimer toutes les tables après avoir testé le nettoyage de la partition dynamique.
  • [SPARK-37389] [SQL] vérifier les commentaires entre crochets non fermés
  • [SPARK-37220] [SQL] ne pas diviser le fichier d’entrée pour le lecteur de Parquet avec agrégation poussée
  • [SPARK-37326] [SQL] Prise en charge de TimestampNTZ dans la source de données CSV
  • [SPARK-35867] [SQL] activer la lecture vectorielle pour VectorizedPlainValuesReader. readBooleans
  • [SPARK-37484] [CORE][sql] Remplacer get et getOrElse par getOrElse
  • [SPARK-37492] [SQL] optimiser le code de test Orc avec withAllNativeOrcReaders
  • [Spark-37458] [SS] Supprimer les SerializeFromObject inutiles du plan de foreachBatch

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.3.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.3 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.8.10
  • R : 4.1.2
  • Delta Lake : 1.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015,10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
générateur asynchrone 1,10 attributs 20.3.0 appel de retour 0.2.0
bidict 0.21.4 blanchir 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycliste 0.10.0 Cython 0.29.23
dbus-python 1.2.16 décorateur 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 points d’entrée 0,3
aperçu des facettes 1.0.0 verrou de fichier 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (un outil de widgets interactifs pour Python) 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 kiwisolver 1.3.1 Koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 désaccorder 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 carnet de notes 6.3.0 numpy 1.20.1
empaquetage 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 dupe 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Oreiller 8.2.0 pépin 21.0.1
tracé 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy (bibliothèque Python pour le calcul scientifique) 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Six 1.15.0
ssh-import-id 5.10 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.2 ténacité 8.0.1
terminé 0.9.4 chemin de test 0.4.4 threadpoolctl 2.1.0
tornade 6.1 Traitlets 5.0.5 mises à niveau automatiques 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 roue 0.36.2 widgetsnbextension 3.5.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 19 janvier 2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Askpass 1.1 assertthat 0.2.1 rétroportage 1.4.1
base 4.1.2 base64enc 0.1-3 morceau 4.0.4
bit 64 4.0.5 objet BLOB 1.2.2 botte 1.3-28
brasser 1.0-6 brio 1.1.3 balai 0.7.11
bslib 0.3.1 cachemire 1.0.6 appelant 3.7.0
caret 6.0-90 cellranger 1.1.0 Chron 2.3-56
classe 7.3-20 Cli 3.1.0 clipr 0.7.1
Grappe 2.1.2 codetools 0.2-18 espace colorimétrique 2.0-2
commonmark 1.7 compilateur 4.1.2 Configuration 0.3.1
cpp11 0.4.2 crayon 1.4.2 Références 1.3.2
friser 4.3.2 data.table 1.14.2 jeux de données 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digérer 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipse 0.3.2 évaluer 0.14 fans 1.0.2
couleurs 2.1.0 carte rapide 1.1.0 fontawesome 0.2.2
condamnés 0.5.1 foreach 1.5.1 étranger 0.8-82
forger 0.2.0 fs 1.5.2 futur 1.23.0
future.apply 1.8.1 se gargariser 1.2.0 produits génériques 0.1.1
Gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globales 0.14.0
colle 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 graphisme 4.1.2 grDevices 4.1.2
grille 4.1.2 gridExtra 2.3 gsubfn 0,7
tableau 0.3.0 havre 2.4.3 supérieur 0.9
Hms 1.1.1 outils HTML 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Id 1.0.1 ini 0.3.1
ipred 0.9-12 isobande 0.2.5 itérateurs 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2,23-20
knitr 1,37 étiquetage 0.4.2 plus tard 1.3.0
treillis 0.20-45 lave 1.6.10 cycle de vie 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1.1 MASSE 7.3-55 Matrice 1.4-0
mémorisation 2.0.1 méthodes 4.1.2 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modèleur 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallèle 4.1.2
parallèlement 1.30.0 pilier 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr (un package logiciel pour le traitement de données) 1.8.6 éloge 1.0.0 joliesunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progrès 1.2.2 progresseur 0.10.0 promesses 1.2.0.1
prototype 1.0.0 mandataire 0.4-26 p.s. 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest (algorithme d'apprentissage automatique) 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recettes 0.1.17
match retour 1.0.1 revanche2 2.1.2 Télécommandes 2.4.2
exemple reproductible 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 Sass 0.4.0 écailles 1.1.1
sélecteur 0,4-2 informations sur la session 1.2.2 forme 1.4.6
brillant 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 Cannelures 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.1.2
statistiques4 4.1.2 chaine 1.7.6 stringr 1.4.0
survie 3.2-13 sys 3.4 tcltk 4.1.2
Démos Pédagogiques 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
date-heure 3043.102 tinytex 0,36 outils 4.1.2
tzdb 0.2.0 Utilise ça 2.1.5 utf8 1.2.2
utilitaires 4.1.2 Identifiant unique universel (UUID) 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.3.1
vibrisse 0,4 flétrir 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 fermeture éclair 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws Outil de support aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware ombragé cryogénique 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_native-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profileur 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Configuration 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-analyseurs 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-dbcp commons-dbcp 1.4
téléchargement de fichiers communs téléchargement de fichiers communs 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-suppléments 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite (roche pyrolitique) 4 h 30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 2.0.0
org.apache.arrow noyau-mémoire-flèche 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vecteur-flèche 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons texte commun 1.6
org.apache.curator curateur-client 2.13.0
org.apache.curator curateur-framework 2.13.0
org.apache.curator curateur-recettes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.1
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Composant commun de hive-shims 2.3.9
org.apache.hive.shims programmeur de cales de hive 2.3.9
org.apache.htrace htrace-core4 4.1.0-en incubation
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy lierre 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet colonne de parquet 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet encodage parquet 1.12.0-databricks-0003
org.apache.parquet structures-de-format-parquet 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotations du public 0.5.0
org.apache.zookeeper gardien de zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.43.v20210629
org.eclipse.jetty serveur jetty 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket serveur websocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers servlet de conteneur jersey 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-commun 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Cales 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilisé 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework test de printemps 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly.openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1