Partager via

Databricks Runtime 4.2 (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks a publié cette version en juillet 2018.

Important

Cette version a été rendue obsolète le 5 mars 2019. Pour plus d’informations sur la politique de dépréciation de Databricks Runtime et sur la planification, consultez Cycles de vie du support Databricks.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 4.2, avec Apache Spark.

Delta Lake

Databricks Runtime 4.2 ajoute des fonctionnalités et des améliorations de qualité majeures à Delta Lake. Databricks recommande fortement que tous les clients Delta Lake soient mis à niveau vers le nouveau runtime. Cette version est conservée en préversion privée, mais elle représente une version candidate en prévision de la prochaine version de disponibilité générale (GA).

Nouvelles fonctionnalités

  • Les flux peuvent maintenant être directement écrits dans une table Delta enregistrée dans le metastore Hive à l’aide de df.writeStream.table(...).

Améliorations

  • Toutes les commandes et requêtes Delta Lake permettent désormais de référencer une table à l’aide de son chemin d’accès en tant qu’identificateur.

    delta.`<path-to-table>`

    Auparavant OPTIMIZE et VACUUM nécessitaient une utilisation non standard de littéraux de chaîne (autrement dit, '<path-to-table>').

  • DESCRIBE HISTORY comprend désormais l’ID de validation et est classé du plus récent au plus ancien par défaut.

Résolution des bogues

  • Le filtrage basé sur les prédicats de partition fonctionne désormais correctement même lorsque la casse des prédicats diffère de celle de la table.
  • Correction d’une colonne AnalysisException manquante lors de vérifications d’égalité sur des colonnes booléennes dans des tables Delta (autrement dit booleanValue = true).
  • CREATE TABLE ne modifie plus le journal des transactions lors de la création d’un pointeur vers une table existante. Cela évite les conflits inutiles avec les flux simultanés et autorise la création d’un pointeur de la table de métadonnées vers des tables où l’utilisateur dispose uniquement d’un accès en lecture aux données.
  • L’appel de display() sur un flux contenant de grandes quantités de données n’entraîne plus une erreur de mémoire insuffisante dans le pilote.
  • AnalysisException est désormais levée lorsqu’un chemin d’accès sous-jacent de Delta Lake est supprimé, au lieu de retourner des résultats vides.
  • Les configurations Delta Lake qui nécessitent une version de protocole spécifique (par exemple, appendOnly) ne peuvent être appliquées qu’à des tables d’une version appropriée.
  • Lors de la mise à jour de l’état d’une table Delta, les lignages longs sont désormais automatiquement tronqués pour éviter un StackOverFlowError.

Diffusion Structurée

Nouvelles fonctionnalités

  • Delta Lake et Kafka prennent désormais entièrement en charge Trigger.Once. Précédemment, les limites de taux (par exemple maxOffsetsPerTrigger ou maxFilesPerTrigger) spécifiées en tant qu’options sources ou valeurs par défaut peuvent entraîner uniquement une exécution partielle des données disponibles. Ces options sont désormais ignorées lorsque Trigger.Once est utilisé, ce qui permet de traiter toutes les données actuellement disponibles.
  • Ajout d'un nouveau streaming foreachBatch() dans Scala, permettant de définir une fonction pour traiter la sortie de chaque microlot à l'aide d'opérations DataFrame. Cela active les éléments suivants :
    • Utiliser des sources de données en lots existantes pour écrire des sorties microbatch sur des systèmes qui n’ont pas encore de source de données de diffusion continue (par exemple, utiliser le rédacteur de lot Cassandra sur chaque sortie microbatch).
    • Écriture de la sortie de micro-lot dans plusieurs emplacements.
    • Appliquer des opérations de DataFrame et de table sur les sorties de microbatch qui ne sont pas encore prises en charge dans les DataFrames de flux continu (par exemple, effectuer une mise à jour ou insertion de la sortie de microbatch dans une table Delta).
  • Ajout de fonctions from_avro/to_avro pour lire et écrire des données Avro dans DataFrame au lieu de fichiers uniquement, comme from_json/to_json. Pour plus d’informations, consultez Lire et écrire des données Avro n’importe où.
  • Ajout de la prise en charge de la diffusion en continu foreach() dans Python (déjà disponible dans Scala). Pour plus d’informations, consultez la documentation foreach et foreachBatch.

Améliorations

  • Génération plus rapide de résultats de sortie et/ou nettoyage d’état à l’aide d’opérations avec état (mapGroupsWithState, jointure entre flux, agrégation en continu, suppression des doublons en continu) lorsqu’il n’y a aucune donnée dans le flux d’entrée.

Résolution des bogues

  • Correction du bogue de précision Spark-24588 dans la jointure flux-à-flux où la jointure a rapporté moins de résultats lorsqu’il existe une répartition explicite avant celle-ci (par exemple, df1.repartition("a", "b").join(df, "a")).

Autres changements et améliorations

  • Ajout de la prise en charge de la commande SQL Deny pour les clusters prenant en charge le contrôle d’accès aux tables. Les utilisateurs peuvent désormais refuser des autorisations spécifiques de la même manière qu’auparavant. Une autorisation refusée remplace celle qui a été accordée. Les administrateurs et les propriétaires d’un objet particulier sont toujours autorisés à effectuer des actions.
  • Nouvelle source de données Azure Data Lake Storage qui utilise le pilote ABFS. Voir Connexion à Azure Data Lake Storage et Blob Storage
  • Mise à niveau de certaines bibliothèques Python installées :
    • pip : de 10.0.0b2 à 10.0.1
    • setuptools : de 39.0.1 à 39.2.0
    • tornado : de 5.0.1 à 5.0.2
    • wheel : 0.31.0 à 0.31.1
  • Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.
  • Prise en charge améliorée de Parquet
  • Mise à niveau d’Apache ORC de 1.4.1 vers 1.4.3

Apache Spark

Databricks Runtime 4.2 comprend Apache Spark 2.3.1. Cette version contient tous les améliorations et correctifs inclus dans Databricks Runtime 4.1 (EoS), ainsi que les améliorations et correctifs de bogues supplémentaires suivants apportés à Spark :

  • [SPARK-24588][SS] La jointure en continu devrait exiger le HashClusteredPartitioning des enfants
  • [SPARK-23931][SQL] Créer arrays_zip dans function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Corriger codegen lorsque le fractionnement est requis pour arrays_zip
  • [SPARK-24578][CORE] Limiter la taille de la sous-région du tampon nio retourné
  • [SPARK-24613][SQL] Le cache avec UDF n’a pas pu être mis en correspondance avec les caches dépendants suivants
  • [SPARK-24583][SQL] Type de schéma incorrect dans InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Ajouter une API pour dans un flux structuré pour l’exposition de lignes de sortie de chaque microlot en tant que DataFrame
  • [SPARK-24396][SS][PYSPARK] Ajouter le ForeachWriter de streaming structuré pour Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression utilise getSimpleName, qui n’est pas sécurisé dans Scala
  • [SPARK-24452][SQL][CORE] Évite tout dépassement possible dans int add ou multiple
  • [SPARK-24187][R][SQL] Ajouter la fonction array_join à SparkR
  • [SPARK-24525][SS] Fournir une option permettant de limiter le nombre de lignes dans un MemorySink
  • [SPARK-24331][SPARKR][SQL] Ajout d’arrays_overlap, array_repeat, map_entries à SparkR
  • [SPARK-23931][SQL] Ajouter la fonction arrays_zip à Spark SQL
  • [SPARK-24186][R][SQL] Classer inverse et concat en tant que fonctions de collection dans R
  • [SPARK-24198][SPARKR][SQL] Ajout d’une fonction de tranche à SparkR
  • [SPARK-23920][SQL] Ajout de la fonction array_remove pour supprimer tous les éléments qui correspondent à un élément du tableau
  • [SPARK-24197][SPARKR][SQL] Ajout d’une fonction array_sort à SparkR
  • [SPARK-24340][CORE] Nettoyer les fichiers du gestionnaire de blocs de disque non-associés au mélange après les sorties de l'exécuteur sur un cluster autonome
  • [SPARK-23935][SQL] Ajout d’une fonction map_entries
  • [SPARK-24500][SQL] Garantir que les flux sont matérialisés lors des transformations d'arbres.
  • [SPARK-24495][SQL] EnsureRequirement retourne un plan incorrect lors de la réorganisation des clés égales
  • [SPARK-24506][UI] Ajouter des filtres de l’interface utilisateur aux onglets ajoutés après la liaison
  • [SPARK-24468][SQL] Gérer l’échelle négative lors de l’ajustement de la précision pour les opérations décimales
  • [SPARK-24313][SQL] Correction de l’évaluation interprétée des opérations de collection pour les types complexes
  • [SPARK-23922][SQL] Ajouter une fonction arrays_overlap
  • [SPARK-24369][SQL] Gestion correcte pour plusieurs agrégations distinctes avec le même ensemble d’arguments
  • [SPARK-24455][CORE] Correction des fautes de frappe dans le commentaire TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Ajout de TaskContext.getLocalProperty(key) dans Python
  • [SPARK-24117][SQL] Unification de getSizePerRow
  • [SPARK-24156][SS] Correction de l’erreur lors de la récupération à partir d'un échec dans un lot sans données
  • [SPARK-24414][UI] Calcule le nombre correct de tâches pour une étape.
  • [SPARK-23754][Python] Re-déclencher StopIteration dans le code client
  • [SPARK-23991][DSTREAMS] Corriger la perte de données lorsque l’écriture WAL échoue dans allocateBlocksToBatch
  • [SPARK-24373][SQL] Ajouter AnalysisBarrier à l’enfant de RelationalGroupedDataset et KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Marquer pandas_udf comme expérimental
  • [SPARK-24334] Une condition de concurrence dans ArrowPythonRunner provoque l'arrêt brutal de l'allocateur de mémoire Arrow
  • [SPARK-19112][CORE] Ajouter des shortCompressionCodecNames manquants à la configuration.
  • [SPARK-24244][SPARK-24368][SQL] transmission uniquement des colonnes requises à l’analyseur CSV
  • [SPARK-24366][SQL] Amélioration des messages d’erreur pour la conversion de type
  • [SPARK-24371][SQL] Ajout de isInCollection dans l'API DataFrame pour Scala.
  • [SPARK-23925][SQL] Ajouter une fonction de collection array_repeat
  • [MINOR] Ajouter une configuration de port SSL dans toString et scaladoc
  • [SPARK-24378][SQL] Correction des exemples incorrects de la fonction date_trunc
  • [SPARK-24364][SS] Empêcher InMemoryFileIndex d’échouer si le chemin d’accès au fichier n’existe pas
  • [SPARK-24257][SQL] LongToUnsafeRowMap calculer la nouvelle taille peut être incorrecte
  • [SPARK-24348][SQL] element_at”, correction d’erreur
  • [SPARK-23930][SQL] ajouter une fonction de tranche
  • [SPARK-23416][SS] ajoutez une méthode d’arrêt spécifique pour ContinuousExecution.
  • [SPARK-23852][SQL] mettre à niveau vers Parquet 1.8.3
  • [SPARK-24350][SQL] corrige ClassCastException dans la fonction « array_position »
  • [SPARK-24321][SQL] Extraction du code commun des opérations de division et de reste vers un trait de base
  • [SPARK-24309][CORE] AsyncEventQueue doit s’arrêter en cas d’interruption.
  • [SPARK-23850][SQL] Ajouter une configuration distincte pour les options de rédaction SQL.
  • [SPARK-22371][CORE] retourne None au lieu de lever une exception lorsqu’un accumulateur est collecté par le ramasse-miettes.
  • [SPARK-24002][SQL] tâche non sérialisable due à org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Ajouter une fonction array_sort
  • [SPARK-23923][SQL] ajouter une fonction de cardinalité
  • [SPARK-24159][SS] activer les microlots sans données pour le streaming mapGroupswithState
  • [SPARK-24158][SS] Activer des lots sans données pour les jointures en flux continu
  • [SPARK-24157][SS] L'activation des lots sans données a été permise dans MicroBatchExecution pour l'agrégation et la déduplication en flux continu.
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet génère des statistiques erronées pour la chaîne de caractères
  • [SPARK-17916] [SQL] Correction du problème où une chaîne vide est analysée comme nul lorsque nullValue est défini.
  • [SPARK-23916][SQL] Ajouter une fonction array_join
  • [SPARK-23408][SS] Synchroniser les actions AddData successives dans Streaming*JoinSuite
  • [SPARK-23780][R] échec de l’utilisation de la bibliothèque googleVis avec la nouvelle SparkR
  • [SPARK-23821][SQL] fonction de collection : aplatissement
  • [SPARK-23627][SQL] fournir isEmpty dans le jeu de données
  • [SPARK-24027][SQL] Supporte MapType avec StringType pour les clés en tant que type racine par from_json
  • [SPARK-24035][SQL] syntaxe SQL pour le pivot - correction de l'avertissement antlr
  • [SPARK-23736][SQL] extension de la fonction concat pour prendre en charge les colonnes de tableau
  • [SPARK-24246][SQL] Améliorer AnalysisException en définissant la cause lorsqu’elle est disponible
  • [SPARK-24263][R] Problème de vérification Java de SparkR avec OpenJDK
  • [SPARK-24262][Python] Correction des fautes de frappe dans le message d’erreur de correspondance de type UDF
  • [SPARK-24067][STREAMING][KAFKA] Autoriser les décalages non consécutifs
  • [SPARK-10878][CORE] Corriger la condition de concurrence lorsque plusieurs clients résolvent des artefacts en même temps
  • [SPARK-19181][CORE] Correction de la « métrique SparkListenerSuite.local »
  • [SPARK-24068] Propagation des options de DataFrameReader vers la source de données Texte lors de l’inférence du schéma
  • [SPARK-24214][SS] Correction de toJSON pour StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] ajouter une fonction array_position/element_at
  • [SPARK-23926][SQL] extension de la fonction inversée pour prendre en charge les arguments ArrayType
  • [SPARK-23809][SQL] La session SparkSession active doit être définie par getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] prendre en charge l’encodage personnalisé pour les fichiers json
  • [SPARK-24035][SQL] syntaxe SQL pour Pivot
  • [SPARK-24069][R] Ajouter des fonctions de array_min/array_max
  • [SPARK-23976][CORE] détecter un dépassement de longueur dans UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] restaurer le point de terminaison de l’API « /version ».
  • [SPARK-24128][SQL] Mention de l’option de configuration dans l’erreur CROSS JOIN implicite
  • [SPARK-23291][SQL][R] La fonction 'substr' de R ne doit pas réduire la position de départ de 1 lorsqu'on appelle l'API Scala.
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper doit définir isZero correctement
  • [SPARK-24168][SQL] WindowExec ne doit pas accéder à SQLConf côté exécuteur
  • [SPARK-24143] filtrer les blocs vides lors de la conversion de mapstatus en paire (blockId, taille)
  • [SPARK-23917][SPARK-23918][SQL] ajouter une fonction array_max/array_min
  • [SPARK-23905][SQL] ajouter un jour de la semaine UDF
  • [SPARK-16406][SQL] améliorer les performances de LogicalPlan.resolve
  • [SPARK-24013][SQL] supprimer la compression inutile dans ApproximatePercentile
  • [SPARK-23433][CORE] Les achèvements tardifs des tâches zombie mettent à jour tous les ensembles de tâches
  • [SPARK-24169][SQL] JsonToStructs ne doit pas accéder à SQLConf côté exécuteur
  • [SPARK-24133][SQL] rétroporter [SPARK-24133]vérifier les débordements d’entiers lors du redimensionnement de WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec ne doit pas accéder à SQLConf côté exécuteur
  • [SPARK-24133][SQL] vérifier les débordements d’entiers lors du redimensionnement de WritableColumnVectors
  • [SPARK-24085][SQL] la requête retourne UnsupportedOperationException quand une sous-requête scalaire est présente dans l’expression de partitionnement
  • [SPARK-24062][THRIFT SERVER] Résoudre le problème de non-activation du chiffrement SASL sur le serveur Thrift
  • [SPARK-23004][SS] Assurez-vous que StateStore.commit n’est appelé qu’une seule fois dans une tâche d’agrégation de streaming
  • [SPARK-23188][SQL] Rendre la taille du lot du lecteur colonnaire vectoriel configurable
  • [SPARK-23375][SPARK-23973][SQL] éliminer le tri inutile dans l’optimiseur
  • [SPARK-23877][SQL] utiliser des prédicats de filtre pour nettoyer les partitions dans les requêtes de métadonnées uniquement
  • [SPARK-24033][SQL] correction de l’incompatibilité du cadre de fenêtre specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] mettre à niveau Apache ORC vers 1.4.3
  • Corriger un problème de vérification de la valeur null manquante qui peut être déclenchée plus facilement par la génération de code d'expression rationalisée, et exposé par SPARK-23986, car cela a rendu le code source généré un peu plus long et a déclenché le chemin de code problématique (fractionnement du code par Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] L'échange doit copier les données avant un brouillage non sérialisé.
  • [SPARK-24021][CORE] correction du bug dans la fonction updateBlacklistForFetchFailure du BlacklistTracker
  • [SPARK-24014][PYSPARK] ajouter la méthode onStreamingStarted à StreamingListener
  • [SPARK-23963][SQL] Gère correctement un grand nombre de colonnes dans une requête sur une table Hive textuelle
  • [SPARK-23948] Déclencher l’écouteur de travail de mapstage dans submitMissingTasks
  • [SPARK-23986][SQL] freshName peut générer des noms non uniques
  • [SPARK-23835][SQL] Ajouter une vérification non null aux arguments de désérialisation de Tuples

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 4.2.

Environnement du système

  • Système d’exploitation : Ubuntu 16.04.4 LTS
  • Java : 1.8.0_162
  • Scala : 2.11.8
  • Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
  • R : R version 3.4.4 (2018-03-15)
  • Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
    • Pilote Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
chiffrement 1,5 cycliste 0.10.0 Cython 0.24.1
décorateur 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 contrats à terme 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 adresse IP 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1,2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 dupe 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Oreiller 3.3.1
pépin 10.0.1 Plis 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 Python-geohash 0.8.5 pytz 1.6.2016
requêtes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy (bibliothèque Python pour le calcul scientifique) 0.18.1 récurer 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1,0
répartition unique 3.4.0.3 Six 1.10.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.6.1
tornade 5.0.2 Traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 roue 0.31.1
wsgiref 0.1.2

Bibliothèques R installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
abind 1.4-5 assertthat 0.2.0 rétroportage 1.1.2
base 3.4.4 BH 1.66.0-1 bindr (application de gestion de fichiers) 0.1.1
bindrcpp 0.2.2 morceau 1.1-12 bit 64 0.9-7
bitops 1.0-6 BLOB 1.1.1 botte 1,3-20
brasser 1.0-6 balai 0.4.4 voiture 3.0-0
données de voiture 3.0-1 caret 6.0-79 cellranger 1.1.0
Chron 2.3-52 classe 7.3-14 Cli 1.0.0
Grappe 2.0.7-1 codetools 0.2-15 espace colorimétrique 1.3-2
commonmark 1.4 compilateur 3.4.4 crayon de couleur 1.3.4
friser 3.2 Thrombose Veineuse du Sinus Cérébral (CVST) 0.2-1 data.table 1.10.4-3
jeux de données 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0-8 Desc 1.1.1 devtools 1.13.5
dichromatisme 2.0-0 digérer 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 Réduction des Risques de Catastrophe (DRR) 0.0.3
condamnés 0.3.0 foreach 1.4.4 étranger 0.8-70
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 colle 1.2.0 Gower 0.1.2
graphisme 3.4.4 grDevices 3.4.4 grille 3.4.4
gsubfn 0,7 gtable 0.2.0 H₂O 3.16.0.2
havre 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
itérateurs 1.0.9 jsonlite 1,5 kernlab 0.9-25
KernSmooth 2.23-15 étiquetage 0,3 treillis 0.20-35
lave 1.6.1 lazyeval 0.2.1 plus petit 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1,5
mapproj 1.2.6 cartes 3.3.0 maptools 0.9-2
MASSE 7.3-50 Matrice 1.2-14 MatrixModels 0.4-1
mémorisation 1.1.0 méthodes 3.4.4 mgcv 1.8-24
mime 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallèle 3.4.4 pbkrtest 0.4-7 pilier 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr (un package logiciel pour le traitement de données) 1.8.4 éloge 1.0.0 joliesunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
Psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest (algorithme d'apprentissage automatique) 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recettes 0.1.2 match retour 1.0.1 reshape2 1.4.3
rivière 0.5.10 rlang 0.2.0 robustebase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 écailles 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 Cannelures 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 Statistiques 3.4.4
statistiques4 3.4.4 chaine 1.1.7 stringr 1.3.0
survie 2.42-3 tcltk 3.4.4 Démos Pédagogiques 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 date-heure 3043.102 outils 3.4.4
utf8 1.1.3 utilitaires 3.4.4 viridisLite 0.3.0
vibrisse 0,3-2 flétrir 2.1.2 xml2 1.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws Outil de support aws-java-sdk 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flux 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-analyseurs 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
Commons-Digester Commons-Digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift compresseur d'air 0,8
io.dropwizard.metrics métriques de base 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics métriques-vérifications de santé 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics servlets de métriques 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx collecteur 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1,2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-suppléments 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-propriétés 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite (roche pyrolitique) 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 0.8.0
org.apache.arrow mémoire-flèche 0.8.0
org.apache.arrow vecteur-flèche 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite noyau de calcite 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curateur-client 2.7.1
org.apache.curator curateur-framework 2.7.1
org.apache.curator curateur-recettes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubant
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy lierre 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet colonne de parquet 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet encodage parquet 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper gardien de zoo 3.4.6
org.bouncycastle bcprov-jdk15on 1,58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilateur commun 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security (sécurité de quai) 9.3.20.v20170531
org.eclipse.jetty serveur jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-goyva 2.22.2
org.glassfish.jersey.containers servlet de conteneur jersey 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-commun 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy Snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenèse 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline (outil de ligne de commande d'Apache Hive) 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark inutilisé 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework test de printemps 4.1.4.RELEASE
org.tukaani xz 1,0
org.typelevel machiniste_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52
  • Last updated on