Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Remarque
Cette version databricks Runtime a atteint la fin de vie et n’est plus disponible. Pour connaître les dates de fin de vie, consultez l’historique de fin de support et de fin de vie. Pour plus d’informations sur la stratégie et le calendrier de prise en charge de Databricks Runtime, consultez les cycles de vie de la prise en charge de Databricks.
Databricks a publié cette version en août 2018.
Important
Cette version a été déclarée obsolète le 9 avril 2019. Pour plus d’informations sur la politique d'obsolescence de Databricks Runtime et son calendrier, consultez Cycles de vie du support Databricks.
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 4.3, optimisé par Apache Spark.
Nouvelles fonctionnalités
- Delta Lake
-
TRUNCATE TABLEcommande : Supprimer toutes les lignes d’une table Contrairement à son équivalent pour les tables Spark, les tables delta ne prennent pas en charge la suppression de partitions spécifiques. -
ALTER TABLE REPLACE COLUMNScommande : Remplacer les colonnes d’une table Delta. Il prend en charge la modification du commentaire d’une colonne et la réorganisation de plusieurs colonnes. -
FSCK REPAIR TABLEcommande : Supprimer les entrées de fichier du journal des transactions d'une table Delta qui ne peuvent plus être trouvées dans le système de fichiers sous-jacent. Cela peut se produire lorsque ces fichiers ont été supprimés manuellement. - Prise en charge des requêtes sur les tables delta obsolètes pour améliorer l’expérience de requête interactive : les requêtes sur les tables delta peuvent désormais s’exécuter sur une version obsolète de la table lorsque les résultats à jour ne sont pas nécessaires. Cette fonctionnalité réduit la latence des requêtes, en particulier lorsque les tables delta sous-jacentes sont mises à jour en continu par le biais de flux.
-
- Diffusion en continu structurée
- Prise en charge de diffusion en continu évolutive pour le connecteur Azure Synapse Analytics.
- Prise en charge de
foreachBatch()dans Python (déjà disponible dans Scala). Pour plus d’informations, consultez la documentation foreach et foreachBatch . - Support de la sélection du niveau de filigrane min ou max lorsqu'il y a plusieurs flux de données dans une requête. Précédemment, l’horodatage minimal était toujours utilisé. Pour plus d’informations, consultez la stratégie à plusieurs filigranes .
- Prise en charge de l’opérateur
LIMITpour les flux en mode de sortieAppendetComplete. Pour réduire les erreurs de mémoire insuffisante sur le pilote,LIMITest automatiquement appliqué lorsque vous utilisezdisplay()sur des flux non liés.
Améliorations
Delta Lake
- Préversion privée de la nouvelle implémentation évolutive de la commande
MERGE INTOqui n’a pas la limite d’insertion de ligne 10000. Contactez le support technique si vous souhaitez essayer cela. - Amélioration des performances et de l’extensibilité de la commande
OPTIMIZE, en particulier sur les clusters de grande taille. - La commande OPTIMIZE est désormais validée de façon incrémentielle dans la table, ce qui signifie que si la commande échoue, une nouvelle tentative n’a pas besoin de traiter l’ensemble du jeu de données.
- Réduction du nombre de RPC de système de fichiers requis pour découvrir de nouvelles données lors de l’utilisation de Delta Lake comme source de streaming.
- Ajout de la prise en charge de
df.writeStream.table(table-name)dans Python pour créer une table Delta à partir d’un flux.
- Préversion privée de la nouvelle implémentation évolutive de la commande
Amélioration des performances pour les requêtes avec plusieurs jointures, agrégations ou fenêtres.
Amélioration de l’efficacité de l’élagage au niveau de la partition dans les requêtes avec des jointures de hachage de diffusion.
Améliorations apportées à la génération de code de la phase entière pour détecter les expressions dupliquées, réduire la quantité de code générée et améliorer les performances de certains types d’expressions.
Les clusters à haute concurrence permettent désormais l’exécution
%fsdans les carnets numériques.Py4J mis à jour vers la version 0.10.7 utilisé par PySpark.
- Amélioration des performances de la mise en cache de disque sur les instances de la série Azure Ls. Le cache est maintenant activé par défaut sur ces instances, accélérant les charges de travail impliquées dans la lecture répétée des fichiers Parquet.
Fonctionnalités dépréciées
- Le saut de données en dehors de Databricks Delta est obsolète. Une version améliorée de data skipping continuera d’être disponible en tant que partie de Delta Lake. Nous vous recommandons de passer à l’utilisation de Delta Lake pour continuer à tirer parti de cette fonctionnalité. Pour plus de détails, consultez Databricks Delta Data Skipping.
Résolution des bogues
- Correction de l’instruction de déportage de prédicat
MERGE INTOincorrect pour Delta lorsque la condition ON avait des prédicats référençant uniquement la table cible. - Correction du bogue dans
mapGroupsWithStateetflatMapGroupsWithStatequi empêchait la définition de délais d’attente lorsque l’état a été supprimé (SPARK-22187). - Correction du bogue empêchant le filigranage de fonctionner correctement avec
Trigger.Once(SPARK-24699). - La commande Update valide désormais les colonnes de la clause SET pour vous assurer que toutes les colonnes existent réellement et qu’aucune colonne n’est définie plusieurs fois.
- Correction d’une condition de compétition potentielle pouvant provoquer des interblocages lors de la validation des modifications de répertoire.
- Correction d’un bogue provoquant l’utilisation d’une version déconseillée du client DBFS lors de l’actualisation des montages.
Problèmes connus
- Les options de configuration Delta Lake pour une table prennent effet uniquement dans le premier bloc-notes qui charge la table.
Apache Spark
Databricks Runtime 4.3 comprend Apache Spark 2.3.1. Cette version inclut tous les correctifs et améliorations inclus dans Databricks Runtime 4.2 (EoL), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :
-
[SPARK-24934][SQL] Autoriser explicitement les types pris en charge dans les bornes supérieures/inférieures pour le pruning en mémoire des partitions.
- Lorsque des types de données complexes sont utilisés dans des filtres de requête sur des données en cache, Spark renvoie toujours un jeu de résultats vide. Le nettoyage basé sur les statistiques en mémoire génère des résultats incorrects, car la valeur Null est définie comme limites supérieure/inférieure pour les types complexes. La solution consiste à ne pas utiliser l'élagage basé sur les statistiques conservées en mémoire pour les types complexes.
-
[SPARK-24957][SQL] La moyenne avec décimale suivie d’une agrégation renvoie un résultat incorrect.
- Les résultats incorrects de AVERAGE peuvent être renvoyés. La fonction CAST ajoutée dans l’opérateur Average ne sera pas appliquée si le résultat de Divide est du même type que celui vers lequel il est converti.
-
[SPARK-24867][SQL] Ajout de AnalysisBarrier à DataFrameWriter.
- Le cache SQL n’est pas utilisé lors de l’utilisation de DataFrameWriter pour écrire un DataFrame avec UDF. Il s’agit d’une régression causée par les modifications que nous avons apportées à AnalysisBarrier, car les règles de l’analyseur ne sont pas toutes idempotentes.
-
[SPARK-24790][SQL] Autoriser des expressions d’agrégation complexes dans un pivot
- Assouplissez la vérification pour autoriser des expressions d’agrégation complexes, telles que ceil(sum(col1)) ou sum(col1) + 1, ce qui signifie approximativement toute expression d’agrégation pouvant apparaître dans un plan d'agrégat à l’exception de pandas UDF.
-
[SPARK-24870][SQL] Le cache ne peut pas fonctionner normalement s’il existe des lettres de cas dans SQL
- Résout un problème de canonicalisation de plan.
- [SPARK-24852] Mettre à jour l'utilisation des API de Instrumentation dans la formation spark.ml.
-
[SPARK-24891][SQL] Corriger la règle HandleNullInputsForUDF
- Faites de la règle HandleNullInputsForUDF idempotent, afin d’éviter toute incompatibilité de plan dans le gestionnaire de cache lorsqu’un plan est analysé plusieurs fois.
- [SPARK-24878][SQL] Correction de la fonction inverse pour le type de tableau de type primitif contenant la valeur Null.
- [SPARK-24871][SQL] Refactoriser Concat et MapConcat pour éviter de créer un objet concaténateur pour chaque ligne.
-
[SPARK-24802][SQL] ajouter un nouveau paramètre pour l’exclusion des règles d’optimisation
- Fournit une configuration aux utilisateurs pour exclure certaines règles d’optimiseur.
-
[SPARK-24879][SQL] Correction du NPE dans le filtre de réduction de la partition Hive
- Lorsque le prédicat de la partition est du type de col IN (1, null), une NPE sera générée. Ce correctif résout le bogue.
- [SPARK-23731][SQL] Rendre FileSourceScanExec canonisable après avoir été (dé)sérialisé
-
[SPARK-24755][Core] la perte d’exécuteur peut entraîner la non-soumission de la tâche
- Corrige un bogue qui empêche Spark de renvoyer les tâches échouées en raison de la perte de l'exécuteur. Ce bogue a été introduit dans Spark 2,3.
-
[SPARK-24677][Core] Éviter l'exception NoSuchElementException de MedianHeap
- Résout un bogue lié aux tâches spéculatives lors de la collecte des mesures de durée des tâches.
- [SPARK-24868][PYTHON] ajouter une fonction de séquence dans Python
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Correction des coercitions et des nullités de type.
- [SPARK-24699]Activer les filigranes avec Trigger.Once en sauvegardant le filigrane mis à jour dans le journal de validation.
- [SPARK-24537][R] Ajouter array_remove/array_zip/map_from_arrays/array_distinct
- [SPARK-22187][SS] Mettre à jour le format unsaferow pour l’état enregistré dans flatMapGroupsWithState afin d’autoriser les délais d’attente avec l’état supprimé (4.x)
-
[SPARK-24681][SQL] Vérifier les noms de colonnes imbriquées dans metastore Hive
- Assurez-vous que les noms de colonnes imbriqués n’incluent pas « , », « : » et « ; » dans le metastore Hive.
-
[SPARK-23486]Mettre en cache le nom de la fonction provenant du catalogue externe pour la recherche de fonctions
- Pour accélérer les recherches de fonctions.
- [SPARK-24781][SQL] L’utilisation d’une référence à partir d’un jeu de données dans Filter/Sort peut ne pas fonctionner
-
[SPARK-24208][SQL] Correction de la déduplication des attributs pour FlatMapGroupsInPandas
- Corriger l’échec de jointure automatique sur un jeu de données qui contient un FlatMapGroupsInPandas en raison d’attributs dupliqués
- [SPARK-24530][python] Ajouter un contrôle pour forcer la version de Python dans Sphinx via une variable d’environnement, SPHINXPYTHON
-
[SPARK-24250]Prendre en charge l'accès à SQLConf dans les tâches
- Enregistrer toutes les configurations de SQL dans les propriétés du travail lorsqu’une exécution de SQL est déclenchée. Du côté de l'exécuteur, nous régénérons le SQLConf à partir des propriétés du job.
- [SPARK-23936][SQL] Implémente map_concat
- [SPARK-23914][SQL] Ajouter une fonction array_union
-
[SPARK-24732][SQL] Coercion de type entre MapTypes.
- Ajoute la prise en charge de la coercition de type entre les MapTypes, où les types de clés et de valeurs sont compatibles. Par exemple, les types MapType (IntegerType, FloatType) et MapType (LongType, DoubleType) peuvent être convertis en type MapType (LongType, DoubleType)
- [SPARK-24662][SQL] [SS] Limite de prise en charge dans la diffusion en continu structurée
- [SPARK-24730][SS] Ajout d'une politique pour choisir le maximum comme filigrane global lorsque la requête de streaming a plusieurs filigranes (branch-4.x)
-
[SPARK-24596][SQL] Invalidation de cache sans cascade
- Lorsque vous décachez ou supprimez la vue temporaire, il est inutile de décacher en cascade tous les plans qui dépendent de la vue, étant donné que les données sous-jacentes ne sont pas modifiées.
- [SPARK-23927][SQL] Ajouter l’expression « séquence »
- [SPARK-24636][SQL] Forçage de type des tableaux pour la fonction array_join
-
[SPARK-22384][SQL] Affiner le nettoyage de la partition lorsque l’attribut est encapsulé dans un Cast
- Améliorer l'élagage des partitions, pouvoir appliquer les prédicats de partition avec une transformation de type sécurisée (int vers long, pas long vers int).
-
[SPARK-24385][SQL] Résoudre l’ambiguïté de condition de jointure réflexive pour EqualNullSafe
- Implémente EqualNullSafe pour résoudre les ambiguïtés des conditions d'auto-jonction.
-
[SPARK-24696][SQL] La règle ColumnPruning ne parvient pas à supprimer des projets supplémentaires
- Corrige un bogue dans la règle ColumnPruning qui a provoqué une erreur de boucle infinie dans l’optimiseur.
- [SPARK-24603][SQL] Correction de la référence findTightestCommonType dans les commentaires
-
[SPARK-24613][SQL] Le cache avec UDF n’a pas pu être mis en correspondance avec les caches dépendants suivants
- Enveloppe le plan logique dans un élément AnalysisBarrier pour la compilation du plan d’exécution dans CacheManager, afin d’éviter que le plan soit à nouveau analysé. Il s’agit également d’une régression de Spark 2.3
- [SPARK-24017][SQL] Refactoriser ExternalCatalog en tant qu’interface
-
[SPARK-24324][PYTHON] Les fonctions définies par l'utilisateur UDF Map groupé de pandas doivent attribuer les colonnes de résultats par nom.
- Assigne les colonnes de résultats par nom de schéma si l'utilisateur est étiqueté avec des chaînes, sinon par utilisation de la position.
-
[SPARK-23778][CORE] Éviter les remaniements inutiles lorsque l'union obtient un RDD vide
- Ignore les RDD vides entrants dans la méthode d'union pour éviter un brassage supplémentaire inutile lorsque tous les autres RDD ont le même partitionnement.
-
[SPARK-24552][CORE] [SQL] Utiliser un identifiant unique au lieu d'un numéro de tentative pour les écritures.
- Transmet l'identifiant unique de tentative de tâche au lieu du numéro de tentative aux sources de données v2, car le numéro de tentative est réutilisé lorsque les étapes sont relancées. Cela affecte les API V1 et V2 de la source de données, mais les API de format de fichier ne seront pas affectées, car Databricks Runtime utilisant un protocole de validation différent.
- [SPARK-24588] La jointure en continu devrait exiger le HashClusteredPartitioning des enfants.
-
[SPARK-24589][CORE] Identifier correctement les tâches dans le comité de validation de sortie.
- Ajoute plus d’informations à l’état intermédiaire suivi par le coordinateur, de sorte qu’une seule tâche est autorisée à valider la sortie. Ce correctif supprime également les modifications de code inutiles introduites par SPARK-18113.
- [SPARK-23933][SQL] Ajouter une fonction map_from_arrays
-
[SPARK-24583][SQL] Type de schéma incorrect dans InsertIntoDataSourceCommand
- Lors de la création d'une table Delta avec des contraintes NOT NULL, nous pouvions abandonner la nullité et insérer les valeurs NULL sans vérifier la violation.
-
[SPARK-24542][SQL] Les séries UDF UDFXPathXXXX permettent aux utilisateurs de transmettre un XML soigneusement conçu pour accéder à des fichiers arbitraires.
- Il s’agit d’un correctif de sécurité signalé par la communauté. La série UDF UDFXPathXXXX permet aux utilisateurs de transmettre des données XML soigneusement conçues pour accéder aux fichiers arbitraires. Lorsqu'ils utilisent la bibliothèque de contrôle d'accès externe, les utilisateurs peuvent parfois la contourner et accéder aux contenus des fichiers.
- [SPARK-23934][SQL] Ajout d’une fonction map_from_entries
- [SPARK-23912][SQL] Ajout de array_distinct
- [SPARK-24574][SQL] les fonctions array_contains, array_position, array_remove et element_at traitent le type de colonne
Mises à jour de maintenance
Consultez Mises à jour de maintenance de Databricks Runtime 4.3.
Environnement du système
- Système d’exploitation : Ubuntu 16.04.4 LTS
- Java : 1.8.0_162
- Scala : 2.11.8
- Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
- R : R version 3.4.4 (2018-03-15)
-
Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
- Pilote Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| chiffrement | 1,5 | cycliste | 0.10.0 | Cython | 0.24.1 |
| décorateur | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | contrats à terme | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | adresse IP | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1,2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | dupe | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Oreiller | 3.3.1 |
| pépin | 10.0.1 | Plis | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | Python-geohash | 0.8.5 | pytz | 1.6.2016 |
| requêtes | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy (bibliothèque Python pour le calcul scientifique) | 0.18.1 | récurer | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1,0 |
| répartition unique | 3.4.0.3 | Six | 1.10.0 | statsmodels, une bibliothèque Python pour la modélisation statistique | 0.6.1 |
| tornade | 5.0.2 | Traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | roue | 0.31.1 |
| wsgiref | 0.1.2 |
Bibliothèques R installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | rétroportage | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | morceau | 1.1-12 | bit 64 | 0.9-7 |
| bitops | 1.0-6 | objet BLOB | 1.1.1 | botte | 1,3-20 |
| brasser | 1.0-6 | balai | 0.4.4 | voiture | 3.0-0 |
| données de voiture | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| Chron | 2.3-52 | classe | 7.3-14 | Cli | 1.0.0 |
| Grappe | 2.0.7-1 | codetools | 0.2-15 | espace colorimétrique | 1.3-2 |
| commonmark | 1.4 | compilateur | 3.4.4 | crayon | 1.3.4 |
| friser | 3.2 | Thrombose Veineuse du Sinus Cérébral (CVST) | 0.2-1 | data.table | 1.10.4-3 |
| jeux de données | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1,0-8 | Desc | 1.1.1 | devtools | 1.13.5 |
| dichromatisme | 2.0-0 | digérer | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | Réduction des Risques de Catastrophe (DRR) | 0.0.3 |
| condamnés | 0.3.0 | foreach | 1.4.4 | étranger | 0.8-70 |
| Gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | colle | 1.2.0 | Gower | 0.1.2 |
| graphisme | 3.4.4 | grDevices | 3.4.4 | grille | 3.4.4 |
| gsubfn | 0,7 | tableau | 0.2.0 | H₂O | 3.16.0.2 |
| havre | 1.1.1 | Hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| itérateurs | 1.0.9 | jsonlite | 1,5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | étiquetage | 0,3 | treillis | 0.20-35 |
| lave | 1.6.1 | lazyeval | 0.2.1 | plus petit | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1,5 |
| mapproj | 1.2.6 | cartes | 3.3.0 | maptools | 0.9–2 |
| MASSE | 7.3-50 | Matrice | 1.2-14 | MatrixModels | 0.4-1 |
| mémorisation | 1.1.0 | méthodes | 3.4.4 | mgcv | 1.8-24 |
| mime | 0,5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallèle | 3.4.4 | pbkrtest | 0.4-7 | pilier | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr (un package logiciel pour le traitement de données) | 1.8.4 | éloge | 1.0.0 | joliesunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | prototype | 1.0.0 |
| Psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest (algorithme d'apprentissage automatique) | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recettes | 0.1.2 | match retour | 1.0.1 | reshape2 | 1.4.3 |
| rivière | 0.5.10 | rlang | 0.2.0 | robustebase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0,7 | écailles | 0.5.0 | sfsmisc | 1.1-2 |
| SP | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
| spatial | 7.3-11 | Cannelures | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | Statistiques | 3.4.4 |
| statistiques4 | 3.4.4 | chaine | 1.1.7 | stringr | 1.3.0 |
| survie | 2.42-3 | tcltk | 3.4.4 | Démos Pédagogiques | 2,10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | date-heure | 3043.102 | outils | 3.4.4 |
| utf8 | 1.1.3 | utilitaires | 3.4.4 | viridisLite | 0.3.0 |
| vibrisse | 0,3-2 | flétrir | 2.1.2 | xml2 | 1.2.0 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.11)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | AWS Java SDK pour Elastic Beanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | Outil de support aws-java-sdk | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | flux | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | ombragé cryogénique | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Camarade de classe | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | cœur | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-autochtones | 1.1 |
| com.github.fommil.netlib | système_natif-java | 1.1 |
| com.github.fommil.netlib | système_native-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | goyave | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf (compression utilisant l'algorithme LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentilles_2.11 | 0,3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-analyseurs | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections (bibliothèque de collections communes) | commons-collections (bibliothèque de collections communes) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| Commons-Digester | Commons-Digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2,2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | compresseur d'air | 0,8 |
| io.dropwizard.metrics | métriques de base | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | métriques-vérifications de santé | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | servlets de métriques | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | collecteur | 0,7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2,11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-suppléments | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-propriétés | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite (roche pyrolitique) | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | fourmi | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | format de flèche | 0.8.0 |
| org.apache.arrow | mémoire-flèche | 0.8.0 |
| org.apache.arrow | vecteur-flèche | 0.8.0 |
| org.apache.avro | Avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | noyau de calcite | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curateur-client | 2.7.1 |
| org.apache.curator | curateur-framework | 2.7.1 |
| org.apache.curator | curateur-recettes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubant |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | lierre | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | colonne de parquet | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | encodage parquet | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | gardien de zoo | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1,58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | compilateur commun | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security (sécurité de quai) | 9.3.20.v20170531 |
| org.eclipse.jetty | serveur jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | OSGi Localisateur de Ressources | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-goyva | 2.22.2 |
| org.glassfish.jersey.containers | servlet de conteneur jersey | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-commun | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | Snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenèse | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de test | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline (outil de ligne de commande d'Apache Hive) | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | inutilisé | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | test de printemps | 4.1.4.RELEASE |
| org.tukaani | xz | 1,0 |
| org.typelevel | machiniste_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |