Partager via

Databricks Runtime 13.0 (non pris en charge)

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 13.0 optimisé par Apache Spark 3.4.0.

Databricks a publié ces images en avril 2023.

Améliorations et nouvelles fonctionnalités

Les expressions H3 prennent désormais en charge les zones géographiques linéaires

Les fonctions h3_coverash3 et h3_coverash3string les fonctions prennent désormais en charge les zones géographiques linéaires (linestring et multilinestring). Les fonctions produisent un ensemble minimal de cellules H3 à la résolution spécifiée. Consultez h3_coverash3 et h3_coverash3string.

Ganglia remplacé par des métriques de cluster

Pour Databricks Runtime versions 13 et ultérieures, les métriques Ganglia sont remplacées par les métriques de cluster Azure Databricks. Pour Databricks Runtime versions 12 et antérieures, vous pouvez continuer à utiliser les métriques Ganglia. Si votre flux de travail dépend des indicateurs de performance Ganglia et ne peut pas être satisfait des métriques de cluster, contactez votre équipe de compte Azure Databricks. Consultez Afficher les métriques de calcul.

Publication de Spark 3.4.0

Apache Spark 3.4.0 est désormais en disponibilité générale. Consultez Spark Release 3.4.0.

Photon retourne une erreur si un fichier est modifié entre la planification et l’exécution de la requête

Les requêtes Photon renvoient désormais une erreur si un fichier est mis à jour entre la planification et l'exécution de la requête. Avant cette modification, Photon lisait un fichier même si son heure de modification change entre la planification et l’exécution des requêtes, ce qui pouvait entraîner des résultats imprévisibles.

Nouvelles fonctionnalités pour les E/S prédictives

Photon prend désormais en charge les cadres glissants, à la fois pour les modes ROWS et RANGE, à l’aide de {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Prise en charge étendue des fonctionnalités d’E/S prédictives

Prise en charge étendue de Photon pour les sources de données CSV, AVRO et DataFrame de mise en cache lorsque votre schéma contient exclusivement des colonnes scalaires. La prise en charge est également étendue pour les types imbriqués, tels que les cartes, les structs et les tableaux.

Utiliser le connecteur Databricks pour se connecter à un autre espace de travail Databricks

Le connecteur Azure Databricks vous permet de vous connecter aux ressources de calcul configurées dans un autre espace de travail et de retourner les résultats à votre espace de travail Azure Databricks actuel. Le pilote JDBC Azure Databricks est désormais inclus dans Databricks Runtime. Consultez Utiliser le connecteur Databricks pour se connecter à un autre espace de travail Databricks

Options Kafka supplémentaires pour Structured Streaming avec cluster partagé sur Unity Catalog

Vous pouvez maintenant utiliser les paramètres kakfa.ssl.truststore.location et kafak.ssl.keystore.location stocker des certificats Kafka sur des emplacements externes gérés par Unity Catalog lorsque vous utilisez Structured Streaming sur des clusters à accès partagé. Vous ne pouvez pas utiliser d’emplacements à la racine DBFS.

Ignorer les modifications de table Delta avec Structured Streaming

Vous pouvez désormais utiliser skipChangeCommits pour ignorer les validations de données en table Delta pour UPDATEles opérations , MERGEet DELETE . Cela remplace ignoreChanges, qui est désormais déconseillé. Consultez Ignorer les mises à jour et les suppressions.

Fonctionnalité CREATE TABLE LIKE pour les tables Delta

CREATE TABLE LIKE est désormais pris en charge lors de l’utilisation de tables Delta.

Nouveaux champs de colonne de métadonnées indiquant le début et la longueur du bloc de fichiers

Vous pouvez maintenant obtenir les informations de métadonnées suivantes pour les fichiers d’entrée avec la _metadata colonne : file_block_start et file_block_length. Pour plus d’informations, consultez Colonne de métadonnées de fichier.

Nouvelles fonctions géospatiales H3

Les nouvelles expressions h3_coverash3 et h3_coverash3string sont disponibles pour le traitement géospatial lorsque Photon est activé. Consultez Fonctions géospatiales H3.

Nouvelles fonctions SQL intégrées

Les fonctions suivantes ont été ajoutées :

%sql dans les notebooks Python

Tous les résultats non vides %sql dans les notebooks Python sont désormais accessibles à l’aide _sqldf du système de mise en cache de sortie IPython. Cela simplifie l’utilisation du résultat DataFrame dans Python. Il s’agit d’un changement de comportement à partir des versions antérieures de DBR, comme précédemment, _sqldf qui n’a pas toujours été réaffecté.

_sqldf n’est pas réaffecté sur un %sql résultat de cellule si la cellule a été exécutée à l’aide de l’exécution de cellules SQL parallèles.

%pip ne redémarre pas automatiquement Python

Après avoir exécuté %pip des commandes dans des notebooks Python qui modifient virtualEnv, Databricks ne redémarre plus automatiquement le processus Python. Pour redémarrer le processus Python, appelez dbutils.library.restartPython(). Avec cette modification, %pip les commandes sur Databricks se comportent de la même façon que les notebooks Jupyter et sont cohérentes avec !pip les commandes et %sh pip . Databricks recommande %pip au lieu de !pip ou %sh pip.

Les bibliothèques Python étendues au cluster sont installées à l’aide d’un utilisateur non racine

Les bibliothèques sont désormais installées à l’aide d’un utilisateur non racine responsable des installations de bibliothèques. Si vous souhaitez configurer le comportement d’installation pip dans les scripts init, utilisez le [fichier https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesde niveau global ).

Résolution des bogues

  • Dans les commandes %sh, les correctifs suivants ont été apportés :
    • La sortie contenant des caractères non UTF-8 est désormais prise en charge.
    • Les sous-processus sont maintenant interrompus lorsque la commande est annulée.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • asttokens de 2.0.5 à 2.2.1
    • noir de 22.3.0 à 22.6.0
    • boto3 de 1.21.32 à 1.24.28
    • botocore de 1.24.32 à 1.27.28
    • certifi de 2021.10.8 à 2022.9.14
    • cffi de 1.15.0 à 1.15.1
    • chiffrement de 3.4.8 à 37.0.1
    • Cython de 0.29.28 à 0.29.32
    • dbus-python de 1.2.16 à 1.2.18
    • docstring-to-markdown de 0.11 à 0.12
    • exécution de 0.8.3 à 1.2.0
    • facets-overview de 1.0.0 à 1.0.2
    • fastjsonschema de 2.16.2 à 2.16.3
    • filelock de la version 3.9.0 vers la version 3.10.7
    • ipykernel de 6.15.3 à 6.17.1
    • ipython de 8.5.0 à 8.10.0
    • joblib de 1.1.1 à 1.2.0
    • jsonschema de 4.4.0 à 4.16.0
    • jupyter-client de 6.1.12 à 7.3.4
    • kiwisolver de 1.3.2 à 1.4.2
    • matplotlib de 3.5.1 à 3.5.2
    • matplotlib-inline de 0.1.2 à 0.1.6
    • nbformat de 5.3.0 à 5.5.0
    • notebook de 6.4.8 à 6.4.12
    • pandas de 1.4.2 à 1.4.4
    • Pillow de 9.0.1 à 9.2.0
    • pip de 21.2.4 à 22.2.2
    • platformdirs de 2.6.2 vers 2.5.2
    • plotly de 5.6.0 à 5.9.0
    • prometheus-client de 0.13.1 à 0.14.1
    • prompt-toolkit de 3.0.20 à 3.0.36
    • psutil de 5.8.0 à 5.9.0
    • pyflakes de 2.5.0 à 3.0.1
    • PyGObject de 3.36.0 à 3.42.1
    • pyparsing de 3.0.4 à 3.0.9
    • pyright de 1.1.283 à 1.1.294
    • python-lsp-server de 1.6.0 à 1.7.1
    • pytz de 2021.3 à 2022.1
    • pyzmq de 22.3.0 à 23.2.0
    • requests de 2.27.1 à 2.28.1
    • corde de 0.22.0 à 1.7.0
    • s3transfer de 0.5.0 à 0.6.0
    • scikit-learn de 1.0.2 à 1.1.1
    • scipy de 1.7.3 à 1.9.1
    • setuptools de 61.2.0 à 63.4.1
    • ssh-import-id de 5.10 à 5.11
    • stack-data de 0.2.0 à 0.6.2
    • testpath de 0.5.0 à 0.6.0
    • tomli de 1.2.2 à 2.0.1
    • ujson de 5.1.0 à 5.4.0
    • urllib3 de 1.26.9 à 1.26.11
    • virtualenv de 20.8.0 à 20.16.3
    • whatthepatch de 1.0.4 à 1.0.2
    • wheel de 0.37.0 à 0.37.1
  • Bibliothèques R mises à niveau :
    • flèche de 10.0.0 à 10.0.1
    • bit de 4.0.4 à 4.0.5
    • broom de 1.0.1 vers 1.0.3
    • bslib de 0.4.1 à 0.4.2
    • chron de 2.3-58 à 2.3-59
    • cli de 3.4.1 vers 3.6.0
    • colorspace de 2.0-3 à 2.1-0
    • curl de 4.3.3 à 5.0.0
    • data.table de 1.14.4 à 1.14.6
    • dbplyr de 2.2.1 à 2.3.0
    • digest de 0.6.30 vers 0.6.31
    • dplyr de 1.0.10 à 1.1.0
    • e1071 de 1.7-12 à 1.7-13
    • evaluate 0.18 à 0.20
    • fansi de 1.0.3 à 1.0.4
    • fontawesome de 0.4.0 à 0.5.0
    • forcats de 0.5.2 à 1.0.0
    • fs de 1.5.2 à 1.6.1
    • future de 1.29.0 à 1.31.0
    • gargle de 1.2.1 à 1.3.0
    • gert de 1.9.1 à 1.9.2
    • glmnet de 4.1-4 vers 4.1-6
    • globals de 0.16.1 à 0.16.2
    • gower de 1.0.0 à 1.0.1
    • highr de 0,9 à 0,10
    • htmltools de 0.5.3 à 0.5.4
    • htmlwidgets de 1.5.4 à 1.6.1
    • httpuv de 1.6.6 à 1.6.8
    • isoband de 0.2.6 à 0.2.7
    • jsonlite de 1.8.3 à 1.8.4
    • knitr de 1.40 à 1.42
    • lava de 1.7.0 à 1.7.1
    • listenv de 0.8.0 à 0.9.0
    • lubridate de 1.9.0 à 1.9.1
    • markdown de 1.3 à 1.5
    • modeleur de 0.1.9 à 0.1.10
    • openssl de 2.0.4 à 2.0.5
    • parallèlement de 1.32.1 à 1.34.0
    • pkgbuild de 1.3.1 à 1.4.0
    • pkgdown de 2.0.6 à 2.0.7
    • pkgload de 1.3.1 à 1.3.2
    • plyr de 1.8.7 à 1.8.8
    • progressr de 0.11.0 à 0.13.0
    • purrr de 0.3.5 à 1.0.1
    • ragg de 1.2.4 à 1.2.5
    • Rcpp de 1.0.9 à 1.0.10
    • readxl de 1.4.1 vers 1.4.2
    • recettes de 1.0.3 à 1.0.4
    • rmarkdown de 2.18 vers 2.20
    • RODBC de 1.3-19 à 1.3-20
    • roxygen2 de 7.2.1 à 7.2.3
    • RSQLite de 2.2.18 à 2.2.20
    • sass de 0.4.2 à 0.4.5
    • shiny de 1.7.3 vers 1.7.4
    • sourcetools de 0.1.7 à 0.1.7-1
    • sparklyr de 1.7.8 à 1.7.9
    • SparkR de 3.3.2 à 3.4.0
    • spatial de 7.3-11 à 7.3-15
    • stringi de 1.7.8 à 1.7.12
    • stringr de 1.4.1 à 1.5.0
    • survie de 3,4-0 à 3,5-3
    • testthat de 3.1.5 vers 3.1.6
    • tidyr de 1.2.1 vers 1.3.0
    • timechange de 0.1.1 à 0.2.0
    • timeDate de 4021.106 vers 4022.108
    • tinytex de 0,42 à 0,44
    • utf8 de 1.2.2 à 1.2.3
    • vctrs de 0.5.0 vers 0.5.2
    • vroom de 1.6.0 à 1.6.1
    • moustache de 0.4 à 0.4.1
    • xfun de 0.34 vers 0.37
    • yaml de 2.3.6 à 2.3.7
  • Bibliothèques Java mises à niveau :
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-config de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-core de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-directory de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-ecs de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-efs de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-emr de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-glacier de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-glue de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-iam de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-importexport de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-kms de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-lambda de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-logs de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-rds de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-redshift de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-route53 de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-s3 de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-ses de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-sns de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-sqs de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-ssm de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-sts de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-support de 1.12.189 à 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.189 à 1.12.390
    • com.amazonaws.jmespath-java de 1.12.189 à 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations de la version 2.13.4 vers la version 2.14.2
    • com.fasterxml.jackson.core.jackson-core de la version 2.13.4 vers la version 2.14.2
    • com.fasterxml.jackson.core.jackson-databind de la version 2.13.4.2 vers la version 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.4 à 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de la version 2.13.4 vers la version 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.4 à 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 à 2.14.2
    • com.github.luben.zstd-jni de 1.5.2-1 à 1.5.2-5
    • com.google.code.gson.gson de 2.8.6 à 2.8.9
    • com.google.crypto.tink.tink de 1.6.1 à 1.7.0
    • com.h2database.h2 de 2.0.204 à 2.1.214
    • com.jcraft.jsch de 0.1.50 à 0.1.55
    • com.ning.compress-lzf de 1.1 vers 1.1.2
    • commons-fileupload.commons-fileupload de 1.3.3 à 1.5
    • dev.ludovic.netlib.arpack de 2.2.1 à 3.0.3
    • dev.ludovic.netlib.blas de 2.2.1 à 3.0.3
    • dev.ludovic.netlib.lapack de 2.2.1 à 3.0.3
    • io.dropwizard.metrics.metrics-core de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-graphite de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-jmx de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-json de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-jvm de 4.1.1 à 4.2.10
    • io.dropwizard.metrics.metrics-servlets de 4.1.1 à 4.2.10
    • io.netty.netty-all de 4.1.74.Final à 4.1.87.Final
    • io.netty.netty-buffer de 4.1.74.Final à 4.1.87.Final
    • io.netty.netty-codec de 4.1.74.Final à 4.1.87.Final
    • io.netty.netty-common de 4.1.74.Final à 4.1.87.Final
    • io.netty.netty-handler de 4.1.74.Final à 4.1.87.Final
    • io.netty.netty-resolver de 4.1.74.Final vers 4.1.87.Final
    • io.netty.netty-transport de 4.1.74.Final vers 4.1.87.Final
    • io.netty.netty-transport-classes-epoll de 4.1.74.Final vers 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.74.Final vers 4.1.87.Final
    • io.netty.netty-transport-native-unix-common de 4.1.74.Final vers 4.1.87.Final
    • joda-time.joda-time de 2.10.13 à 2.12.1
    • net.razorvine.pickle de 1.2 à 1.3
    • org.antlr.antlr4-runtime de 4.8 à 4.9.3
    • org.apache.ant.ant de 1.9.2 à 1.9.16
    • org.apache.ant.ant-jsch de 1.9.2 à 1.9.16
    • org.apache.ant.ant-launcher de 1.9.2 à 1.9.16
    • org.apache.arrow.arrow-format de 7.0.0 à 11.0.0
    • org.apache.arrow.arrow-memory-core de 7.0.0 à 11.0.0
    • org.apache.arrow.arrow-memory-netty de 7.0.0 à 11.0.0
    • org.apache.arrow.arrow-vector de 7.0.0 à 11.0.0
    • org.apache.avro.avro de 1.11.0 à 1.11.1
    • org.apache.avro.avro-ipc de 1.11.0 à 1.11.1
    • org.apache.avro.avro-mapred de 1.11.0 à 1.11.1
    • org.apache.httpcomponents.httpclient de 4.5.13 à 4.5.14
    • org.apache.httpcomponents.httpcore de 4.4.14 à 4.4.16
    • org.apache.ivy.ivy de 2.5.0 à 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api de 2.18.0 à 2.19.0
    • org.apache.logging.log4j.log4j-api de 2.18.0 à 2.19.0
    • org.apache.logging.log4j.log4j-core de 2.18.0 à 2.19.0
    • org.apache.orc.orc-core de 1.7.6 à 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.7.6 à 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.7.6 à 1.8.2
    • org.apache.xbean.xbean-asm9-shaded de 4.20 à 4.22
    • org.apache.zookeeper.zookeeper de 3.6.2 à 3.6.3
    • org.apache.zookeeper.zookeeper-jute de 3.6.2 à 3.6.3
    • org.eclipse.jetty.jetty-client de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 à 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator de 6.1.0.Final à 6.1.7.Final
    • org.mlflow.mlflow-spark de 2.1.1 à 2.2.0
    • org.postgresql.postgresql de 42.3.3 à 42.3.8
    • org.roaringbitmap.RoaringBitmap de 0.9.25 vers 0.9.39
    • org.roaringbitmap.shims de 0.9.25 à 0.9.39
    • org.rocksdb.rocksdbjni de 6.28.2 vers 7.8.3
    • org.scala-lang.scala-compiler_2.12 de 2.12.14 à 2.12.15
    • org.scala-lang.scala-library_2.12 de 2.12.14 à 2.12.15
    • org.scala-lang.scala-reflect_2.12 de 2.12.14 à 2.12.15
    • org.scalanlp.breeze-macros_2.12 de 1.2 à 2.1.0
    • org.scalanlp.breeze_2.12 de 1.2 à 2.1.0
    • org.slf4j.jcl-over-slf4j de1.7.36 à 2.0.6
    • org.slf4j.jul-to-slf4j de 1.7.36 à 2.0.6
    • org.slf4j.slf4j-api de 1.7.36 vers 2.0.6
    • org.threeten.threeten-extra de 1.5.0 à 1.7.1
    • org.wildfly.openssl.wildfly-openssl de 1.0.7.Final à 1.1.3.Final
    • org.yaml.snakeyaml de 1.24 à 1.33

Apache Spark

Databricks Runtime 13.0 comprend Apache Spark 3.4.0.

Spark SQL

Fonctionnalités

  • Implémentation de la prise en charge des valeurs DEFAULT pour les colonnes des tables (SPARK-38334)
  • Ajouter Dataset.as(StructType) (SPARK-39625)
  • Prise en charge de SQL paramétrable (SPARK-41271, SPARK-42702)
  • Ajouter unpivot/ melt (SPARK-38864, SPARK-39876)
  • Prise en charge des « références d’alias de colonne latérale » (SPARK-27561)
  • Clause de décalage de résultat de prise en charge (SPARK-28330, SPARK-39159)
  • Prise en charge de l’horodatage sans type de données de fuseau horaire (SPARK-35662)
  • Prise en charge de la sous-requête scalaire dans le temps (SPARK-39306)
  • Rendre l’API catalogue compatible avec l’espace de noms à 3 couches (SPARK-39235)
  • Prise en charge de l’horodatage en secondes pour TimeTravel à l’aide des options de DataFrame [SPARK-39633]
  • Ajouter SparkSession.config(Carte) (SPARK-40163)
  • Prise en charge de la modification de la base de données par défaut du catalogue de sessions(SPARK-35242)
  • Prise en charge de Protobuf pour Spark - from_protobuf AND to_protobuf (SPARK-40654)
  • Ajout de la clause WHEN NOT MATCHED BY SOURCE à MERGE INTO (SPARK-40921)
  • Contrainte de classement souple pour les options de colonne CREATE TABLE (SPARK-40944)
  • Equivalent Sql de la commande Remplacer Dataframe (SPARK-40956)
  • Prise en charge de la génération sans sortie enfant requise vers les références externes de l'hôte (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • Ajouter flatMapSortedGroups et cogroupSorted (SPARK-38591)
  • Prise en charge de sous-requêtes avec des prédicats de non-égalité corrélés (SPARK-36114)
  • Prise en charge des sous-requêtes avec corrélation via UNION/INTERSECT/EXCEPT (SPARK-36124)

Conformité ANSI

  • Mode ANSI : retourne toujours null sur l’accès non valide à la colonne mappée (SPARK-40066)
  • Prise en charge des identificateurs entre guillemets doubles (SPARK-40585)
  • MODE SQL ANSI : Round/Bround doit retourner une erreur sur un dépassement de capacité d’entier minuscule, petit ou grand (SPARK-42045)
  • Prise en charge de la conversion d’intégrales en intervalles ANSI (SPARK-40008)
  • Prise en charge du cast des décimales en intervalles ANSI (SPARK-40014)
  • Retour de types d’intervalles ANSI plus larges à partir des fonctions de centile (SPARK-40151)
  • Prise en charge du cast des intervalles ANSI en décimales (SPARK-39470)
  • Prise en charge du cast des intervalles en entiers en mode ANSI (SPARK-39451)
  • Renforcer l’utilisation de SQLSTATE pour les classes d’erreur (SPARK-41994)

Functions

  • Prise en charge des fonctions de générateur table dans la clause FROM (SPARK-41594)
  • Prise en charge de la fonction d’agrégation ANSI : REGR_SXY (SPARK-37681)
  • Prise en charge de la fonction d’agrégation ANSI : REGR_R2 (SPARK-37641)
  • Prise en charge de la fonction d’agrégation ANSI : REGR_SXX (SPARK-37672)
  • Prise en charge de la fonction d’agrégation ANSI : REGR_SYY (SPARK-37702)
  • Prise en charge de la fonction d’agrégation ANSI : REGR_SLOPE (SPARK-39230)
  • Prise en charge de la fonction d’agrégation ANSI : REGR_INTERCEPT (SPARK-37623)
  • Prise en charge de la fonction d’agrégation ANSI PERCENTILE_CONT en tant que fonction de fenêtre (SPARK-38219)
  • Prise en charge de la fonction d’agrégation ANSI : PERCENTILE_DISC (SPARK-37691)
  • Prise en charge de la fonction split_part (SPARK-38063)
  • Fonction TRY_AVG de prise en charge (SPARK-38589)
  • Fonction TRY_TO_BINARY de prise en charge (SPARK-38590)
  • Prendre en charge les fonctions SQL TO_NUMBER et TRY_TO_NUMBER selon une nouvelle spécification (SPARK-38796)
  • Prise en charge de la fonction et de spécification de valeur générale ANSI - USER (SPARK-39138)
  • Prise en charge des fonctions TO_CHAR et TRY_TO_CHAR pour mettre en forme des valeurs décimales sous forme de chaînes (SPARK-28516)
  • Prise en charge ANY_VALUE fonction d’agrégation (SPARK-39213)
  • Fonction EQUAL_NUL de prise en charge (SPARK-39305)
  • Prise en charge de la fonction d’agrégation MEDIAN (SPARK-39320)
  • Fonction REGEXP_COUNT de prise en charge (SPARK-39618)
  • Fonction REGEXP_INSTR de prise en charge (SPARK-39744)
  • Fonction REGEXP_SUBSTR de prise en charge (SPARK-39695)
  • Prise en charge de la fonction UNPIVOT (SPARK-39876)
  • Fonction TRY_TO_TIMESTAMP de prise en charge (SPARK-39795)
  • Prise en charge de l’URL encode/décodage en tant que fonction intégrée et fonctions liées à l’URL de nettoyage (SPARK-39741)
  • Prise en charge de la fonction d’agrégation MODE (SPARK-39808)
  • Prise en charge de la fonction GET (SPARK-40109)
  • Ajouter des alias de fonction : LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Améliorer la fonction TO_BINARY (SPARK-40112)
  • Support CURRENT_SCHEMA (SPARK-41323)
  • Prise en charge de la fonction intégrée de masquage des données MASK (SPARK-40687)
  • Prise en charge de la fonction d’ordre élevé : ARRAY_COMPACT (SPARK-41235)
  • Fonction ARRAY_APPEND de prise en charge (SPARK-41232)
  • Fonction ARRAY_INSERT de prise en charge (SPARK-41234)
  • Fonction LUHN_CHECK de prise en charge (SPARK-42191)
  • Support ARRAY_SORT(colonne, comparateur) (SPARK-39925)

Data Sources (Sources de données)

  • Statistiques de colonne de prise en charge dans DS v2 (SPARK-41378)
  • Jointure partitionnée de stockage (SPJ) dans DS v2 (SPARK-37375)
  • Opérations au niveau des lignes dans DS v2 (SPARK-35801)
  • Ajouter supportsReportOrdering mix dans l’interface pour L’analyse DS v2 (SPARK-38647)
  • Déduction du type de date pour l’inférence de schéma CSV (SPARK-39469)
  • Prise en charge des métriques de pilote dans l’API de métrique personnalisée DS v2 (SPARK-39635)
  • La distribution et le classement prennent en charge la fonction DS v2 dans l’écriture (SPARK-39607)
  • StringEndsWith/Contains prend en charge le push vers Parquet afin que nous puissions tirer parti du filtre de dictionnaire (SPARK-39002)
  • Prise en charge de l’UDT dans le lecteur vectorisé Spark Parquet (SPARK-39086)
  • Étendre la colonne METADATA pour prendre en charge les index de ligne pour les fichiers Parquet (SPARK-37980)
  • Prise en charge de la lecture du type FIXED_LEN_BYTE_ARRAY parquet (SPARK-41096)
  • Optimiser l’ordre de filtrage des prédicats (SPARK-40045)
  • Prise en charge des requêtes CTE et de table temporaire avec MSSQL JDBC (SPARK-37259)
  • Prise en charge des options ignoreCorruptFiles et ignoreMissingFiles dans les options de la source de données (SPARK-38767)
  • Retirer v1 écrire sur WriteFiles (SPARK-41407)
  • Ajouter un remplissage de caractères côté lecture pour couvrir les fichiers de données externes (SPARK-40697)

Optimisation des requêtes

  • Fusion de sous-requêtes scalaires non corrélées (SPARK-34079)
  • Activer les jointures de filtre Bloom par défaut (SPARK-38841)
  • Supprimer les distincts inutiles dans l’expression d’agrégation par distinctKeys (SPARK-38832)
  • Prise en charge du pushdown de prédicats et du nettoyage de colonnes pour les CTE dédupliqués (SPARK-37670)
  • Supprimer la jointure externe si les fonctions d’agrégation ne sont pas dupliquées côté streaming (SPARK-38886)
  • Supprimer la jointure externe gauche/droite si seules les colonnes gauche/droite sont sélectionnées et si les touches de jointure de l’autre côté sont uniques (SPARK-39172)
  • Optimiser le tri global sur RepartitionByExpression (SPARK-39911)
  • Optimiser la règle TransposeWindow (SPARK-38034)
  • Améliorer EliminateSorts pour prendre en charge la suppression des tris via LocalLimit (SPARK-40050)
  • Envoi de la limite locale vers les deux côtés si la condition de jointure est vide (SPARK-40040)
  • Ajout de PushProjectionThroughLimit pour l’optimiseur (SPARK-40501)
  • Prise en charge de PIVOT/UNPIVOT avec des enfants de jointure (SPARK-41195)
  • Prise en charge de l’élagage de colonnes avec plusieurs filtres non déterministes (SPARK-41017)
  • Améliorer le partitionnement et le classement de sortie avec le cache AQE (SPARK-41048)
  • Améliorer les performances de type multi en créant un prédicat d’arborescence d’expressions équilibrée (SPARK-41167)
  • Suppression de Sort s’il s’agit de l’enfant de RepartitionByExpression (SPARK-36703)
  • Utiliser les statistiques de colonne disponibles à partir des phases de requête terminées (SPARK-39991)
  • Réutiliser des expressions dans WindowSpecDefinition (SPARK-41805)
  • Améliorer AliasAwareOutputPartitioning et AliasAwareQueryOutputOrdering pour prendre en compte tous les alias (SPARK-40086, SPARK-42049)
  • Limite push vers le bas via les UDF Python (SPARK-42115)

Génération de code et exécution des requêtes

  • Définir la valeur par défautJoin dans BroadcastNestedLoopJoinExec s’exécutant en parallèle (SPARK-40487)
  • Prise en charge de Codegen pour HiveGenericUDF (SPARK-42051)
  • Introduire le shuffle sur SinglePartition (SPARK-41986)
  • Prend en charge DPP le côté élagage a Union (SPARK-39217)

Autres changements notables

  • Prise en charge de la collection de statistiques de partition automatique (SPARK-38573)
  • Mettre en forme des messages d’erreur dans le serveur Thrift (SPARK-40098)
  • Ajouter une API d’extension pour effectuer la normalisation du plan pour la mise en cache (SPARK-41183)
  • Refactoriser les types Spark en introduisant des types physiques (SPARK-41226)
  • Prise en charge des champs oneOf et vérifications de récursivité (SPARK-41396)
  • Centraliser la logique de résolution de colonne (SPARK-41405)
  • Améliorer la validation des modifications de plan (SPARK-42081)
  • Présentation de SparkPath pour typesafety (SPARK-41970)
  • Lever une exception pour db_name.view_name lors de la création d’une vue temporaire par l’API de jeu de données (SPARK-41090)
  • Modifier la valeur par défaut de l’argument de la fonction Mask de -1 en NULL (SPARK-42070)

Spark Core

Désactiver

  • Éviter la réexécution inutile de la tâche sur l’exécuteur mis hors service en cas de migration de données aléatoires (SPARK-41469)
  • Ignorer l’échec d’extraction de phase provoqué par l’exécuteur désaffecté (SPARK-40481)
  • Activez spark.storage.decommission. (rdd|shuffle) Blocks.enabled par défaut (SPARK-40198)
  • Ajouter la prise en charge de la désaffectation YARN lorsque ESS est désactivé (SPARK-30835)

Scheduler

  • Rendre la planification des phases prise en charge du mode cluster local (SPARK-41949)
  • Profil de ressource de tâche au niveau de la phase de prise en charge pour le cluster autonome lorsque l’allocation dynamique est désactivée (SPARK-39853)
  • Retard onDisconnected pour activer Pilote reçoit ExecutorExitCode (SPARK-39957)
  • Améliorer la spéculation par le biais des métriques de tâche d’étape (SPARK-32170)
  • Ajout de la prise en charge de la planification des ressources au niveau de la phase pour un cluster autonome (SPARK-39062)
  • Amélioration du processus LaunchTask pour éviter les échecs d’étape causés par les messages LaunchTask d’échec d’envoi de messages (SPARK-39955)

Lecture aléatoire

  • Ajouter des métriques de lecture côté client shuffle basées sur push (SPARK-36620)
  • Métriques côté serveur aléatoires pour le shuffle basé sur push (SPARK-33573)
  • Vérifiez que mergedShuffleCleaner a été arrêté avant la fermeture de la base de données (SPARK-40186)
  • Ajout de la prise en charge de RocksDB pour le magasin d’état de service aléatoire (SPARK-38888)
  • Encapsuler LevelDB utilisé pour stocker l’état aléatoire distant/externe en tant que base de données (SPARK-38909)
  • Activer spark.dynamicAllocation.shuffleTracking.enabled par défaut (SPARK-3984)
  • Activer le service de lecture aléatoire basé sur push pour stocker l’état dans la base de données de niveau NM pour le redémarrage de la conservation du travail (SPARK-33236)
  • Supprimer les blocs aléatoires à l’aide du service de lecture aléatoire pour les exécuteurs libérés (SPARK-37618)

Autres changements notables

  • Prise en charge de l’environnement IPv6 uniquement (SPARK-39457)
  • Activer spark.kryo.unsafe par défaut (SPARK-42137)
  • Interdire le classpath personnalisé arbitraire avec un utilisateur proxy en mode cluster (SPARK-41958)
  • Éviter la réinscription de BlockManager si l’exécuteur a été perdu (SPARK-41360)
  • Supprimer la limitation selon laquelle le résultat d’une tâche unique doit tenir dans 2 Go (SPARK-40622)
  • Supprimer la prise en charge des configurations spark.akka.* dépréciées (SPARK-40401)
  • Modifiez la journalisation par défaut en stderr pour qu’elle soit cohérente avec le comportement de log4j (SPARK-40406)
  • Exclure les métadonnées DirectTaskResult lors du calcul de la taille des résultats (SPARK-40261)
  • Autorisation de la personnalisation du numéro de partitions initiales dans le comportement take() (SPARK-40211)
  • Utiliser un verrou interruptible au lieu d’une synchronisation dans Executor.updateDependencies() (SPARK-40235)
  • L’échec de tâche doit toujours déclencher des écouteurs d’échec de tâche (SPARK-40106)
  • Ajouter la possibilité de désactiver de manière sélective l’observation ou l’interrogation (SPARK-36462)
  • Ne pas mettre en cache des relations de diffusion non sérialisées sur le pilote (SPARK-39983)
  • Corriger un interblocage entre TaskMemoryManager et UnsafeExternalSorter.SpillableIteratou (SPARK-39283)
  • Exposer les partitions numériques d’une étape à TaskContext (SPARK-38679)
  • Rendre le facteur de surcharge mémoire configurable (SPARK-38194)
  • Éviter d’utiliser bash -c dans ShellBasedGroupsMappingProvider (SPARK-38992)

Structured Streaming

Fonctionnalités majeures

  • Suivi de progression asynchrone (SPARK-39591)
  • Python Arbitrary Stateful Processing dans Structured Streaming avec Python (SPARK-40434)
  • Prise en charge de Protobuf dans Structured Streaming (SPARK-40653)
  • Correction du filtrage des enregistrements en retard pour prendre en charge le chaînage d’opérateurs avec état (SPARK-40925)

Autres changements notables

  • Présentation d’un gestionnaire de fichiers de point de contrôle de streaming basé sur l’interface Abortable de Hadoop (SPARK-40039)
  • Dépréciation de Trigger.Once et promotion de Trigger.AvailableNow (SPARK-39805)
  • Exposition des informations de la table de catalogue dans le plan logique de la requête de streaming (SPARK-39564)
  • Prise en charge de la collecte de métriques à partir de récepteurs de streaming (SPARK-38564)
  • Dépréciation de l’API DStream (SPARK-42075)
  • Retourner la valeur par défaut de la configuration d’extraction de décalage Kafka (SPARK-40844)
  • Fournir une session Spark cloné dans DataFrame dans la fonction utilisateur pour le récepteur foreachBatch dans PySpark (SPARK-41379)

Spark Connect

Client Python

  • Implémentation de DataFrame.cov (SPARK-41279)
  • Implémenter l’API de colonne (SPARK-41282)
  • Implémenter l’API Functions (SPARK-41283)
  • Implémenter l’API SparkSession (SPARK-41281)
  • Implémenter l’API d’E/S (SPARK-41284)
  • Implémenter l’API de catalogue (SPARK-41289)
  • Prise en charge des fonctions définies par l’utilisateur dans Python (SPARK-41661)
  • Prise en charge de l’API de fonction Pandas/Arrow (SPARK-42393)
  • Prise en charge de la configuration SQL runtime (SPARK-42499)
  • Générer, empaqueter et infrastructure pour Spark Connect (SPARK-41286)
  • Annotations de type pour le client Python Spark Connect (SPARK-40451)

Scala Client

PySpark

API Pandas sur Spark

Autres changements notables

  • Principales améliorations
    • Fournir un profileur de mémoire pour les fonctions pySpark définies par l’utilisateur (SPARK-40281)
    • Rendre l’API catalogue compatible avec l’espace de noms à 3 couches (SPARK-39235)
    • Prise en charge des entrées NumPy dans PySpark (SPARK-39405)
    • Améliorations des erreurs PySpark (SPARK-41597)
  • Fonctionnalités majeures
    • Prise en charge de SQL paramétrable dans PySpark (SPARK-41666)
    • Implémenter la fonction « médiane » (SPARK-40003)
    • Implémenter la fonction « mode » (SPARK-40007)
    • Implémenter la fonction « unpivot/melt » (SPARK-39877)
    • Prise en charge de Varchar dans PySpark (SPARK-39760)
    • Prise en charge de CharType dans PySpark (SPARK-39809)

MLLIB

SparkR

Service de serveur d’historique et d’interface utilisateur dynamique

  • Amélioration de la scalabilité de l’interface utilisateur Spark et de la stabilité des pilotes pour les grandes applications (SPARK-41053)
  • Utiliser RocksDB pour spark.history.store.hybridStore.diskBackend par défaut (SPARK-42277)
  • Regrouper les exécutions imbriquées sous l’exécution racine (SPARK-41752)
  • Afficher les propriétés des métriques dans l’onglet Environnement (SPARK-39110)
  • Corriger la taille/les enregistrements d’entrée StagePage ne s’affichent pas lorsque les enregistrements supérieurs à zéro (SPARK-34777)
  • Amélioration des performances JsonProtocol de journalisation des événements à l’aide de Jackson au lieu de Json4s (SPARK-39489)
  • Prise en charge de spark.history.fs.update.batchSize (SPARK-39225)

Build

  • Mettre à jour cloudpickle vers v2.2.0 (SPARK-40991)
  • Dépréciation du support de Python 3.7 (SPARK-39861)
  • Prise en charge de Python 3.11 (SPARK-41454)
  • Mettre à jour dev.ludovic.netlib vers la version 3.0.2 (SPARK-40251)
  • Mettre à jour breeze vers la version 2.0 (SPARK-39616)
  • Mettre à jour la version de slf4j vers la version 2.0.6 (SPARK-41561)
  • Mettre à jour la version du client kubernetes vers 6.4.1 (SPARK-42362)
  • Mettre à jour rocksdbjni vers 7.9.2 ( SPARK-42129)
  • Mettre à jour Apache Arrow vers 11.0.0 (SPARK-42161)
  • Mettre à niveau Apache Kafka vers la version 3.3.2 (SPARK-42109)

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 13.0.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 chiffrement 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 entrypoints 0,4
en cours d’exécution 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
empaquetage 21,3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requêtes 2.28.1 rope 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/10/2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 objet BLOB 1.2.3
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 horloge 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 jeux de données 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1