Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Note
La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.
Databricks Runtime 11.1 pour l'apprentissage automatique fournit un environnement prêt à l'emploi pour l'apprentissage automatique et la science des données basé sur Databricks Runtime 11.1 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.
Pour plus d’informations, y compris les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et machine learning sur Databricks.
Nouvelles fonctionnalités et améliorations
Databricks Runtime 11.1 ML s’appuie sur Databricks Runtime 11.1. Pour plus d’informations sur les nouveautés de Databricks Runtime 11.1, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 11.1 (EoS).
Améliorations apportées à AutoML
Les améliorations suivantes ont été apportées à AutoML.
- Lorsque AutoML détecte qu’un problème de classification est binaire, il calcule les métriques de classification binaire et déduit la classe positive du problème. Vous pouvez également spécifier la classe positive à l’aide d’un nouveau paramètre
pos_label. Pour plus d’informations, consultez Informations de référence sur l’API Python AutoML. - Pour les problèmes de prévision, AutoML peut désormais gérer le scénario où l’horizon est long par rapport à l’intervalle de temps des données d’entraînement.
Améliorations apportées à Databricks Feature Store
Les améliorations suivantes ont été apportées au Databricks Feature Store.
- Vous pouvez maintenant mettre à jour manuellement les sources de données d'une table de fonctionnalités à l'aide de l'API Python du Feature Store.
- Vous pouvez désormais publier des tables de fonctionnalités hors connexion pour Azure Cosmos DB pour une recherche en ligne à faible latence. Consultez Publier des fonctionnalités dans un magasin en ligne tiers et Publier des fonctionnalités de série chronologique dans un magasin en ligne.
Environnement du système
L’environnement système de Databricks Runtime 11.1 ML diffère de Databricks Runtime 11.1 comme suit :
-
DBUtils : Databricks Runtime ML n’inclut pas l’utilitaire de bibliothèque (dbutils.library) (hérité).
Utilisez les commandes
%pipà la place. Consultez bibliothèques Python à l'échelle du notebook. - Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Libraries
Les sections suivantes listent les bibliothèques incluses dans Databricks Runtime ML 11.1 qui diffèrent de celles incluses dans Databricks Runtime 11.1.
Dans cette section :
- Bibliothèques de niveau supérieur
- bibliothèques Python
- Bibliothèques R
- bibliothèques Java et Scala (cluster Scala 2.12)
Bibliothèques de niveau supérieur
Databricks Runtime 11.1 ML comprend les bibliothèquesde niveau supérieur suivantes :
- GraphFrames
- Horovod et HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
bibliothèques de Python
Databricks Runtime 11.1 ML utilise Virtualenv pour Python gestion des packages et inclut de nombreux packages ML populaires.
En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 11.1 ML comprend également les packages suivants :
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.5.0
- automl 1.11.0
bibliothèques de Python sur les clusters processeur
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015,10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | générateur asynchrone | 1,10 |
| attributs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt | 3.2.2 |
| bleach | 4.0.0 | félicité | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | catalogue | 2.0.7 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | cliquez | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | convertdate | 2.4.0 |
| chiffrement | 3.4.8 | cycliste | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | debugpy | 1.4.1 |
| décorateur | 5.1.0 | defusedxml | 0.7.1 | aneth | 0.3.4 |
| cache de disque | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| points d’entrée | 0,3 | ephem | 4.1.3 | aperçu des facettes | 1.0.0 |
| fasttext | 0.9.2 | verrou de fichier | 3.3.1 | Fiole | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | futur | 0.18.2 |
| gast | 0.4.0 | gitdb (base de données Git) | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | vacances | 0.14.2 |
| Horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| IDNA | 3.2 | ImageHash | 4.2.1 | imbalanced-learn | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| c'est dangereux | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets (widgets pour JupyterLab) | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | calendrier lunaire coréen | 0.2.1 |
| codes de langue | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | Calendrier lunaire | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | Mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny (version légère de mlflow) | 1.27.0 | multiméthode | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.6.3 |
| nltk | 3.6.5 | notebook | 6.4.5 | numba | 0.55.2 |
| numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| empaquetage | 21,0 | Pandas | 1.3.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.9.2 | parso | 0.8.2 |
| Pathy | 0.6.2 | patsy | 0.5.2 | Petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
| tracé | 5.8.2 | pmdarima | 1.8.5 | prétraité | 3.0.6 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | prophète | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| éditeur de Python | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | regex | 3 août 2021 |
| requests | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| Rsa | 4.8 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy (bibliothèque Python pour le calcul scientifique) | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | forme | 0.40.0 |
| simplejson | 3.17.6 | six | 1.16.0 | découpeur | 0.0.7 |
| ouverture intelligente | 5.2.1 | smmap | 5.0.0 | spacy | 3.3.1 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels, une bibliothèque Python pour la modélisation statistique | 0.12.2 | tabulate | 0.8.9 | emmêlé-up-in-unicode | 0.1.0 |
| ténacité | 8.0.1 | TensorBoard (outil de visualisation pour le machine learning) | 2.9.1 | serveur de données TensorBoard | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
| estimateur TensorFlow | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
| terminé | 0.9.4 | chemin de test | 0.5.0 | Thinc | 8.0.17 |
| threadpoolctl | 2.2.0 | générateurs de jetons | 0.12.1 | torche | 1.11.0+cpu |
| Torchvision | 0.12.0+cpu | tornade | 6.1 | tqdm | 4.62.3 |
| Traitlets | 5.1.0 | Transformateurs | 4.20.0 | Typer | 0.4.2 |
| extensions de typage | 3.10.0.2 | ujson | 4.0.2 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | visions | 0.7.4 |
| wasabi | 0.9.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Outil | 2.0.2 | roue | 0.37.0 |
| widgetsnbextension | 3.6.0 | enveloppé | 1.12.1 | xgboost | 1.5.2 |
| zipp | 3.6.0 |
bibliothèques Python sur des clusters GPU
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015,10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | générateur asynchrone | 1,10 |
| attributs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt | 3.2.2 |
| bleach | 4.0.0 | félicité | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | catalogue | 2.0.7 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | cliquez | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | convertdate | 2.4.0 |
| chiffrement | 3.4.8 | cycliste | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | debugpy | 1.4.1 |
| décorateur | 5.1.0 | defusedxml | 0.7.1 | aneth | 0.3.4 |
| cache de disque | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| points d’entrée | 0,3 | ephem | 4.1.3 | aperçu des facettes | 1.0.0 |
| fasttext | 0.9.2 | verrou de fichier | 3.3.1 | Fiole | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | futur | 0.18.2 |
| gast | 0.4.0 | gitdb (base de données Git) | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | vacances | 0.14.2 |
| Horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| IDNA | 3.2 | ImageHash | 4.2.1 | imbalanced-learn | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| c'est dangereux | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets (widgets pour JupyterLab) | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | calendrier lunaire coréen | 0.2.1 |
| codes de langue | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | Calendrier lunaire | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | Mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny (version légère de mlflow) | 1.27.0 | multiméthode | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.6.3 |
| nltk | 3.6.5 | notebook | 6.4.5 | numba | 0.55.2 |
| numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| empaquetage | 21,0 | Pandas | 1.3.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.9.2 | parso | 0.8.2 |
| Pathy | 0.6.2 | patsy | 0.5.2 | Petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
| tracé | 5.8.2 | pmdarima | 1.8.5 | prétraité | 3.0.6 |
| prompt-toolkit | 3.0.20 | prophète | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser | 2.20 | pydantic | 1.8.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | éditeur de Python | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6,0 |
| pyzmq | 22.2.1 | regex | 3 août 2021 | requests | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | Rsa | 4.8 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy (bibliothèque Python pour le calcul scientifique) | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| setuptools-git | 1.2 | forme | 0.40.0 | simplejson | 3.17.6 |
| six | 1.16.0 | découpeur | 0.0.7 | ouverture intelligente | 5.2.1 |
| smmap | 5.0.0 | spacy | 3.3.1 | spacy-legacy | 3.0.9 |
| spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.3 | ssh-import-id | 5.10 | statsmodels, une bibliothèque Python pour la modélisation statistique | 0.12.2 |
| tabulate | 0.8.9 | emmêlé-up-in-unicode | 0.1.0 | ténacité | 8.0.1 |
| TensorBoard (outil de visualisation pour le machine learning) | 2.9.1 | serveur de données TensorBoard | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
| tensorboard-plugin-wit | 1.8.1 | Tensorflow | 2.9.1 | estimateur TensorFlow | 2.9.0 |
| tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminé | 0.9.4 |
| chemin de test | 0.5.0 | Thinc | 8.0.17 | threadpoolctl | 2.2.0 |
| générateurs de jetons | 0.12.1 | torche | 1.11.0+cu113 | Torchvision | 0.12.0+cu113 |
| tornade | 6.1 | tqdm | 4.62.3 | Traitlets | 5.1.0 |
| Transformateurs | 4.20.0 | Typer | 0.4.2 | extensions de typage | 3.10.0.2 |
| ujson | 4.0.2 | unattended-upgrades | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | visions | 0.7.4 | wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Outil | 2.0.2 | roue | 0.37.0 | widgetsnbextension | 3.6.0 |
| enveloppé | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
Packages Spark contenant des modules Python
| Paquet Spark | module Python | Version |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
Bibliothèques R
Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 11.1.
bibliothèques Java et Scala (cluster Scala 2.12)
Outre les bibliothèques Java et Scala dans Databricks Runtime 11.1, Databricks Runtime 11.1 ML contient les JAR suivants :
Clusters de CPU
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters de GPU
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |