Databricks Runtime 11.2 pour le Machine Learning (non pris en charge)
Databricks Runtime 11.2 pour le Machine Learning fournit un environnement prêt à l’emploi pour le Machine Learning et la science des données, basé sur Databricks Runtime 11.2 (non pris en charge). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.
Pour plus d’informations, notamment les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et Machine Learning sur Databricks.
Améliorations et nouvelles fonctionnalités
Databricks Runtime 11.2 ML s’appuie sur Databricks Runtime 11.2. Pour plus d’informations sur les nouveautés de Databricks Runtime 11.2, notamment Apache Spark MLlib et SparkR, consultez les notes de publication sur Databricks Runtime 11.2 (non pris en charge).
Améliorations apportées à Databricks AutoML
Databricks AutoML offre désormais une meilleure prise en charge des jeux de données déséquilibrés pour résoudre des problèmes de classification. Pour plus d’informations, consultez Prise en charge de jeux de données déséquilibrés pour résoudre des problèmes de classification.
Améliorations apportées à Databricks Feature Store
Les améliorations suivantes ont été apportées au Databricks Feature Store.
Pour des magasins en ligne, les champs d’utilisateur et de mot de passe ont été déconseillés. Pour éviter des incompatibilités futures, modifiez toutes les utilisations de ces champs en
write_secret_prefix
.La documentation et les informations du client du magasin de fonctionnalités font désormais référence à la version du client (par exemple, 0.6.1) plutôt qu’aux versions de Databricks Runtime ML (par exemple, 11.2).
Environnement du système
L’environnement système de Databricks Runtime 11.2 ML diffère de celui de Databricks Runtime 11.2 comme suit :
- DBUtils : Databricks Runtime ML n’inclut pas L’Utilitaire de bibliothèque (dbutils.library) (hérité).
Utilisez les commandes
%pip
à la place. Consultez Bibliothèques Python délimitées à un notebook. - Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Bibliothèques
Les sections suivantes listent les bibliothèques incluses dans Databricks Runtime ML 11.2 qui diffèrent de celles incluses dans Databricks Runtime 11.2.
Dans cette section :
- Bibliothèques de niveau supérieur
- Bibliothèques Python
- Bibliothèques R
- Bibliothèques Java et Scala (cluster Scala 2.12)
Bibliothèques de niveau supérieur
Databricks Runtime 11.2 ML comprend les bibliothèquesde niveau supérieur suivantes :
- GraphFrames
- Horovod et HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Bibliothèques Python
Databricks Runtime 11.2 ML utilise Virtualenv pour la gestion des packages Python et comprend de nombreux packages ML populaires.
En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 11.2 ML comprend également les packages suivants :
- hyperopt 0.2.7.db1
- sparkdl 2.2.0_db6
- feature_store 0.6.0
- automl 1.12.3
Bibliothèques Python sur les clusters UC
Pour reproduire l’environnement Python Databricks Runtime ML dans votre environnement virtuel Python local, téléchargez le fichier requirements-11.2.txt et exécutez pip install -r requirements-11.2.txt
. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées Azure Databricks, telles que databricks-automl
, databricks-feature-store
ou la duplication Databricks de hyperopt
.
Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
---|---|---|---|---|---|
absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt | 3.2.2 |
black | 22.3.0 | bleach | 4.0.0 | blis | 0.7.8 |
boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.2.0 |
catalogue | 2.0.8 | certifi | 2021.10.8 | cffi | 1.14.6 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
convertdate | 2.4.0 | chiffrement | 3.4.8 | cycler | 0.10.0 |
cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.10 |
databricks-cli | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
dill | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.5 |
distro-info | 0.23ubuntu1 | entrypoints | 0.3 | ephem | 4.1.3 |
facets-overview | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
Flask | 1.1.2 | flatbuffers | 1.12 | fsspec | 2021.8.1 |
future | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.4 |
holidays | 0.14.2 | horovod | 0.25.0 | htmlmin | 0.1.12 |
huggingface-hub | 0.8.1 | idna | 3.2 | ImageHash | 4.2.1 |
imbalanced-learn | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
keras | 2.9.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
korean-lunar-calendar | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
lightgbm | 3.3.2 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
multimethod | 1.8 | murmurhash | 1.0.8 | mypy-extensions | 0.4.3 |
nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
nest-asyncio | 1.5.1 | networkx | 2.6.3 | nltk | 3.6.5 |
notebook | 6.4.5 | numba | 0.54.1 | numpy | 1.20.3 |
oauthlib | 3.2.0 | opt-einsum | 3.3.0 | empaquetage | 21.0 |
pandas | 1.3.4 | pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 |
paramiko | 2.9.2 | parso | 0.8.2 | pathspec | 0.9.0 |
pathy | 0.6.2 | patsy | 0.5.2 | petastorm | 0.11.4 |
pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
Pillow | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
plotly | 5.9.0 | pmdarima | 1.8.5 | preshed | 3.0.7 |
prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | prophet | 1.0.1 |
protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 | pycparser | 2.20 |
pydantic | 1.9.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
requêtes | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
setuptools | 58.0.4 | setuptools-git | 1.2 | shap | 0.41.0 |
simplejson | 3.17.6 | six | 1.16.0 | segment | 0.0.7 |
smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.0 |
spacy-legacy | 3.0.9 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
statsmodels | 0.12.2 | tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
tenacity | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.1.0 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | générateurs de jetons | 0.12.1 |
tomli | 2.0.1 | torch | 1.11.0+cpu | torchvision | 0.12.0+cpu |
tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
transformateurs | 4.20.1 | typer | 0.4.2 | typing-extensions | 3.10.0.2 |
ujson | 4.0.2 | unattended-upgrades | 0.1 | urllib3 | 1.26.7 |
virtualenv | 20.8.0 | visions | 0.7.4 | wasabi | 0.10.1 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
Werkzeug | 2.0.2 | wheel | 0.37.0 | widgetsnbextension | 3.6.0 |
wrapt | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
Bibliothèques Python sur les clusters GPU
Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
---|---|---|---|---|---|
absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt | 3.2.2 |
black | 22.3.0 | bleach | 4.0.0 | blis | 0.7.8 |
boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.2.0 |
catalogue | 2.0.8 | certifi | 2021.10.8 | cffi | 1.14.6 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
convertdate | 2.4.0 | chiffrement | 3.4.8 | cycler | 0.10.0 |
cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.10 |
databricks-cli | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
dill | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.5 |
distro-info | 0.23ubuntu1 | entrypoints | 0.3 | ephem | 4.1.3 |
facets-overview | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
Flask | 1.1.2 | flatbuffers | 1.12 | fsspec | 2021.8.1 |
future | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.4 |
holidays | 0.14.2 | horovod | 0.25.0 | htmlmin | 0.1.12 |
huggingface-hub | 0.8.1 | idna | 3.2 | ImageHash | 4.2.1 |
imbalanced-learn | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
keras | 2.9.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
korean-lunar-calendar | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
lightgbm | 3.3.2 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
multimethod | 1.8 | murmurhash | 1.0.8 | mypy-extensions | 0.4.3 |
nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
nest-asyncio | 1.5.1 | networkx | 2.6.3 | nltk | 3.6.5 |
notebook | 6.4.5 | numba | 0.54.1 | numpy | 1.20.3 |
oauthlib | 3.2.0 | opt-einsum | 3.3.0 | empaquetage | 21.0 |
pandas | 1.3.4 | pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 |
paramiko | 2.9.2 | parso | 0.8.2 | pathspec | 0.9.0 |
pathy | 0.6.2 | patsy | 0.5.2 | petastorm | 0.11.4 |
pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
Pillow | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
plotly | 5.9.0 | pmdarima | 1.8.5 | preshed | 3.0.7 |
prompt-toolkit | 3.0.20 | prophet | 1.0.1 | protobuf | 3.19.4 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pybind11 | 2.10.0 | pycparser | 2.20 | pydantic | 1.9.2 |
Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.4.0 |
PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
pyzmq | 22.2.1 | regex | 2021.8.3 | requêtes | 2.26.0 |
requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4,9 |
s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
setuptools-git | 1.2 | shap | 0.41.0 | simplejson | 3.17.6 |
six | 1.16.0 | segment | 0.0.7 | smart-open | 5.2.1 |
smmap | 5.0.0 | spacy | 3.4.0 | spacy-legacy | 3.0.9 |
spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
srsly | 2.4.4 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 | tenacity | 8.0.1 |
tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 | tensorflow-estimator | 2.9.0 |
tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
testpath | 0.5.0 | thinc | 8.1.0 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | générateurs de jetons | 0.12.1 | tomli | 2.0.1 |
torch | 1.11.0+cu113 | torchvision | 0.12.0+cu113 | tornado | 6.1 |
tqdm | 4.62.3 | traitlets | 5.1.0 | transformateurs | 4.20.1 |
typer | 0.4.2 | typing-extensions | 3.10.0.2 | ujson | 4.0.2 |
unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
visions | 0.7.4 | wasabi | 0.10.1 | wcwidth | 0.2.5 |
webencodings | 0.5.1 | websocket-client | 1.3.1 | Werkzeug | 2.0.2 |
wheel | 0.37.0 | widgetsnbextension | 3.6.0 | wrapt | 1.12.1 |
xgboost | 1.5.2 | zipp | 3.6.0 |
Bibliothèques R
Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 11.2.
Bibliothèques Java et Scala (cluster Scala 2.12)
En plus des bibliothèques Java et Scala dans Databricks Runtime 11.2, Databricks Runtime 11.2 ML contient les fichiers jar suivants :
Clusters UC
ID de groupe | ID d’artefact | Version |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
ml.dmlc | xgboost4j_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | mlflow-client | 1.28.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters GPU
ID de groupe | ID d’artefact | Version |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.5.2 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | mlflow-client | 1.28.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Commentaires
https://aka.ms/ContentUserFeedback.
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultezEnvoyer et afficher des commentaires pour