Databricks Runtime 11.3 LTS voor Machine Learning
Databricks Runtime 11.3 LTS voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 11.3 LTS. Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.
Notitie
LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.
Zie AI en Machine Learning op Databricks voor meer informatie, waaronder instructies voor het maken van een Databricks Runtime ML-cluster.
Nieuwe functies en verbeteringen
Databricks Runtime 11.3 LTS ML is gebaseerd op Databricks Runtime 11.3 LTS. Zie de releaseopmerkingen van Databricks Runtime 11.3 LTS, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 11.3 LTS .
Verbeteringen aan Databricks AutoML
Databricks AutoML ondersteunt nu het gebruik van bestaande functiearchieftabellen in uw AutoML-experimenten. Zie De integratie van Feature Store voor meer informatie.
Proefnotebooks die door AutoML worden gegenereerd, bevatten nu codefragmenten waarmee gebruikers hyperparameterafstemming opnieuw kunnen uitvoeren.
AutoML ondersteunt DecimalType nu functies.
Bugfixes
Databricks Runtime 11.3 LTS ML bevat een bijgewerkte versie van sparkdl.xgboost. Eerdere versies van sparkdl.xgboost bevatten bugs die in deze release zijn opgelost, dus Databricks raadt gebruikers van de bibliotheekupgrade aan naar Databricks Runtime 11.3 LTS ML.
Voorbereiden op toekomstige releases
Een toekomstige release van Databricks Runtime ML bevat sklearn versie 1.0. Raadpleeg de sklearndocumentatie voor informatie over het voorbereiden van deze wijziging.
Databricks Runtime ML bevat twee openblas pakketten. Het /opt/OpenBLAS pakket is afgeschaft in Databricks Runtime 11.3 LTS ML en wordt verwijderd in een toekomstige release.
Systeemomgeving
De systeemomgeving in Databricks Runtime 11.3 LTS ML verschilt als volgt van Databricks Runtime 11.3 LTS:
- DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd).
Gebruik
%pipin plaats daarvan opdrachten. Zie Notebook-scoped Python libraries (Notebook-scoped Python-bibliotheken) voor meer informatie. - Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML bevat XGBoost 1.6.1, die geen ONDERSTEUNING biedt voor GPU-clusters met rekencapaciteit 5.2 en lager.
Bibliotheken
In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 11.3 LTS ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 11.3 LTS.
In deze sectie:
- Bibliotheken met de hoogste laag
- Python-bibliotheken
- R-bibliotheken
- Java- en Scala-bibliotheken (Scala 2.12-cluster)
Bibliotheken met de hoogste laag
Databricks Runtime 11.3 LTS ML bevat de volgende bibliotheken met de hoogste laag:
- GraphFrames
- Horovod en HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python-bibliotheken
Databricks Runtime 11.3 LTS ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.
Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 11.3 LTS ML ook de volgende pakketten:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Als u de Databricks Runtime ML Python-omgeving in uw lokale virtuele Python-omgeving wilt reproduceren, downloadt u het requirements-11.3.txt-bestand en voert u het uitpip install -r requirements-11.3.txt. Met deze opdracht worden alle opensourcebibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden er geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-storeof de Databricks-fork van hyperopt.
Python-bibliotheken op CPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1,10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | Bcrypt | 4.0.0 | zwart | 22.3.0 |
| Bleekmiddel | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Catalogus | 2.0.8 |
| certifi | 2021.10.8 | Cffi | 1.14.6 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikken | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | confection | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Cryptografie | 3.4.8 | cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| foutopsporing | 1.4.1 | Decorator | 5.1.0 | defusedxml | 0.7.1 |
| Dille | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| invoerpunten | 0,3 | kortstondige tijd | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Toekomst | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Vakantie | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | onevenwichtig leren | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | koreaans-maankalender | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| Networkx | 2.6.3 | nltk | 3.6.5 | notebook | 6.4.5 |
| numba | 0.54.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Verpakking | 21,0 | Pandas | 1.3.4 |
| pandas-profilering | 3.1.0 | pandocfilters | 1.4.3 | Paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | Pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Kussen | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | vooraf geslagen | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | Profeet | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | Pygobject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| Pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| Pywavelets | 1.1.1 | PyYAML | 6,0 | pyzmq | 22.2.1 |
| Regex | 2021.8.3 | requests | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | Rsa | 4.9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | Scipy | 1.7.1 | seaborn | 0.11.3 |
| Send2Trash | 1.8.0 | Setuptools | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.41.0 | Simplejson | 3.17.6 | Zes | 1.16.0 |
| Slicer | 0.0.7 | slim openen | 5.2.1 | smmap | 5.0.0 |
| spatie | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | Tabulate | 0.8.9 |
| tangled-up-in-unicode | 0.1.0 | Vasthoudendheid | 8.0.1 | tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| thinc | 8.1.2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizers | 0.12.1 | tomli | 2.0.1 | Fakkel | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | Tornado | 6.1 | tqdm | 4.62.3 |
| traitlets | 5.1.0 | Transformers | 4.21.2 | Typer | 0.4.2 |
| typen-extensies | 3.10.0.2 | ujson | 4.0.2 | upgrades zonder toezicht | 0,1 |
| urllib3 | 1.26.7 | Virtualenv | 20.8.0 | Visioenen | 0.7.4 |
| Wasabi | 0.10.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | Wiel | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.6.2 |
| zipp | 3.6.0 |
Python-bibliotheken op GPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1,10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | Bcrypt | 4.0.0 | zwart | 22.3.0 |
| Bleekmiddel | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Catalogus | 2.0.8 |
| certifi | 2021.10.8 | Cffi | 1.14.6 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikken | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | confection | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Cryptografie | 3.4.8 | cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| foutopsporing | 1.4.1 | Decorator | 5.1.0 | defusedxml | 0.7.1 |
| Dille | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| invoerpunten | 0,3 | kortstondige tijd | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Toekomst | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Vakantie | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | onevenwichtig leren | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | koreaans-maankalender | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| Networkx | 2.6.3 | nltk | 3.6.5 | notebook | 6.4.5 |
| numba | 0.54.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Verpakking | 21,0 | Pandas | 1.3.4 |
| pandas-profilering | 3.1.0 | pandocfilters | 1.4.3 | Paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | Pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Kussen | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | vooraf geslagen | 3.0.7 | prompt-toolkit | 3.0.20 |
| Profeet | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2,20 | pydantic | 1.9.2 | Pygments | 2.10.0 |
| Pygobject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | Pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | Pywavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| requests | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| Rsa | 4.9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| Scipy | 1.7.1 | seaborn | 0.11.3 | Send2Trash | 1.8.0 |
| Setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| Simplejson | 3.17.6 | Zes | 1.16.0 | Slicer | 0.0.7 |
| slim openen | 5.2.1 | smmap | 5.0.0 | spatie | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | Tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
| Vasthoudendheid | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.1.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.12.1 |
| tomli | 2.0.1 | Fakkel | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| Tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformers | 4.21.2 | Typer | 0.4.2 | typen-extensies | 3.10.0.2 |
| ujson | 4.0.2 | upgrades zonder toezicht | 0,1 | urllib3 | 1.26.7 |
| Virtualenv | 20.8.0 | Visioenen | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Wiel | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.6.2 | zipp | 3.6.0 |
R-bibliotheken
De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 11.3 LTS.
Java- en Scala-bibliotheken (Scala 2.12-cluster)
Naast Java- en Scala-bibliotheken in Databricks Runtime 11.3 LTS bevat Databricks Runtime 11.3 LTS ML de volgende JAR's:
CPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |