Databricks Runtime 11.3 LTS för Machine Learning
Databricks Runtime 11.3 LTS for Machine Learning tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 11.3 LTS. Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.
Kommentar
LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och Machine Learning på Databricks.
Nya funktioner och förbättringar
Databricks Runtime 11.3 LTS ML bygger på Databricks Runtime 11.3 LTS. Information om nyheter i Databricks Runtime 11.3 LTS, inklusive Apache Spark MLlib och SparkR, finns i viktig information om Databricks Runtime 11.3 LTS .
Förbättringar av Databricks AutoML
Databricks AutoML stöder nu användning av befintliga funktionstabeller i Funktionslager i dina AutoML-experiment. Mer information finns i Integrering av funktionslager.
Utvärderingsanteckningsböcker som genereras av AutoML innehåller nu kodfragment som gör det möjligt för användare att köra hyperparameterjustering igen.
AutoML stöder DecimalType nu funktioner.
Felkorrigeringar
Databricks Runtime 11.3 LTS ML innehåller en uppgraderad version av sparkdl.xgboost. Tidigare versioner av sparkdl.xgboost innehåller buggar som har åtgärdats i den här versionen, så Databricks rekommenderar att användare av biblioteket uppgraderar till Databricks Runtime 11.3 LTS ML.
Förbereda för framtida versioner
En kommande version av Databricks Runtime ML innehåller sklearn version 1.0. I dokumentationen sklearn finns information om hur du förbereder dig för den här ändringen.
Databricks Runtime ML innehåller två openblas paket. Paketet /opt/OpenBLAS är inaktuellt i Databricks Runtime 11.3 LTS ML och tas bort i en kommande version.
Systemmiljö
Systemmiljön i Databricks Runtime 11.3 LTS ML skiljer sig från Databricks Runtime 11.3 LTS enligt följande:
- DBUtils: Databricks Runtime ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
Använd
%pipkommandon i stället. Se Python-bibliotek med notebook-omfång. - För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML innehåller XGBoost 1.6.1, som inte stöder GPU-kluster med beräkningskapacitet 5.2 och lägre.
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 11.3 LTS ML som skiljer sig från de som ingår i Databricks Runtime 11.3 LTS.
I detta avsnitt:
- Bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 11.3 LTS ML innehåller följande bibliotek på den översta nivån:
- GraphFrames
- Horovod och HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python-bibliotek
Databricks Runtime 11.3 LTS ML använder Virtualenv för Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Även Databricks Runtime 11.3 LTS ML följande paket:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filen requirements-11.3.txt och kör pip install -r requirements-11.3.txt. Det här kommandot installerar alla öppen källkod bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-storeeller Databricks-förgreningen för hyperopt.
Python-bibliotek i CPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1.10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | Bcrypt | 4.0.0 | svart | 22.3.0 |
| Blekmedel | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.8 |
| Certifi | 2021.10.8 | Cffi | 1.14.6 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klicka | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfekt | 0.0.1 | configparser | 5.2.0 |
| konvertera | 2.4.0 | Kryptografi | 3.4.8 | Apparat | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| felsökning | 1.4.1 | Dekoratör | 5.1.0 | defusedxml | 0.7.1 |
| Dill | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| entrypoints | 0,3 | efem | 4.1.3 | facets-overview | 1.0.0 |
| snabbtext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Framtiden | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Semester | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | obalanserad inlärning | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-förbearbetning | 1.1.2 | kiwisolver | 1.3.1 | korean-lunar-calendar | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | Markering Valv | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| Networkx | 2.6.3 | nltk | 3.6.5 | notebook-fil | 6.4.5 |
| numba | 0.54.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Förpackning | 21,0 | Pandas | 1.3.4 |
| pandas-profilering | 3.1.0 | pandocfilter | 1.4.3 | Paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | Pati | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | Pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Kudde | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | fördefinierad | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | Profeten | 1.0.1 | protobuf | 3.19.4 |
| Psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantisk | 1.9.2 |
| Pygments | 2.10.0 | Pygobject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| Pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6,0 | pyzmq | 22.2.1 |
| Regex | 2021.8.3 | begäranden | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | Rsa | 4,9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | Scipy | 1.7.1 | seaborn | 0.11.3 |
| Send2Trash | 1.8.0 | Setuptools | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.41.0 | Simplejson | 3.17.6 | Sex | 1.16.0 |
| Slicer | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5,10 | statsmodels | 0.12.2 | Tabellform | 0.8.9 |
| trasslig upp-i-unicode | 0.1.0 | Uthållighet | 8.0.1 | tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| thinc | 8.1.2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizers | 0.12.1 | tomli | 2.0.1 | Fackla | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | Tornado | 6.1 | tqdm | 4.62.3 |
| traitlets | 5.1.0 | Transformatorer | 4.21.2 | typer | 0.4.2 |
| skriva tillägg | 3.10.0.2 | ujson | 4.0.2 | obevakade uppgraderingar | 0,1 |
| urllib3 | 1.26.7 | Virtualenv | 20.8.0 | Visioner | 0.7.4 |
| Wasabi | 0.10.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | Hjul | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.6.2 |
| Zipp | 3.6.0 |
Python-bibliotek i GPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1.10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | Bcrypt | 4.0.0 | svart | 22.3.0 |
| Blekmedel | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.8 |
| Certifi | 2021.10.8 | Cffi | 1.14.6 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klicka | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfekt | 0.0.1 | configparser | 5.2.0 |
| konvertera | 2.4.0 | Kryptografi | 3.4.8 | Apparat | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| felsökning | 1.4.1 | Dekoratör | 5.1.0 | defusedxml | 0.7.1 |
| Dill | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| entrypoints | 0,3 | efem | 4.1.3 | facets-overview | 1.0.0 |
| snabbtext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Framtiden | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Semester | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | obalanserad inlärning | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-förbearbetning | 1.1.2 | kiwisolver | 1.3.1 | korean-lunar-calendar | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | Markering Valv | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| Networkx | 2.6.3 | nltk | 3.6.5 | notebook-fil | 6.4.5 |
| numba | 0.54.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Förpackning | 21,0 | Pandas | 1.3.4 |
| pandas-profilering | 3.1.0 | pandocfilter | 1.4.3 | Paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | Pati | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | Pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Kudde | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | fördefinierad | 3.0.7 | prompt-toolkit | 3.0.20 |
| Profeten | 1.0.1 | protobuf | 3.19.4 | Psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2,20 | pydantisk | 1.9.2 | Pygments | 2.10.0 |
| Pygobject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | Pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| begäranden | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| Rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| Scipy | 1.7.1 | seaborn | 0.11.3 | Send2Trash | 1.8.0 |
| Setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| Simplejson | 3.17.6 | Sex | 1.16.0 | Slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5,10 |
| statsmodels | 0.12.2 | Tabellform | 0.8.9 | trasslig upp-i-unicode | 0.1.0 |
| Uthållighet | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.1.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.12.1 |
| tomli | 2.0.1 | Fackla | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| Tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformatorer | 4.21.2 | typer | 0.4.2 | skriva tillägg | 3.10.0.2 |
| ujson | 4.0.2 | obevakade uppgraderingar | 0,1 | urllib3 | 1.26.7 |
| Virtualenv | 20.8.0 | Visioner | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Hjul | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.6.2 | Zipp | 3.6.0 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 11.3 LTS.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 11.3 LTS innehåller Databricks Runtime 11.3 LTS ML följande JAR:er:
CPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |