Databricks Runtime 11.2 för Machine Learning (stöds inte)
Databricks Runtime 11.2 för Machine Learning tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 11.2 (stöds inte). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och Machine Learning på Databricks.
Nya funktioner och förbättringar
Databricks Runtime 11.2 ML bygger på Databricks Runtime 11.2. Information om nyheter i Databricks Runtime 11.2, inklusive Apache Spark MLlib och SparkR, finns i viktig information om Databricks Runtime 11.2 (stöds inte).
Förbättringar av Databricks AutoML
Databricks AutoML har nu bättre stöd för obalanserade datauppsättningar för klassificeringsproblem. Mer information finns i Stöd för obalanserad datamängd för klassificeringsproblem.
Förbättringar av Databricks-funktionsarkivet
Följande förbättringar har gjorts i Databricks Feature Store.
För onlinebutiker har fälten för användare och lösenord blivit inaktuella. Om du vill undvika framtida inkompatibiliteter ändrar du alla användningsområden för dessa fält till
write_secret_prefix.All dokumentation och utdata från funktionsarkivklienten refererar nu till klientversionen (till exempel 0.6.1) i stället för Databricks Runtime ML-versioner (till exempel 11.2).
Systemmiljö
Systemmiljön i Databricks Runtime 11.2 ML skiljer sig från Databricks Runtime 11.2 på följande sätt:
- DBUtils: Databricks Runtime ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
Använd
%pipkommandon i stället. Se Python-bibliotek med notebook-omfång. - För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 11.2 ML som skiljer sig från de som ingår i Databricks Runtime 11.2.
I detta avsnitt:
- Bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 11.2 ML innehåller följande bibliotek på den översta nivån:
- GraphFrames
- Horovod och HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python-bibliotek
Databricks Runtime 11.2 ML använder Virtualenv för Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 11.2 ML även följande paket:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0_db6
- feature_store 0.6.0
- automl 1.12.3
Python-bibliotek i CPU-kluster
Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filen requirements-11.2.txt och kör pip install -r requirements-11.2.txt. Det här kommandot installerar alla öppen källkod bibliotek som Databricks Runtime ML använder, men installerar inte Azure Databricks-utvecklade bibliotek, till exempel databricks-automl, databricks-feature-storeeller Databricks-förgreningen för hyperopt.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rullande) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | Bcrypt | 3.2.2 |
| svart | 22.3.0 | Blekmedel | 4.0.0 | blis | 0.7.8 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.2.0 |
| Katalog | 2.0.8 | Certifi | 2021.10.8 | Cffi | 1.14.6 |
| Chardet | 4.0.0 | charset-normalizer | 2.0.4 | klicka | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| konvertera | 2.4.0 | Kryptografi | 3.4.8 | Apparat | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.10 |
| databricks-cli | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| felsökning | 1.4.1 | Dekoratör | 5.1.0 | defusedxml | 0.7.1 |
| Dill | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.5 |
| distro-info | 0.23ubuntu1 | entrypoints | 0,3 | efem | 4.1.3 |
| facets-overview | 1.0.0 | snabbtext | 0.9.2 | filelock | 3.3.1 |
| Flask | 1.1.2 | flatbuffers | 1.12 | fsspec | 2021.8.1 |
| Framtiden | 0.18.2 | Gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.4 |
| Semester | 0.14.2 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.8.1 | idna | 3.2 | ImageHash | 4.2.1 |
| obalanserad inlärning | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| Ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.9.0 | Keras-förbearbetning | 1.1.2 | kiwisolver | 1.3.1 |
| korean-lunar-calendar | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.2 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | Markering Valv | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
| multimethod | 1.8 | murmurhash | 1.0.8 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Networkx | 2.6.3 | nltk | 3.6.5 |
| notebook-fil | 6.4.5 | numba | 0.54.1 | Numpy | 1.20.3 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | Förpackning | 21,0 |
| Pandas | 1.3.4 | pandas-profilering | 3.1.0 | pandocfilter | 1.4.3 |
| Paramiko | 2.9.2 | parso | 0.8.2 | pathspec | 0.9.0 |
| Pati | 0.6.2 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kudde | 8.4.0 | Pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pmdarima | 1.8.5 | fördefinierad | 3.0.7 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | Profeten | 1.0.1 |
| protobuf | 3.19.4 | Psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 | pycparser | 2,20 |
| pydantisk | 1.9.2 | Pygments | 2.10.0 | Pygobject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | Pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| begäranden | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| Rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| Scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| Setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| Simplejson | 3.17.6 | Sex | 1.16.0 | Slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.0 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5,10 |
| statsmodels | 0.12.2 | Tabellform | 0.8.9 | trasslig upp-i-unicode | 0.1.0 |
| Uthållighet | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.1.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.12.1 |
| tomli | 2.0.1 | Fackla | 1.11.0+cpu | torchvision | 0.12.0+cpu |
| Tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformatorer | 4.20.1 | typer | 0.4.2 | skriva tillägg | 3.10.0.2 |
| ujson | 4.0.2 | obevakade uppgraderingar | 0,1 | urllib3 | 1.26.7 |
| Virtualenv | 20.8.0 | Visioner | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Hjul | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | Zipp | 3.6.0 |
Python-bibliotek i GPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rullande) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | Bcrypt | 3.2.2 |
| svart | 22.3.0 | Blekmedel | 4.0.0 | blis | 0.7.8 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.2.0 |
| Katalog | 2.0.8 | Certifi | 2021.10.8 | Cffi | 1.14.6 |
| Chardet | 4.0.0 | charset-normalizer | 2.0.4 | klicka | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| konvertera | 2.4.0 | Kryptografi | 3.4.8 | Apparat | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.10 |
| databricks-cli | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| felsökning | 1.4.1 | Dekoratör | 5.1.0 | defusedxml | 0.7.1 |
| Dill | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.5 |
| distro-info | 0.23ubuntu1 | entrypoints | 0,3 | efem | 4.1.3 |
| facets-overview | 1.0.0 | snabbtext | 0.9.2 | filelock | 3.3.1 |
| Flask | 1.1.2 | flatbuffers | 1.12 | fsspec | 2021.8.1 |
| Framtiden | 0.18.2 | Gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.4 |
| Semester | 0.14.2 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.8.1 | idna | 3.2 | ImageHash | 4.2.1 |
| obalanserad inlärning | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| Ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.9.0 | Keras-förbearbetning | 1.1.2 | kiwisolver | 1.3.1 |
| korean-lunar-calendar | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.2 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | Markering Valv | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
| multimethod | 1.8 | murmurhash | 1.0.8 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Networkx | 2.6.3 | nltk | 3.6.5 |
| notebook-fil | 6.4.5 | numba | 0.54.1 | Numpy | 1.20.3 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | Förpackning | 21,0 |
| Pandas | 1.3.4 | pandas-profilering | 3.1.0 | pandocfilter | 1.4.3 |
| Paramiko | 2.9.2 | parso | 0.8.2 | pathspec | 0.9.0 |
| Pati | 0.6.2 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kudde | 8.4.0 | Pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pmdarima | 1.8.5 | fördefinierad | 3.0.7 |
| prompt-toolkit | 3.0.20 | Profeten | 1.0.1 | protobuf | 3.19.4 |
| Psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantisk | 1.9.2 |
| Pygments | 2.10.0 | Pygobject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| Pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6,0 |
| pyzmq | 22.2.1 | Regex | 2021.8.3 | begäranden | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | Rsa | 4,9 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | Scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | Setuptools | 58.0.4 |
| setuptools-git | 1.2 | Shap | 0.41.0 | Simplejson | 3.17.6 |
| Sex | 1.16.0 | Slicer | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | spacy | 3.4.0 | spacy-legacy | 3.0.9 |
| spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.4 | ssh-import-id | 5,10 | statsmodels | 0.12.2 |
| Tabellform | 0.8.9 | trasslig upp-i-unicode | 0.1.0 | Uthållighet | 8.0.1 |
| tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
| tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 | tensorflow-estimator | 2.9.0 |
| tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
| testpath | 0.5.0 | thinc | 8.1.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tokenizers | 0.12.1 | tomli | 2.0.1 |
| Fackla | 1.11.0+cu113 | torchvision | 0.12.0+cu113 | Tornado | 6.1 |
| tqdm | 4.62.3 | traitlets | 5.1.0 | Transformatorer | 4.20.1 |
| typer | 0.4.2 | skriva tillägg | 3.10.0.2 | ujson | 4.0.2 |
| obevakade uppgraderingar | 0,1 | urllib3 | 1.26.7 | Virtualenv | 20.8.0 |
| Visioner | 0.7.4 | Wasabi | 0.10.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 1.3.1 | Werkzeug | 2.0.2 |
| Hjul | 0.37.0 | widgetsnbextension | 3.6.0 | wrapt | 1.12.1 |
| xgboost | 1.5.2 | Zipp | 3.6.0 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 11.2.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 11.2 innehåller Databricks Runtime 11.2 ML följande JAR:er:
CPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.28.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.28.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |