Databricks Runtime 11.1 för Machine Learning (stöds inte)
Databricks Runtime 11.1 för Machine Learning ger en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 11.1 (stöds inte). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och Machine Learning på Databricks.
Nya funktioner och förbättringar
Databricks Runtime 11.1 ML bygger på Databricks Runtime 11.1. Information om nyheter i Databricks Runtime 11.1, inklusive Apache Spark MLlib och SparkR, finns i viktig information om Databricks Runtime 11.1 (stöds inte).
Förbättringar av Databricks AutoML
Följande förbättringar har gjorts i Databricks AutoML.
- När AutoML upptäcker att ett klassificeringsproblem är binärt beräknar det binära klassificeringsmått och härleder den positiva klassen för problemet. Du kan också ange den positiva klassen med hjälp av en ny
pos_labelparameter. Mer information finns i Parametrar för klassificering och regression. - För prognosproblem kan AutoML nu hantera scenariot där horisonten är lång i förhållande till tidsintervallet för träningsdata.
Förbättringar av Databricks-funktionsarkivet
Följande förbättringar har gjorts i Databricks Feature Store.
Nu kan du uppdatera en funktionstabells datakällor manuellt med hjälp av Python-API:et för Funktionsarkiv.
Nu kan du publicera offlinefunktionstabeller till Azure Cosmos DB för onlinesökning med låg svarstid. Se Publicera funktioner i en onlinebutik och Publicera tidsseriefunktioner till en onlinebutik.
Systemmiljö
Systemmiljön i Databricks Runtime 11.1 ML skiljer sig från Databricks Runtime 11.1 på följande sätt:
- DBUtils: Databricks Runtime ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
Använd
%pipkommandon i stället. Se Python-bibliotek med notebook-omfång. - För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 11.1 ML som skiljer sig från de som ingår i Databricks Runtime 11.1.
I detta avsnitt:
- Bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 11.1 ML innehåller följande bibliotek på den översta nivån:
- GraphFrames
- Horovod och HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Python-bibliotek
Databricks Runtime 11.1 ML använder Virtualenv för Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 11.1 ML även följande paket:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.5.0
- automl 1.11.0
Python-bibliotek i CPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rullande) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | Bcrypt | 3.2.2 |
| Blekmedel | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.7 |
| Certifi | 2021.10.8 | Cffi | 1.14.6 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klicka | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | konvertera | 2.4.0 |
| Kryptografi | 3.4.8 | Apparat | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | felsökning | 1.4.1 |
| Dekoratör | 5.1.0 | defusedxml | 0.7.1 | Dill | 0.3.4 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| entrypoints | 0,3 | efem | 4.1.3 | facets-overview | 1.0.0 |
| snabbtext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Framtiden | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Semester | 0.14.2 |
| horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| idna | 3.2 | ImageHash | 4.2.1 | obalanserad inlärning | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-förbearbetning | 1.1.2 | kiwisolver | 1.3.1 | korean-lunar-calendar | 0.2.1 |
| langcodes | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | Markering Valv | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.27.0 | multimethod | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | Networkx | 2.6.3 |
| nltk | 3.6.5 | notebook-fil | 6.4.5 | numba | 0.55.2 |
| Numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| Förpackning | 21,0 | Pandas | 1.3.4 | pandas-profilering | 3.1.0 |
| pandocfilter | 1.4.3 | Paramiko | 2.9.2 | parso | 0.8.2 |
| Pati | 0.6.2 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kudde | 8.4.0 | Pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.8.2 | pmdarima | 1.8.5 | fördefinierad | 3.0.6 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | Profeten | 1.0.1 |
| protobuf | 3.19.4 | Psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2,20 |
| pydantisk | 1.8.2 | Pygments | 2.10.0 | Pygobject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | Pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| begäranden | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| Rsa | 4.8 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| Scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| Setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.40.0 |
| Simplejson | 3.17.6 | Sex | 1.16.0 | Slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.3.1 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.3 | ssh-import-id | 5,10 |
| statsmodels | 0.12.2 | Tabellform | 0.8.9 | trasslig upp-i-unicode | 0.1.0 |
| Uthållighet | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.0.17 |
| threadpoolctl | 2.2.0 | tokenizers | 0.12.1 | Fackla | 1.11.0+cpu |
| torchvision | 0.12.0+cpu | Tornado | 6.1 | tqdm | 4.62.3 |
| traitlets | 5.1.0 | Transformatorer | 4.20.0 | typer | 0.4.2 |
| skriva tillägg | 3.10.0.2 | ujson | 4.0.2 | obevakade uppgraderingar | 0,1 |
| urllib3 | 1.26.7 | Virtualenv | 20.8.0 | Visioner | 0.7.4 |
| Wasabi | 0.9.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | Hjul | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.5.2 |
| Zipp | 3.6.0 |
Python-bibliotek i GPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rullande) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | Bcrypt | 3.2.2 |
| Blekmedel | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.7 |
| Certifi | 2021.10.8 | Cffi | 1.14.6 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klicka | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | konvertera | 2.4.0 |
| Kryptografi | 3.4.8 | Apparat | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | felsökning | 1.4.1 |
| Dekoratör | 5.1.0 | defusedxml | 0.7.1 | Dill | 0.3.4 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| entrypoints | 0,3 | efem | 4.1.3 | facets-overview | 1.0.0 |
| snabbtext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Framtiden | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Semester | 0.14.2 |
| horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| idna | 3.2 | ImageHash | 4.2.1 | obalanserad inlärning | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-förbearbetning | 1.1.2 | kiwisolver | 1.3.1 | korean-lunar-calendar | 0.2.1 |
| langcodes | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | Markering Valv | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.27.0 | multimethod | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | Networkx | 2.6.3 |
| nltk | 3.6.5 | notebook-fil | 6.4.5 | numba | 0.55.2 |
| Numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| Förpackning | 21,0 | Pandas | 1.3.4 | pandas-profilering | 3.1.0 |
| pandocfilter | 1.4.3 | Paramiko | 2.9.2 | parso | 0.8.2 |
| Pati | 0.6.2 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kudde | 8.4.0 | Pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.8.2 | pmdarima | 1.8.5 | fördefinierad | 3.0.6 |
| prompt-toolkit | 3.0.20 | Profeten | 1.0.1 | protobuf | 3.19.4 |
| Psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser | 2,20 | pydantisk | 1.8.2 |
| Pygments | 2.10.0 | Pygobject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| Pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6,0 |
| pyzmq | 22.2.1 | Regex | 2021.8.3 | begäranden | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | Rsa | 4.8 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | Scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | Setuptools | 58.0.4 |
| setuptools-git | 1.2 | Shap | 0.40.0 | Simplejson | 3.17.6 |
| Sex | 1.16.0 | Slicer | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | spacy | 3.3.1 | spacy-legacy | 3.0.9 |
| spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.3 | ssh-import-id | 5,10 | statsmodels | 0.12.2 |
| Tabellform | 0.8.9 | trasslig upp-i-unicode | 0.1.0 | Uthållighet | 8.0.1 |
| tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
| tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 | tensorflow-estimator | 2.9.0 |
| tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
| testpath | 0.5.0 | thinc | 8.0.17 | threadpoolctl | 2.2.0 |
| tokenizers | 0.12.1 | Fackla | 1.11.0+cu113 | torchvision | 0.12.0+cu113 |
| Tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformatorer | 4.20.0 | typer | 0.4.2 | skriva tillägg | 3.10.0.2 |
| ujson | 4.0.2 | obevakade uppgraderingar | 0,1 | urllib3 | 1.26.7 |
| Virtualenv | 20.8.0 | Visioner | 0.7.4 | Wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Hjul | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | Zipp | 3.6.0 |
Spark-paket som innehåller Python-moduler
| Spark-paket | Python-modul | Version |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 11.1.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 11.1 innehåller Databricks Runtime 11.1 ML följande JAR:er:
CPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |