Databricks Runtime 11.2 voor Machine Learning (niet ondersteund)
Databricks Runtime 11.2 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 11.2 (niet ondersteund). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.
Zie AI en Machine Learning op Databricks voor meer informatie, waaronder instructies voor het maken van een Databricks Runtime ML-cluster.
Nieuwe functies en verbeteringen
Databricks Runtime 11.2 ML is gebouwd op Databricks Runtime 11.2. Zie de releaseopmerkingen van Databricks Runtime 11.2, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 11.2 (niet-ondersteund ).
Verbeteringen aan Databricks AutoML
Databricks AutoML biedt nu betere ondersteuning voor onevenwichtige gegevenssets voor classificatieproblemen. Zie Onevenwichtige gegevenssetondersteuning voor classificatieproblemen voor meer informatie.
Verbeteringen in Databricks Feature Store
De volgende verbeteringen zijn aangebracht in Databricks Feature Store.
Voor online winkels zijn de velden voor gebruikers en wachtwoorden afgeschaft. Als u toekomstige incompatibiliteit wilt voorkomen, wijzigt u alle toepassingen van deze velden in
write_secret_prefix.Alle documentatie en uitvoer van de functiearchiefclient verwijzen nu naar de clientversie (bijvoorbeeld 0.6.1) in plaats van Databricks Runtime ML-versies (zoals 11.2).
Systeemomgeving
De systeemomgeving in Databricks Runtime 11.2 ML verschilt als volgt van Databricks Runtime 11.2:
- DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd).
Gebruik
%pipin plaats daarvan opdrachten. Zie Notebook-scoped Python libraries (Notebook-scoped Python-bibliotheken) voor meer informatie. - Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Bibliotheken
In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 11.2 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 11.2.
In deze sectie:
- Bibliotheken met de hoogste laag
- Python-bibliotheken
- R-bibliotheken
- Java- en Scala-bibliotheken (Scala 2.12-cluster)
Bibliotheken met de hoogste laag
Databricks Runtime 11.2 ML bevat de volgende bibliotheken met de hoogste laag:
- GraphFrames
- Horovod en HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python-bibliotheken
Databricks Runtime 11.2 ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.
Naast de pakketten die zijn opgegeven in de volgende secties, bevat Databricks Runtime 11.2 ML ook de volgende pakketten:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0_db6
- feature_store 0.6.0
- automl 1.12.3
Python-bibliotheken op CPU-clusters
Als u de Databricks Runtime ML Python-omgeving in uw lokale virtuele Python-omgeving wilt reproduceren, downloadt u het requirements-11.2.txt-bestand en voert u het uitpip install -r requirements-11.2.txt. Met deze opdracht worden alle opensourcebibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden geen door Azure Databricks ontwikkelde bibliotheken geïnstalleerd, zoals databricks-automl, databricks-feature-storeof de Databricks-fork van hyperopt.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | Bcrypt | 3.2.2 |
| zwart | 22.3.0 | Bleekmiddel | 4.0.0 | blis | 0.7.8 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.2.0 |
| Catalogus | 2.0.8 | certifi | 2021.10.8 | Cffi | 1.14.6 |
| Chardet | 4.0.0 | charset-normalizer | 2.0.4 | klikken | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Cryptografie | 3.4.8 | cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.10 |
| databricks-cli | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| foutopsporing | 1.4.1 | Decorator | 5.1.0 | defusedxml | 0.7.1 |
| Dille | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.5 |
| distro-info | 0.23opgegeven1 | invoerpunten | 0,3 | kortstondige tijd | 4.1.3 |
| facets-overview | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
| Flask | 1.1.2 | flatbuffers | 1.12 | fsspec | 2021.8.1 |
| Toekomst | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.4 |
| Vakantie | 0.14.2 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.8.1 | idna | 3.2 | ImageHash | 4.2.1 |
| onevenwichtig leren | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| Ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.9.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| koreaans-maankalender | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.2 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
| multimethod | 1.8 | murmurhash | 1.0.8 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Networkx | 2.6.3 | nltk | 3.6.5 |
| notebook | 6.4.5 | numba | 0.54.1 | Numpy | 1.20.3 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | Verpakking | 21,0 |
| Pandas | 1.3.4 | pandas-profilering | 3.1.0 | pandocfilters | 1.4.3 |
| Paramiko | 2.9.2 | parso | 0.8.2 | pathspec | 0.9.0 |
| pathy | 0.6.2 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kussen | 8.4.0 | Pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pmdarima | 1.8.5 | vooraf geslagen | 3.0.7 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | Profeet | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 | pycparser | 2,20 |
| pydantic | 1.9.2 | Pygments | 2.10.0 | Pygobject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | Pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | Pywavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| requests | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| Rsa | 4.9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| Scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| Setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| Simplejson | 3.17.6 | Zes | 1.16.0 | Slicer | 0.0.7 |
| slim openen | 5.2.1 | smmap | 5.0.0 | spatie | 3.4.0 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | Tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
| Vasthoudendheid | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.1.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.12.1 |
| tomli | 2.0.1 | Fakkel | 1.11.0+cpu | torchvision | 0.12.0+cpu |
| Tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformers | 4.20.1 | Typer | 0.4.2 | typen-extensies | 3.10.0.2 |
| ujson | 4.0.2 | upgrades zonder toezicht | 0,1 | urllib3 | 1.26.7 |
| Virtualenv | 20.8.0 | Visioenen | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Wiel | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
Python-bibliotheken op GPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | Bcrypt | 3.2.2 |
| zwart | 22.3.0 | Bleekmiddel | 4.0.0 | blis | 0.7.8 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.2.0 |
| Catalogus | 2.0.8 | certifi | 2021.10.8 | Cffi | 1.14.6 |
| Chardet | 4.0.0 | charset-normalizer | 2.0.4 | klikken | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Cryptografie | 3.4.8 | cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.10 |
| databricks-cli | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| foutopsporing | 1.4.1 | Decorator | 5.1.0 | defusedxml | 0.7.1 |
| Dille | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.5 |
| distro-info | 0.23opgegeven1 | invoerpunten | 0,3 | kortstondige tijd | 4.1.3 |
| facets-overview | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
| Flask | 1.1.2 | flatbuffers | 1.12 | fsspec | 2021.8.1 |
| Toekomst | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.4 |
| Vakantie | 0.14.2 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.8.1 | idna | 3.2 | ImageHash | 4.2.1 |
| onevenwichtig leren | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| Ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.9.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| koreaans-maankalender | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.2 | llvmlite | 0.37.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
| multimethod | 1.8 | murmurhash | 1.0.8 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Networkx | 2.6.3 | nltk | 3.6.5 |
| notebook | 6.4.5 | numba | 0.54.1 | Numpy | 1.20.3 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | Verpakking | 21,0 |
| Pandas | 1.3.4 | pandas-profilering | 3.1.0 | pandocfilters | 1.4.3 |
| Paramiko | 2.9.2 | parso | 0.8.2 | pathspec | 0.9.0 |
| pathy | 0.6.2 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kussen | 8.4.0 | Pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pmdarima | 1.8.5 | vooraf geslagen | 3.0.7 |
| prompt-toolkit | 3.0.20 | Profeet | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | Pygobject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| Pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | Pywavelets | 1.1.1 | PyYAML | 6,0 |
| pyzmq | 22.2.1 | Regex | 2021.8.3 | requests | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | Rsa | 4.9 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | Scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | Setuptools | 58.0.4 |
| setuptools-git | 1.2 | Shap | 0.41.0 | Simplejson | 3.17.6 |
| Zes | 1.16.0 | Slicer | 0.0.7 | slim openen | 5.2.1 |
| smmap | 5.0.0 | spatie | 3.4.0 | spacy-legacy | 3.0.9 |
| spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.4 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| Tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 | Vasthoudendheid | 8.0.1 |
| tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
| tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 | tensorflow-estimator | 2.9.0 |
| tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
| testpath | 0.5.0 | thinc | 8.1.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tokenizers | 0.12.1 | tomli | 2.0.1 |
| Fakkel | 1.11.0+cu113 | torchvision | 0.12.0+cu113 | Tornado | 6.1 |
| tqdm | 4.62.3 | traitlets | 5.1.0 | Transformers | 4.20.1 |
| Typer | 0.4.2 | typen-extensies | 3.10.0.2 | ujson | 4.0.2 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.26.7 | Virtualenv | 20.8.0 |
| Visioenen | 0.7.4 | Wasabi | 0.10.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 1.3.1 | Werkzeug | 2.0.2 |
| Wiel | 0.37.0 | widgetsnbextension | 3.6.0 | wrapt | 1.12.1 |
| xgboost | 1.5.2 | zipp | 3.6.0 |
R-bibliotheken
De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 11.2.
Java- en Scala-bibliotheken (Scala 2.12-cluster)
Naast Java- en Scala-bibliotheken in Databricks Runtime 11.2 bevat Databricks Runtime 11.2 ML de volgende JAR's:
CPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.28.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.28.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |