Databricks Runtime 10.5 für Machine Learning (nicht unterstützt)
Databricks Runtime 10.5 für Machine Learning bietet eine sofort einsatzbereite Umgebung für maschinelles Lernen und Data Science auf Basis von Databricks Runtime 10.5 (nicht unterstützt). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.
Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.
Neue Features und Verbesserungen
Databricks Runtime 10.5 ML basiert auf Databricks Runtime 10.5. Informationen zu den Neuerungen in Databricks Runtime 10.5 (einschließlich Apache Spark MLlib und SparkR) finden Sie in den Versionshinweisen zu Databricks Runtime 10.5 (nicht unterstützt).
Verbesserungen an Databricks AutoML
Die folgenden Verbesserungen wurden an Databricks AutoML vorgenommen.
- Dank der verbesserten Speicherauslastung kann AutoML mit größeren Datasets trainieren.
- Mit der AutoML-Vorhersagefunktion können Sie jetzt die Vorhersagen des besten Modells mithilfe der API in eine Tabelle exportieren. Wenn
output_databaseangegeben wird, speichert AutoML die Vorhersagen des besten Modells in einer neuen Tabelle in der angegebenen Datenbank. Die Vorhersagen werden nicht gespeichert, wennoutput_databasenicht angegeben wird.
Verbesserungen am Featurespeicher von Databricks
Die folgenden Verbesserungen wurden an Databricks Feature Store vorgenommen.
- Sie können jetzt eine bestehende Featuretabelle über die
drop_table-API löschen. Diese Aktion bereinigt auch die zugrunde liegende Delta-Tabelle. - Sie können jetzt die Python-API verwenden, um ein Tag zu einer Featuretabelle hinzuzufügen, wenn Sie diese erstellen oder registrieren, und um Tags zu bestehenden Featuretabellen hinzuzufügen, zu aktualisieren, zu löschen oder zu lesen.
Systemumgebung
Die Systemumgebung der Databricks Runtime 10.5 ML unterscheidet sich wie folgt von der Databricks Runtime 10.5:
- DBUtils: Databricks Runtime ML enthält kein Bibliothekshilfsprogramm (dbutils.library) (Legacy).
Verwenden Sie stattdessen
%pip-Befehle. Informationen finden Sie unter Python-Bibliotheken im Notebook-Bereich. - Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
Bibliotheken
In den folgenden Abschnitten sind die Bibliotheken aufgelistet, die in Databricks Runtime 10.5 ML enthalten sind und sich von den in Databricks Runtime 10.5 enthaltenen Bibliotheken unterscheiden.
Inhalt dieses Abschnitts:
- Bibliotheken der obersten Ebene
- Python-Bibliotheken
- R-Bibliotheken
- Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Bibliotheken der obersten Ebene
Databricks Runtime 10.5 ML enthält die folgenden Bibliotheken der obersten Ebene:
- GraphFrames
- Horovod und HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Python-Bibliotheken
Databricks Runtime 10.5 ML verwendet Virtualenv zur Verwaltung von Python-Paketen und enthält viele beliebte ML-Pakete.
Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 10.5 ML auch die folgenden Pakete:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.8.0
Python-Bibliotheken in CPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | astor | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | bleach | 3.3.0 |
| blis | 0.7.7 | boto3 | 1.16.7 | botocore | 1.19.7 |
| cachetools | 4.2.4 | Katalog | 2.0.7 | certifi | 2020.12.5 |
| cffi | 1.14.5 | chardet | 4.0.0 | Klicken | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.4.0 | cryptography | 3.4.7 | cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.7 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
| decorator | 5.0.6 | defusedxml | 0.7.1 | dill | 0.3.2 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| entrypoints | 0,3 | ephem | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.0.12 | Flask | 1.1.2 |
| flatbuffers | 2.0 | fsspec | 0.9.0 | future | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.12 |
| google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
| grpcio | 1.39.0 | gunicorn | 20.0.4 | gviz-api | 1.10.0 |
| h5py | 3.1.0 | hijri-converter | 2.2.3 | holidays | 0,13 |
| horovod | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.5.1 |
| idna | 2.10 | ImageHash | 4.2.1 | imbalanced-learn | 0.8.1 |
| importlib-metadata | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 | isodate | 0.6.0 |
| itsdangerous | 1.1.0 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.3.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.8.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| korean-lunar-calendar | 0.2.1 | langcodes | 3.3.0 | libclang | 13.0.0 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.24.0 | multimethod | 1.8 |
| murmurhash | 1.0.6 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | Notebook | 6.3.0 | numba | 0.55.1 |
| numpy | 1.20.1 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| Packen | 21,3 | Pandas | 1.2.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.7.2 | parso | 0.7.0 |
| pathy | 0.6.1 | patsy | 0.5.1 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.6.0 |
| pmdarima | 1.8.5 | preshed | 3.0.6 | prometheus-client | 0.10.1 |
| prompt-toolkit | 3.0.17 | prophet | 1.0.1 | protobuf | 3.17.2 |
| psutil | 5.8.0 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser | 2,20 | pydantic | 1.8.2 |
| Pygments | 2.8.1 | PyGObject | 3.36.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.30 | pyparsing | 2.4.7 |
| pyrsistent | 0.17.3 | pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 |
| Python-dateutil | 2.8.1 | python-editor | 1.0.4 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | regex | 2021.4.4 |
| requests | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| rsa | 4.8 | s3transfer | 0.3.7 | sacremoses | 0.0.49 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| shap | 0.40.0 | simplejson | 3.17.2 | sechs | 1.15.0 |
| slicer | 0.0.7 | smart-open | 5.2.1 | smmap | 3.0.5 |
| spacy | 3.2.3 | spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.1 | srsly | 2.4.3 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tabulate | 0.8.7 |
| tangled-up-in-unicode | 0.1.0 | tenacity | 6.2.0 | tensorboard | 2.8.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 |
| termcolor | 1.1.0 | terminado | 0.9.4 | testpath | 0.4.4 |
| tf-estimator-nightly | 2.8.0.dev2021122109 | thinc | 8.0.15 | threadpoolctl | 2.1.0 |
| tokenizers | 0.12.1 | torch | 1.10.2+cpu | torchvision | 0.11.3+cpu |
| tornado | 6.1 | tqdm | 4.59.0 | traitlets | 5.0.5 |
| transformers | 4.17.0 | typer | 0.4.1 | typing-extensions | 3.7.4.3 |
| ujson | 4.0.2 | unattended-upgrades | 0,1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | Visionen | 0.7.4 | Wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.57.0 |
| Werkzeug | 1.0.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | zipp | 3.4.1 |
Python-Bibliotheken für GPU-Cluster
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | astor | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | bleach | 3.3.0 |
| blis | 0.7.7 | boto3 | 1.16.7 | botocore | 1.19.7 |
| cachetools | 4.2.4 | Katalog | 2.0.7 | certifi | 2020.12.5 |
| cffi | 1.14.5 | chardet | 4.0.0 | Klicken | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.4.0 | cryptography | 3.4.7 | cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.7 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
| decorator | 5.0.6 | defusedxml | 0.7.1 | dill | 0.3.2 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| entrypoints | 0,3 | ephem | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.0.12 | Flask | 1.1.2 |
| flatbuffers | 2.0 | fsspec | 0.9.0 | future | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.12 |
| google-auth | 1.22.1 | google-auth-oauthlib | 0.4.2 | google-pasta | 0.2.0 |
| grpcio | 1.39.0 | gunicorn | 20.0.4 | gviz-api | 1.10.0 |
| h5py | 3.1.0 | hijri-converter | 2.2.3 | holidays | 0,13 |
| horovod | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.5.1 |
| idna | 2.10 | ImageHash | 4.2.1 | imbalanced-learn | 0.8.1 |
| importlib-metadata | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 | isodate | 0.6.0 |
| itsdangerous | 1.1.0 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.3.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.8.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| korean-lunar-calendar | 0.2.1 | langcodes | 3.3.0 | libclang | 13.0.0 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.24.0 | multimethod | 1.8 |
| murmurhash | 1.0.6 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | Notebook | 6.3.0 | numba | 0.55.1 |
| numpy | 1.20.1 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| Packen | 21,3 | Pandas | 1.2.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.7.2 | parso | 0.7.0 |
| pathy | 0.6.1 | patsy | 0.5.1 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.6.0 |
| pmdarima | 1.8.5 | preshed | 3.0.6 | prompt-toolkit | 3.0.17 |
| prophet | 1.0.1 | protobuf | 3.17.2 | psutil | 5.8.0 |
| psycopg2 | 2.8.5 | ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
| pycparser | 2,20 | pydantic | 1.8.2 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.30 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | Python-dateutil | 2.8.1 |
| python-editor | 1.0.4 | python-engineio | 4.3.0 | python-socketio | 5.4.1 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | regex | 2021.4.4 | requests | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
| s3transfer | 0.3.7 | sacremoses | 0.0.49 | scikit-learn | 0.24.1 |
| scipy | 1.6.2 | seaborn | 0.11.1 | Send2Trash | 1.5.0 |
| setuptools | 52.0.0 | setuptools-git | 1.2 | shap | 0.40.0 |
| simplejson | 3.17.2 | sechs | 1.15.0 | slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 3.0.5 | spacy | 3.2.3 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.1 | srsly | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabulate | 0.8.7 | tangled-up-in-unicode | 0.1.0 |
| tenacity | 6.2.0 | tensorboard | 2.8.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.8.0 |
| tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.4.4 | tf-estimator-nightly | 2.8.0.dev2021122109 |
| thinc | 8.0.15 | threadpoolctl | 2.1.0 | tokenizers | 0.12.1 |
| torch | 1.10.2+cu113 | torchvision | 0.11.3+cu113 | tornado | 6.1 |
| tqdm | 4.59.0 | traitlets | 5.0.5 | transformers | 4.17.0 |
| typer | 0.4.1 | typing-extensions | 3.7.4.3 | ujson | 4.0.2 |
| unattended-upgrades | 0,1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| Visionen | 0.7.4 | Wasabi | 0.9.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.57.0 | Werkzeug | 1.0.1 |
| wheel | 0.36.2 | widgetsnbextension | 3.5.1 | wrapt | 1.12.1 |
| xgboost | 1.5.2 | zipp | 3.4.1 |
Spark-Pakete mit Python-Modulen
| Spark-Paket | Python-Modul | Version |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R-Bibliotheken
Die R-Bibliotheken sind mit den R-Bibliotheken in Databricks Runtime 10.5 identisch.
Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 10.5 enthält Databricks Runtime 10.5 ML die folgenden JAR-Dateien:
CPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.24.0 |
| org.mlflow | mlflow-spark | 1.24.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.24.0 |
| org.mlflow | mlflow-spark | 1.24.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |