Databricks Runtime 11.3 LTS für Machine Learning (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Informationen zum Enddatum des Supports finden Sie unter "Ende des Supports" und "Ende des Lebenszyklus". Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.

Databricks Runtime 11.3 LTS für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 11.3 LTS (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Hinweis

LTS bedeutet, dass diese Version langfristig unterstützt wird. Weitere Informationen finden Sie unter Databricks Runtime LTS-Versionslebenszyklus.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.

Neue Features und Verbesserungen

Databricks Runtime 11.3 LTS ML basiert auf Databricks Runtime 11.3 LTS. Informationen zu den Neuerungen in Databricks Runtime 11.3 LTS, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zu Databricks Runtime 11.3 LTS (EoS).

Verbesserungen an AutoML

AutoML unterstützt jetzt die Verwendung vorhandener Feature-Tabellen des Featurespeichers in Ihren AutoML-Experimenten. Ausführliche Informationen finden Sie unter AutoML Feature Store-Integration.

Testnotebooks, die von AutoML generiert werden, enthalten jetzt Codeausschnitte, mit denen Benutzer die Hyperparameteroptimierung erneut ausführen können.

AutoML unterstützt jetzt DecimalType-Features.

Fehlerbehebungen

Databricks Runtime 11.3 LTS ML enthält eine aktualisierte Version von sparkdl.xgboost. Frühere Versionen von sparkdl.xgboost enthalten Fehler, die in diesem Release behoben wurden. Deshalb empfiehlt Databricks, dass Benutzer der Bibliothek ein Upgrade auf Databricks Runtime 11.3 LTS ML vornehmen.

Vorbereiten für zukünftige Releases

Eine bevorstehende Veröffentlichung von Databricks Runtime ML wird Version 1.0 sklearn enthalten. Besuchen Sie die sklearn-Dokumentation, um Informationen zu erhalten, wie Sie Vorbereitungen für diese Änderung treffen.

Databricks Runtime ML enthält zwei openblas-Pakete. Das /opt/OpenBLAS-Paket ist in Databricks Runtime 11.3 LTS ML veraltet und wird in einem künftigen Release entfernt.

Systemumgebung

Die Systemumgebung in Databricks Runtime 11.3 LTS ML unterscheidet sich wie folgt von Databricks Runtime 11.3 LTS:

Databricks Runtime 11.3 LTS ML enthält XGBoost 1.6.1, das keine GPU-Cluster mit Computefunktionalität 5.2 und niedriger unterstützt.

Bibliotheken

In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 11.3 LTS ML enthalten sind und sich von den in Databricks Runtime 11.3 LTS enthaltenen Bibliotheken unterscheiden.

Inhalt dieses Abschnitts:

Bibliotheken der obersten Ebene

Databricks Runtime 11.3 LTS ML enthält die folgenden Bibliotheken der obersten Ebene:

Python-Bibliotheken

Databricks Runtime 11.3 LTS ML verwendet Virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 11.3 LTS ML auch die folgenden Pakete:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • feature_store 0.7.0
  • automl 1.13.2

Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-11.3.txt herunter, und führen Sie pip install -r requirements-11.3.txt aus. Dieser Befehl installiert alle open source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-store, oder die Databricks-Verzweigung von hyperopt.

Python-Bibliotheken auf CPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
Astunparse 1.6.3 asynchroner Generator 1.10 Attrs 21.2.0
Azure Core 1.22.1 Azure-Cosmos 4.2.0 Backcall 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 schwarz 22.3.0
Bleichmittel 4.0.0 blis 0.7.8 Boto3 1.21.18
Botocore 1.24.18 CacheWerkzeuge 5.2.0 Katalog 2.0.8
Zertifizieren 2021.10.8 CFFI 1.14.6 Chardet 4.0.0
Charset-Normalizer 2.0.4 Klicken 8.0.3 Wolkengurke 2.0.0
cmdstanpy 0.9.68 Konfekt 0.0.1 configparser 5.2.0
Convertdate 2.4.0 Kryptographie 3.4.8 Fahrradfahrer 0.10.0
Cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 Dekorateur 5.1.0 defusedxml 0.7.1
Dill 0.3.4 Festplatten-Cache 5.4.0 Distlib 0.3.6
Einstiegspunkte 0,3 Kurzlebig 4.1.3 Übersicht der Facetten 1.0.0
fasttext 0.9.2 Dateisperrung 3.3.1 Flasche 1.1.2
FlatBuffers 1.12 fsspec 2021.8.1 Zukunft 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
Google-Authentifizierung 2.6.0 google-auth-oauthlib 0.4.6 Google-Pasta 0.2.0
GRPCIO 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 Hijri-Konverter 2.2.4 Ferien 0,15
Horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 ImageHash 4.3.0 Ungleichgewichte lernen 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Isodate 0.6.1
es ist gefährlich 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 Jupyter-Client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver 1.3.1 koreanischer Lunarkalender 0.3.1
Sprachcodes 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Mondkalender 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 fehltNein 0.5.1 verstimmen 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 Multimethod 1.9
Murmurhash 1.0.8 mypy-Erweiterungen 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 Natural Language Toolkit (nltk) 3.6.5 Notebook 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 Packen 21.0 Pandas 1.3.4
Pandas-Profiling 3.1.0 Pandocfilter 1.4.3 paramiko 2.9.2
Parso 0.8.2 Pfadangabe 0.9.0 pathie 0.6.2
Sündenbock 0.5.2 Petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 Pickleshare 0.7.5 Kissen 8.4.0
pip 21.2.4 platformdirs 2.5.2 Handlung 5.9.0
pmdarima 1.8.5 vorgehäckselt 3.0.7 prometheus-client 0.11.0
Prompt-Toolkit 3.0.20 Prophet 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
Pyarrow 7.0.0 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
Pybind11 2.10.0 Pycparser 2,20 Pydantisch 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.5.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 Pyristent 0.18.0 Pystan 2.19.1.1
Python-dateutil 2.8.2 Python-Editor 1.0.4 Pytz 2021.3
PyWavelets 1.1.1 PyYAML 6,0 pyzmq 22.2.1
Regex 2021.8.3 Anforderungen 2.26.0 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 rsa 4,9 s3transfer 0.5.2
scikit-lernen 0.24.2 SciPy 1.7.1 Seegeboren 0.11.3
Send2Trash 1.8.0 setuptools 58.0.4 setuptools-git 1.2
Schattierung 0.41.0 simplejson 3.17.6 sechs 1.16.0
Schneidemaschine 0.0.7 smart-open 5.2.1 smmap 5.0.0
Geräumig 3.4.1 Spacy-Legacy 3.0.10 Spacy-Logger 1.0.3
Spark-Tensorflow-Distributor 1.0.0 sqlparse 0.4.2 srsly 2.4.4
ssh-import-id 5.10 StatistikModelle 0.12.2 tabellarisieren 0.8.9
Durcheinander-in-Unicode 0.1.0 Hartnäckigkeit 8.0.1 TensorBoard 2.9.1
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.9.1 TensorFlow-Estimator 2.9.0 tensorflow-io-gcs-filesystem 0.27.0
Termcolor 2.0.1 beendet 0.9.4 Testpfad 0.5.0
thinc 8.1.2 Threadpoolctl 2.2.0 tokenize-rt 4.2.1
Tokenizer 0.12.1 tomli 2.0.1 Fackel 1.12.1+CPU
Fackelvision 0.13.1+cpu Tornado 6.1 tqdm 4.62.3
Traitlets 5.1.0 Transformatoren 4.21.2 Typer 0.4.2
Erweiterungen für Typisierung 3.10.0.2 ujson 4.0.2 unbeaufsichtigte Aktualisierungen 0,1
urllib3 1.26.7 virtualenv 20.8.0 Visionen 0.7.4
Wasabi 0.10.1 wcwidth 0.2.5 Webkodierungen 0.5.1
WebSocket-Client 1.3.1 Werkzeug 2.0.2 Rad 0.37.0
widgetsnbextension 3.6.0 Eingehüllt 1.12.1 xgboost 1.6.2
ZIPP 3.6.0

Python Bibliotheken auf GPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
Astunparse 1.6.3 asynchroner Generator 1.10 Attrs 21.2.0
Azure Core 1.22.1 Azure-Cosmos 4.2.0 Backcall 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 schwarz 22.3.0
Bleichmittel 4.0.0 blis 0.7.8 Boto3 1.21.18
Botocore 1.24.18 CacheWerkzeuge 5.2.0 Katalog 2.0.8
Zertifizieren 2021.10.8 CFFI 1.14.6 Chardet 4.0.0
Charset-Normalizer 2.0.4 Klicken 8.0.3 Wolkengurke 2.0.0
cmdstanpy 0.9.68 Konfekt 0.0.1 configparser 5.2.0
Convertdate 2.4.0 Kryptographie 3.4.8 Fahrradfahrer 0.10.0
Cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 Dekorateur 5.1.0 defusedxml 0.7.1
Dill 0.3.4 Festplatten-Cache 5.4.0 Distlib 0.3.6
Einstiegspunkte 0,3 Kurzlebig 4.1.3 Übersicht der Facetten 1.0.0
fasttext 0.9.2 Dateisperrung 3.3.1 Flasche 1.1.2
FlatBuffers 1.12 fsspec 2021.8.1 Zukunft 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
Google-Authentifizierung 2.6.0 google-auth-oauthlib 0.4.6 Google-Pasta 0.2.0
GRPCIO 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 Hijri-Konverter 2.2.4 Ferien 0,15
Horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 ImageHash 4.3.0 Ungleichgewichte lernen 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Isodate 0.6.1
es ist gefährlich 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 Jupyter-Client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver 1.3.1 koreanischer Lunarkalender 0.3.1
Sprachcodes 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Mondkalender 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 fehltNein 0.5.1 verstimmen 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 Multimethod 1.9
Murmurhash 1.0.8 mypy-Erweiterungen 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 Natural Language Toolkit (nltk) 3.6.5 Notebook 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 Packen 21.0 Pandas 1.3.4
Pandas-Profiling 3.1.0 Pandocfilter 1.4.3 paramiko 2.9.2
Parso 0.8.2 Pfadangabe 0.9.0 pathie 0.6.2
Sündenbock 0.5.2 Petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 Pickleshare 0.7.5 Kissen 8.4.0
pip 21.2.4 platformdirs 2.5.2 Handlung 5.9.0
pmdarima 1.8.5 vorgehäckselt 3.0.7 Prompt-Toolkit 3.0.20
Prophet 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 Pyarrow 7.0.0
Pyasn1 0.4.8 Pyasn1-Module 0.2.8 Pybind11 2.10.0
Pycparser 2,20 Pydantisch 1.9.2 Pygments 2.10.0
PyGObject 3.36.0 PyJWT 2.5.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.31 pyparsing 3.0.4
Pyristent 0.18.0 Pystan 2.19.1.1 Python-dateutil 2.8.2
Python-Editor 1.0.4 Pytz 2021.3 PyWavelets 1.1.1
PyYAML 6,0 pyzmq 22.2.1 Regex 2021.8.3
Anforderungen 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4,9 s3transfer 0.5.2 scikit-lernen 0.24.2
SciPy 1.7.1 Seegeboren 0.11.3 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 Schattierung 0.41.0
simplejson 3.17.6 sechs 1.16.0 Schneidemaschine 0.0.7
smart-open 5.2.1 smmap 5.0.0 Geräumig 3.4.1
Spacy-Legacy 3.0.10 Spacy-Logger 1.0.3 Spark-Tensorflow-Distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.4 ssh-import-id 5.10
StatistikModelle 0.12.2 tabellarisieren 0.8.9 Durcheinander-in-Unicode 0.1.0
Hartnäckigkeit 8.0.1 TensorBoard 2.9.1 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 TensorFlow 2.9.1
TensorFlow-Estimator 2.9.0 tensorflow-io-gcs-filesystem 0.27.0 Termcolor 2.0.1
beendet 0.9.4 Testpfad 0.5.0 thinc 8.1.2
Threadpoolctl 2.2.0 tokenize-rt 4.2.1 Tokenizer 0.12.1
tomli 2.0.1 Fackel 1.12.1+cu113 Fackelvision 0.13.1+cu113
Tornado 6.1 tqdm 4.62.3 Traitlets 5.1.0
Transformatoren 4.21.2 Typer 0.4.2 Erweiterungen für Typisierung 3.10.0.2
ujson 4.0.2 unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.7
virtualenv 20.8.0 Visionen 0.7.4 Wasabi 0.10.1
wcwidth 0.2.5 Webkodierungen 0.5.1 WebSocket-Client 1.3.1
Werkzeug 2.0.2 Rad 0.37.0 widgetsnbextension 3.6.0
Eingehüllt 1.12.1 xgboost 1.6.2 ZIPP 3.6.0

R-Bibliotheken

Die R-Bibliotheken sind mit den R-Bibliotheken in Databricks Runtime 11.3 LTS identisch.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 11.3 LTS enthält Databricks Runtime 11.3 LTS ML die folgenden JARs:

CPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on