Teilen über

Databricks Runtime 15.2 für Maschinelles Lernen (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Das Support-Enddatum finden Sie in der Supporthistorie. Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.

Databricks Runtime 15.2 für Machine Learning bietet eine ready-to-go Umgebung für maschinelles Lernen und Data Science basierend auf Databricks Runtime 15.2 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Neue Features und Verbesserungen

Databricks Runtime 15.2 ML basiert auf Databricks Runtime 15.2. Informationen zu den Neuerungen in Databricks Runtime 15.2, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 15.2 (EoS).

Hinzufügen von StreamingDataset

StreamingDataset wird verwendet, um Schulungen zu großen Datasets aus cloudbasiertem Speicher so schnell, billig und skalierbar wie möglich zu machen. Es ist in Databricks Runtime 15.2 ML vorinstalliert.

Photon-Unterstützung für Databricks Runtime ML CPU-Cluster

Ab Databricks Runtime 15.2 ML können Sie Ihre Spark SQL- und Spark DataFrame-Workloads beschleunigen, indem Sie Photon auf Ihrem CPU-Cluster aktivieren.

Für Machine Learning-Anwendungen bietet Photon eine schnellere Leistung für Anwendungsfälle wie:

Photon verbessert nicht die Leistung von Python-Bibliotheken wie TensorFlow, PyTorch und XGBoost.

Spark RDD-APIs und Spark MLlib haben eingeschränkte Kompatibilität mit Photon. Bei der Verarbeitung großer Datasets mit Spark RDD oder Spark MLlib können Spark-Speicherprobleme auftreten. Siehe Spark-Speicherprobleme.

Systemumgebung

Die Systemumgebung in Databricks Runtime 15.2 ML unterscheidet sich von Databricks Runtime 15.2 wie folgt:

  • Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • Cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotheken

In den folgenden Abschnitten werden die Bibliotheken aufgeführt, die in Databricks Runtime 15.2 ML enthalten sind, die sich von denen unterscheiden, die in Databricks Runtime 15.2 enthalten sind.

Inhalt dieses Abschnitts:

Bibliotheken der obersten Ebene

Databricks Runtime 15.2 ML enthält die folgenden Bibliotheken der obersten Ebene:

Python-Bibliotheken

Databricks Runtime 15.2 ML verwendet virtualenv für die Python-Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den in den folgenden Abschnitten angegebenen Paketen enthält Databricks Runtime 15.2 ML auch die folgenden Pakete:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.26.0

Um die Databricks Runtime ML Python-Umgebung in Ihrer lokalen virtuellen Python-Umgebung zu reproduzieren, laden Sie die requirements-15.2.txt Datei herunter und führen Sie sie aus pip install -r requirements-15.2.txt. Dieser Befehl installiert alle Open Source-Bibliotheken, die von Databricks Runtime ML verwendet werden, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, wie zum Beispiel databricks-automl, databricks-feature-engineering oder die Databricks-Fork von hyperopt.

Python-Bibliotheken in CPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 beschleunigen 0.28.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout 4.0.2
Attrs 22.1.0 Audio lesen 3.0.1 Azure Core 1.30.1
Azure-Cosmos 4.3.1 Azure-Identity 1.16.0 Azure-Speicher-Blob 12.19.1
Azure-Speicher-Datei-Datensee 12.14.0 Backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 schwarz 23.3.0 Bleichmittel 4.1.0
Blinker 1.4 blis 0.7.11 Boto3 1.34.39
Botocore 1.34.39 Brotli 1.0.9 CacheWerkzeuge 5.3.3
Katalog 2.0.10 Kategorie-Kodierer 2.6.3 Zertifizieren 2023.7.22
CFFI 1.15.1 Chardet 4.0.0 Charset-Normalizer 2.0.4
Schaltkreisbrecher 1.4.0 klicken 8.0.4 cloudpathlib 0.16.0
Wolkengurke 2.2.1 cmdstanpy 1.2.2 bunt 0.5.6
Kommunikation 0.1.2 Konfekt 0.1.4 configparser 5.2.0
Contourpy 1.0.5 Kryptographie 41.0.3 Fahrradfahrer 0.11.0
Cymem 2.0.8 Cython 0.29.32 Dazit 1.8.1
databricks-automl-runtime 0.2.21 Databricks Feature Engineering 0.4.0 Databricks-SDK 0.20.0
dataclasses-json 0.6.4 Datensätze 2.18.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 Dekorateur 5.1.1
Deepspeed 0.14.0 defusedxml 0.7.1 Dill 0.3.6
Festplatten-Cache 5.6.3 distlib 0.3.8 dm-Baum 0.1.8
Einstiegspunkte 0,4 auswerten 0.4.1 ausführen 0.8.3
Übersicht der Facetten 1.1.1 Farama-Notifications 0.0.4 fastjsonschema 2.19.1
fasttext 0.9.2 Dateisperrung 3.9.0 Flasche 2.2.5
FlatBuffers 24.3.25 fonttools 4.25.0 frozenlist 1.3.3
fsspec 2023.5.0 Zukunft 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 Google-Cloud-Core 2.4.1
Google Cloud-Speicher 2.10.0 google-crc32c 1.5.0 Google-Pasta 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 Greenlet 2.0.1
GRPCIO 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 Gymnasium 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 Ferien 0.45
horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.20.2
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
Ungleichgewichte lernen 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 8.0.4 Isodate 0.6.1
es ist gefährlich 2.0.1 jax-jumpy 1.0.0 Jedi 0.18.1
jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
JsonPointer 2.4 jsonschema 4.17.3 Jupyter-Server 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
jupyterlab-widgets 3.0.5 Keras 3.1.1 Schlüsselring 23.5.0
kiwisolver 1.4.4 langchain 0.1.13 langchain-Gemeinschaft 0.0.32
langchain-core 0.1.41 langchain-text-splitters 0.0.1 Sprachcodes 3.3.0
langsmith 0.1.45 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
Marshmallow 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdurl 0.1.0 verstimmen 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 more-itertools 8.10.0 Mosaikml-Streaming 0.7.4
mpmath 1.3.0 msal 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 Multidict 6.0.2 Multimethod 1.11.2
Multiprozessor 0.70.14 Murmurhash 1.0.10 mypy-Erweiterungen 0.4.3
namex 0.0.7 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
Notizbuch 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 oauthlib 3.2.0 oci 2.125.2
openai 1.14.3 opencensus 0.11.4 opencensus-Kontext 0.1.3
opt-einsum 3.3.0 Optree 0.11.0 Orjson 3.10.0
Verpackung 23.2 Pandas 1.5.3 Pandocfilter 1.5.0
paramiko 3.4.0 Parso 0.8.3 Pfadangabe 0.10.3
Sündenbock 0.5.3 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 Pickleshare 0.7.5 Kissen 9.4.0
pip 23.2.1 platformdirs 3.10.0 Handlung 5.9.0
pmdarima 2.0.4 Hündchen 1.8.1 portalocker 2.8.2
vorgehäckselt 3.0.9 prometheus-client 0.14.1 Prompt-Toolkit 3.0.36
Prophet 1.1.5 proto-plus 1.23.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 Py-Spy 0.3.14
pyarrow 14.0.1 Pyarrow-Hotfix 0,6 Pyasn1 0.4.8
Pyasn1-Module 0.2.8 Pybind11 2.12.0 Pyccolo 0.0.52
Pycparser 2.21 Pydantisch 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing 3.0.9 Pyristent 0.18.0 pytesseract 0.3.10
Python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.1.1
python-snappy 0.6.1 Pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 Strahl 2.10.0
Regex 2022.7.9 Anforderungen 2.31.0 requests-oauthlib 1.3.1
Antworten 0.13.3 reich 13.7.1 rsa 4,9
s3transfer 0.10.1 Safetensors 0.4.2 scikit-image 0.20.0
scikit-lernen 1.3.0 SciPy 1.11.1 Seegeboren 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Satztransformatoren 2.6.1
Satzstück 0.1.99 setuptools 68.0.0 Schattierung 0.44.0
simplejson 3.17.6 Sechs 1.16.0 Schneidemaschine 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
Sounddatei 0.12.1 Sieb für Suppe 2.4 Soxr 0.3.7
Geräumig 3.7.2 Spacy-Legacy 3.0.12 spacy-loggers 1.0.5
Spark-Tensorflow-Distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 Stapeldaten 0.2.0
stanio 0.5.0 StatistikModelle 0.14.0 sympy 1.11.1
tangled-up-in-unicode 0.2.0 Hartnäckigkeit 8.2.2 TensorBoard 2.16.2
tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1 TensorboardX 2.6.2.2
tensorflow-cpu 2.16.1 TensorFlow-Estimator 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
Termcolor 2.4.0 terminado 0.17.1 thinc 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 Tokenizer 0.15.0
Fackel 2.2.2+cpu torcheval 0.0.7 Fackelvision 0.17.2+cpu
Tornado 6.3.2 tqdm 4.65.0 Traitlets 5.7.1
Transformatoren 4.39.2 Typwächter 2.13.3 Typer 0.9.4
Eingabeprüfung 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.16
virtualenv 20.21.0 Visionen 0.7.5 Wadllib 1.3.6
Wasabi 1.1.2 wcwidth 0.2.5 Wiesel 0.3.4
Webkodierungen 0.5.1 WebSocket-Client 0.58.0 Werkzeug 2.2.3
Rad 0.38.4 widgetsnbextension 4.0.5 Wortwolke 1.9.3
Eingehüllt 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 ZIPP 3.11.0

Python-Bibliotheken für GPU-Cluster

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 beschleunigen 0.28.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout 4.0.2
Attrs 22.1.0 Audio lesen 3.0.1 Azure Core 1.30.1
Azure-Cosmos 4.3.1 Azure-Identity 1.16.0 Azure-Speicher-Blob 12.19.1
Azure-Speicher-Datei-Datensee 12.14.0 Backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 schwarz 23.3.0 Bleichmittel 4.1.0
Blinker 1.4 blis 0.7.11 Boto3 1.34.39
Botocore 1.34.39 Brotli 1.0.9 CacheWerkzeuge 5.3.3
Katalog 2.0.10 Kategorie-Kodierer 2.6.3 Zertifizieren 2023.7.22
CFFI 1.15.1 Chardet 4.0.0 Charset-Normalizer 2.0.4
Schaltkreisbrecher 1.4.0 klicken 8.0.4 cloudpathlib 0.16.0
Wolkengurke 2.2.1 cmdstanpy 1.2.2 bunt 0.5.6
Kommunikation 0.1.2 Konfekt 0.1.4 configparser 5.2.0
Contourpy 1.0.5 Kryptographie 41.0.3 Fahrradfahrer 0.11.0
Cymem 2.0.8 Cython 0.29.32 Dazit 1.8.1
databricks-automl-runtime 0.2.21 Databricks Feature Engineering 0.4.0 Databricks-SDK 0.20.0
dataclasses-json 0.6.4 Datensätze 2.18.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 Dekorateur 5.1.1
Deepspeed 0.14.0 defusedxml 0.7.1 Dill 0.3.6
Festplatten-Cache 5.6.3 distlib 0.3.8 dm-Baum 0.1.8
einops 0.7.0 Einstiegspunkte 0,4 auswerten 0.4.1
ausführen 0.8.3 Übersicht der Facetten 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 Dateisperrung 3.9.0
flash-attn 2.5.6 Flasche 2.2.5 FlatBuffers 24.3.25
fonttools 4.25.0 frozenlist 1.3.3 fsspec 2023.5.0
Zukunft 0.18.3 gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 Google-Cloud-Core 2.4.1 Google Cloud-Speicher 2.10.0
google-crc32c 1.5.0 Google-Pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.63.0 Greenlet 2.0.1 GRPCIO 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
Gymnasium 0.28.1 h11 0.14.0 h5py 3.10.0
hjson 3.1.0 Ferien 0.45 horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.20.2 idna 3.4
ImageHash 4.3.1 imageio 2.31.1 Ungleichgewichte lernen 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.4.0 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 Isodate 0.6.1 es ist gefährlich 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 JsonPointer 2.4
jsonschema 4.17.3 Jupyter-Server 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5
Keras 3.1.1 Schlüsselring 23.5.0 kiwisolver 1.4.4
langchain 0.1.13 langchain-Gemeinschaft 0.0.32 langchain-core 0.1.41
langchain-text-splitters 0.0.1 Sprachcodes 3.3.0 langsmith 0.1.45
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.2 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.3.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Mako 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 Marshmallow 3.21.1
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdurl 0.1.0
verstimmen 0.8.4 ml-dtypes 0.3.2 mlflow-skinny 2.11.3
more-itertools 8.10.0 Mosaikml-Streaming 0.7.4 mpmath 1.3.0
msal 1.28.0 msal-extensions 1.1.0 msgpack 1.0.8
Multidict 6.0.2 Multimethod 1.11.2 Multiprozessor 0.70.14
Murmurhash 1.0.10 mypy-Erweiterungen 0.4.3 namex 0.0.7
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 Notizbuch 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105
nvidia-cuda-runtime-cu12 12.1.105 nvidia-cudn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54
nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106
nvidia-nccl-cu12 2.19.3 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.1.105
oauthlib 3.2.0 oci 2.125.2 openai 1.14.3
opencensus 0.11.4 opencensus-Kontext 0.1.3 opt-einsum 3.3.0
Optree 0.11.0 Orjson 3.10.0 Verpackung 23.2
Pandas 1.5.3 Pandocfilter 1.5.0 paramiko 3.4.0
Parso 0.8.3 Pfadangabe 0.10.3 Sündenbock 0.5.3
Petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
Pickleshare 0.7.5 Kissen 9.4.0 pip 23.2.1
platformdirs 3.10.0 Handlung 5.9.0 pmdarima 2.0.4
Hündchen 1.8.1 portalocker 2.8.2 vorgehäckselt 3.0.9
prometheus-client 0.14.1 Prompt-Toolkit 3.0.36 Prophet 1.1.5
proto-plus 1.23.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 Py-Spy 0.3.14 pyarrow 14.0.1
Pyarrow-Hotfix 0,6 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
Pybind11 2.12.0 Pyccolo 0.0.52 Pycparser 2.21
Pydantisch 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyOpenSSL 23.2.0 pyparsing 3.0.9
Pyristent 0.18.0 pytesseract 0.3.10 Python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1
Pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 Strahl 2.10.0 Regex 2022.7.9
Anforderungen 2.31.0 requests-oauthlib 1.3.1 Antworten 0.13.3
reich 13.7.1 rsa 4,9 s3transfer 0.10.1
Safetensors 0.4.2 scikit-image 0.20.0 scikit-lernen 1.3.0
SciPy 1.11.1 Seegeboren 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Satztransformatoren 2.6.1 Satzstück 0.1.99
setuptools 68.0.0 Schattierung 0.44.0 simplejson 3.17.6
Sechs 1.16.0 Schneidemaschine 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 Sounddatei 0.12.1
Sieb für Suppe 2.4 Soxr 0.3.7 Geräumig 3.7.2
Spacy-Legacy 3.0.12 spacy-loggers 1.0.5 Spark-Tensorflow-Distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.8
ssh-import-id 5.11 Stapeldaten 0.2.0 stanio 0.5.0
StatistikModelle 0.14.0 sympy 1.11.1 tangled-up-in-unicode 0.2.0
Hartnäckigkeit 8.2.2 TensorBoard 2.16.2 tensorboard-data-server 0.7.2
tensorboard_plugin_profile 2.15.1 TensorboardX 2.6.2.2 TensorFlow 2.16.1
TensorFlow-Estimator 2.15.0 tensorflow-io-gcs-filesystem 0.36.0 Termcolor 2.4.0
terminado 0.17.1 thinc 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 Tokenizer 0.15.0 Fackel 2.2.2+cu121
torcheval 0.0.7 Fackelvision 0.17.2+cu121 Tornado 6.3.2
tqdm 4.65.0 Traitlets 5.7.1 Transformatoren 4.39.2
Triton 2.2.0 Typwächter 2.13.3 Typer 0.9.4
Eingabeprüfung 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.16
virtualenv 20.21.0 Visionen 0.7.5 Wadllib 1.3.6
Wasabi 1.1.2 wcwidth 0.2.5 Wiesel 0.3.4
Webkodierungen 0.5.1 WebSocket-Client 0.58.0 Werkzeug 2.2.3
Rad 0.38.4 widgetsnbextension 4.0.5 Wortwolke 1.9.3
Eingehüllt 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 ZIPP 3.11.0
zstd 1.5.5.1

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 15.2.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 15.2 enthält Databricks Runtime 15.2 ML die folgenden JARs:

Rechencluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on