Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Das Support-Enddatum finden Sie in der Supporthistorie. Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.
Databricks Runtime 16.3 für Machine Learning bietet eine ready-to-go Umgebung für maschinelles Lernen und Data Science basierend auf Databricks Runtime 16.3 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt außerdem das verteilte Deep Learning-Training mithilfe von TorchDistributor, DeepSpeed und Ray.
Neue Features und Verbesserungen
Databricks Runtime 16.3 ML basiert auf Databricks Runtime 16.3. Informationen zu den Neuerungen in Databricks Runtime 16.3, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 16.3 (EoS).
Andere Änderungen
TensorFlow 2.17.x kann keine CuDNN-Bibliothek laden
Es ist ein bekanntes Problem in Databricks Runtime 16.3 ML, dass TensorFlow 2.17.x (Standardversion) aufgrund eines Fehlers beim Laden einer CuDNN-Bibliothek nicht auf GPU-Geräte zugreifen kann. Aktualisieren Sie TensorFlow auf Version 2.18.x oder höher, um dieses Problem zu beheben.
Systemumgebung
Die Systemumgebung in Databricks Runtime 16.3 ML unterscheidet sich von Databricks Runtime 16.3 wie folgt.
- Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotheken
In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 16.3 ML enthalten sind, die sich von denen unterscheiden, die in Databricks Runtime 16.3 enthalten sind.
Inhalt dieses Abschnitts:
- Bibliotheken der obersten Ebene
- Python-Bibliotheken
- R-Bibliotheken
- Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Bibliotheken der obersten Ebene
Databricks Runtime 16.3 ML enthält die folgenden Bibliotheken der obersten Ebene:
- Dateien
- GraphFrames
- MLflow
- PyTorch
- Spark-Tensorflow-Verbinder
- scikit-learn
- Streaming
- TensorFlow
- TensorBoard
- Transformatoren
Python-Bibliotheken
Databricks Runtime 16.3 ML verwendet virtualenv für die Python-Paketverwaltung und enthält viele beliebte ML-Pakete.
Zusätzlich zu den in den folgenden Abschnitten angegebenen Paketen enthält Databricks Runtime 16.3 ML auch die folgenden Pakete:
- hyperopt 0.2.8+db1
- automl 1.30.0
Um die Databricks Runtime ML Python-Umgebung in Ihrer lokalen virtuellen Python-Umgebung zu reproduzieren, laden Sie die requirements-16.3.txt Datei herunter und führen Sie sie aus pip install -r requirements-16.3.txt. Mit diesem Befehl werden alle Open-Source-Bibliotheken installiert, die Databricks Runtime ML verwendet, aber keine Bibliotheken, die von Databricks entwickelt wurden, wie zum Beispiel databricks-automl oder der Databricks-Fork von hyperopt.
Python-Bibliotheken in CPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | beschleunigen | 1.4.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | Alambik | 1.14.0 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.3 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Pfeil | 1.2.3 |
| Astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | Attrs | 23.1.0 | Audio lesen | 3.0.1 |
| autocommand | 2.2.2 | Azure Core | 1.32.0 | Azure-Cosmos | 4.3.1 |
| Azure-Identity | 1.19.0 | azure-storage-blob | 12.23.0 | Azure-Speicher-Datei-Datensee | 12.17.0 |
| Babel | 2.11.0 | Zurückziehen | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | schwarz | 24.4.2 |
| Bleichmittel | 4.1.0 | Blinker | 1.7.0 | blis | 0.7.11 |
| boto3 | 1.34.69 | Botocore | 1.34.69 | Brotli | 1.0.9 |
| CacheWerkzeuge | 5.3.3 | Katalog | 2.0.10 | Kategorie-Kodierer | 2.6.3 |
| Zertifikat | 2024.6.2 | cffi | 1.16.0 | Chardet | 4.0.0 |
| Charset-Normalizer | 2.0.4 | Schaltkreisbrecher | 2.0.0 | klicken | 8.1.7 |
| cloudpathlib | 0.20.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| bunt | 0.5.6 | Colorlog | 6.9.0 | Kommunikation | 0.2.1 |
| Komponist | 0.29.0 | Konfekt | 0.1.5 | configparser | 5.2.0 |
| Contourpy | 1.2.0 | coolname | 2.2.0 | Kryptographie | 42.0.5 |
| Fahrradfahrer | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| Dazit | 1.8.1 | databricks-automl-runtime | 0.2.21 | Databricks Feature Engineering | 0.8.0 |
| Databricks-SDK | 0.30.0 | Datensätze | 3.3.2 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | Dekorateur | 5.1.1 |
| Deepspeed | 0.16.4 | defusedxml | 0.7.1 | Deprecated | 1.2.15 |
| Dill | 0.3.8 | Distlib | 0.3.8 | dm-Baum | 0.1.8 |
| Docstring zu Markdown | 0.11 | einops | 0.8.0 | Einstiegspunkte | 0.4 |
| auswerten | 0.4.3 | ausführen | 0.8.3 | Übersicht der Facetten | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.21.1 | Fasttext-Rad | 0.9.2 |
| Dateisperrung | 3.13.1 | Flask | 2.2.5 | FlatBuffers | 24.12.23 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | Zukunft | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | Google Cloud Core | 2.4.1 |
| Google Cloud-Speicher | 2.10.0 | google-crc32c | 1.6.0 | Google-Pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | Greenlet | 3.0.1 | GRPCIO | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| Gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | Ferien | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.29.1 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | Ungleichgewichte lernen | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| es ist gefährlich | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | Jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-Spezifikationen | 2023.7.1 | Jupyter-Ereignisse | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | Keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.19 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| langcodes | 3.5.0 | langsmith | 0.1.133 | Sprachdaten | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | Blitz-Dienstprogramme | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaikml-cli | 0.6.41 |
| Mosaikml-Streaming | 0.11.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | Multidict | 6.0.4 |
| multimethod | 1.12 | Multiprozessor | 0.70.16 | Murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-Erweiterungen | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | Ninja | 1.11.1.1 |
| Natural Language Toolkit (nltk) | 3.8.1 | nodeenv | 1.9.1 | Notebook | 7.0.8 |
| Notebook-Shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.64.0 |
| opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) | 0,50b0 | opt_einsum | 3.4.0 |
| Optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| Orjson | 3.10.14 | overrides | 7.4.0 | Verpackung | 24.1 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| Parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | Kissen | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| plugin-fähig | 1.0.0 | pmdarima | 2.0.4 | Hündchen | 1.8.2 |
| portalocker | 2.10.1 | vorgehäckselt | 3.0.9 | prometheus-client | 0.14.1 |
| Prompt-Toolkit | 3.0.43 | prophet | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| Py-Spy | 0.4.0 | pyarrow | 15.0.2 | Pyasn1 | 0.4.8 |
| Pyasn1-Module | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | Pydantisch | 2.8.2 | pydantic_core | 2.20.1 |
| Pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | Python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | Python-LSP-Server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | Pytorch-Ranger | 0.1.1 |
| Pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | Fragebogen | 2.1.0 | Strahl | 2.37.0 |
| referenzierung | 0.30.2 | Regex | 2023.10.3 | requests | 2.32.2 |
| requests-oauthlib | 1.3.1 | anforderungs-toolbelt | 1.0.0 | rfc3339-Prüfer | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | Seil | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | Safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | SciPy | 1.13.1 |
| Seegeboren | 0.13.2 | Send2Trash | 1.8.2 | Satztransformatoren | 3.4.1 |
| Satzstück | 0.2.0 | setuptools | 74.0.0 | Schattierung | 0.46.0 |
| Shellingham | 1.5.4 | simplejson | 3.17.6 | Sechs | 1.16.0 |
| slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | Sounddatei | 0.12.1 | Sieb für Suppe | 2,5 |
| Soxr | 0.5.0.post1 | Geräumig | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | Stapeldaten | 0.2.0 |
| stanio | 0.5.1 | StatistikModelle | 0.14.2 | sympy | 1.13.1 |
| tabellarisieren | 0.9.0 | tangled-up-in-unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 |
| TensorBoard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| TensorboardX | 2.6.2.2 | TensorFlow | 2.18.0 | TensorFlow-Estimator | 2.15.0 |
| Termcolor | 2.5.0 | terminado | 0.17.1 | Textbezogen | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | Threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizers | 0.21.0 | tomli | 2.0.1 |
| Fackel | 2.6.0+cpu | Torch-Optimizer | 0.3.0 | torcheval | 0.0.7 |
| Torchmetrics | 1.6.0 | torchvision | 0.21.0+cpu | Tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatoren | 4.49.0 |
| Typwächter | 4.4.1 | Typer | 0.15.1 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| Typanforderungen | 2.31.0.0 | types-setuptools | 68.0.0.0 | Sechs Typen | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unbeaufsichtigte Aktualisierungen | 0,1 | URI-Vorlage | 1.3.0 |
| urllib3 | 1.26.16 | Validatoren | 0.34.0 | virtualenv | 20.26.2 |
| Visionen | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.3 |
| wcwidth | 0.2.5 | Wiesel | 0.4.1 | webcolors | 24.11.1 |
| Webkodierungen | 0.5.1 | WebSocket-Client | 1.8.0 | Websockets | 11.0.3 |
| Werkzeug | 3.0.3 | Was ist neu im Patch | 1.0.2 | Rad | 0.43.0 |
| Wortwolke | 1.9.4 | Eingehüllt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| yarl | 1.9.3 | ydata-profiling | 4.9.0 | zipp | 3.17.0 |
| zstd | 1.5.5.1 |
Python-Bibliotheken für GPU-Cluster
Hinweis
PyTorch verwendet die CUDA PyPI-Abhängigkeiten, um CUDA-Unterstützung anstelle der in Databricks Runtime 16.3 ML integrierten CUDA-Bibliotheksversionen bereitzustellen.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | beschleunigen | 1.4.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.3 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | Pfeil | 1.2.3 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| Attrs | 23.1.0 | Audio lesen | 3.0.1 | autocommand | 2.2.2 |
| Azure Core | 1.32.0 | Azure-Cosmos | 4.3.1 | Azure-Identity | 1.19.0 |
| azure-storage-blob | 12.23.0 | Azure-Speicher-Datei-Datensee | 12.17.0 | Babel | 2.11.0 |
| Zurückziehen | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | schwarz | 24.4.2 | Bleichmittel | 4.1.0 |
| Blinker | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| Botocore | 1.34.69 | Brotli | 1.0.9 | CacheWerkzeuge | 5.3.3 |
| Katalog | 2.0.10 | Kategorie-Kodierer | 2.6.3 | Zertifikat | 2024.6.2 |
| cffi | 1.16.0 | Chardet | 4.0.0 | Charset-Normalizer | 2.0.4 |
| Schaltkreisbrecher | 2.0.0 | klicken | 8.1.7 | cloudpathlib | 0.20.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 | bunt | 0.5.6 |
| Colorlog | 6.9.0 | Kommunikation | 0.2.1 | Komponist | 0.29.0 |
| Konfekt | 0.1.5 | configparser | 5.2.0 | Contourpy | 1.2.0 |
| coolname | 2.2.0 | Kryptographie | 42.0.5 | Fahrradfahrer | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | Dazit | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | Databricks Feature Engineering | 0.8.0 | Databricks-SDK | 0.30.0 |
| Datensätze | 3.3.2 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | Dekorateur | 5.1.1 | Deepspeed | 0.16.4 |
| defusedxml | 0.7.1 | Deprecated | 1.2.15 | Dill | 0.3.8 |
| Distlib | 0.3.8 | dm-Baum | 0.1.8 | Docstring zu Markdown | 0.11 |
| einops | 0.8.0 | Einstiegspunkte | 0.4 | auswerten | 0.4.3 |
| ausführen | 0.8.3 | Übersicht der Facetten | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | Fasttext-Rad | 0.9.2 | Dateisperrung | 3.13.1 |
| flash-attn | 2.7.4.post1 | Flask | 2.2.5 | FlatBuffers | 24.12.23 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | Zukunft | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | Google Cloud Core | 2.4.1 |
| Google Cloud-Speicher | 2.10.0 | google-crc32c | 1.6.0 | Google-Pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | Greenlet | 3.0.1 | GRPCIO | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| Gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | Ferien | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.29.0 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | Ungleichgewichte lernen | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| es ist gefährlich | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | Jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-Spezifikationen | 2023.7.1 | Jupyter-Ereignisse | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | Keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.19 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| langcodes | 3.5.0 | langsmith | 0.1.133 | Sprachdaten | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | Blitz-Dienstprogramme | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaikml-cli | 0.6.41 |
| Mosaikml-Streaming | 0.11.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | Multidict | 6.0.4 |
| multimethod | 1.12 | Multiprozessor | 0.70.16 | Murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-Erweiterungen | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | Ninja | 1.11.1.1 |
| Natural Language Toolkit (nltk) | 3.8.1 | nodeenv | 1.9.1 | Notebook | 7.0.8 |
| Notebook-Shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
| nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
| nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.64.0 |
| opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) | 0,50b0 | opt_einsum | 3.4.0 |
| Optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| Orjson | 3.10.14 | overrides | 7.4.0 | Verpackung | 24.1 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| Parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | Kissen | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| plugin-fähig | 1.0.0 | pmdarima | 2.0.4 | Hündchen | 1.8.2 |
| portalocker | 2.10.1 | vorgehäckselt | 3.0.9 | prometheus-client | 0.14.1 |
| Prompt-Toolkit | 3.0.43 | prophet | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| Py-Spy | 0.4.0 | pyarrow | 15.0.2 | Pyasn1 | 0.4.8 |
| Pyasn1-Module | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | Pydantisch | 2.8.2 | pydantic_core | 2.20.1 |
| Pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | Python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | Python-LSP-Server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | Pytorch-Ranger | 0.1.1 |
| Pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | Fragebogen | 2.1.0 | Strahl | 2.37.0 |
| referenzierung | 0.30.2 | Regex | 2023.10.3 | requests | 2.32.2 |
| requests-oauthlib | 1.3.1 | anforderungs-toolbelt | 1.0.0 | rfc3339-Prüfer | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | Seil | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | Safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | SciPy | 1.13.1 |
| Seegeboren | 0.13.2 | Send2Trash | 1.8.2 | Satztransformatoren | 3.4.1 |
| Satzstück | 0.2.0 | setuptools | 74.0.0 | Schattierung | 0.46.0 |
| Shellingham | 1.5.4 | simplejson | 3.17.6 | Sechs | 1.16.0 |
| slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | Sounddatei | 0.12.1 | Sieb für Suppe | 2,5 |
| Soxr | 0.5.0.post1 | Geräumig | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | Stapeldaten | 0.2.0 |
| stanio | 0.5.1 | StatistikModelle | 0.14.2 | sympy | 1.13.1 |
| tabellarisieren | 0.9.0 | tangled-up-in-unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 |
| TensorBoard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| TensorboardX | 2.6.2.2 | TensorFlow | 2.18.0 | TensorFlow-Estimator | 2.15.0 |
| Termcolor | 2.5.0 | terminado | 0.17.1 | Textbezogen | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | Threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizers | 0.21.0 | tomli | 2.0.1 |
| Fackel | 2.6.0+cu124 | Torch-Optimizer | 0.3.0 | torcheval | 0.0.7 |
| Torchmetrics | 1.6.0 | torchvision | 0.21.0+cu124 | Tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatoren | 4.49.0 |
| Triton | 3.1.0 | Typwächter | 4.4.1 | Typer | 0.15.1 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | Typanforderungen | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| Sechs Typen | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | unbeaufsichtigte Aktualisierungen | 0,1 |
| URI-Vorlage | 1.3.0 | urllib3 | 1.26.16 | Validatoren | 0.34.0 |
| virtualenv | 20.26.2 | Visionen | 0.7.5 | wadllib | 1.3.6 |
| Wasabi | 1.1.3 | wcwidth | 0.2.5 | Wiesel | 0.4.1 |
| webcolors | 24.11.1 | Webkodierungen | 0.5.1 | WebSocket-Client | 1.8.0 |
| Websockets | 11.0.3 | Werkzeug | 3.0.3 | Was ist neu im Patch | 1.0.2 |
| Rad | 0.43.0 | Wortwolke | 1.9.4 | Eingehüllt | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | yarl | 1.9.3 | ydata-profiling | 4.9.0 |
| zipp | 3.17.0 | zstd | 1.5.5.1 |
R-Bibliotheken
Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 16.3.
Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 16.3 enthält Databricks Runtime 16.3 ML die folgenden JARs:
Rechencluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |