Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Informationen zum Enddatum des Supports finden Sie unter "Ende des Supports" und "Ende des Lebenszyklus". Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.
Databricks Runtime 16.0 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 16.0 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt außerdem das verteilte Deep Learning-Training mithilfe von TorchDistributor, DeepSpeed und Ray.
Neue Features und Verbesserungen
Databricks Runtime 16.0 ML basiert auf Databricks Runtime 16.0. Informationen zu den Neuerungen in Databricks Runtime 16.0, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 16.0 (EoS).
Neue Python Pakete
Die folgenden Python Pakete wurden databricks Runtime ML hinzugefügt:
- Composer 0.24.1
- optuna 3.6.1
AutoML-Stichprobengewichte für die Prognose
AutoML unterstützt jetzt Stichprobengewichte für die Prognose, sodass Sie die Wichtigkeit der einzelnen Zeitreihen für die Schulung von Mehrzeitreihen-Prognosemodellen anpassen können. Weitere Informationen finden Sie in den Prognoseparametern für die AutoML Python API.
Verwenden einer Ansicht im Unity-Katalog als Featuretabelle
Sie können jetzt eine Ansicht im Unity-Katalog als Featuretabelle verwenden. Siehe Verwenden einer vorhandenen Ansicht im Unity-Katalog als Featuretabelle.
Weitere Änderungen
Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor entfernt
Die folgenden Pakete, die in früheren Versionen von Databricks Runtime ML enthalten waren, sind nicht in Databricks Runtime 16.0 ML enthalten:
- Horovod
- HorovodRunner
- Petastorm
spark-tensorflow-distributor
Databricks empfiehlt die folgenden Ersetzungen:
- Für verteiltes Deep Learning empfiehlt Databricks die Verwendung von TorchDistributor für verteiltes Training mit PyTorch oder der
tf.distribute.Strategy-API für verteiltes Training mit TensorFlow. - Zum Laden großer Datasets aus dem Cloudspeicher empfiehlt Databricks die Verwendung von Mosaik Streaming.
- Für verteilte Schulungen für ein TensorFlow- oder Keras-Modell empfiehlt Databricks die Verwendung von Ray. Siehe Ray on Databricks und die Ray-Dokumentation.
Systemumgebung
Die Systemumgebung in Databricks Runtime 16.0 ML unterscheidet sich von Databricks Runtime 16.0 wie folgt:
- Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotheken
In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 16.0 ML enthalten sind, die sich von denen unterscheiden, die in Databricks Runtime 16.0 enthalten sind.
Inhalt dieses Abschnitts:
- Bibliotheken der obersten Ebene
- Python-Bibliotheken
- R-Bibliotheken
- Java- und Scala-Bibliotheken (Scala 2.12 Cluster)
Bibliotheken der obersten Ebene
Databricks Runtime 16.0 ML enthält die folgenden Bibliotheken der obersten Ebene:
- Dateien
- GraphFrames
- MLflow
- PyTorch
- Spark-Tensorflow-Verbinder
- scikit-learn
- strömend
- TensorFlow
- TensorBoard
- Transformatoren
Python-Bibliotheken
Databricks Runtime 16.0 ML verwendet virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.
Zusätzlich zu den in den folgenden Abschnitten angegebenen Paketen enthält Databricks Runtime 16.0 ML auch die folgenden Pakete:
- hyperopt 0.2.7+db5
- automl 1.29.0
Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-16.0.txt herunter, und führen Sie pip install -r requirements-16.0.txt aus. Dieser Befehl installiert alle Open Source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-engineering, oder die Databricks-Verzweigung von hyperopt.
Python-Bibliotheken auf CPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Beschleunigen | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | Alambik | 1.13.3 |
| annotierte Typen | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Pfeil | 1.2.3 |
| Astor | 0.8.1 | asttokens | 2.0.5 | Astunparse | 1.6.3 |
| async-lru | 2.0.4 | Attrs | 23.1.0 | Audio lesen | 3.0.1 |
| Autobefehl | 2.2.2 | Azure Core | 1.31.0 | Azure-Cosmos | 4.3.1 |
| Azure-Identity | 1.18.0 | Azure-Speicher-Blob | 12.23.1 | Azure-Speicher-Datei-Datensee | 12.17.0 |
| Babel | 2.11.0 | Zurückziehen | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | schwarz | 24.4.2 |
| Bleichmittel | 4.1.0 | Blinker | 1.7.0 | blis | 0.7.11 |
| Boto3 | 1.34.69 | Botocore | 1.34.69 | Brotli | 1.0.9 |
| CacheWerkzeuge | 5.3.3 | Katalog | 2.0.10 | Kategorie-Kodierer | 2.6.3 |
| Zertifizieren | 2024.6.2 | CFFI | 1.16.0 | Chardet | 4.0.0 |
| Charset-Normalizer | 2.0.4 | Schaltkreisbrecher | 2.0.0 | Klicken | 8.1.7 |
| cloudpathlib | 0.19.0 | Wolkengurke | 2.2.1 | cmdstanpy | 1.2.4 |
| bunt | 0.5.6 | Colorlog | 6.8.2 | Kommunikation | 0.2.1 |
| Composer | 0.24.1 | Konfekt | 0.1.5 | configparser | 5.2.0 |
| Contourpy | 1.2.0 | coolname | 2.2.0 | Kryptografie | 42.0.5 |
| Fahrradfahrer | 0.11.0 | Cymem | 2.0.8 | Cython | 3.0.11 |
| Dazit | 1.8.1 | databricks-automl-runtime | 0.2.21 | Databricks Feature Engineering | 0.7.0 |
| Databricks-SDK | 0.30.0 | Datensätze | 2.20.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | Dekorateur | 5.1.1 |
| Deepspeed | 0.14.4 | defusedxml | 0.7.1 | Als veraltet markiert | 1.2.14 |
| Dill | 0.3.8 | Distlib | 0.3.8 | dm-Baum | 0.1.8 |
| Docstring zu Markdown | 0,11 | Einstiegspunkte | 0,4 | Evaluieren | 0.4.2 |
| ausführen | 0.8.3 | Übersicht der Facetten | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | Fasttext-Rad | 0.9.2 | Dateisperrung | 3.13.1 |
| Flasche | 2.2.5 | FlatBuffers | 24.3.25 | fonttools | 4.51.0 |
| fqdn | 1.5.1 | frozenlist | 1.4.0 | fsspec | 2023.5.0 |
| Zukunft | 0.18.3 | gast | 0.4.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | Google-Authentifizierung | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | Google-Cloud-Core | 2.4.1 | Google Cloud-Speicher | 2.10.0 |
| google-crc32c | 1.6.0 | Google-Pasta | 0.2.0 | google-resumable-media | 2.7.2 |
| googleapis-common-protos | 1.65.0 | gql | 3.5.0 | graphql-core | 3.2.4 |
| Greenlet | 3.0.1 | GRPCIO | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | Gymnasium | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.11.0 | hjson | 3.1.0 |
| Feiertage | 0,54 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.4 | httpx | 0.27.2 | huggingface-hub | 0.24.5 |
| idna | 3,7 | ImageHash | 4.3.1 | imageio | 2.33.1 |
| Ungleichgewichte lernen | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.5 |
| beugen | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Isodate | 0.6.1 | Isodauer | 20.11.0 | es ist gefährlich | 2.2.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jax-jumpy | 1.0.0 | Jedi | 0.19.1 | Jinja2 | 3.1.4 |
| Jiter | 0.5.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| joblibspark | 0.5.1 | json5 | 0.9.6 | jsonpatch | 1,33 |
| JsonPointer | 3.0.0 | jsonschema | 4.19.2 | jsonschema-Spezifikationen | 2023.7.1 |
| Jupyter-Ereignisse | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 |
| jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 |
| Keras | 3.5.0 | kiwisolver | 1.4.4 | langchain | 0.2.12 |
| langchain-core | 0.2.41 | langchain-text-splitter | 0.2.4 | Sprachcodes | 3.4.1 |
| langsmith | 0.1.129 | Sprachdaten | 1.2.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | Lazy-Loader | 0,4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | lightgbm | 4.5.0 |
| Lightning-Dienstprogramme | 0.11.7 | linkify-it-py | 2.0.0 | llvmlite | 0.42.0 |
| lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | memray | 1.14.0 |
| verstimmen | 2.0.4 | ml-dtypes | 0.4.1 | mlflow-skinny | 2.15.1 |
| more-itertools | 10.3.0 | mosaikml-cli | 0.6.41 | Mosaikml-Streaming | 0.8.0 |
| mpmath | 1.3.0 | msal | 1.31.0 | msal-extensions | 1.2.0 |
| msgpack | 1.1.0 | Multidict | 6.0.4 | Multimethod | 1.12 |
| Multiprozessor | 0.70.16 | Murmurhash | 1.0.10 | mypy | 1.10.0 |
| mypy-Erweiterungen | 1.0.0 | namex | 0.0.8 | nbclient | 0.8.0 |
| nbconvert | 7.10.0 | nbformat | 5.9.2 | nest-asyncio | 1.6.0 |
| networkx | 3.2.1 | Ninja | 1.11.1.1 | Natural Language Toolkit (nltk) | 3.8.1 |
| nodeenv | 1.9.1 | Notebook | 7.0.8 | Notebook-Shim | 0.2.3 |
| numba | 0.59.1 | numpy | 1.26.4 | nvidia-ml-py | 12.560.30 |
| oauthlib | 3.2.0 | Oci | 2.135.0 | openai | 1.40.2 |
| opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 | opentelemetry-api | 1.27.0 |
| opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 | opt_einsum | 3.4.0 |
| Optree | 0.12.1 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| Orjson | 3.10.7 | Überschreibt | 7.4.0 | Packen | 24.1 |
| Pandas | 1.5.3 | Pandocfilter | 1.5.0 | paramiko | 3.4.0 |
| Parso | 0.8.3 | Pfadangabe | 0.10.3 | Sündenbock | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | Kissen | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | Handlung | 5.22.0 |
| plugin-fähig | 1.0.0 | pmdarima | 2.0.4 | Hündchen | 1.8.2 |
| portalocker | 2.10.1 | vorgehäckselt | 3.0.9 | prometheus-client | 0.14.1 |
| Prompt-Toolkit | 3.0.43 | Prophet | 1.1.5 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| Py-Spy | 0.3.14 | Pyarrow | 15.0.2 | Pyarrow-Hotfix | 0,6 |
| Pyasn1 | 0.4.8 | Pyasn1-Module | 0.2.8 | Pybind11 | 2.13.6 |
| Pyccolo | 0.0.65 | Pycparser | 2.21 | Pydantisch | 2.8.2 |
| pydantic_core | 2.20.1 | Pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 |
| Pyright | 1.1.294 | pytesseract | 0.3.10 | Python-dateutil | 2.9.0.post0 |
| Python-Editor | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| Python-LSP-Server | 1.10.0 | python-snappy | 0.6.1 | pytoolconfig | 1.2.6 |
| Pytorch-Ranger | 0.1.1 | Pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | Fragebogen | 1.10.0 |
| Strahl | 2.35.0 | referenzierung | 0.30.2 | Regex | 2023.10.3 |
| Anforderungen | 2.32.2 | requests-oauthlib | 1.3.1 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | reich | 13.3.5 | Seil | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.6 |
| ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 | Safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-lernen | 1.4.2 | SciPy | 1.13.1 |
| Seegeboren | 0.13.2 | Send2Trash | 1.8.2 | Satztransformatoren | 3.0.1 |
| Satzstück | 0.2.0 | setuptools | 74.0.0 | Schattierung | 0.46.0 |
| Shellingham | 1.5.4 | simplejson | 3.17.6 | sechs | 1.16.0 |
| Schneidemaschine | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | Sounddatei | 0.12.1 | Sieb für Suppe | 2,5 |
| Soxr | 0.5.0.post1 | Geräumig | 3.7.5 | Spacy-Legacy | 3.0.12 |
| Spacy-Logger | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5.11 | Stapeldaten | 0.2.0 |
| stanio | 0.5.1 | StatistikModelle | 0.14.2 | sympy | 1.12 |
| tabellarisieren | 0.9.0 | Durcheinander-in-Unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 |
| TensorBoard | 2.17.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.17.0 |
| TensorboardX | 2.6.2.2 | TensorFlow | 2.18.0 | TensorFlow-Estimator | 2.15.0 |
| Termcolor | 2.4.0 | beendet | 0.17.1 | Textbezogen | 0.81.0 |
| tf_keras | 2.17.0 | thinc | 8.2.5 | Threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | Tokenizer | 0.19.1 | tomli | 2.0.1 |
| Fackel | 2.4.0+cpu | Taschenoptimierer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.4.0.post0 | Fackelvision | 0.19.0+cpu | Tornado | 6.4.1 |
| tqdm | 4.66.4 | Traitlets | 5.14.3 | Transformatoren | 4.44.0 |
| Typwächter | 4.3.0 | Typer | 0.12.5 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| Typanforderungen | 2.31.0.0 | types-setuptools | 68.0.0.0 | Typen-6 | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unbeaufsichtigte Aktualisierungen | 0,1 | URI-Vorlage | 1.3.0 |
| urllib3 | 1.26.16 | Validatoren | 0.34.0 | virtualenv | 20.26.2 |
| Visionen | 0.7.5 | Wadllib | 1.3.6 | Wasabi | 1.1.3 |
| wcwidth | 0.2.5 | Wiesel | 0.4.1 | Webcolors | 24.8.0 |
| Webkodierungen | 0.5.1 | WebSocket-Client | 1.8.0 | Websockets | 11.0.3 |
| Werkzeug | 3.0.3 | Was ist neu im Patch | 1.0.2 | Rad | 0.43.0 |
| Wortwolke | 1.9.3 | Eingehüllt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| yarl | 1.9.3 | ydata-profiling | 4.9.0 | ZIPP | 3.17.0 |
| zstd | 1.5.5.1 |
Python Bibliotheken auf GPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Beschleunigen | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotierte Typen | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.0 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | Pfeil | 1.2.3 | Astor | 0.8.1 |
| asttokens | 2.0.5 | Astunparse | 1.6.3 | async-lru | 2.0.4 |
| Attrs | 23.1.0 | Audio lesen | 3.0.1 | Autobefehl | 2.2.2 |
| Azure Core | 1.31.0 | Azure-Cosmos | 4.3.1 | Azure-Identity | 1.18.0 |
| Azure-Speicher-Blob | 12.23.1 | Azure-Speicher-Datei-Datensee | 12.17.0 | Babel | 2.11.0 |
| Zurückziehen | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | schwarz | 24.4.2 | Bleichmittel | 4.1.0 |
| Blinker | 1.7.0 | blis | 0.7.11 | Boto3 | 1.34.69 |
| Botocore | 1.34.69 | Brotli | 1.0.9 | CacheWerkzeuge | 5.3.3 |
| Katalog | 2.0.10 | Kategorie-Kodierer | 2.6.3 | Zertifizieren | 2024.6.2 |
| CFFI | 1.16.0 | Chardet | 4.0.0 | Charset-Normalizer | 2.0.4 |
| Schaltkreisbrecher | 2.0.0 | Klicken | 8.1.7 | cloudpathlib | 0.19.0 |
| Wolkengurke | 2.2.1 | cmdstanpy | 1.2.4 | bunt | 0.5.6 |
| Colorlog | 6.8.2 | Kommunikation | 0.2.1 | Composer | 0.24.1 |
| Konfekt | 0.1.5 | configparser | 5.2.0 | Contourpy | 1.2.0 |
| coolname | 2.2.0 | Kryptografie | 42.0.5 | Fahrradfahrer | 0.11.0 |
| Cymem | 2.0.8 | Cython | 3.0.11 | Dazit | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | Databricks Feature Engineering | 0.7.0 | Databricks-SDK | 0.30.0 |
| Datensätze | 2.20.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | Dekorateur | 5.1.1 | Deepspeed | 0.14.4 |
| defusedxml | 0.7.1 | Als veraltet markiert | 1.2.14 | Dill | 0.3.8 |
| Distlib | 0.3.8 | dm-Baum | 0.1.8 | Docstring zu Markdown | 0,11 |
| einops | 0.8.0 | Einstiegspunkte | 0,4 | Evaluieren | 0.4.2 |
| ausführen | 0.8.3 | Übersicht der Facetten | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | Fasttext-Rad | 0.9.2 | Dateisperrung | 3.13.1 |
| flash_attn | 2.5.6 | Flasche | 2.2.5 | FlatBuffers | 24.3.25 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | Zukunft | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| Google-Authentifizierung | 2.21.0 | google-auth-oauthlib | 1.0.0 | Google-Cloud-Core | 2.4.1 |
| Google Cloud-Speicher | 2.10.0 | google-crc32c | 1.6.0 | Google-Pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | Greenlet | 3.0.1 | GRPCIO | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| Gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | Feiertage | 0,54 | htmlmin | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.4 | httpx | 0.27.2 |
| huggingface-hub | 0.24.5 | idna | 3,7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | Ungleichgewichte lernen | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.4.5 | beugen | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | Isodate | 0.6.1 | Isodauer | 20.11.0 |
| es ist gefährlich | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | Jiter | 0.5.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1,33 | JsonPointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-Spezifikationen | 2023.7.1 | Jupyter-Ereignisse | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | Keras | 3.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.2.12 | langchain-core | 0.2.41 | langchain-text-splitter | 0.2.4 |
| Sprachcodes | 3.4.1 | langsmith | 0.1.129 | Sprachdaten | 1.2.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| Lazy-Loader | 0,4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | Lightning-Dienstprogramme | 0.11.7 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.14.0 | verstimmen | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaikml-cli | 0.6.41 |
| Mosaikml-Streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.31.0 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | Multidict | 6.0.4 |
| Multimethod | 1.12 | Multiprozessor | 0.70.16 | Murmurhash | 1.0.10 |
| mypy | 1.10.0 | mypy-Erweiterungen | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | Ninja | 1.11.1.1 |
| Natural Language Toolkit (nltk) | 3.8.1 | nodeenv | 1.9.1 | Notebook | 7.0.8 |
| Notebook-Shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.2.65 | nvidia-cuda-cupti-cu12 | 12.4.99 | nvidia-cuda-nvrtc-cu12 | 12.4.99 |
| nvidia-cuda-runtime-cu12 | 12.4.99 | nvidia-cudn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.0.44 |
| nvidia-curand-cu12 | 10.3.5.119 | nvidia-cusolver-cu12 | 11.6.0.99 | nvidia-cusparse-cu12 | 12.3.0.142 |
| nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.4.99 |
| nvidia-nvtx-cu12 | 12.4.99 | oauthlib | 3.2.0 | Oci | 2.135.0 |
| openai | 1.40.2 | opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 |
| opt_einsum | 3.4.0 | Optree | 0.12.1 | optuna | 3.6.1 |
| optuna-integration | 3.6.0 | Orjson | 3.10.7 | Überschreibt | 7.4.0 |
| Packen | 24.1 | Pandas | 1.5.3 | Pandocfilter | 1.5.0 |
| paramiko | 3.4.0 | Parso | 0.8.3 | Pfadangabe | 0.10.3 |
| Sündenbock | 0.5.6 | pexpect | 4.8.0 | phik | 0.12.4 |
| Kissen | 10.3.0 | pip | 24,2 | platformdirs | 3.10.0 |
| Handlung | 5.22.0 | plugin-fähig | 1.0.0 | pmdarima | 2.0.4 |
| Hündchen | 1.8.2 | portalocker | 2.10.1 | vorgehäckselt | 3.0.9 |
| prometheus-client | 0.14.1 | Prompt-Toolkit | 3.0.43 | Prophet | 1.1.5 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | Py-Spy | 0.3.14 | Pyarrow | 15.0.2 |
| Pyarrow-Hotfix | 0,6 | Pyasn1 | 0.4.8 | Pyasn1-Module | 0.2.8 |
| Pybind11 | 2.13.6 | Pyccolo | 0.0.65 | Pycparser | 2.21 |
| Pydantisch | 2.8.2 | pydantic_core | 2.20.1 | Pyflakes | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| PyNaCl | 1.5.0 | pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 |
| pyparsing | 3.0.9 | Pyright | 1.1.294 | pytesseract | 0.3.10 |
| Python-dateutil | 2.9.0.post0 | Python-Editor | 1.0.4 | python-json-logger | 2.0.7 |
| python-lsp-jsonrpc | 1.1.2 | Python-LSP-Server | 1.10.0 | python-snappy | 0.6.1 |
| pytoolconfig | 1.2.6 | Pytorch-Ranger | 0.1.1 | Pytz | 2024.1 |
| PyWavelets | 1.5.0 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| Fragebogen | 1.10.0 | Strahl | 2.35.0 | referenzierung | 0.30.2 |
| Regex | 2023.10.3 | Anforderungen | 2.32.2 | requests-oauthlib | 1.3.1 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | reich | 13.3.5 |
| Seil | 1.12.0 | rpds-py | 0.10.6 | rsa | 4,9 |
| ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 |
| Safetensors | 0.4.4 | scikit-image | 0.23.2 | scikit-lernen | 1.4.2 |
| SciPy | 1.13.1 | Seegeboren | 0.13.2 | Send2Trash | 1.8.2 |
| Satztransformatoren | 3.0.1 | Satzstück | 0.2.0 | setuptools | 74.0.0 |
| Schattierung | 0.46.0 | Shellingham | 1.5.4 | simplejson | 3.17.6 |
| sechs | 1.16.0 | Schneidemaschine | 0.0.8 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | Sounddatei | 0.12.1 |
| Sieb für Suppe | 2,5 | Soxr | 0.5.0.post1 | Geräumig | 3.7.5 |
| Spacy-Legacy | 3.0.12 | Spacy-Logger | 1.0.5 | SQLAlchemy | 2.0.30 |
| sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5.11 |
| Stapeldaten | 0.2.0 | stanio | 0.5.1 | StatistikModelle | 0.14.2 |
| sympy | 1.12 | tabellarisieren | 0.9.0 | Durcheinander-in-Unicode | 0.2.0 |
| Hartnäckigkeit | 8.2.2 | TensorBoard | 2.17.0 | tensorboard-data-server | 0.7.2 |
| tensorboard-plugin-profile | 2.17.0 | TensorboardX | 2.6.2.2 | TensorFlow | 2.18.0 |
| TensorFlow-Estimator | 2.15.0 | Termcolor | 2.4.0 | beendet | 0.17.1 |
| Textbezogen | 0.81.0 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| Threadpoolctl | 2.2.0 | tifffile | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | Tokenizer | 0.19.1 |
| tomli | 2.0.1 | Fackel | 2.4.0+cu124 | Taschenoptimierer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.4.0.post0 | Fackelvision | 0.19.0+cu124 |
| Tornado | 6.4.1 | tqdm | 4.66.4 | Traitlets | 5.14.3 |
| Transformatoren | 4.44.0 | Triton | 3.0.0 | Typwächter | 4.3.0 |
| Typer | 0.12.5 | types-protobuf | 3.20.3 | types-psutil | 5.9.0 |
| types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 | Typanforderungen | 2.31.0.0 |
| types-setuptools | 68.0.0.0 | Typen-6 | 1.16.0 | types-urllib3 | 1.26.25.14 |
| typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 | ujson | 5.10.0 |
| unbeaufsichtigte Aktualisierungen | 0,1 | URI-Vorlage | 1.3.0 | urllib3 | 1.26.16 |
| Validatoren | 0.34.0 | virtualenv | 20.26.2 | Visionen | 0.7.5 |
| Wadllib | 1.3.6 | Wasabi | 1.1.3 | wcwidth | 0.2.5 |
| Wiesel | 0.4.1 | Webcolors | 24.8.0 | Webkodierungen | 0.5.1 |
| WebSocket-Client | 1.8.0 | Websockets | 11.0.3 | Werkzeug | 3.0.3 |
| Was ist neu im Patch | 1.0.2 | Rad | 0.43.0 | Wortwolke | 1.9.3 |
| Eingehüllt | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf | 0.33.0 | yarl | 1.9.3 |
| ydata-profiling | 4.9.0 | ZIPP | 3.17.0 | zstd | 1.5.5.1 |
R-Bibliotheken
Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 16.0.
Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 16.0 enthält Databricks Runtime 16.0 ML die folgenden JARs:
CPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |