Bagikan melalui

Databricks Runtime 16.4 LTS untuk Pembelajaran Mesin

Databricks Runtime 16.4 LTS untuk Pembelajaran Mesin menyediakan lingkungan yang siapto-go untuk pembelajaran mesin dan ilmu data berdasarkan Databricks Runtime 16.4 LTS. Databricks Runtime ML berisi banyak perpustakaan pembelajaran mesin populer, termasuk TensorFlow, PyTorch, dan XGBoost. Databricks Runtime ML mencakup AutoML, alat untuk melatih alur pembelajaran mesin secara otomatis. Databricks Runtime ML juga mendukung pelatihan pembelajaran mendalam terdistribusi menggunakan TorchDistributor, DeepSpeed, dan Ray.

Petunjuk / Saran

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir dukungan (EoS), lihat Catatan rilis Databricks Runtime akhir dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Fitur dan peningkatan baru

Databricks Runtime 16.4 LTS ML dibangun di atas Databricks Runtime 16.4 LTS. Untuk informasi tentang apa yang baru dalam Databricks Runtime 16.4 LTS, termasuk Apache Spark MLlib dan SparkR, lihat catatan rilis Databricks Runtime 16.4 LTS .

Perubahan lainnya

XGBoost4J-Spark sekarang tidak digunakan lagi

XGBoost4J-Spark sekarang tidak digunakan lagi dan tidak akan diinstal sebelumnya di versi ML Databricks Runtime utama berikutnya. Databricks merekomendasikan penggunaan Python API untuk xgboost.spark. Lihat Pelatihan terdistribusi model XGBoost menggunakan xgboost.spark.

TensorFlow 2.17.x tidak dapat memuat pustaka cuDNN

Ini adalah masalah yang diketahui dalam Databricks Runtime 16.4 LTS ML bahwa TensorFlow 2.17.x (versi default) tidak dapat mengakses perangkat GPU karena kesalahan pemuatan pustaka cuDNN. Untuk memperbaiki masalah ini, tingkatkan TensorFlow ke versi 2.18.x atau lebih tinggi.

Lingkungan sistem

Lingkungan sistem di Databricks Runtime 16.4 LTS ML berbeda dari Databricks Runtime 16.4 LTS sebagai berikut.

  • Untuk kluster GPU, Databricks Runtime ML menyertakan pustaka GPU NVIDIA berikut:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Perpustakaan

Bagian berikut mencantumkan pustaka yang disertakan dalam Databricks Runtime 16.4 LTS ML yang berbeda dengan pustaka yang ada dalam Databricks Runtime 16.4 LTS.

Di bagian ini:

Pustaka tingkat atas

Databricks Runtime 16.4 LTS ML menyertakan pustaka tingkat atas berikut:

Perpustakaan Python

Databricks Runtime 16.4 LTS ML menggunakan virtualenv untuk manajemen paket Python dan mencakup banyak paket ML populer.

Selain paket yang ditentukan di bagian berikut, Databricks Runtime 16.4 LTS ML juga mencakup paket berikut:

  • hyperopt 0.2.8+db1
  • automl 1.30.0

Untuk mereproduksi lingkungan Databricks Runtime ML Python di lingkungan virtual Python lokal Anda, unduh file requirements-16.4.txt dan jalankan pip install -r requirements-16.4.txt. Perintah ini menginstal semua pustaka sumber terbuka yang digunakan Databricks Runtime ML, tetapi tidak menginstal pustaka yang dikembangkan oleh Databricks, seperti databricks-automl atau fork Databricks dari hyperopt.

Pustaka Python pada kluster CPU

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
absl-py 1.0.0 Percepat 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 alembic 1.14.1
tipe beranotasi 0.7.0 anyio 4.2.0 argcomplete 3.6.2
argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0 anak panah 1.2.3
Astor 0.8.1 asttoken 2.0.5 astunparse 1.6.3
asinkron-lru 2.0.4 atribut 23.1.0 audioread 3.0.1
perintah otomatis 2.2.2 azure-core 1.33.0 azure-cosmos 4.3.1
azure-identity 1.21.0 Azure Storage Blob 12.23.0 Azure Storage File Data Lake 12.17.0
Babel 2.11.0 mundur 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 hitam 24.4.2
pemutih 4.1.0 blinker 1.7.0 kebahagiaan 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools (perangkat untuk caching) 5.3.3 katalog 2.0.10 pengkode kategori 2.6.3
sertifikat 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 pemutus sirkuit 2.1.3 klik 8.1.7
cloudpathlib 0.21.0 cloudpickle (perpustakaan Python untuk serialisasi objek) 2.2.1 cmdstanpy 1.2.5
berwarna-warni 0.5.6 colorlog 6.9.0 Komunikasi 0.2.1
komponis 0.29.0 makanan manis 0.1.5 configparser 5.2.0
Contourpy 1.2.0 nama keren 2.2.0 Kriptografi 42.0.5
pengendara sepeda 0.11.0 cymem 2.0.11 Cython 3.0.11
batu vulkanik dacite 1.9.2 databricks-automl-runtime 0.2.21 Databricks-rekayasa fitur 0.10.2
databricks-sdk 0.30.0 kumpulan data 3.5.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 penghias 5.1.1
deepspeed 0.16.5 defusedxml 0.7.1 Tidak digunakan lagi 1.2.18
adas 0.3.8 distlib 0.3.8 dm-tree 0.1.9
konversi docstring ke markdown 0.11 einops 0.8.1 titik masuk 0,4
menilai 0.4.3 Mengeksekusi 0.8.3 gambaran umum aspek 1.1.1
Pemberitahuan Farama 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 filelock 3.13.1 Botol 2.2.5
FlatBuffers 25.2.10 alat pengelola font 4.51.0 Fqdn 1.5.1
daftar yang dibekukan 1.4.0 fsspec 2023.5.0 masa depan 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autentikasi Google) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core 2.4.3 penyimpanan awan Google 2.10.0 google-crc32c 1.7.1
Google Pasta 0.2.0 google-resumable-media (layanan media berkelanjutan dari Google) 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 greenlet 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 gedung olahraga 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 Liburan 0.54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 huggingface-hub (platform dari Hugging Face) 0.29.3 IDNA 3.7
Hash Gambar 4.3.1 imageio 2.33.1 pembelajaran-tidak-seimbang 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 memfleksi 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
isodurasi 20.11.0 itu berbahaya 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.teks 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 jiter 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.19.2 Spesifikasi JSON Schema 2023.7.1 peristiwa Jupyter 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.0 jupyter_core 5.7.2
jupyter_server 2.14.1 Terminal Jupyter Server 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 keras 3.9.0
kiwisolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
pemisah teks langchain 0.3.8 langkode 3.5.0 langsmith 0.1.133
data bahasa 1.3.0 launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6
lazr.uri 1.0.6 lazy_loader 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 utilitas cepat 0.14.3
linkify-it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.6 Mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray (teknologi atau konsep terkait memori) 1.17.1 penyetelan salah 2.0.4
ml-dtypes 0.4.1 mlflow-skinny (versi ringan) 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
kamus multibahasa 6.0.4 metode ganda 1.12 multiproses 0.70.16
Murmur Hash 1.0.12 mypy 1.10.0 ekstensi mypy 1.0.0
namex 0.0.8 nbclient 0.8.0 nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
ninja 1.11.1.1 nltk 3.8.1 nodeenv 1.9.1
buku catatan 7.0.8 buku_catatan_shim 0.2.3 numba 0.59.1
numpy (perpustakaan Python untuk operasi numerik) 1.26.4 oauthlib 3.2.0 Oci 2.150.0
openai 1.69.0 opencensus 0.11.4 opencensus-konteks 0.1.3
opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0 opentelemetry-konvensi-semantik 0.53b0
opt_einsum 3.4.0 optree 0.15.0 optuna 3.6.1
Integrasi Optuna 3.6.0 orjson 3.10.16 Mengabaikan 7.4.0
pengemasan 24.1 Panda 1.5.3 Pandocfilters 1.5.0
paramiko 3.4.0 pengurai 0.8.3 spesifikasi jalur 0.10.3
kambing hitam 0.5.6 pexpect 4.8.0 phik 0.12.4
bantal 10.3.0 pipa 24,2 platformdir 3.10.0
secara plot 5.22.0 pengaya 1.0.0 pmdarima 2.0.4
anjing peliharaan 1.8.2 tanpa informasi tambahan mengenai konteks yang berarti bagi istilah "preshed", mungkin terpikir untuk menggambarkan istilah tersebut sebagai langkah atau proses yang sedang terjadi sebelum sesuatu diselesaikan atau diproses lebih lanjut. 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.43 nabi 1.1.6 proto-plus 1.26.1
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
modul pyasn1 0.2.8 pybind11 2.13.6 pyccolo 0.0.65
pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.8.2 pydantic_core 2.20.1
pyflakes 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil 2.9.0.post0 python-editor 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0
python-snappy 0.6.1 pytoolconfig 1.2.6 pytorch-ranger 0.1.1
pytz 2024.1 PyWavelets 1.5.0 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.1
pyzmq 25.1.2 kuesioner 2.1.0 ikan pari 2.37.0
Merujuk 0.30.2 regex 3 Oktober 2023 permohonan 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 kaya 13.3.5 tali 1.12.0
rpds-py 0.10.6 Rsa 4.9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensor 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.13.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2 pemodel kalimat 3.4.1
sentencepiece 0.2.0 setuptools 74.0.0 bentuk 0.46.0
shellingham 1.5.4 simplejson 3.17.6 Enam 1.16.0
pemotong 0.0.8 smart-open 5.2.1 smmap 5.0.0
Sniffio 1.3.0 berkas suara 0.12.1 alat penyaring sup 2,5
soxr 0.5.0.post1 lapang 3.7.5 warisan spasi 3.0.12
pencatat spasi 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
Seriusan 2.5.1 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.5.1 starlette 0.46.2 statsmodels (paket Python untuk pemodelan statistik) 0.14.2
sympy 1.13.1 menyusun dalam bentuk tabel 0.9.0 Terjerat dalam Unicode 0.2.0
kegigihan 8.2.2 TensorBoard 2.17.0 tensorboard-data-server 0.7.2
Plugin Profil Tensorboard 2.17.0 tensorboardX 2.6.2.2 TensorFlow 2.17.0
tensorflow-estimator (penghitung dalam TensorFlow) 2.15.0 Termcolor 3.0.1 selesai 0.17.1
Tekstual 3.1.0 tf_keras 2.17.0 Thinc 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 Tokenisasi-RT 4.2.1 tokenisasi 0.21.0
tomli 2.0.1 obor/senter 2.6.0+cpu pengoptimal obor 0.3.0
torcheval 0.0.7 torchmetrics 1.6.0 visi obor 0.21.0+cpu
Tornado 6.4.1 tqdm 4.66.4 sifat 5.14.3
Trafo 4.50.2 typeguard (penjaga tipe) 4.4.2 Typer 0.15.2
type-protobuf 3.20.3 type-psutil 5.9.0 type-pytz 2023.3.1.1
Types-PyYAML 6.0.0 jenis permintaan 2.31.0.0 tipe-setuptools 68.0.0.0
tipe-enam 1.16.0 type-urllib3 1.26.25.14 ekstensi pengetikan (typing_extensions) 4.11.0
uc-micro-py 1.0.1 ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1
templat URI 1.3.0 urllib3 1.26.16 uvicorn 0.34.1
validator 0.34.0 virtualenv 20.26.2 Visi 0.7.5
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.5
Musang 0.4.1 warna web 24.11.1 pengkodean web 0.5.1
websocket-klien 1.8.0 websocket 11.0.3 Alat kerja 3.0.3
apa itu patch 1.0.2 wheel 0.43.0 wordcloud 1.9.4
terbungkus 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.3
Pembuatan profil ydata 4.9.0 zipp 3.17.0 zstd 1.5.5.1

Pustaka Python pada kluster GPU

Nota

PyTorch menggunakan dependensi CUDA dari PyPI untuk memberikan dukungan CUDA, bukan versi pustaka CUDA yang terintegrasi dalam Databricks Runtime 16.4 LTS ML.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
absl-py 1.0.0 Percepat 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 tipe beranotasi 0.7.0
anyio 4.2.0 argcomplete 3.6.2 argon2-cffi 21.3.0
Pengikatan Argon2-cffi 21.2.0 anak panah 1.2.3 Astor 0.8.1
asttoken 2.0.5 astunparse 1.6.3 asinkron-lru 2.0.4
atribut 23.1.0 audioread 3.0.1 perintah otomatis 2.2.2
azure-core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.21.0
Azure Storage Blob 12.23.0 Azure Storage File Data Lake 12.17.0 Babel 2.11.0
mundur 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 hitam 24.4.2 pemutih 4.1.0
blinker 1.7.0 kebahagiaan 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools (perangkat untuk caching) 5.3.3
katalog 2.0.10 pengkode kategori 2.6.3 sertifikat 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer 2.0.4
pemutus sirkuit 2.1.3 klik 8.1.7 cloudpathlib 0.21.0
cloudpickle (perpustakaan Python untuk serialisasi objek) 2.2.1 cmdstanpy 1.2.5 berwarna-warni 0.5.6
colorlog 6.9.0 Komunikasi 0.2.1 komponis 0.29.0
makanan manis 0.1.5 configparser 5.2.0 Contourpy 1.2.0
nama keren 2.2.0 Kriptografi 42.0.5 pengendara sepeda 0.11.0
cymem 2.0.11 Cython 3.0.11 batu vulkanik dacite 1.9.2
databricks-automl-runtime 0.2.21 Databricks-rekayasa fitur 0.10.2 databricks-sdk 0.30.0
kumpulan data 3.5.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 penghias 5.1.1 deepspeed 0.16.5
defusedxml 0.7.1 Tidak digunakan lagi 1.2.18 adas 0.3.8
distlib 0.3.8 dm-tree 0.1.9 konversi docstring ke markdown 0.11
einops 0.8.1 titik masuk 0,4 menilai 0.4.3
Mengeksekusi 0.8.3 gambaran umum aspek 1.1.1 Pemberitahuan Farama 0.0.4
fastapi 0.115.12 fastjsonschema 2.21.1 fasttext-wheel 0.9.2
filelock 3.13.1 flash_attn 2.7.4.post1 Botol 2.2.5
FlatBuffers 25.2.10 alat pengelola font 4.51.0 Fqdn 1.5.1
daftar yang dibekukan 1.4.0 fsspec 2023.5.0 masa depan 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autentikasi Google) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core 2.4.3 penyimpanan awan Google 2.10.0 google-crc32c 1.7.1
Google Pasta 0.2.0 google-resumable-media (layanan media berkelanjutan dari Google) 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 greenlet 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 gedung olahraga 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 Liburan 0.54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 huggingface-hub (platform dari Hugging Face) 0.29.3 IDNA 3.7
Hash Gambar 4.3.1 imageio 2.33.1 pembelajaran-tidak-seimbang 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 memfleksi 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
isodurasi 20.11.0 itu berbahaya 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.teks 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 jiter 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.19.2 Spesifikasi JSON Schema 2023.7.1 peristiwa Jupyter 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.0 jupyter_core 5.7.2
jupyter_server 2.14.1 Terminal Jupyter Server 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 keras 3.9.0
kiwisolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
pemisah teks langchain 0.3.8 langkode 3.5.0 langsmith 0.1.133
data bahasa 1.3.0 launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6
lazr.uri 1.0.6 lazy_loader 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 utilitas cepat 0.14.3
linkify-it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.6 Mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray (teknologi atau konsep terkait memori) 1.17.1 penyetelan salah 2.0.4
ml-dtypes 0.4.1 mlflow-skinny (versi ringan) 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
kamus multibahasa 6.0.4 metode ganda 1.12 multiproses 0.70.16
Murmur Hash 1.0.12 mypy 1.10.0 ekstensi mypy 1.0.0
namex 0.0.8 nbclient 0.8.0 nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
ninja 1.11.1.1 nltk 3.8.1 nodeenv 1.9.1
buku catatan 7.0.8 buku_catatan_shim 0.2.3 numba 0.59.1
numpy (perpustakaan Python untuk operasi numerik) 1.26.4 nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2 nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127 oauthlib 3.2.0
Oci 2.150.0 openai 1.69.0 opencensus 0.11.4
opencensus-konteks 0.1.3 opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0
opentelemetry-konvensi-semantik 0.53b0 opt_einsum 3.4.0 optree 0.15.0
optuna 3.6.1 Integrasi Optuna 3.6.0 orjson 3.10.16
Mengabaikan 7.4.0 pengemasan 24.1 Panda 1.5.3
Pandocfilters 1.5.0 paramiko 3.4.0 pengurai 0.8.3
spesifikasi jalur 0.10.3 kambing hitam 0.5.6 pexpect 4.8.0
phik 0.12.4 bantal 10.3.0 pipa 24,2
platformdir 3.10.0 secara plot 5.22.0 pengaya 1.0.0
pmdarima 2.0.4 anjing peliharaan 1.8.2 tanpa informasi tambahan mengenai konteks yang berarti bagi istilah "preshed", mungkin terpikir untuk menggambarkan istilah tersebut sebagai langkah atau proses yang sedang terjadi sebelum sesuatu diselesaikan atau diproses lebih lanjut. 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.43 nabi 1.1.6
proto-plus 1.26.1 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-spy 0.4.0 pyarrow 15.0.2
pyasn1 0.4.8 modul pyasn1 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
python-editor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.1 pyzmq 25.1.2 kuesioner 2.1.0
ikan pari 2.37.0 Merujuk 0.30.2 regex 3 Oktober 2023
permohonan 2.32.2 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 kaya 13.3.5
tali 1.12.0 rpds-py 0.10.6 Rsa 4.9
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.10.2
safetensor 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy (perpustakaan Python untuk komputasi ilmiah) 1.13.1 Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2
pemodel kalimat 3.4.1 sentencepiece 0.2.0 setuptools 74.0.0
bentuk 0.46.0 shellingham 1.5.4 simplejson 3.17.6
Enam 1.16.0 pemotong 0.0.8 smart-open 5.2.1
smmap 5.0.0 Sniffio 1.3.0 berkas suara 0.12.1
alat penyaring sup 2,5 soxr 0.5.0.post1 lapang 3.7.5
warisan spasi 3.0.12 pencatat spasi 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 Seriusan 2.5.1 ssh-import-id 5.11
stack-data 0.2.0 stanio 0.5.1 starlette 0.46.2
statsmodels (paket Python untuk pemodelan statistik) 0.14.2 sympy 1.13.1 menyusun dalam bentuk tabel 0.9.0
Terjerat dalam Unicode 0.2.0 kegigihan 8.2.2 TensorBoard 2.17.0
tensorboard-data-server 0.7.2 Plugin Profil Tensorboard 2.17.0 tensorboardX 2.6.2.2
TensorFlow 2.17.0 tensorflow-estimator (penghitung dalam TensorFlow) 2.15.0 Termcolor 3.0.1
selesai 0.17.1 Tekstual 3.1.0 tf_keras 2.17.0
Thinc 8.2.5 threadpoolctl 2.2.0 tifffile 2023.4.12
tiktoken 0.7.0 tinycss2 1.2.1 Tokenisasi-RT 4.2.1
tokenisasi 0.21.0 tomli 2.0.1 obor/senter 2.6.0+cu124
pengoptimal obor 0.3.0 torcheval 0.0.7 torchmetrics 1.6.0
visi obor 0.21.0+cu124 Tornado 6.4.1 tqdm 4.66.4
sifat 5.14.3 Trafo 4.50.2 Triton 3.2.0
typeguard (penjaga tipe) 4.4.2 Typer 0.15.2 type-protobuf 3.20.3
type-psutil 5.9.0 type-pytz 2023.3.1.1 Types-PyYAML 6.0.0
jenis permintaan 2.31.0.0 tipe-setuptools 68.0.0.0 tipe-enam 1.16.0
type-urllib3 1.26.25.14 ekstensi pengetikan (typing_extensions) 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1 templat URI 1.3.0
urllib3 1.26.16 uvicorn 0.34.1 validator 0.34.0
virtualenv 20.26.2 Visi 0.7.5 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.5 Musang 0.4.1
warna web 24.11.1 pengkodean web 0.5.1 websocket-klien 1.8.0
websocket 11.0.3 Alat kerja 3.0.3 apa itu patch 1.0.2
wheel 0.43.0 wordcloud 1.9.4 terbungkus 1.14.1
xgboost 2.0.3 xgboost-ray 0.1.19 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.3 Pembuatan profil ydata 4.9.0
zipp 3.17.0 zstd 1.5.5.1

Pustaka Bahasa Pemrograman R

Pustaka R identik dengan Pustaka R di Databricks Runtime 16.4 LTS.

Pustaka Java dan Scala (kluster Scala 2.12)

Selain pustaka Java dan Scala di Databricks Runtime 16.4 LTS, Databricks Runtime 16.4 LTS ML berisi JAR berikut:

Kluster CPU

ID Kelompok Identifikasi Artefak Versi
com.typeafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframe graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Kluster GPU

ID Kelompok Identifikasi Artefak Versi
com.typeafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframe graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on