Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Penting
Komputasi GPU tanpa server di Databricks ada di Beta. Selama Beta, konten lingkungan yang didukung, termasuk daftar paket atau versi paket yang diinstal, dapat berubah.
Artikel ini menguraikan informasi lingkungan sistem untuk lingkungan GPU Tanpa Server versi 3.
Untuk memastikan kompatibilitas untuk aplikasi, beban kerja GPU Tanpa Server menggunakan API versi, yang dikenal sebagai versi lingkungan, yang tetap kompatibel dengan versi server yang lebih baru.
Anda dapat memilih versi lingkungan menggunakan panel samping Environment di notebook tanpa server Anda. Lihat Menyiapkan komputasi GPU tanpa server.
Fitur dan peningkatan baru
Lingkungan GPU tanpa server 3 dibangun di atas lingkungan tanpa server 3 (CPU). Lihat apa yang baru di lingkungan tanpa server 3 (CPU).
Masalah yang diketahui
Peringatan pustaka threadpoolctl saat mengimpor transformator
Saat mengimpor transformers pustaka, Anda mungkin melihat pesan kesalahan berikut. Ini adalah masalah umum dengan threadpoolctl pustaka di lingkungan GPU Tanpa Server 3.
Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
self._make_module_from_path(filepath)
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
module = module_class(filepath, prefix, user_api, internal_api)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
self.version = self.get_version()
^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
config = get_config().split()
^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'
Untuk mengatasi masalah ini, tingkatkan ke lingkungan GPU tanpa server 4 atau tingkatkan threadpoolctl pustaka:
pip install threadpoolctl==3.1.0
Lingkungan sistem
- Sistem Operasi : Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.2
- Toolkit CUDA NVIDIA: 12.4
Perpustakaan Python yang terinstal
Selain apa yang disertakan dalam lingkungan tanpa server 3 (CPU), lingkungan GPU tanpa server 3 mencakup hal-hal berikut:
torch 2.6.0torchvision 0.21.0
Untuk mereproduksi lingkungan GPU tanpa server 3 di lingkungan virtual Python lokal Anda, unduh file requirements-env-gpu-3.txt dan jalankan pip install -r requirements-env-gpu-3.txt. Perintah ini menginstal semua pustaka sumber terbuka dari lingkungan GPU tanpa server 3.
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| tipe beranotasi | 0.7.0 | anyio | 4.2.0 | asttoken | 2.0.5 |
| astunparse | 1.6.3 | azure-core | 1.33.0 | Azure Storage Blob | 12.23.0 |
| Azure Storage File Data Lake | 12.17.0 | hitam | 24.4.2 | blinker | 1.7.0 |
| boto3 | 1.34.69 | botocore | 1.34.69 | cachetools (perangkat untuk caching) | 5.3.3 |
| sertifikat | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klik | 8.1.7 | cloudpickle (perpustakaan Python untuk serialisasi objek) | 3.0.0 |
| Komunikasi | 0.2.1 | Contourpy | 1.2.0 | Kriptografi | 42.0.5 |
| pengendara sepeda | 0.11.0 | Cython | 3.0.11 | databricks-connect | 16.4.4 |
| databricks-sdk | 0.49.0 | databricks.serverless_gpu | 0.5.3 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | penghias | 5.1.1 | Deprecated | 1.2.18 |
| adas | 0.3.8 | distlib | 0.3.8 | Mengeksekusi | 0.8.3 |
| gambaran umum aspek | 1.1.1 | fastapi | 0.115.12 | filelock | 3.13.1 |
| alat pengelola font | 4.51.0 | fsspec | 2024.3.1 | masa depan | 1.0.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth (autentikasi Google) | 2.38.0 | google-cloud-core | 2.4.3 | penyimpanan awan Google | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media (layanan media berkelanjutan dari Google) | 2.7.2 | googleapis-common-protos | 1.69.2 |
| grpcio | 1.71.0 | grpcio-status | 1.71.0 | h11 | 0.14.0 |
| httplib2 | 0.20.4 | IDNA | 3.7 | importlib-metadata | 7.0.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | Jedi | 0.19.1 | Jinja2 | 3.1.4 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient (klien layanan web yang menggunakan RESTful) | 0.14.6 | lazr.uri | 1.0.6 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-inline (modul untuk menampilkan grafik secara inline) | 0.1.6 | mlflow-skinny (versi ringan) | 2.21.3 |
| mpmath | 1.3.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
| networkx | 3.2.1 | numpy (perpustakaan Python untuk operasi numerik) | 1.26.4 | nvidia-cublas-cu12 | 12.4.5.8 |
| nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 | nvidia-cuda-runtime-cu12 | 12.4.127 |
| nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 | nvidia-curand-cu12 | 10.3.5.147 |
| nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 | nvidia-cusparselt-cu12 | 0.6.2 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-konvensi-semantik | 0.52b1 | pengemasan | 24.1 | Panda | 1.5.3 |
| parambench-train-comms | 0.0.0 | pengurai | 0.8.3 | spesifikasi jalur | 0.10.3 |
| kambing hitam | 0.5.6 | pexpect | 4.8.0 | bantal | 10.3.0 |
| pipa | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pengaya | 1.5.0 | prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 15.0.2 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 | pycparser | 2.21 |
| pydantic (perpustakaan Python untuk validasi data) | 2.8.2 | pydantic_core | 2.20.1 | pydot | 3.0.4 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pyspark | 3.5.2+databricks.connect.16.4.2 |
| pytest | 8.3.0 | python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2024.1 | PyYAML (paket untuk memproses bahasa YAML dalam Python) | 6.0.1 | pyzmq | 25.1.2 |
| requests | 2.32.2 | rsa | 4.9 | s3transfer | 0.10.4 |
| scikit-learn | 1.4.2 | scipy (perpustakaan Python untuk komputasi ilmiah) | 1.13.1 | Seaborn (perpustakaan Python untuk visualisasi data) | 0.13.2 |
| setuptools | 69.5.1 | Enam | 1.16.0 | smmap | 5.0.0 |
| Sniffio | 1.3.0 | sqlparse | 0.5.3 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | starlette | 0.46.1 | statsmodels (paket Python untuk pemodelan statistik) | 0.14.2 |
| sympy | 1.13.1 | kegigihan | 8.2.2 | threadpoolctl | 2.2.0 |
| Tokenisasi-RT | 4.2.1 | obor/senter | 2.6.0+cu124 | torchvision | 0.21.0+cu124 |
| Tornado | 6.4.1 | traitlets | 5.14.3 | Triton | 3.2.0 |
| ekstensi pengetikan (typing_extensions) | 4.12.1 | tzdata | 2024.1 | ujson | 5.10.0 |
| pembaruan otomatis tanpa pengawasan | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | terbungkus | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |