Serverlös GPU-miljö version 3 (beta)

Viktigt!

Serverlös GPU-beräkning på Databricks finns i Beta. Under Beta kan innehållet i de miljöer som stöds, inklusive listan över paket eller versioner av installerade paket, ändras.

Den här artikeln beskriver systemmiljöinformationen för serverlös GPU-miljö version 3.

För att säkerställa kompatibilitet för programmet använder serverlösa GPU-arbetsbelastningar ett versions-API, som kallas miljöversion, som förblir kompatibel med nyare serverversioner.

Du kan välja miljöversionen med hjälp av sidpanelen Environment i dina serverlösa notebooks. Se Konfigurera serverlös GPU-beräkning.

Nya funktioner och förbättringar

Serverlös GPU-miljö 3 bygger på serverlös miljö 3 (CPU). Se nyheter i serverlös miljö 3 (CPU).

Kända problemområden

Threadpoolctl-biblioteksvarning vid import av transformatorer

När du importerar transformers biblioteket kan följande felmeddelande visas. Det här är ett känt problem med threadpoolctl biblioteket i serverlös GPU-miljö 3.

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

Lös problemet genom att uppgradera till en serverlös GPU-miljö 4 eller uppgradera threadpoolctl biblioteket:

pip install threadpoolctl==3.1.0

Systemmiljö

  • operativsystem: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 16.4.2
  • NVIDIA CUDA Toolkit: 12.4

Installerade Python-bibliotek

Förutom vad som ingår i serverlös miljö 3 (CPU) innehåller serverlös GPU-miljö 3 följande:

  • torch 2.6.0
  • torchvision 0.21.0

Om du vill återskapa en serverlös GPU-miljö 3 i din lokala virtuella Python-miljö laddar du ned filenrequirements-env-gpu-3.txt och kör pip install -r requirements-env-gpu-3.txt. Det här kommandot installerar alla bibliotek med öppen källkod från den serverlösa GPU-miljön 3.

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
annoterade typer 0.7.0 anyio 4.2.0 asttokens 2.0.5
astunparse 1.6.3 azure-core 1.33.0 azure-storage-blob (lagringstjänst i Azure) 12.23.0
Azure-lagring-fil-datainsjö 12.17.0 svart 24.4.2 körriktningsvisare 1.7.0
boto3 1.34.69 botocore 1.34.69 cacheverktyg 5.3.3
certifikat/certifiering 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.1.7 cloudpickle 3.0.0
kommunikation 0.2.1 konturritning 1.2.0 kryptografi 42.0.5
cyklist 0.11.0 Cython 3.0.11 databricks-connect 16.4.4
Databricks SDK 0.49.0 databricks.serverless_gpu 0.5.3 dbus-python 1.3.2
debugpy 1.6.7 dekoratör 5.1.1 Deprecated 1.2.18
dill 0.3.8 distlib 0.3.8 utföra 0.8.3
översikt över aspekter 1.1.1 fastapi 0.115.12 fillåsning 3.13.1
fontverktyg 4.51.0 fsspec 2024.3.1 framtid 1.0.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google-autentisering 2.38.0 google-cloud-core 2.4.3 Google Cloud Storage - molntjänst för lagring 3.1.0
"google-crc32c" 1.7.1 google-återupptagbar-media 2.7.2 googleapis-common-protos 1.69.2
grpcio 1.71.0 grpcio-status 1.71.0 h11 0.14.0
httplib2 0.20.4 IDNA 3.7 importlib-metadata 7.0.1
iniconfig 1.1.1 ipyflow-core 0.0.206 ipykernel 6.29.5
ipython 8.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.7.2 Jedi 0.19.1 Jinja2 3.1.4
jmespath 1.0.1 joblib 1.4.2 jupyter_client 8.6.0
jupyter_core 5.7.2 kiwisolver (ett verktyg/programvara) 1.4.4 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 mlflow-skinny 2.21.3
mpmath 1.3.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
networkx bibliotek för nätverksanalys 3.2.1 numpy 1.26.4 nvidia-cublas-cu12 12.4.5.8
nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127
nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147
nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2
nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127
oauthlib (ett OAuth-bibliotek) 3.2.2 opentelemetri-api 1.31.1 opentelemetry-sdk 1.31.1
opentelemetry-semantic-conventions (semantiska konventioner för Opentelemetry) 0.52b1 emballage 24.1 Pandas 1.5.3
parambench-train-comms 0.0.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.6 pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 kudde 10.3.0
Pip (pakethanterare för Python) 25.0.1 platformdirs 3.10.0 plotly 5.22.0
pluggaktig 1.5.0 prompt-verktygslåda 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 15.0.2 pyarrow-hotfix 0.6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.68 pycparser 2.21
pydantisk 2.8.2 pydantic_core 2.20.1 pydot 3.0.4
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
pyodbc 5.0.1 pyparsing (ett Python-bibliotek för att analysera text) 3.0.9 pyspark 3.5.2+databricks.connect.16.4.2
pytest 8.3.0 python-dateutil 2.9.0.post0 python-lsp-jsonrpc 1.1.2
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
begäranden 2.32.2 rsa 4,9 s3transfer 0.10.4
scikit-learn (en maskininlärningsbibliotek) 1.4.2 scipy 1.13.1 född vid havet 0.13.2
setuptools 69.5.1 six 1.16.0 smmap 5.0.0
sniffio 1.3.0 sqlparse 0.5.3 ssh-import-id 5.11
stapeldatastruktur 0.2.0 starlette 0.46.1 statsmodels (ett verktyg för statistisk modellering) 0.14.2
sympy 1.13.1 uthållighet 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 ficklampa 2.6.0+cu124 torchvision 0.21.0+cu124
tornad 6.4.1 Traitlets 5.14.3 Triton 3.2.0
typing_extensions 4.12.1 tzdata 2024.1 ujson 5.10.0
obevakade uppgraderingar 0,1 urllib3 2.2.2 uvicorn 0.34.0
virtualenv 20.29.2 wadllib 1.3.6 wcwidth 0.2.5
hjul 0.45.1 inhöljd 1.14.1 blixtlås 3.17.0
zstandard 0.23.0