Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Le calcul GPU serverless sur Databricks est en version bêta. Pendant la version bêta, le contenu des environnements pris en charge, y compris la liste des packages ou versions des packages installés, peut changer.
Cet article décrit les informations relatives à l’environnement système pour l’environnement GPU serverless version 3.
Pour garantir la compatibilité de l’application, les charges de travail GPU serverless utilisent une API versionnée, appelée version de l’environnement, qui reste compatible avec les versions plus récentes du serveur.
Vous pouvez sélectionner la version de l’environnement à l’aide du panneau latéral Environment dans vos notebooks serverless. Consultez Configurer le calcul GPU serverless.
Nouvelles fonctionnalités et améliorations
L’environnement GPU serverless 3 est basé sur l’environnement serverless 3 (PROCESSEUR). Découvrez les nouveautés de l’environnement serverless 3 (PROCESSEUR).
Problèmes connus
Avertissement de la bibliothèque Threadpoolctl lors de l’importation de transformateurs
Lors de l’importation de la transformers bibliothèque, le message d’erreur suivant peut s’afficher. Il s’agit d’un problème connu avec threadpoolctl la bibliothèque dans l’environnement GPU serverless 3.
Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
self._make_module_from_path(filepath)
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
module = module_class(filepath, prefix, user_api, internal_api)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
self.version = self.get_version()
^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
config = get_config().split()
^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'
Pour résoudre ce problème, effectuez une mise à niveau vers l’environnement GPU serverless 4 ou mettez à niveau la threadpoolctl bibliothèque :
pip install threadpoolctl==3.1.0
Environnement du système
- Système d’exploitation : Ubuntu 24.04.2 LTS
- Python : 3.12.3
- Databricks Connect : 16.4.2
- Kit de ressources NVIDIA CUDA : 12.4
Bibliothèques Python installées
Outre ce qui est inclus dans l’environnement serverless 3 (PROCESSEUR), l’environnement GPU serverless 3 inclut les éléments suivants :
torch 2.6.0torchvision 0.21.0
Pour reproduire l’environnement GPU serverless 3 dans votre environnement virtuel Python local, téléchargez le fichier requirements-env-gpu-3.txt et exécutez pip install -r requirements-env-gpu-3.txt. Cette commande installe toutes les bibliothèques open source à partir de l’environnement GPU serverless 3.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | azure-core | 1.33.0 | azure-storage-blob (service de stockage de blobs Azure) | 12.23.0 |
| Azure Storage File Data Lake | 12.17.0 | black | 24.4.2 | clignotant | 1.7.0 |
| boto3 | 1.34.69 | botocore | 1.34.69 | cachetools | 5.3.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | cliquez | 8.1.7 | cloudpickle | 3.0.0 |
| comm | 0.2.1 | contourpy | 1.2.0 | cryptographie | 42.0.5 |
| cycliste | 0.11.0 | Cython | 3.0.11 | databricks-connect | 16.4.4 |
| Kit de développement logiciel Databricks (SDK) | 0.49.0 | databricks.serverless_gpu | 0.5.3 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | décorateur | 5.1.1 | Deprecated | 1.2.18 |
| aneth | 0.3.8 | distlib | 0.3.8 | executing | 0.8.3 |
| aperçu des facettes | 1.1.1 | fastapi | 0.115.12 | verrou de fichier | 3.13.1 |
| outils de police | 4.51.0 | fsspec | 2024.3.1 | futur | 1.0.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.38.0 | google-cloud-core | 2.4.3 | google-cloud-storage (Stockage dans le cloud de Google) | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 |
| grpcio | 1.71.0 | grpcio-status | 1.71.0 | h11 | 0.14.0 |
| httplib2 | 0.20.4 | IDNA | 3.7 | importlib-metadata | 7.0.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | Jedi | 0.19.1 | Jinja2 | 3.1.4 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 | mlflow-skinny (version légère de mlflow) | 2.21.3 |
| mpmath | 1.3.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
| networkx | 3.2.1 | numpy | 1.26.4 | nvidia-cublas-cu12 | 12.4.5.8 |
| nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 | nvidia-cuda-runtime-cu12 | 12.4.127 |
| nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 | nvidia-curand-cu12 | 10.3.5.147 |
| nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 | nvidia-cusparselt-cu12 | 0.6.2 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-semantic-conventions | 0.52b1 | empaquetage | 24.1 | Pandas | 1.5.3 |
| parambench-train-comms | 0.0.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.5.0 | prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 15.0.2 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 | pycparser | 2.21 |
| pydantic | 2.8.2 | pydantic_core | 2.20.1 | pydot | 3.0.4 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pyspark | 3.5.2+databricks.connect.16.4.2 |
| pytest | 8.3.0 | python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| requests | 2.32.2 | rsa | 4,9 | s3transfer | 0.10.4 |
| scikit-learn | 1.4.2 | scipy (bibliothèque Python pour le calcul scientifique) | 1.13.1 | seaborn | 0.13.2 |
| setuptools | 69.5.1 | six | 1.16.0 | smmap | 5.0.0 |
| sniffio | 1.3.0 | sqlparse | 0.5.3 | ssh-import-id | 5.11 |
| données en pile | 0.2.0 | starlette | 0.46.1 | statsmodels, une bibliothèque Python pour la modélisation statistique | 0.14.2 |
| Sympy | 1.13.1 | ténacité | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | torche | 2.6.0+cu124 | torchvision | 0.21.0+cu124 |
| tornade | 6.4.1 | Traitlets | 5.14.3 | triton | 3.2.0 |
| typing_extensions | 4.12.1 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| roue | 0.45.1 | wrapt | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |