Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Importante
A computação de GPU sem servidor no Databricks está em Beta. Durante a versão Beta, o conteúdo dos ambientes suportados, incluindo a lista de pacotes ou versões de pacotes instalados, pode mudar.
Este artigo descreve as informações de ambiente do sistema para o ambiente GPU sem servidor versão 3.
Para garantir a compatibilidade do aplicativo, as cargas de trabalho de GPU sem servidor usam uma API versionada, conhecida como versão de ambiente, que permanece compatível com versões mais recentes do servidor.
Pode selecionar a versão do ambiente usando o painel lateral do Ambiente nos seus notebooks sem servidor. Consulte Configurar computação de GPU sem servidor.
Novos recursos e melhorias
O ambiente GPU sem servidor 3 é construído sobre o ambiente sem servidor 3 (CPU). Veja o que há de novo no ambiente sem servidor 3 (CPU).
Problemas conhecidos
Aviso da biblioteca Threadpoolctl ao importar transformadores
Ao importar a transformers biblioteca, você verá a seguinte mensagem de erro. Este é um problema conhecido com threadpoolctl a biblioteca no ambiente GPU sem servidor 3.
Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
self._make_module_from_path(filepath)
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
module = module_class(filepath, prefix, user_api, internal_api)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
self.version = self.get_version()
^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
config = get_config().split()
^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'
Para resolver esse problema, atualize para o ambiente GPU sem servidor 4 ou atualize a threadpoolctl biblioteca:
pip install threadpoolctl==3.1.0
Ambiente do sistema
- Sistema Operacional: Ubuntu 24.04.2 LTS
- Píton: 3.12.3
- Conexão Databricks: 16.4.2
- Kit de ferramentas NVIDIA CUDA: 12.4
Bibliotecas Python instaladas
Além do que está incluído no ambiente sem servidor 3 (CPU), o ambiente GPU sem servidor 3 inclui o seguinte:
torch 2.6.0torchvision 0.21.0
Para reproduzir o ambiente GPU sem servidor 3 em seu ambiente virtual Python local, baixe o arquivo requirements-env-gpu-3.txt e execute pip install -r requirements-env-gpu-3.txt. Este comando instala todas as bibliotecas de código aberto do ambiente GPU sem servidor 3.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| tipos com anotações | 0.7.0 | anyio | 4.2.0 | AstTokens | 2.0.5 |
| "Astunparse" | 1.6.3 | azure-core | 1.33.0 | Azure Storage Blob | 12.23.0 |
| Armazenamento de Ficheiros Azure Data Lake | 12.17.0 | preto | 24.4.2 | pisca | 1.7.0 |
| boto3 | 1.34.69 | Botocore | 1.34.69 | Ferramentas de cache | 5.3.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | Chardet | 4.0.0 |
| Normalizador de Charset | 2.0.4 | clicar | 8.1.7 | Cloudpickle | 3.0.0 |
| Comunicação | 0.2.1 | contorno | 1.2.0 | criptografia | 42.0.5 |
| ciclista | 0.11.0 | Cython | 3.0.11 | databricks-connect | 16.4.4 |
| Databricks-SDK | 0.49.0 | databricks.serverless_gpu | 0.5.3 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | decorador | 5.1.1 | Deprecated | 1.2.18 |
| aneto | 0.3.8 | Distlib | 0.3.8 | executar | 0.8.3 |
| facetas-visão geral | 1.1.1 | fastapi | 0.115.12 | bloqueio de arquivo | 3.13.1 |
| Fonttools | 4.51.0 | fsspec | 2024.3.1 | Futuro | 1.0.0 |
| GitDB | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| Google-Auth (Autenticação) | 2.38.0 | Google Cloud Core | 2.4.3 | google-armazenamento-em-nuvem | 3.1.0 |
| Google-CRC32C | 1.7.1 | google-media-reutilizável | 2.7.2 | googleapis-common-protos | 1.69.2 |
| Grpcio | 1.71.0 | grpcio-status | 1.71.0 | h11 | 0.14.0 |
| httplib2 | 0.20.4 | IDNA | 3.7 | importlib-metadata | 7.0.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | Ipykernel | 6.29.5 |
| IPython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | Jedi | 0.19.1 | Jinja2 | 3.1.4 |
| jmespath | 1.0.1 | Joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | MarkupSafe | 2.1.3 |
| Matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 |
| mpmath | 1.3.0 | mypy extensions | 1.0.0 | nest-asyncio | 1.6.0 |
| networkx | 3.2.1 | numpy | 1.26.4 | nvidia-cublas-cu12 | 12.4.5.8 |
| nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 | nvidia-cuda-runtime-cu12 | 12.4.127 |
| NVIDIA-CUDNN-CU12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 | nvidia-curand-cu12 | 10.3.5.147 |
| NVIDIA-CUSOLVER-CU12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 | NVIDIA-Cusparselt-CU12 | 0.6.2 |
| NVIDIA-NCCL-CU12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | NVIDIA-NVTX-CU12 | 12.4.127 |
| OAuthlib | 3.2.2 | OpenTelemetry API | 1.31.1 | OpenTelemetry SDK | 1.31.1 |
| Convenções Semânticas de OpenTelemetry | 0.52b1 | embalagem | 24.1 | pandas | 1.5.3 |
| parambench-train-comms | 0.0.0 | Parso | 0.8.3 | PathSpec | 0.10.3 |
| vítima | 0.5.6 | pexpect | 4.8.0 | almofada | 10.3.0 |
| pip (o gestor de pacotes do Python) | 25.0.1 | platformdirs | 3.10.0 | enredo | 5.22.0 |
| Pluggy | 1.5.0 | kit de ferramentas de prompt | 3.0.43 | Proto-Plus | 1.26.1 |
| Protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | puro-eval | 0.2.2 | py4j | 0.10.9.9 |
| Pyarrow | 15.0.2 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-módulos | 0.2.8 | pyccolo | 0.0.68 | Pycparser | 2.21 |
| Pidântico | 2.8.2 | pydantic_core | 2.20.1 | Pydot | 3.0.4 |
| Pigmentos | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | Pyspark | 3.5.2+databricks.connect.16.4.2 |
| Pytest | 8.3.0 | python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 |
| Pytz | 2024.1 | PyYAML | 6.0.1 | Pyzmq | 25.1.2 |
| pedidos | 2.32.2 | RSA | 4,9 | s3transfer | 0.10.4 |
| scikit-learn (biblioteca de aprendizado de máquina em Python) | 1.4.2 | SciPy | 1.13.1 | nascido no mar | 0.13.2 |
| Ferramentas de configuração | 69.5.1 | seis | 1.16.0 | smmap | 5.0.0 |
| sniffio | 1.3.0 | SQLPARSE | 0.5.3 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | Starlette | 0.46.1 | statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.14.2 |
| SymPy | 1.13.1 | tenacidade | 8.2.2 | Threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tocha | 2.6.0+CU124 | Torchvision | 0.21.0+CU124 |
| tornado | 6.4.1 | traitlets | 5.14.3 | Tritão | 3.2.0 |
| typing_extensions (extensões de digitação) | 4.12.1 | tzdata | 2024.1 | Ujson | 5.10.0 |
| Atualizações não supervisionadas | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | embrulhado | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |