Compartir a través de

Databricks Runtime 16.2 para Machine Learning (EoS)

Nota:

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones admitidas de Databricks Runtime, consulte Notas de la versión y compatibilidad de Databricks Runtime.

Databricks Runtime 16.2 para Machine Learning proporciona un entorno listo parato-go para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 16.2 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante TorchDistributor, DeepSpeed y Ray.

Nuevas características y mejoras

Databricks Runtime 16.2 ML se basa en Databricks Runtime 16.2. Para obtener información sobre las novedades de Databricks Runtime 16.2, incluidas apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 16.2 (EoS).

Otros cambios

TensorFlow 2.17.x no puede cargar la biblioteca cuDNN

Se trata de un problema conocido en Databricks Runtime 16.2 ML que TensorFlow 2.17.x (versión predeterminada) no puede acceder a dispositivos gpu debido a un error de carga de la biblioteca cuDNN. Para corregir este problema, actualice TensorFlow a la versión 2.18.x o superior.

Entorno del sistema

El entorno del sistema en Databricks Runtime 16.2 ML difiere de Databricks Runtime 16.2 de la siguiente manera.

  • En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Libraries

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 16.2 ML que difieren de las incluidas en Databricks Runtime 16.2.

En esta sección:

Bibliotecas de nivel superior

Databricks Runtime 16.2 ML incluye las siguientes bibliotecas de nivel superior:

Bibliotecas de Python

Databricks Runtime 16.2 ML usa virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 16.2 ML también incluye los siguientes paquetes:

  • hyperopt 0.2.8+db1
  • automl 1.30.0

Para reproducir el entorno de Python de Ml en tiempo de ejecución de Databricks en el entorno virtual local de Python, descargue el archivo requirements-16.2.txt y ejecute pip install -r requirements-16.2.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas que desarrolla Databricks, como databricks-automl, databricks-feature-engineering o la bifurcación de Databricks de hyperopt.

Bibliotecas de Python en clústeres de CPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 1.2.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alambique 1.14.0
tipos anotados 0.7.0 anyio 4.2.0 argcomplete 3.5.3
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 flecha 1.2.3
Astor 0.8.1 "asttokens" 2.0.5 astunparse 1.6.3
async-lru 2.0.4 atributos 23.1.0 Audioread 3.0.1
autocomando 2.2.2 azure-core 1.32.0 azure-cosmos 4.3.1
azure-identity 1.19.0 azure-storage-blob 12.23.0 Servicio de Azure Storage File Data Lake 12.17.0
Babel 2.11.0 Backoff 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 negro 24.4.2
blanquear 4.1.0 intermitente 1.7.0 felicidad 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools 5.3.3 catálogo 2.0.10 codificadores de categorías 2.6.3
certifi 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 circuitbreaker 2.0.0 Haz clic 8.1.7
cloudpathlib 0.20.0 cloudpickle 2.2.1 cmdstanpy 1.2.5
de color 0.5.6 colorlog 6.9.0 Comm 0.2.1
compositor 0.28.0 confitería 0.1.5 configparser 5.2.0
contourpy 1.2.0 coolname 2.2.0 criptografía 42.0.5
ciclista 0.11.0 cymem 2.0.11 Cython 3.0.11
dacita 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.8.0
SDK de Databricks 0.30.0 conjuntos de datos 3.2.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 decorador 5.1.1
deepspeed 0.16.2 defusedxml 0.7.1 Deprecated 1.2.15
eneldo 0.3.8 distlib 0.3.8 dm-tree 0.1.8
Conversión de docstring a markdown 0.11 einops 0.8.0 puntos de entrada 0.4
evaluar 0.4.3 Ejecutar 0.8.3 visión general de las facetas 1.1.1
Farama-Notifications 0.0.4 fastjsonschema 2.21.1 fasttext-wheel 0.9.2
bloqueo de archivos 3.13.1 Matraz 2.2.5 flatbuffers 24.12.23
fonttools 4.51.0 Fqdn 1.5.1 frozenlist 1.4.0
fsspec 2023.5.0 futuro 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google Autenticación 2.21.0 google-auth-oauthlib 1.2.1 google-cloud-core 2.4.1
Google Cloud Storage (almacenamiento en la nube de Google) 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
google-resumable-media (medios reanudables de Google) 2.7.2 googleapis-common-protos 1.66.0 gql 3.5.0
graphql-core 3.2.4 Greenlet 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gimnasio 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 vacaciones 0.54 htmlmin 0.1.12
httpcore 1.0.7 httplib2 0.20.4 httpx 0.28.1
huggingface-hub 0.27.1 idna 3.7 Hash de imagen 4.3.1
imageio 2.33.1 aprendizaje con datos desequilibrados 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.5.2 declinar 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 isoduration 20.11.0
Es peligroso 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 jiter 0.8.2 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 jupyter-events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.8.0 kiwisolver 1.4.4
langchain 0.3.14 langchain-core 0.3.30 langchain-text-splitters 0.3.5
códigos de idioma 3.5.0 langsmith 0.1.133 language_data 1.3.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0.4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 utilidades lightning-utilities 0.11.9 linkify:it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Descuento 3.4.1 markdown:it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.15.0 Mal sintonizado 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.10.0 mpmath 1.3.0 msal 1.31.1
msal-extensions 1.2.0 msgpack 1.1.0 Multidic 6.0.4
multimétodo 1.12 Multiproceso 0.70.16 murmurhash 1.0.12
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 ninja 1.11.1.1
NLTK 3.8.1 nodeenv 1.9.1 notebook 7.0.8
notebook_shim 0.2.3 entumecida 0.59.1 numpy 1.26.4
oauthlib 3.2.0 oci 2.142.0 openai 1.59.6
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.29.0
opentelemetry-sdk 1.29.0 opentelemetry-semantic-conventions 0,50b0 opt_einsum 3.4.0
optree 0.14.0 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.14 Reemplaza 7.4.0 embalaje 24.1
Pandas 1.5.3 PandocFiltros 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 chivo expiatorio 0.5.6
pexpect 4.8.0 phik 0.12.4 almohada 10.3.0
pepita 24.2 platformdirs 3.10.0 trazado 5.22.0
pluggy 1.0.0 pmdarima 2.0.4 chucho 1.8.2
portalocker 2.10.1 preshed 3.0.9 Cliente-Prometeo 0.14.1
prompt-toolkit 3.0.43 profeta 1.1.5 proto-plus 1.25.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 pyccolo 0.0.65
pycparser 2.21 pydantic 2.8.2 pydantic_core 2.20.1
pyflakes 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing 3.0.9 pyright 1.1.294
pytesseract 0.3.10 Python-dateutil 2.9.0.post0 editor de Python 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.10.0
python-snappy 0.6.1 configuración de herramienta Python 1.2.6 pytorch-ranger 0.1.1
pytz 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 questionary 2.1.0 raya 2.37.0
Referencia 0.30.2 regex 2023.10.3 solicitudes 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rico 13.3.5 cuerda 1.12.0
rpds-py 0.10.6 RSA 4,9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensors 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
biblioteca de visualización de datos de Python llamada seaborn 0.13.2 Send2Trash 1.8.2 transformadores de frases 3.3.1
frase 0.2.0 setuptools 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 six (seis) 1.16.0
segmentación 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 archivo de sonido 0.12.1 colador para sopa 2,5
soxr 0.5.0.post1 spaCy 3.7.5 spacy-legacy 3.0.12
espacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
En serio 2.5.1 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels (paquete de Python para análisis estadístico) 0.14.2 sympy 1.13.1
tabular 0.9.0 enredado-up-in-unicode 0.2.0 tenacidad 8.2.2
Tablero tensorizado 2.18.0 servidor-de-datos-de-tensorboard 0.7.2 tensorboard-plugin-profile 2.18.0
tensorboardX 2.6.2.2 tensorflow 2.18.0 Estimador de TensorFlow 2.15.0
termcolor 2.5.0 terminado 0.17.1 textual 1.0.0
tf_keras 2.18.0 thinc 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.21.0 tomli 2.0.1
antorcha 2.5.1+cpu optimizador de antorchas 0.3.0 torcheval 0.0.7
torchmetrics 1.6.0 antorcha 0.20.1+cpu tornado 6.4.1
tqdm 4.66.4 traitlets 5.14.3 Transformadores 4.48.0
typeguard 4.4.1 Typer 0.15.1 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
types-requests 2.31.0.0 types-setuptools 68.0.0.0 types-six 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 actualizaciones desatendidas 0.1 uri-template 1.3.0
urllib3 1.26.16 validadores 0.34.0 virtualenv 20.26.2
Visiones 0.7.5 wadllib 1.3.6 wasabi 1.1.3
wcwidth 0.2.5 comadreja 0.4.1 webcolores 24.11.1
codificaciones web 0.5.1 cliente de websocket 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 ¿Qué es el parche? 1.0.2 rueda 0.43.0
nube de palabras 1.9.4 envuelto 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
Yarl 1.9.3 ydata-profiling 4.9.0 zipp 3.17.0
zstd 1.5.5.1

Bibliotecas de Python en clústeres de GPU

Nota:

PyTorch usa las dependencias de PYPI de CUDA para proporcionar compatibilidad con CUDA en lugar de las versiones de biblioteca de CUDA integradas en Databricks Runtime 16.2 ML.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 1.2.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 tipos anotados 0.7.0
anyio 4.2.0 argcomplete 3.5.3 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.2.3 Astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-lru 2.0.4
atributos 23.1.0 Audioread 3.0.1 autocomando 2.2.2
azure-core 1.32.0 azure-cosmos 4.3.1 azure-identity 1.19.0
azure-storage-blob 12.23.0 Servicio de Azure Storage File Data Lake 12.17.0 Babel 2.11.0
Backoff 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 negro 24.4.2 blanquear 4.1.0
intermitente 1.7.0 felicidad 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools 5.3.3
catálogo 2.0.10 codificadores de categorías 2.6.3 certifi 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer 2.0.4
circuitbreaker 2.0.0 Haz clic 8.1.7 cloudpathlib 0.20.0
cloudpickle 2.2.1 cmdstanpy 1.2.5 de color 0.5.6
colorlog 6.9.0 Comm 0.2.1 compositor 0.28.0
confitería 0.1.5 configparser 5.2.0 contourpy 1.2.0
coolname 2.2.0 criptografía 42.0.5 ciclista 0.11.0
cymem 2.0.11 Cython 3.0.11 dacita 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.8.0 SDK de Databricks 0.30.0
conjuntos de datos 3.2.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 decorador 5.1.1 deepspeed 0.16.2
defusedxml 0.7.1 Deprecated 1.2.15 eneldo 0.3.8
distlib 0.3.8 dm-tree 0.1.8 Conversión de docstring a markdown 0.11
einops 0.8.0 puntos de entrada 0.4 evaluar 0.4.3
Ejecutar 0.8.3 visión general de las facetas 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.21.1 fasttext-wheel 0.9.2 bloqueo de archivos 3.13.1
flash-attn 2.7.2.post1 Matraz 2.2.5 flatbuffers 24.12.23
fonttools 4.51.0 Fqdn 1.5.1 frozenlist 1.4.0
fsspec 2023.5.0 futuro 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google Autenticación 2.21.0 google-auth-oauthlib 1.2.1 google-cloud-core 2.4.1
Google Cloud Storage (almacenamiento en la nube de Google) 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
google-resumable-media (medios reanudables de Google) 2.7.2 googleapis-common-protos 1.66.0 gql 3.5.0
graphql-core 3.2.4 Greenlet 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gimnasio 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 vacaciones 0.54 htmlmin 0.1.12
httpcore 1.0.7 httplib2 0.20.4 httpx 0.28.1
huggingface-hub 0.27.1 idna 3.7 Hash de imagen 4.3.1
imageio 2.33.1 aprendizaje con datos desequilibrados 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.5.2 declinar 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 isoduration 20.11.0
Es peligroso 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 jiter 0.8.2 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 jupyter-events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.8.0 kiwisolver 1.4.4
langchain 0.3.14 langchain-core 0.3.30 langchain-text-splitters 0.3.5
códigos de idioma 3.5.0 langsmith 0.1.133 language_data 1.3.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0.4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 utilidades lightning-utilities 0.11.9 linkify:it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Descuento 3.4.1 markdown:it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.15.0 Mal sintonizado 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.10.0 mpmath 1.3.0 msal 1.31.1
msal-extensions 1.2.0 msgpack 1.1.0 Multidic 6.0.4
multimétodo 1.12 Multiproceso 0.70.16 murmurhash 1.0.12
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 ninja 1.11.1.1
NLTK 3.8.1 nodeenv 1.9.1 notebook 7.0.8
notebook_shim 0.2.3 entumecida 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3
nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170
nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127
oauthlib 3.2.0 oci 2.142.0 openai 1.59.6
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.29.0
opentelemetry-sdk 1.29.0 opentelemetry-semantic-conventions 0,50b0 opt_einsum 3.4.0
optree 0.14.0 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.14 Reemplaza 7.4.0 embalaje 24.1
Pandas 1.5.3 PandocFiltros 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 chivo expiatorio 0.5.6
pexpect 4.8.0 phik 0.12.4 almohada 10.3.0
pepita 24.2 platformdirs 3.10.0 trazado 5.22.0
pluggy 1.0.0 pmdarima 2.0.4 chucho 1.8.2
portalocker 2.10.1 preshed 3.0.9 Cliente-Prometeo 0.14.1
prompt-toolkit 3.0.43 profeta 1.1.5 proto-plus 1.25.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 pyccolo 0.0.65
pycparser 2.21 pydantic 2.8.2 pydantic_core 2.20.1
pyflakes 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing 3.0.9 pyright 1.1.294
pytesseract 0.3.10 Python-dateutil 2.9.0.post0 editor de Python 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.10.0
python-snappy 0.6.1 configuración de herramienta Python 1.2.6 pytorch-ranger 0.1.1
pytz 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 questionary 2.1.0 raya 2.37.0
Referencia 0.30.2 regex 2023.10.3 solicitudes 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rico 13.3.5 cuerda 1.12.0
rpds-py 0.10.6 RSA 4,9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensors 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
biblioteca de visualización de datos de Python llamada seaborn 0.13.2 Send2Trash 1.8.2 transformadores de frases 3.3.1
frase 0.2.0 setuptools 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 six (seis) 1.16.0
segmentación 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 archivo de sonido 0.12.1 colador para sopa 2,5
soxr 0.5.0.post1 spaCy 3.7.5 spacy-legacy 3.0.12
espacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
En serio 2.5.1 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels (paquete de Python para análisis estadístico) 0.14.2 sympy 1.13.1
tabular 0.9.0 enredado-up-in-unicode 0.2.0 tenacidad 8.2.2
Tablero tensorizado 2.18.0 servidor-de-datos-de-tensorboard 0.7.2 tensorboard-plugin-profile 2.18.0
tensorboardX 2.6.2.2 tensorflow 2.18.0 Estimador de TensorFlow 2.15.0
termcolor 2.5.0 terminado 0.17.1 textual 1.0.0
tf_keras 2.18.0 thinc 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.21.0 tomli 2.0.1
antorcha 2.5.1+cu124 optimizador de antorchas 0.3.0 torcheval 0.0.7
torchmetrics 1.6.0 antorcha 0.20.1+cu124 tornado 6.4.1
tqdm 4.66.4 traitlets 5.14.3 Transformadores 4.48.0
Tritón 3.1.0 typeguard 4.4.1 Typer 0.15.1
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
uc-micro-py 1.0.1 ujson 5.10.0 actualizaciones desatendidas 0.1
uri-template 1.3.0 urllib3 1.26.16 validadores 0.34.0
virtualenv 20.26.2 Visiones 0.7.5 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.5 comadreja 0.4.1
webcolores 24.11.1 codificaciones web 0.5.1 cliente de websocket 1.8.0
websockets 11.0.3 Werkzeug 3.0.3 ¿Qué es el parche? 1.0.2
rueda 0.43.0 nube de palabras 1.9.4 envuelto 1.14.1
xgboost 2.0.3 xgboost-ray 0.1.19 xxhash 3.4.1
yapf 0.33.0 Yarl 1.9.3 ydata-profiling 4.9.0
zipp 3.17.0 zstd 1.5.5.1

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R en Databricks Runtime 16.2.

Bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 16.2, Databricks Runtime 16.2 ML contiene los siguientes JAR:

Clústeres de CPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clústeres de GPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on