Comparteix via


Databricks Runtime 14.3 LTS para Machine Learning

Databricks Runtime 14.3 LTS para Machine Learning proporciona un entorno listo para usar, de aprendizaje automático y ciencia de datos, basado en Databricks Runtime 14.3 LTS. Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

Databricks Runtime 14.3 LTS ML se basa en Databricks Runtime 14.3 LTS. Para obtener información sobre las novedades de Databricks Runtime 14.3 LTS, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 14.3 LTS .

Entorno del sistema

El entorno del sistema en Databricks Runtime 14.3 LTS ML se diferencia del de Databricks Runtime 14.3 LTS en lo siguiente:

  • En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

Databricks Runtime 14.3 LTS ML incluye XGBoost 1.7.6, que no admite clústeres de GPU con capacidad de proceso 5.2 e inferiores.

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 14.3 LTS ML, que difieren de las incluidas en Databricks Runtime 14.3 LTS.

En esta sección:

Bibliotecas de nivel superior

Databricks Runtime 14.3 LTS ML incluye las siguientes bibliotecas de nivel superior:

Bibliotecas de Python

Databricks Runtime 14.3 LTS ML usa virtualenv para la administración de los paquetes de Python, e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 14.3 LTS ML también incluye los paquetes siguientes:

  • hyperopt 0.2.7.db4
  • sparkdl 3.0.0_db1
  • automl 1.24.0

Para reproducir el entorno de Python de Databricks Runtime ML en el entorno virtual local de Python, descargue el archivo requirements-14.3.txt y ejecute pip install -r requirements-14.3.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas que desarrolla Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

Bibliotecas de Python en clústeres de CPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 directorios de aplicaciones 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
atributos 22.1.0 Audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 Servicio de Azure Storage File Data Lake 12.14.0
llamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
negro 22.6.0 blanquear 4.1.0 intermitente 1.4
felicidad 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catálogo 2.0.10 codificadores de categorías 2.6.3
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Comm 0.1.2
confitería 0.1.4 configparser 5.2.0 contourpy 1.0.5
criptografía 39.0.1 ciclista 0.11.0 cymem 2.0.8
Cython 0.29.32 dacita 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-feature-engineering (ingeniería de características) 0.2.0 SDK de Databricks 0.1.6
dataclasses-json 0.6.3 conjuntos de datos 2.15.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorador 5.1.1
velocidad profunda 0.12.4 defusedxml 0.7.1 eneldo 0.3.6
diskcache 5.6.3 distlib 0.3.7 Conversión de docstring a markdown 0,11
puntos de entrada 0,4 evaluar 0.4.1 Ejecutar 0.8.3
visión general de las facetas 1.1.1 fastjsonschema 2.19.1 fasttext 0.9.2
bloqueo de archivos 3.9.0 Matraz 2.2.5 flatbuffers 23/05/26
fonttools 4.25.0 frozenlist 1.4.1 fsspec 2023.6.0
futuro 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 Google Autenticación 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google Cloud Storage (almacenamiento en la nube de Google) 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media (medios reanudables de Google) 2.7.0
googleapis-common-protos 1.62.0 Greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 vacaciones 0,38
Horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 idna 3.4 Hash de imagen 4.3.1
aprendizaje con datos desequilibrados 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 Es peligroso 2.0.1
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.14.0
llavero 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 códigos de idioma 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Descuento 3.4.1 MarkupSafe 2.1.1
malvavisco 3.20.2 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mal sintonizado 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.9.2 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 Multidic 6.0.4 multimétodo 1.10
Multiproceso 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1.1 NLTK 3.7 nodeenv 1.8.0
cuaderno 6.5.2 notebook_shim 0.2.2 entumecida 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 empaquetado 23,2 Pandas 1.5.3
PandocFiltros 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 chivo expiatorio 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Almohada 9.4.0 pepita 22.3.1 platformdirs 2.5.2
trazado 5.9.0 pluggy 1.0.0 pmdarima 2.0.4
chucho 1.4.0 preshed 3.0.9 Cliente-Prometeo 0.14.1
prompt-toolkit 3.0.36 profeta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 Python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0
configuración de herramienta Python 1.2.5 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
solicitudes 2.28.1 requests-oauthlib 1.3.1 respuestas 0.18.0
cuerda 1.7.0 RSA 4,9 s3transfer 0.6.2
safetensors 0.4.1 scikit-learn 1.1.1 scipy 1.10.0
biblioteca de visualización de datos de Python llamada seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frases 2.2.2 frase 0.1.99 setuptools 65.6.3
Shap 0.44.0 simplejson 3.17.6 six (seis) 1.16.0
segmentación 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 archivo de sonido 0.12.1 colador para sopa 2.3.2.post1
soxr 0.3.7 spaCy 3.7.2 spacy-legacy 3.0.12
espacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 En serio 2.4.8 ssh-import-id 5.11
stack-data 0.2.0 estaño 0.3.0 statsmodels (paquete de Python para análisis estadístico) 0.13.5
Sintonía 1.11.1 tabular 0.8.10 enredado-up-in-unicode 0.2.0
tenacidad 8.1.0 Tablero tensorizado 2.14.1 servidor-de-datos-de-tensorboard 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow-cpu 2.14.1 Estimador de TensorFlow 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizadores 0.15.0
tomli 2.0.1 antorcha 2.0.1+cpu antorcha 0.15.2+cpu
tornado 6.1 tqdm 4.64.1 traitlets 5.7.1
Transformadores 4.36.1 typeguard 2.13.3 Typer 0.9.0
inspección de escritura 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
actualizaciones desatendidas 0,1 urllib3 1.26.14 virtualenv 20.16.7
Visiones 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 comadreja 0.3.4 codificaciones web 0.5.1
cliente de websocket 0.58.0 Werkzeug 2.2.2 ¿Qué es el parche? 1.0.2
rueda 0.38.4 widgetsnbextension 3.6.1 nube de palabras 1.9.3
envuelto 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 Yarl 1.9.4 ydata-profiling 4.2.0
zipp 3.11.0

Bibliotecas de Python en clústeres de GPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 directorios de aplicaciones 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
atributos 22.1.0 Audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 Servicio de Azure Storage File Data Lake 12.14.0
llamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
negro 22.6.0 blanquear 4.1.0 intermitente 1.4
felicidad 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catálogo 2.0.10 codificadores de categorías 2.6.3
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.28.1 cmdstanpy 1.2.0
Comm 0.1.2 confitería 0.1.4 configparser 5.2.0
contourpy 1.0.5 criptografía 39.0.1 ciclista 0.11.0
cymem 2.0.8 Cython 0.29.32 dacita 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-feature-engineering (ingeniería de características) 0.2.0
SDK de Databricks 0.1.6 dataclasses-json 0.6.3 conjuntos de datos 2.15.0
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador 5.1.1 velocidad profunda 0.12.4 defusedxml 0.7.1
eneldo 0.3.6 diskcache 5.6.3 distlib 0.3.7
Conversión de docstring a markdown 0,11 einops 0.7.0 puntos de entrada 0,4
evaluar 0.4.1 Ejecutar 0.8.3 visión general de las facetas 1.1.1
fastjsonschema 2.19.1 fasttext 0.9.2 bloqueo de archivos 3.9.0
flash-attn 2.3.6 Matraz 2.2.5 flatbuffers 23/05/26
fonttools 4.25.0 frozenlist 1.4.1 fsspec 2023.6.0
futuro 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 Google Autenticación 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google Cloud Storage (almacenamiento en la nube de Google) 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media (medios reanudables de Google) 2.7.0
googleapis-common-protos 1.62.0 Greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 vacaciones 0,38
Horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 idna 3.4 Hash de imagen 4.3.1
aprendizaje con datos desequilibrados 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 Es peligroso 2.0.1
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.14.0
llavero 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 códigos de idioma 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 encendido 17.0.6 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Descuento 3.4.1
MarkupSafe 2.1.1 malvavisco 3.20.2 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mal sintonizado 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.9.2 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 Multidic 6.0.4
multimétodo 1.10 Multiproceso 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ninja 1.11.1.1 NLTK 3.7
nodeenv 1.8.0 cuaderno 6.5.2 notebook_shim 0.2.2
entumecida 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 empaquetado 23,2
Pandas 1.5.3 PandocFiltros 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 chivo expiatorio 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Almohada 9.4.0 pepita 22.3.1
platformdirs 2.5.2 trazado 5.9.0 pluggy 1.0.0
pmdarima 2.0.4 chucho 1.4.0 preshed 3.0.9
prompt-toolkit 3.0.36 profeta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 Python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0
configuración de herramienta Python 1.2.5 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
solicitudes 2.28.1 requests-oauthlib 1.3.1 respuestas 0.18.0
cuerda 1.7.0 RSA 4,9 s3transfer 0.6.2
safetensors 0.4.1 scikit-learn 1.1.1 scipy 1.10.0
biblioteca de visualización de datos de Python llamada seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frases 2.2.2 frase 0.1.99 setuptools 65.6.3
Shap 0.44.0 simplejson 3.17.6 six (seis) 1.16.0
segmentación 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 archivo de sonido 0.12.1 colador para sopa 2.3.2.post1
soxr 0.3.7 spaCy 3.7.2 spacy-legacy 3.0.12
espacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 En serio 2.4.8 ssh-import-id 5.11
stack-data 0.2.0 estaño 0.3.0 statsmodels (paquete de Python para análisis estadístico) 0.13.5
Sintonía 1.11.1 tabular 0.8.10 enredado-up-in-unicode 0.2.0
tenacidad 8.1.0 Tablero tensorizado 2.14.1 servidor-de-datos-de-tensorboard 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow 2.14.1 Estimador de TensorFlow 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizadores 0.15.0
tomli 2.0.1 antorcha 2.0.1+cu118 antorcha 0.15.2+cu118
tornado 6.1 tqdm 4.64.1 traitlets 5.7.1
Transformadores 4.36.1 Tritón 2.0.0 typeguard 2.13.3
Typer 0.9.0 inspección de escritura 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 actualizaciones desatendidas 0,1 urllib3 1.26.14
virtualenv 20.16.7 Visiones 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 comadreja 0.3.4
codificaciones web 0.5.1 cliente de websocket 0.58.0 Werkzeug 2.2.2
¿Qué es el parche? 1.0.2 rueda 0.38.4 widgetsnbextension 3.6.1
nube de palabras 1.9.3 envuelto 1.14.1 xgboost 1.7.6
xxhash 3.4.1 yapf 0.33.0 Yarl 1.9.4
ydata-profiling 4.2.0 zipp 3.11.0

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 14.3 LTS.

Bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala de Databricks Runtime 14.3 LTS, Databricks Runtime 14.3 LTS ML contiene los siguientes JAR:

Clústeres de CPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clústeres de GPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0