Compartir a través de


Databricks Runtime 14.2 para Machine Learning (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Databricks Runtime 14.2 para Machine Learning proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 14.2 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 14.2 ML se basa en Databricks Runtime 14.2. Para obtener información sobre las novedades de Databricks Runtime 14.2, incluidas apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 14.2 (EoS).

Entorno del sistema

El entorno del sistema de Databricks Runtime 14.2 ML se diferencia del de Databricks Runtime 14.2 en los siguientes aspectos:

Databricks Runtime 14.2 ML incluye XGBoost 1.7.6, que no admite clústeres de GPU con capacidad de proceso 5.2 ni versiones anteriores.

Bibliotecas

En las siguientes secciones, se enumeran las bibliotecas que se incluyen en Databricks Runtime 14.2 ML, que difieren de las que se incluyen en Databricks Runtime 14.2.

En esta sección:

Bibliotecas de nivel superior

Databricks Runtime 14.2 ML incluye las siguientes bibliotecas de nivel superior:

Bibliotecas de Python

Databricks Runtime 14.2 ML usa virtualenv para la administración de los paquetes de Python, e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las siguientes secciones, Databricks Runtime 14.2 ML también incluye estos paquetes:

  • hyperopt 0.2.7.db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

Para reproducir el entorno de Python de Databricks Runtime ML en el entorno virtual local de Python, descargue el archivo requirements-14.2.txt y ejecute pip install -r requirements-14.2.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas que desarrolla Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

Bibliotecas de Python en clústeres de CPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 directorios de aplicaciones 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
atributos 22.1.0 Audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 Servicio de Azure Storage File Data Lake 12.13.2
llamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
negro 22.6.0 blanquear 4.1.0 intermitente 1.4
felicidad 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catálogo 2.0.10 codificadores de categorías 2.6.2
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Comm 0.1.2
confitería 0.1.3 configparser 5.2.0 contourpy 1.0.5
criptografía 39.0.1 ciclista 0.11.0 cymem 2.0.8
Cython 0.29.32 dacita 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-feature-engineering (ingeniería de características) 0.1.2 databricks-feature-store 0.16.1
SDK de Databricks 0.1.6 dataclasses-json 0.6.1 conjuntos de datos 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador 5.1.1 velocidad profunda 0.11.1 defusedxml 0.7.1
eneldo 0.3.6 diskcache 5.6.3 distlib 0.3.7
Conversión de docstring a markdown 0,11 puntos de entrada 0,4 evaluar 0.4.1
Ejecutar 0.8.3 visión general de las facetas 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 bloqueo de archivos 3.9.0 Matraz 2.2.5
flatbuffers 23/05/26 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 futuro 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
Google Autenticación 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google Cloud Storage (almacenamiento en la nube de Google) 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media (medios reanudables de Google) 2.6.0 googleapis-common-protos 1.61.0 Greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
vacaciones 0,35 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
Hash de imagen 4.3.1 aprendizaje con datos desequilibrados 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
Es peligroso 2.0.1 Jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 llavero 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 códigos de idioma 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Descuento 3.4.1 MarkupSafe 2.1.1
malvavisco 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mal sintonizado 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 Multidic 6.0.4 multimétodo 1.10
Multiproceso 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1.1 NLTK 3.7 nodeenv 1.8.0
cuaderno 6.5.2 notebook_shim 0.2.2 entumecida 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 empaquetado 22,0 Pandas 1.5.3
PandocFiltros 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 patía 0.10.3 chivo expiatorio 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Almohada 9.4.0 pepita 22.3.1
platformdirs 2.5.2 trazado 5.9.0 pluggy 1.0.0
pmdarima 2.0.3 chucho 1.4.0 preshed 3.0.9
Cliente-Prometeo 0.14.1 prompt-toolkit 3.0.36 profeta 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 Python-dateutil 2.8.2 editor de Python 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0 configuración de herramienta Python 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 solicitudes 2.28.1
requests-oauthlib 1.3.1 respuestas 0.18.0 cuerda 1.7.0
RSA 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 biblioteca de visualización de datos de Python llamada seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformadores de frases 2.2.2
frase 0.1.99 setuptools 65.6.3 Shap 0.43.0
simplejson 3.17.6 six (seis) 1.16.0 segmentación 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
archivo de sonido 0.12.1 colador para sopa 2.3.2.post1 soxr 0.3.7
spaCy 3.7.1 spacy-legacy 3.0.12 espacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
En serio 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
estaño 0.3.0 statsmodels (paquete de Python para análisis estadístico) 0.13.5 Sintonía 1.11.1
tabular 0.8.10 enredado-up-in-unicode 0.2.0 tenacidad 8.1.0
Tablero tensorizado 2.14.0 servidor-de-datos-de-tensorboard 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 Estimador de TensorFlow 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.14.0 tomli 2.0.1
antorcha 2.0.1+cpu antorcha 0.15.2+cpu tornado 6.1
tqdm 4.64.1 traitlets 5.7.1 Transformadores 4.34.0
typeguard 2.13.3 Typer 0.9.0 inspección de escritura 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 actualizaciones desatendidas 0,1
urllib3 1.26.14 virtualenv 20.16.7 Visiones 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth 0.2.5
comadreja 0.3.3 codificaciones web 0.5.1 cliente de websocket 0.58.0
Werkzeug 2.2.2 ¿Qué es el parche? 1.0.2 rueda 0.38.4
widgetsnbextension 3.6.1 nube de palabras 1.9.2 envuelto 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
Yarl 1.9.2 ydata-profiling 4.2.0 zipp 3.11.0

Bibliotecas de Python en clústeres de GPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 directorios de aplicaciones 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
atributos 22.1.0 Audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 Servicio de Azure Storage File Data Lake 12.13.2
llamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
negro 22.6.0 blanquear 4.1.0 intermitente 1.4
felicidad 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catálogo 2.0.10 codificadores de categorías 2.6.2
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
Comm 0.1.2 confitería 0.1.3 configparser 5.2.0
contourpy 1.0.5 criptografía 39.0.1 ciclista 0.11.0
cymem 2.0.8 Cython 0.29.32 dacita 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-feature-engineering (ingeniería de características) 0.1.2
databricks-feature-store 0.16.1 SDK de Databricks 0.1.6 dataclasses-json 0.6.1
conjuntos de datos 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 velocidad profunda 0.11.1
defusedxml 0.7.1 eneldo 0.3.6 diskcache 5.6.3
distlib 0.3.7 Conversión de docstring a markdown 0,11 einops 0.7.0
puntos de entrada 0,4 evaluar 0.4.1 Ejecutar 0.8.3
visión general de las facetas 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
bloqueo de archivos 3.9.0 flash-attn 2.3.2 Matraz 2.2.5
flatbuffers 23/05/26 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 futuro 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
Google Autenticación 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google Cloud Storage (almacenamiento en la nube de Google) 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media (medios reanudables de Google) 2.6.0 googleapis-common-protos 1.61.0 Greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
vacaciones 0,35 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
Hash de imagen 4.3.1 aprendizaje con datos desequilibrados 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
Es peligroso 2.0.1 Jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 llavero 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 códigos de idioma 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 encendido 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Descuento 3.4.1
MarkupSafe 2.1.1 malvavisco 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mal sintonizado 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 Multidic 6.0.4
multimétodo 1.10 Multiproceso 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ninja 1.11.1.1 NLTK 3.7
nodeenv 1.8.0 cuaderno 6.5.2 notebook_shim 0.2.2
entumecida 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 empaquetado 22,0
Pandas 1.5.3 PandocFiltros 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 patía 0.10.3
chivo expiatorio 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Almohada 9.4.0
pepita 22.3.1 platformdirs 2.5.2 trazado 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 chucho 1.4.0
preshed 3.0.9 prompt-toolkit 3.0.36 profeta 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 Python-dateutil 2.8.2 editor de Python 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0 configuración de herramienta Python 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 solicitudes 2.28.1
requests-oauthlib 1.3.1 respuestas 0.18.0 cuerda 1.7.0
RSA 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 biblioteca de visualización de datos de Python llamada seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformadores de frases 2.2.2
frase 0.1.99 setuptools 65.6.3 Shap 0.43.0
simplejson 3.17.6 six (seis) 1.16.0 segmentación 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
archivo de sonido 0.12.1 colador para sopa 2.3.2.post1 soxr 0.3.7
spaCy 3.7.1 spacy-legacy 3.0.12 espacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
En serio 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
estaño 0.3.0 statsmodels (paquete de Python para análisis estadístico) 0.13.5 Sintonía 1.11.1
tabular 0.8.10 enredado-up-in-unicode 0.2.0 tenacidad 8.1.0
Tablero tensorizado 2.14.0 servidor-de-datos-de-tensorboard 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow 2.14.0 Estimador de TensorFlow 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.14.0 tomli 2.0.1
antorcha 2.0.1+cu118 antorcha 0.15.2+cu118 tornado 6.1
tqdm 4.64.1 traitlets 5.7.1 Transformadores 4.34.0
Tritón 2.0.0 typeguard 2.13.3 Typer 0.9.0
inspección de escritura 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
actualizaciones desatendidas 0,1 urllib3 1.26.14 virtualenv 20.16.7
Visiones 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 comadreja 0.3.3 codificaciones web 0.5.1
cliente de websocket 0.58.0 Werkzeug 2.2.2 ¿Qué es el parche? 1.0.2
rueda 0.38.4 widgetsnbextension 3.6.1 nube de palabras 1.9.2
envuelto 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 Yarl 1.9.2 ydata-profiling 4.2.0
zipp 3.11.0

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 14.2.

Bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala de Databricks Runtime 14.2, los siguientes archivos JAR también se incluyen en Databricks Runtime 14.2 ML:

Clústeres de CPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clústeres de GPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0