Compartir por

Databricks Runtime 11.3 LTS para Machine Learning (EoS)

Nota:

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de fin de soporte técnico y finalización del ciclo de vida. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.

Databricks Runtime 11.3 LTS para aprendizaje automático ofrece un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 11.3 LTS (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Para obtener más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 11.3 LTS ML se basa en Databricks Runtime 11.3 LTS. Para obtener información sobre las novedades de Databricks Runtime 11.3 LTS, incluidas apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 11.3 LTS (EoS).

Mejoras en AutoML

AutoML ahora admite el uso de tablas de características del Almacén de características existentes en los experimentos de AutoML. Para obtener más información, consulte Integración del Almacén de características de AutoML.

Los cuadernos de prueba que genera AutoML ahora contienen fragmentos de código que permiten a los usuarios volver a ejecutar el ajuste de hiperparámetros.

AutoML ahora admite características de DecimalType.

Corrección de errores

Databricks Runtime 11.3 ML incluye una versión actualizada de sparkdl.xgboost. Las versiones anteriores de sparkdl.xgboost contienen errores corregidos en esta versión, por lo que Databricks recomienda que los usuarios de la biblioteca actualicen a Databricks Runtime 11.3 ML.

Preparación para futuras versiones

Una próxima versión de Databricks Runtime ML incluirá la versión 1.0 de sklearn. Visite la sklearn de a fin de obtener información sobre cómo prepararse para este cambio.

Databricks Runtime ML contiene dos paquetes openblas. El paquete /opt/OpenBLAS está en desuso en Databricks Runtime 11.3 ML y se quitará en una versión futura.

Entorno del sistema

El entorno del sistema en Databricks Runtime 11.3 LTS ML se diferencia del de Databricks Runtime 11.3 LTS en lo siguiente:

Databricks Runtime 11.3 ML incluye XGBoost 1.6.1, que no admite clústeres de GPU con capacidad de proceso 5.2 e inferiores.

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 11.3 LTS ML, que difieren de las incluidas en Databricks Runtime 11.3 LTS.

En esta sección:

Bibliotecas de nivel superior

Databricks Runtime 11.3 LTS ML incluye las siguientes bibliotecas de nivel superior:

bibliotecas de Python

Databricks Runtime 11.3 LTS ML usa Virtualenv para Python administración de paquetes e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 11.3 LTS ML también incluye los paquetes siguientes:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • feature_store 0.7.0
  • automl 1.13.2

Para reproducir el entorno de Databricks Runtime ML de Python en su entorno virtual de Python local, descargue el archivo requirements-11.3.txt y ejecute pip install -r requirements-11.3.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
astunparse 1.6.3 generador asíncrono 1.10 atributos 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 llamada de retorno 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 negro 22.3.0
blanquear 4.0.0 felicidad 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 catálogo 2.0.8
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 confitería 0.0.1 configparser 5.2.0
convertdate 2.4.0 criptografía 3.4.8 ciclista 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decorador 5.1.0 defusedxml 0.7.1
eneldo 0.3.4 diskcache 5.4.0 distlib 0.3.6
puntos de entrada 0,3 eméhem 4.1.3 visión general de las facetas 1.0.0
fasttext 0.9.2 bloqueo de archivos 3.3.1 Matraz 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 futuro 0.18.2
Gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
Google Autenticación 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 vacaciones 0,15
Horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 Hash de imagen 4.3.0 aprendizaje con datos desequilibrados 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
Es peligroso 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 Cliente Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
keras-preprocessing 1.1.2 kiwisolver 1.3.1 calendario lunar coreano 0.3.1
códigos de idioma 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Calendario Lunar 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 Mal sintonizado 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 multimétodo 1.9
murmurhash 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 NLTK 3.6.5 cuaderno 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 empaquetado 21,0 Pandas 1.3.4
generación de perfiles de pandas 3.1.0 PandocFiltros 1.4.3 paramiko 2.9.2
parso 0.8.2 pathspec 0.9.0 patía 0.6.2
chivo expiatorio 0.5.2 petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 pickleshare 0.7.5 Almohada 8.4.0
pepita 21.2.4 platformdirs 2.5.2 trazado 5.9.0
pmdarima 1.8.5 preshed 3.0.7 Cliente-Prometeo 0.11.0
prompt-toolkit 3.0.20 profeta 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.0 pycparser 2,20 pydantic 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.5.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
Python-dateutil 2.8.2 editor de Python 1.0.4 pytz 2021.3
PyWavelets 1.1.1 PyYAML 6,0 pyzmq 22.2.1
regex 2021.8.3 Solicitudes 2.26.0 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 RSA 4,9 s3transfer 0.5.2
scikit-learn 0.24.2 scipy 1.7.1 biblioteca de visualización de datos de Python llamada seaborn 0.11.3
Send2Trash 1.8.0 setuptools 58.0.4 setuptools-git 1.2
Shap 0.41.0 simplejson 3.17.6 seis 1.16.0
segmentador 0.0.7 smart-open 5.2.1 smmap 5.0.0
spaCy 3.4.1 spacy-legacy 3.0.10 espacy-loggers 1.0.3
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 En serio 2.4.4
ssh-import-id 5.10 statsmodels (paquete de Python para análisis estadístico) 0.12.2 tabular 0.8.9
enredado-up-in-unicode 0.1.0 tenacidad 8.0.1 Tablero tensorizado 2.9.1
servidor-de-datos-de-tensorboard 0.6.1 tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.9.1 Estimador de TensorFlow 2.9.0 tensorflow-io-gcs-filesystem 0.27.0
termcolor 2.0.1 terminado 0.9.4 ruta de prueba 0.5.0
thinc 8.1.2 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizadores 0.12.1 tomli 2.0.1 antorcha 1.12.1+cpu
antorcha 0.13.1+cpu tornado 6.1 tqdm 4.62.3
traitlets 5.1.0 Transformadores 4.21.2 Typer 0.4.2
extensiones de escritura 3.10.0.2 ujson 4.0.2 actualizaciones desatendidas 0,1
urllib3 1.26.7 virtualenv 20.8.0 Visiones 0.7.4
wasabi 0.10.1 wcwidth 0.2.5 codificaciones web 0.5.1
cliente de websocket 1.3.1 Werkzeug 2.0.2 rueda 0.37.0
widgetsnbextension 3.6.0 envuelto 1.12.1 xgboost 1.6.2
zipp 3.6.0

bibliotecas de Python en clústeres de GPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
astunparse 1.6.3 generador asíncrono 1.10 atributos 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 llamada de retorno 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 negro 22.3.0
blanquear 4.0.0 felicidad 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 catálogo 2.0.8
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 confitería 0.0.1 configparser 5.2.0
convertdate 2.4.0 criptografía 3.4.8 ciclista 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decorador 5.1.0 defusedxml 0.7.1
eneldo 0.3.4 diskcache 5.4.0 distlib 0.3.6
puntos de entrada 0,3 eméhem 4.1.3 visión general de las facetas 1.0.0
fasttext 0.9.2 bloqueo de archivos 3.3.1 Matraz 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 futuro 0.18.2
Gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
Google Autenticación 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 vacaciones 0,15
Horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 Hash de imagen 4.3.0 aprendizaje con datos desequilibrados 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
Es peligroso 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 Cliente Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
keras-preprocessing 1.1.2 kiwisolver 1.3.1 calendario lunar coreano 0.3.1
códigos de idioma 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Calendario Lunar 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 Mal sintonizado 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 multimétodo 1.9
murmurhash 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 NLTK 3.6.5 cuaderno 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 empaquetado 21,0 Pandas 1.3.4
generación de perfiles de pandas 3.1.0 PandocFiltros 1.4.3 paramiko 2.9.2
parso 0.8.2 pathspec 0.9.0 patía 0.6.2
chivo expiatorio 0.5.2 petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 pickleshare 0.7.5 Almohada 8.4.0
pepita 21.2.4 platformdirs 2.5.2 trazado 5.9.0
pmdarima 1.8.5 preshed 3.0.7 prompt-toolkit 3.0.20
profeta 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.0
pycparser 2,20 pydantic 1.9.2 Pygments 2.10.0
PyGObject 3.36.0 PyJWT 2.5.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 pystan 2.19.1.1 Python-dateutil 2.8.2
editor de Python 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6,0 pyzmq 22.2.1 regex 2021.8.3
Solicitudes 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
RSA 4,9 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 biblioteca de visualización de datos de Python llamada seaborn 0.11.3 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 Shap 0.41.0
simplejson 3.17.6 seis 1.16.0 segmentador 0.0.7
smart-open 5.2.1 smmap 5.0.0 spaCy 3.4.1
spacy-legacy 3.0.10 espacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 En serio 2.4.4 ssh-import-id 5.10
statsmodels (paquete de Python para análisis estadístico) 0.12.2 tabular 0.8.9 enredado-up-in-unicode 0.1.0
tenacidad 8.0.1 Tablero tensorizado 2.9.1 servidor-de-datos-de-tensorboard 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.9.1
Estimador de TensorFlow 2.9.0 tensorflow-io-gcs-filesystem 0.27.0 termcolor 2.0.1
terminado 0.9.4 ruta de prueba 0.5.0 thinc 8.1.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizadores 0.12.1
tomli 2.0.1 antorcha 1.12.1+cu113 antorcha 0.13.1+cu113
tornado 6.1 tqdm 4.62.3 traitlets 5.1.0
Transformadores 4.21.2 Typer 0.4.2 extensiones de escritura 3.10.0.2
ujson 4.0.2 actualizaciones desatendidas 0,1 urllib3 1.26.7
virtualenv 20.8.0 Visiones 0.7.4 wasabi 0.10.1
wcwidth 0.2.5 codificaciones web 0.5.1 cliente de websocket 1.3.1
Werkzeug 2.0.2 rueda 0.37.0 widgetsnbextension 3.6.0
envuelto 1.12.1 xgboost 1.6.2 zipp 3.6.0

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 11.3 LTS.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de Java y las bibliotecas de Scala en Databricks Runtime 11.3 LTS, Databricks Runtime 11.3 LTS ML contiene los siguientes JAR:

Clústeres de CPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clústeres de GPU

Identificador de grupo Identificador de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on