Databricks Runtime 11.1 para Machine Learning (EoS)

Nota:

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de fin de soporte técnico y finalización del ciclo de vida. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.

Databricks Runtime 11.1 para aprendizaje automático proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 11.1 (EoS). Databricks Runtime ML contiene muchas bibliotecas de aprendizaje automático populares, como TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 11.1 ML se basa en Databricks Runtime 11.1. Para obtener información sobre las novedades de Databricks Runtime 11.1, incluidas apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 11.1 (EoS).

Mejoras en AutoML

Se han realizado las siguientes mejoras en AutoML.

  • Cuando AutoML detecta que un problema de clasificación es binario, calcula las métricas de clasificación binaria e deduce la clase positiva del problema. También puede especificar la clase positiva mediante un nuevo parámetro pos_label. Para obtener más información, consulte AutoML Python API reference.
  • Para los problemas de previsión, AutoML ahora puede controlar el escenario en el que el horizonte es largo en relación con el intervalo de tiempo de los datos de entrenamiento.

Mejoras en el Feature Store de Databricks

Se han realizado las siguientes mejoras en el Almacén de características de Databricks.

  • Ahora puede actualizar manualmente los orígenes de datos de una tabla de características mediante la API de Python del Almacén de características.

Entorno del sistema

El entorno del sistema de Databricks Runtime 11.1 ML se diferencia del de Databricks Runtime 11.1 en lo siguiente:

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 11.1 ML, que difieren de las incluidas en Databricks Runtime 11.1.

En esta sección:

Bibliotecas de nivel superior

Databricks Runtime 11.1 ML incluye las siguientes bibliotecas de nivel superior:

bibliotecas de Python

Databricks Runtime 11.1 ML usa Virtualenv para Python administración de paquetes e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 11.1 ML también incluye los siguientes:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature-store 0.5.0
  • automl 1.11.0

bibliotecas de Python en clústeres de CPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0
astor 0.8.1 astunparse 1.6.3 generador asíncrono 1.10
atributos 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
llamada de retorno 0.2.0 backports.entry-points-selectable 1.1.1 bcrypt 3.2.2
blanquear 4.0.0 felicidad 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 catálogo 2.0.7
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
normalizador de conjuntos de caracteres 2.0.4 Haz clic 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 configparser 5.2.0 convertirFecha 2.4.0
criptografía 3.4.8 ciclista 0.10.0 cymem 2.0.6
Cython 0.29.24 databricks-automl-runtime 0.2.9.1 databricks-cli 0.16.8
dbl-tempo 0.1.12 dbus-python 1.2.16 debugpy 1.4.1
decorador (en contexto técnico, "decorator" es un patrón de diseño) 5.1.0 defusedxml 0.7.1 dill 0.3.4
diskcache 5.4.0 distlib 0.3.4 distro-info 0.23ubuntu1
puntos de entrada 0,3 ephem 4.1.3 visión general de las facetas 1.0.0
fasttext 0.9.2 bloqueo de archivos 3.3.1 Flask 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 futuro 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 vacaciones 0.14.2
Horovod 0.24.3 htmlmin 0.1.12 plataforma Huggingface-hub 0.8.1
idna 3.2 Hash de imagen 4.2.1 imbalanced-learn 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
Es peligroso 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 Cliente Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
keras-preprocessing 1.1.2 kiwisolver 1.3.1 calendario lunar coreano 0.2.1
códigos de idioma 3.3.0 libclang 14.0.1 lightgbm 3.3.2
llvmlite 0.38.1 Calendario Lunar 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 mistune 0.8.4
mleap 0.20.0 mlflow-skinny 1.27.0 multimétodo 1.8
murmurhash 1.0.7 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2.6.3
NLTK 3.6.5 notebook 6.4.5 numba 0.55.2
numpy 1.20.3 oauthlib 3.2.0 opt-einsum 3.3.0
embalaje 21,0 Pandas 1.3.4 generación de perfiles de pandas 3.1.0
pandocfilters 1.4.3 paramiko 2.9.2 parso 0.8.2
patía 0.6.2 chivo expiatorio 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Almohada 8.4.0 pip 21.2.4 platformdirs 2.5.2
plotly 5.8.2 pmdarima 1.8.5 preshed 3.0.6
Cliente-Prometeo 0.11.0 prompt-toolkit 3.0.20 profeta 1.0.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.9.2 pycparser 2,20
pydantic (una biblioteca de validación de datos en Python) 1.8.2 Pygments 2.10.0 PyGObject 3.36.0
PyJWT 2.4.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2
editor de Python 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6,0 pyzmq 22.2.1 regex 2021.8.3
solicitudes 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.8 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 biblioteca de visualización de datos de Python llamada seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 shap 0.40.0
simplejson 3.17.6 seis 1.16.0 rebanador 0.0.7
smart-open 5.2.1 smmap 5.0.0 spacy 3.3.1
spacy-legacy 3.0.9 espacy-loggers 1.0.2 spark-tensorflow-distributor (distribuidor de TensorFlow para Spark) 1.0.0
sqlparse 0.4.2 srsly 2.4.3 ssh-import-id 5.10
statsmodels (paquete de Python para análisis estadístico) 0.12.2 tabulate 0.8.9 enredado-up-in-unicode 0.1.0
tenacidad 8.0.1 tensorboard 2.9.1 servidor-de-datos-de-tensorboard 0.6.1
Perfil de plugin de TensorBoard 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.9.1
Estimador de TensorFlow 2.9.0 tensorflow-io-gcs-filesystem 0.26.0 termcolor 1.1.0
terminado 0.9.4 ruta de prueba 0.5.0 thinc 8.0.17
threadpoolctl 2.2.0 tokenizers 0.12.1 antorcha 1.11.0+cpu
antorcha 0.12.0+cpu tornado 6.1 tqdm 4.62.3
traitlets 5.1.0 Transformadores 4.20.0 typer 0.4.2
extensiones de escritura 3.10.0.2 ujson 4.0.2 unattended-upgrades 0,1
urllib3 1.26.7 virtualenv 20.8.0 Visiones 0.7.4
wasabi 0.9.1 wcwidth 0.2.5 codificaciones web 0.5.1
cliente de websocket 1.3.1 Werkzeug 2.0.2 rueda 0.37.0
widgetsnbextension 3.6.0 envuelto 1.12.1 xgboost 1.5.2
zipp 3.6.0

bibliotecas de Python en clústeres de GPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0
astor 0.8.1 astunparse 1.6.3 generador asíncrono 1.10
atributos 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
llamada de retorno 0.2.0 backports.entry-points-selectable 1.1.1 bcrypt 3.2.2
blanquear 4.0.0 felicidad 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 catálogo 2.0.7
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
normalizador de conjuntos de caracteres 2.0.4 Haz clic 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 configparser 5.2.0 convertirFecha 2.4.0
criptografía 3.4.8 ciclista 0.10.0 cymem 2.0.6
Cython 0.29.24 databricks-automl-runtime 0.2.9.1 databricks-cli 0.16.8
dbl-tempo 0.1.12 dbus-python 1.2.16 debugpy 1.4.1
decorador (en contexto técnico, "decorator" es un patrón de diseño) 5.1.0 defusedxml 0.7.1 dill 0.3.4
diskcache 5.4.0 distlib 0.3.4 distro-info 0.23ubuntu1
puntos de entrada 0,3 ephem 4.1.3 visión general de las facetas 1.0.0
fasttext 0.9.2 bloqueo de archivos 3.3.1 Flask 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 futuro 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 vacaciones 0.14.2
Horovod 0.24.3 htmlmin 0.1.12 plataforma Huggingface-hub 0.8.1
idna 3.2 Hash de imagen 4.2.1 imbalanced-learn 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
Es peligroso 2.0.1 Jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 Cliente Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
keras-preprocessing 1.1.2 kiwisolver 1.3.1 calendario lunar coreano 0.2.1
códigos de idioma 3.3.0 libclang 14.0.1 lightgbm 3.3.2
llvmlite 0.38.1 Calendario Lunar 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 mistune 0.8.4
mleap 0.20.0 mlflow-skinny 1.27.0 multimétodo 1.8
murmurhash 1.0.7 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2.6.3
NLTK 3.6.5 notebook 6.4.5 numba 0.55.2
numpy 1.20.3 oauthlib 3.2.0 opt-einsum 3.3.0
embalaje 21,0 Pandas 1.3.4 generación de perfiles de pandas 3.1.0
pandocfilters 1.4.3 paramiko 2.9.2 parso 0.8.2
patía 0.6.2 chivo expiatorio 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Almohada 8.4.0 pip 21.2.4 platformdirs 2.5.2
plotly 5.8.2 pmdarima 1.8.5 preshed 3.0.6
prompt-toolkit 3.0.20 profeta 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.9.2 pycparser 2,20 pydantic (una biblioteca de validación de datos en Python) 1.8.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.4.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2 editor de Python 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6,0
pyzmq 22.2.1 regex 2021.8.3 solicitudes 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.8
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
biblioteca de visualización de datos de Python llamada seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
setuptools-git 1.2 shap 0.40.0 simplejson 3.17.6
seis 1.16.0 rebanador 0.0.7 smart-open 5.2.1
smmap 5.0.0 spacy 3.3.1 spacy-legacy 3.0.9
espacy-loggers 1.0.2 spark-tensorflow-distributor (distribuidor de TensorFlow para Spark) 1.0.0 sqlparse 0.4.2
srsly 2.4.3 ssh-import-id 5.10 statsmodels (paquete de Python para análisis estadístico) 0.12.2
tabulate 0.8.9 enredado-up-in-unicode 0.1.0 tenacidad 8.0.1
tensorboard 2.9.1 servidor-de-datos-de-tensorboard 0.6.1 Perfil de plugin de TensorBoard 2.8.0
tensorboard-plugin-wit 1.8.1 TensorFlow 2.9.1 Estimador de TensorFlow 2.9.0
tensorflow-io-gcs-filesystem 0.26.0 termcolor 1.1.0 terminado 0.9.4
ruta de prueba 0.5.0 thinc 8.0.17 threadpoolctl 2.2.0
tokenizers 0.12.1 antorcha 1.11.0+cu113 antorcha 0.12.0+cu113
tornado 6.1 tqdm 4.62.3 traitlets 5.1.0
Transformadores 4.20.0 typer 0.4.2 extensiones de escritura 3.10.0.2
ujson 4.0.2 unattended-upgrades 0,1 urllib3 1.26.7
virtualenv 20.8.0 Visiones 0.7.4 wasabi 0.9.1
wcwidth 0.2.5 codificaciones web 0.5.1 cliente de websocket 1.3.1
Werkzeug 2.0.2 rueda 0.37.0 widgetsnbextension 3.6.0
envuelto 1.12.1 xgboost 1.5.2 zipp 3.6.0

Paquetes de Spark que contienen módulos de Python

Paquete de Spark Módulo Python Versión
graphframes graphframes 0.8.2-db1-spark3.2

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 11.1.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 11.1, Databricks Runtime 11.1 ML contiene los siguientes JAR:

Clústeres de CPU

Identificador de grupo Id. de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.27.0
org.mlflow mlflow-spark 1.27.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clústeres de GPU

Identificador de grupo Id. de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.27.0
org.mlflow mlflow-spark 1.27.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on