Partilhar via


Databricks Runtime 12.0 para Aprendizado de Máquina (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

O Databricks Runtime 12.0 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 12.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 12.0 ML é construído sobre o Databricks Runtime 12.0. Para obter informações sobre o que há de novo no Databricks Runtime 12.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 12.0 (EoS ).

Melhorias no AutoML

  • Os modelos de previsão podem agora incluir opcionalmente feriados no país.
  • A previsão agora suporta frequências mensais, trimestrais e anuais.
  • O AutoML agora pode usar conjuntos de dados maiores para treinamento. O AutoML aloca automaticamente mais núcleos de CPU para grandes conjuntos de dados.

Para obter mais informações sobre AutoML, consulte O que é AutoML?.

MLflow 2,0

O Databricks Runtime 12.0 ML inclui o MLflow 2.0. O MLflow 2.0 baseia-se na sólida base de plataforma do MLflow e incorpora amplo feedback dos usuários para simplificar fluxos de trabalho de ciência de dados e fornecer ferramentas inovadoras e de primeira classe para MLOps. Os recursos e melhorias incluem extensões para MLflow Recipes (anteriormente MLflow Pipelines), como AutoML, ajuste de hiperparâmetros e suporte a classificação, bem como integrações modernizadas com o ecossistema de ML, uma interface do usuário de rastreamento de MLflow simplificada, uma atualização das APIs principais nos componentes da plataforma MLflow e muito mais. Para obter mais informações, consulte a documentação do MLflow 2.0 ou confira a postagem do blog.

scikit-learn 1.0

O Databricks Runtime ML 12.0 inclui a scikit-learn versão 1.0. Visite a scikit-learndocumentação para saber mais sobre as mudanças com esta versão scikit-learn.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 12.0 ML difere do Databricks Runtime 12.0 da seguinte maneira:

O Databricks Runtime 12.0 ML inclui o XGBoost 1.6.2, que não suporta clusters de GPU com capacidade de computação 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 12.0 ML que diferem daquelas incluídas no Databricks Runtime 12.0.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 12.0 ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas Python

O Databricks Runtime 12.0 ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 12.0 ML também inclui os seguintes pacotes:

  • hiperopt 0.2.7.db1
  • Faísca 2.3.0-DB3
  • AutoML 1.14.1 |

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-12.0.txt e execute pip install -r requirements-12.0.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 Argão2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
Astor 0.8.1 AstTokens 2.0.5 Astunparse 1.6.3
ATRs 21.4.0 azure-core 1.26.1 Azure-Cosmos 4.2.0
retorno de chamada 0.2.0 backports.pontos de entrada-selecionáveis 1.2.0 Cripta 3.2.0
BeautifulSoup4 4.11.1 preto 22.3.0 lixívia 4.1.0
Blis 0.7.9 Boto3 1.21.32 Botocore 1.24.32
Ferramentas de cache 4.2.2 catálogo 2.0.8 codificadores de categoria 2.5.1.post0
certifi 2021.10.8 CFFI 1.15.0 Chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Cloudpickle 2.0.0
CMDSTANPY 1.0.8 Confeção 0.0.3 ConfigParser 5.2.0
convertdate 2.4.0 criptografia 3.4.8 ciclador 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 a funcionalidade databricks-feature-store 0.8.0 DBL-TEMPO 0.1.12
dbus-python 1.2.16 depuração 1.5.1 decorador 5.1.1
DeUsedXML 0.7.1 endro 0.3.4 cache de disco 5.4.0
Distlib 0.3.6 pontos de entrada 0.4 Ephem 4.1.3
execução 0.8.3 facetas-visão geral 1.0.0 fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.16.2
texto rápido 0.9.2 bloqueio de ficheiro 3.6.0 Frasco 1.1.2
flatbuffers 22.10.26 Fonttools 4.25.0 FSspec 2022.2.0
Futuro 0.18.2 gast 0.4.0 GitDB 4.0.9
GitPython 3.1.27 Google-Auth 1.33.0 google-auth-oauthlib 0.4.6
google-massa 0.2.0 Grpcio 1.42.0 Gunicorn 20.1.0
GVIZ-API 1.10.0 H5PY 3.6.0 Hijri-Conversor 2.2.4
feriados 0,16 Horovod 0.25.0 htmlmin 0.1.12
Hugging Face Hub 0.11.0 IDNA 3.3 Hash de Imagem 4.3.1
aprendizagem desequilibrada 0.8.1 importlib-metadados 4.11.3 Ipykernel 6.15.3
IPython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 é perigoso 2.0.1 Jedi 0.18.1
Jinja2 2.11.3 JmesPath 0.10.0 Joblib 1.1.0
Joblibspark 0.5.0 jsonschema 4.4.0 Jupyter Client 6.1.12
jupyter_core 4.11.2 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
Keras 2.10.0 Pré-processamento de Keras 1.1.2 Kiwisolver 1.3.2
Calendário Lunar Coreano 0.3.1 códigos de língua 3.3.0 libclang 14.0.6
LightGBM 3.3.3 LLVMLITE 0.38.0 LunarCalendário 0.0.9
Mako 1.2.0 Markdown 3.3.4 Marcação Segura 2.0.1
Matplotlib 3.5.1 matplotlib-em linha 0.1.2 faltandonão 0.5.1
Mistune 0.8.4 PEAML 0.20.0 mlflow-magro 2.0.1
multimétodo 1.8 Murmurhash 1.0.9 mypy extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
Ninho-Asyncio 1.5.5 redex 2.7.1 NLTK 3.7
bloco de notas 6.4.8 Dormência 0.55.1 dormência 1.21.5
OAuthlib 3.2.0 opt-einsum 3.3.0 embalagem 21,3
pandas 1.4.2 criação de perfis de pandas 3.3.0 PandocFilters 1.5.0
Paramiko 2.9.2 Parso 0.8.3 PathSpec 0.9.0
Patia 0.6.1 vítima 0.5.2 petastorm 0.11.4
Espere 4.8.0 Phik 0.12.2 pickleshare 0.7.5
Almofada 9.0.1 pip (o gestor de pacotes do Python) 21.2.4 plataformadirs 2.5.4
enredo 5.6.0 PMDARIMA 2.0.1 Preshed 3.0.8
Prometheus-Cliente 0.13.1 kit de ferramentas de prompt 3.0.20 profeta 1.1.1
Protobuf 3.19.4 PSUTIL 5.8.0 PSYCOPG2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 Pyarrow 7.0.0
Piasn1 0.4.8 pyasn1-módulos 0.2.8 Pybind11 2.10.1
Pycparser 2.21 Pidântico 1.9.2 Pigmentos 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.11
PyNaCl 1.5.0 Pyodbc 4.0.32 Pyparsing 3.0.4
pirsistent 0.18.0 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 editor de Python 1.0.4
Pytz 2021.3 PyWavelets 1.3.0 PyYAML 6,0
Pyzmq 22.3.0 regex 15/03/2022 pedidos 2.27.1
pedidos-oauthlib 1.3.1 pedidos-unixsocket 0.2.0 RSA 4.7.2
s3transferência 0.5.0 scikit-learn (biblioteca de aprendizado de máquina em Python) 1.0.2 SciPy 1.7.3
nascido no mar 0.11.2 EnviarParaLixo 1.8.0 Ferramentas de configuração 61.2.0
setuptools-git 1.2 forma 0.41.0 simplejson 3.17.6
seis 1.16.0 fatiador 0.0.7 inteligente-aberto 5.1.0
smmap 5.0.0 Soupsieve 2.3.1 espaçoso 3.4.1
Spacy-legado 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distribuidor 1.0.0
SQLPARSE 0.4.2 a sério? 2.4.5 ssh-import-id 5.10
dados de pilha 0.2.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.13.2 tabularizar 0.8.9
emaranhado em Unicode 0.2.0 tenacidade 8.0.1 TensorBoard 2.10.0
Tensorboard-Data-Server 0.6.1 TensorBoard-plugin-profile 2.8.0 Tensorboard-plugin-wit 1.8.1
TensorFlow-CPU 2.10.0 TensorFlow-Estimador 2.10.0 TensorFlow-IO-GCS-FileSystem 0.28.0
Termcolor 2.1.1 terminado 0.13.1 caminho de teste 0.5.0
fino 8.1.5 ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1
tokenizadores 0.13.2 Tomli 1.2.2 tocha 1.12.1+CPU
Torchvision 0.13.1+CPU tornado 6.1 TQDM 4.64.0
traços 5.1.1 transformadores 4.23.1 digitador 0.4.2
typing_extensions (extensões de digitação) 4.1.1 Atualizações automáticas 0.1 urllib3 1.26.9
virtualenv 20.8.0 visões 0.7.5 Wasabi 0.10.1
wcwidth 0.2.5 WebEncodings 0.5.1 Websocket-cliente 0.58.0
Werkzeug 2.0.3 wheel 0.37.1 widgetsnbextension 3.6.1
embrulhado 1.12.1 zíper 3.7.0

Bibliotecas Python em clusters GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 Argão2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
Astor 0.8.1 AstTokens 2.0.5 Astunparse 1.6.3
ATRs 21.4.0 azure-core 1.26.1 Azure-Cosmos 4.2.0
retorno de chamada 0.2.0 backports.pontos de entrada-selecionáveis 1.2.0 Cripta 3.2.0
BeautifulSoup4 4.11.1 preto 22.3.0 lixívia 4.1.0
Blis 0.7.9 Boto3 1.21.32 Botocore 1.24.32
Ferramentas de cache 4.2.2 catálogo 2.0.8 codificadores de categoria 2.5.1.post0
certifi 2021.10.8 CFFI 1.15.0 Chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Cloudpickle 2.0.0
CMDSTANPY 1.0.8 Confeção 0.0.3 ConfigParser 5.2.0
convertdate 2.4.0 criptografia 3.4.8 ciclador 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 a funcionalidade databricks-feature-store 0.8.0 DBL-TEMPO 0.1.12
dbus-python 1.2.16 depuração 1.5.1 decorador 5.1.1
DeUsedXML 0.7.1 endro 0.3.4 cache de disco 5.4.0
Distlib 0.3.6 pontos de entrada 0.4 Ephem 4.1.3
execução 0.8.3 facetas-visão geral 1.0.0 fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.16.2
texto rápido 0.9.2 bloqueio de ficheiro 3.6.0 Frasco 1.1.2
flatbuffers 22.10.26 Fonttools 4.25.0 FSspec 2022.2.0
Futuro 0.18.2 gast 0.4.0 GitDB 4.0.9
GitPython 3.1.27 Google-Auth 1.33.0 google-auth-oauthlib 0.4.6
google-massa 0.2.0 Grpcio 1.42.0 Gunicorn 20.1.0
GVIZ-API 1.10.0 H5PY 3.6.0 Hijri-Conversor 2.2.4
feriados 0,16 Horovod 0.25.0 htmlmin 0.1.12
Hugging Face Hub 0.11.0 IDNA 3.3 Hash de Imagem 4.3.1
aprendizagem desequilibrada 0.8.1 importlib-metadados 4.11.3 Ipykernel 6.15.3
IPython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 é perigoso 2.0.1 Jedi 0.18.1
Jinja2 2.11.3 JmesPath 0.10.0 Joblib 1.1.0
Joblibspark 0.5.0 jsonschema 4.4.0 Jupyter Client 6.1.12
jupyter_core 4.11.2 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
Keras 2.10.0 Pré-processamento de Keras 1.1.2 Kiwisolver 1.3.2
Calendário Lunar Coreano 0.3.1 códigos de língua 3.3.0 libclang 14.0.6
LightGBM 3.3.3 LLVMLITE 0.38.0 LunarCalendário 0.0.9
Mako 1.2.0 Markdown 3.3.4 Marcação Segura 2.0.1
Matplotlib 3.5.1 matplotlib-em linha 0.1.2 faltandonão 0.5.1
Mistune 0.8.4 PEAML 0.20.0 mlflow-magro 2.0.1
multimétodo 1.8 Murmurhash 1.0.9 mypy extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
Ninho-Asyncio 1.5.5 redex 2.7.1 NLTK 3.7
bloco de notas 6.4.8 Dormência 0.55.1 dormência 1.21.5
OAuthlib 3.2.0 opt-einsum 3.3.0 embalagem 21,3
pandas 1.4.2 criação de perfis de pandas 3.3.0 PandocFilters 1.5.0
Paramiko 2.9.2 Parso 0.8.3 PathSpec 0.9.0
Patia 0.6.1 vítima 0.5.2 petastorm 0.11.4
Espere 4.8.0 Phik 0.12.2 pickleshare 0.7.5
Almofada 9.0.1 pip (o gestor de pacotes do Python) 21.2.4 plataformadirs 2.5.4
enredo 5.6.0 PMDARIMA 2.0.1 Preshed 3.0.8
kit de ferramentas de prompt 3.0.20 profeta 1.1.1 Protobuf 3.19.4
PSUTIL 5.8.0 PSYCOPG2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 Pyarrow 7.0.0 Piasn1 0.4.8
pyasn1-módulos 0.2.8 Pybind11 2.10.1 Pycparser 2.21
Pidântico 1.9.2 Pigmentos 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.11 PyNaCl 1.5.0
Pyodbc 4.0.32 Pyparsing 3.0.4 pirsistent 0.18.0
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 editor de Python 1.0.4 Pytz 2021.3
PyWavelets 1.3.0 PyYAML 6,0 Pyzmq 22.3.0
regex 15/03/2022 pedidos 2.27.1 pedidos-oauthlib 1.3.1
pedidos-unixsocket 0.2.0 RSA 4.7.2 s3transferência 0.5.0
scikit-learn (biblioteca de aprendizado de máquina em Python) 1.0.2 SciPy 1.7.3 nascido no mar 0.11.2
EnviarParaLixo 1.8.0 Ferramentas de configuração 61.2.0 setuptools-git 1.2
forma 0.41.0 simplejson 3.17.6 seis 1.16.0
fatiador 0.0.7 inteligente-aberto 5.1.0 smmap 5.0.0
Soupsieve 2.3.1 espaçoso 3.4.1 Spacy-legado 3.0.10
spacy-loggers 1.0.3 spark-tensorflow-distribuidor 1.0.0 SQLPARSE 0.4.2
a sério? 2.4.5 ssh-import-id 5.10 dados de pilha 0.2.0
statsmodels (uma biblioteca de Python para modelos estatísticos) 0.13.2 tabularizar 0.8.9 emaranhado em Unicode 0.2.0
tenacidade 8.0.1 TensorBoard 2.10.0 Tensorboard-Data-Server 0.6.1
TensorBoard-plugin-profile 2.8.0 Tensorboard-plugin-wit 1.8.1 TensorFlow 2.10.0
TensorFlow-Estimador 2.10.0 TensorFlow-IO-GCS-FileSystem 0.28.0 Termcolor 2.1.1
terminado 0.13.1 caminho de teste 0.5.0 fino 8.1.5
ThreadPoolCtl 2.2.0 tokenize-rt 4.2.1 tokenizadores 0.13.2
Tomli 1.2.2 tocha 1.12.1+CU113 Torchvision 0.13.1+CU113
tornado 6.1 TQDM 4.64.0 traços 5.1.1
transformadores 4.23.1 digitador 0.4.2 typing_extensions (extensões de digitação) 4.1.1
Atualizações automáticas 0.1 urllib3 1.26.9 virtualenv 20.8.0
visões 0.7.5 Wasabi 0.10.1 wcwidth 0.2.5
WebEncodings 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.0.3
wheel 0.37.1 widgetsnbextension 3.6.1 embrulhado 1.12.1
zíper 3.7.0

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 12.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 12.0, o Databricks Runtime 12.0 ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka akka-actor_2,12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 V0.20.0-DB1
ml.dmlc xgboost4j-spark_2,12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-DB1-Faísca3.2
org.mlflow mlflow cliente 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 (conector de Spark para TensorFlow versão 2.12) 1.15.0

Clusters de GPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka akka-actor_2,12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 V0.20.0-DB1
ml.dmlc xgboost4j-gpu_2,12 1.6.2
ml.dmlc xgboost4j-faísca-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-DB1-Faísca3.2
org.mlflow mlflow cliente 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 (conector de Spark para TensorFlow versão 2.12) 1.15.0