Databricks Runtime 15.1 para Machine Learning (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para a data de fim de suporte, consulte Fim de suporte e histórico de fim de vida útil. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

O Databricks Runtime 15.1 para Machine Learning fornece um ambiente pronto para utilização imediato em machine learning e ciência de dados baseado no Databricks Runtime 15.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Novos recursos e melhorias

O Databricks Runtime 15.1 ML é construído sobre o Databricks Runtime 15.1. Para obter informações sobre o que há de novo no Databricks Runtime 15.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.1 (EoS ).

Alterações disruptivas

A CLI do Databricks herdado não está mais instalada por padrão

No Databricks Runtime 14.3 LTS ML e inferior, como a versão pré-instalada do MLflow exigia a CLI do Databricks herdada, ela foi instalada automaticamente no $PATH. O Databricks Runtime 15.1 ML inclui o MLflow versão 2.10.2, que não requer a CLI herdada.

A partir do Databricks Runtime 15.1 ML, a interface de linha de comando (CLI) herdada do Databricks não é mais instalada automaticamente no $PATH. Esta é uma alteração importante para utilizadores que dependem da CLI herdada instalada no ambiente de execução. Comandos como %sh databricks ... não funcionam mais no Databricks Runtime 15.1 ML e superior.

Para continuar a usar a CLI Databricks legado de um notebook, instale-a como uma biblioteca de cluster ou notebook. A nova CLI do Databricks está disponível no terminal web. Para obter mais informações, consulte Utilizar terminais Web e a CLI do Databricks.

MLeap não está mais disponível a partir do Databricks Runtime 15.1 ML

O MLeap não está mais disponível no Databricks Runtime 15.1 ML e superior. Para empacotar modelos para implantação em estruturas baseadas em JVM, o Databricks recomenda o uso do formato ONNX.

Descontinuação de Horovod e HorovodRunner

Horovod e HorovodRunner estão agora obsoletos. Para aprendizagem profunda distribuída, a Databricks recomenda o uso do TorchDistributor para treinamento distribuído com o PyTorch ou a API para treinamento distribuído com o tf.distribute.Strategy TensorFlow. Horovod e HorovodRunner são pré-instalados no Databricks Runtime 15.1 ML, mas serão removidos na próxima versão principal do Databricks Runtime ML.

Nota

horovod.spark não suporta pyarrow versões 11.0 e superiores (ver relevante GitHub Issue). Databricks Runtime 15.1 ML inclui pyarrow versão 14.0.1. Para usar horovod.spark com o Databricks Runtime 15.1 ML ou superior, você deve instalar manualmente o pyarrow, especificando uma versão abaixo de 11.0.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.1 ML difere do Databricks Runtime 15.1 da seguinte maneira:

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 12,1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.1 ML que diferem daquelas incluídas no Databricks Runtime 15.1.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 15.1 ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas Python

O Databricks Runtime 15.1 ML utiliza virtualenv para gestão de Python pacotes e inclui muitos pacotes populares de ML.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.1 ML também inclui os seguintes pacotes:

  • Hiperopt 0.2.7+DB4
  • Sparkdl 3.0.0_db1
  • AutoML 1.25.0 |

Para reproduzir o ambiente Databricks Runtime ML Python no seu ambiente virtual Python local, descarregue o ficheiro requirements-15.1.txt e execute pip install -r requirements-15.1.txt. Este comando instala todas as bibliotecas open source que o Databricks Runtime ML utiliza, mas não instala as bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork Databricks de hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.25.0 AIOHTTP 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 Anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.2
ATRs 22.1.0 audioread 3.0.1 azure-core 1.30.1
Azure-Cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake 12.14.0
Backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
preto 23.3.0 lixívia 4.1.0 abençoado 1.20.0
pisca 1.4 Blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Ferramentas de cache 5.3.3 catálogo 2.0.10
codificadores de categorias 2.6.3 certifi 2023.7.22 cffi 1.15.1
chardet 4.0.0 Normalizador de Charset 2.0.4 clicar 8.0.4
CloudPathlib 0.16.0 Cloudpickle 2.2.1 cmdstanpy 1.2.1
colorido 0.5.6 Comunicação 0.1.2 Confeção 0.1.4
ConfigParser 5.2.0 ContourPy 1.0.5 criptografia 41.0.3
ciclador 0.11.0 cymem 2.0.8 Cython 0.29.32
dacite 1.8.1 databricks-automl-runtime 0.2.21 Databricks-Feature-Engineering 0.3.0
Databricks-SDK 0.20.0 DataClasses-JSON 0.6.4 conjuntos de dados 2.16.1
DBL-TEMPO 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador 5.1.1 Deepspeed 0.13.1 defusedxml 0.7.1
endro 0.3.6 cache de disco 5.6.3 Distlib 0.3.8
dm-árvore 0.1.8 pontos de entrada 0.4 avaliar 0.4.1
executando 0.8.3 facetas-visão geral 1.1.1 Farama-Notificações 0.0.4
fastjsonschema 2.19.1 texto rápido 0.9.2 bloqueio de ficheiro 3.9.0
Flask 2.2.5 flatbuffers 23.5.26 Fonttools 4.25.0
Frozenlist 1.3.3 fsspec 2023.5.0 Futuro 0.18.3
gast 0.4.0 GitDB 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 Google-Auth 2.21.0 google-auth-oauthlib 1.0.0
google-nuvem-core 2.4.1 Google Cloud Storage 2.11.0 Google-CRC32C 1.5.0
google-pasta 0.2.0 google-recomeçável-mídia 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 Greenlet 2.0.1 Grpcio 1.60.0
grpcio-status 1.60.0 Gunicorn 20.1.0 GVIZ-API 1.10.0
ginásio 0.28.1 h11 0.14.0 H5PY 3.9.0
hjson 3.1.0 feriados 0,38 Horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.20.2 idna 3.4
ImageHash 4.3.1 imageio 2.31.1 aprendizagem desequilibrada 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.1.2 ipyflow-core 0.0.198
Ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 Isodato 0.6.1 é perigoso 2.0.1
Jax-Jumpy 1.0.0 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 Joblib 1.2.0
Joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-servidor 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 3.0.5
keras 2.15.0 porta-chaves 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain-comunidade 0.0.20 langchain-núcleo 0.1.23
códigos de idioma 3.3.0 Langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.2
libclang 16.0.6 librosa 0.10.1 LightGBM 4.2.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 Marshmallow 3.21.1 matplotlib 3.7.2
matplotlib-inline 0.1.6 Mdurl 0.1.0 Mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 more-itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 Multidict 6.0.2
(multimétodo) 1.11.2 multiprocesso 0.70.14 Murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 ninja 1.11.1.1 NLTK 3.8.1
bloco de notas 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-ml-py 12.535.133 OAuthlib 3.2.0
openai 1.9.0 OpenCensus 0.11.4 OpenCensus Context 0.1.3
opt-einsum 3.3.0 embalagem 23.2 pandas 1.5.3
PandocFilters 1.5.0 Paramiko 2.9.2 Parso 0.8.3
PathSpec 0.10.3 ingénuo 0.5.3 petastorm 0.12.1
pexpect 4.8.0 Phik 0.12.4 pickleshare 0.7.5
Travesseiro 9.4.0 pip 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 PMDARIMA 2.0.4 cachorrinho 1.8.1
Preshed 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
profeta 1.1.5 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-módulos 0.2.8
Pybind11 2.11.1 Pyccolo 0.0.52 pycparser 2.21
Pidântico 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
Pyodbc 4.0.38 pyparsing 3.0.9 pyrsistent 0.18.0
Pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 Pyzmq 23.2.0 raio 2.9.3
regex 2022.7.9 pedidos 2.31.0 requests-oauthlib 1.3.1
Respostas 0.13.3 rico 13.7.1 RSA 4,9
s3transfer 0.10.0 safetensors 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
Armazenamento Secreto 3.3.1 Send2Trash 1.8.0 transformadores de sentenças 2.2.2
Peça de frase 0.1.99 setuptools 68.0.0 SHAP 0.44.0
simplejson 3.17.6 seis 1.16.0 fatiador 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
arquivo de som 0.12.1 Soupsieve 2.4 soxr 0.3.7
espaçado 3.7.2 Spacy-legado 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 SQLPARSE 0.4.2
SRSLY 2.4.8 ssh-import-id 5.11 dados de estrutura de pilha 0.2.0
Estanio 0.3.0 statsmodels 0.14.0 Sympy 1.11.1
emaranhado no Unicode 0.2.0 tenacidade 8.2.2 TensorBoard 2.15.1
Tensorboard-Data-Server 0.7.2 TensorBoard-Plugin-Profile 2.15.0 tensorboardX 2.6.2.2
TensorFlow-CPU 2.15.0 TensorFlow-Estimador 2.15.0 TensorFlow-IO-GCS-FileSystem 0.36.0
Termcolor 2.4.0 terminado 0.17.1 fino 8.2.3
ThreadPoolCtl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizadores 0.15.0
tocha 2.1.2+CPU Torcheval 0.0.7 Torchvision 0.16.2+cpu
tornado 6.3.2 TQDM 4.65.0 traitlets 5.7.1
transformadores 4.36.2 Protetor de Tipografia 2.13.3 digitador 0.9.0
inspeção de digitação 0.9.0 typing_extensions 4.7.1 tzdata 2022.1
Ujson 5.4.0 Atualizações automáticas 0.1 urllib3 1.26.16
virtualenv 20.21.0 visões 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 wcwidth 0.2.5 doninha 0.3.4
WebEncodings 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.2.3
wheel 0.38.4 widgetsnbextension 4.0.5 nuvem de palavras 1.9.3
embrulhado 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 zipp 3.11.0

Bibliotecas Python em clusters de GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.25.0 AIOHTTP 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 Anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.2
ATRs 22.1.0 audioread 3.0.1 azure-core 1.30.1
Azure-Cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake 12.14.0
Backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
preto 23.3.0 lixívia 4.1.0 abençoado 1.20.0
pisca 1.4 Blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Ferramentas de cache 5.3.3 catálogo 2.0.10
codificadores de categorias 2.6.3 certifi 2023.7.22 cffi 1.15.1
chardet 4.0.0 Normalizador de Charset 2.0.4 clicar 8.0.4
CloudPathlib 0.16.0 Cloudpickle 2.2.1 cmdstanpy 1.2.1
colorido 0.5.6 Comunicação 0.1.2 Confeção 0.1.4
ConfigParser 5.2.0 ContourPy 1.0.5 criptografia 41.0.3
ciclador 0.11.0 cymem 2.0.8 Cython 0.29.32
dacite 1.8.1 databricks-automl-runtime 0.2.21 Databricks-Feature-Engineering 0.3.0
Databricks-SDK 0.20.0 DataClasses-JSON 0.6.4 conjuntos de dados 2.16.1
DBL-TEMPO 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador 5.1.1 Deepspeed 0.13.1 defusedxml 0.7.1
endro 0.3.6 cache de disco 5.6.3 Distlib 0.3.8
dm-árvore 0.1.8 einops 0.7.0 pontos de entrada 0.4
avaliar 0.4.1 executando 0.8.3 facetas-visão geral 1.1.1
Farama-Notificações 0.0.4 fastjsonschema 2.19.1 texto rápido 0.9.2
bloqueio de ficheiro 3.9.0 flash-attn 2.5.0 Flask 2.2.5
flatbuffers 23.5.26 Fonttools 4.25.0 Frozenlist 1.3.3
fsspec 2023.5.0 Futuro 0.18.3 gast 0.4.0
GitDB 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
Google-Auth 2.21.0 google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1
Google Cloud Storage 2.11.0 Google-CRC32C 1.5.0 google-pasta 0.2.0
google-recomeçável-mídia 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
Greenlet 2.0.1 Grpcio 1.60.0 grpcio-status 1.60.0
Gunicorn 20.1.0 GVIZ-API 1.10.0 ginásio 0.28.1
h11 0.14.0 H5PY 3.9.0 hjson 3.1.0
feriados 0,38 Horovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
huggingface-hub 0.20.2 idna 3.4 ImageHash 4.3.1
imageio 2.31.1 aprendizagem desequilibrada 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.1.2 ipyflow-core 0.0.198 Ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
Isodato 0.6.1 é perigoso 2.0.1 Jax-Jumpy 1.0.0
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 Joblib 1.2.0 Joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2.4 jsonschema 4.17.3
jupyter-servidor 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 3.0.5 keras 2.15.0
porta-chaves 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain-comunidade 0.0.20 langchain-núcleo 0.1.23 códigos de idioma 3.3.0
Langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 16.0.6
librosa 0.10.1 LightGBM 4.2.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
Marshmallow 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
Mdurl 0.1.0 Mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 more-itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 Multidict 6.0.2 (multimétodo) 1.11.2
multiprocesso 0.70.14 Murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
ninja 1.11.1.1 NLTK 3.8.1 bloco de notas 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-ml-py 12.535.133 OAuthlib 3.2.0 openai 1.9.0
OpenCensus 0.11.4 OpenCensus Context 0.1.3 opt-einsum 3.3.0
embalagem 23.2 pandas 1.5.3 PandocFilters 1.5.0
Paramiko 2.9.2 Parso 0.8.3 PathSpec 0.10.3
ingénuo 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.4 pickleshare 0.7.5 Travesseiro 9.4.0
pip 23.2.1 plataformadirs 3.10.0 enredo 5.9.0
PMDARIMA 2.0.4 cachorrinho 1.8.1 Preshed 3.0.9
prompt-toolkit 3.0.36 profeta 1.1.5 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-módulos 0.2.8 Pybind11 2.11.1 Pyccolo 0.0.52
pycparser 2.21 Pidântico 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 Pyodbc 4.0.38 pyparsing 3.0.9
pyrsistent 0.18.0 Pytesseract 0.3.10 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 Pyzmq 23.2.0
raio 2.9.3 regex 2022.7.9 pedidos 2.31.0
requests-oauthlib 1.3.1 Respostas 0.13.3 rico 13.7.1
RSA 4,9 s3transfer 0.10.0 safetensors 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy 1.11.1
seaborn 0.12.2 Armazenamento Secreto 3.3.1 Send2Trash 1.8.0
transformadores de sentenças 2.2.2 Peça de frase 0.1.99 setuptools 68.0.0
SHAP 0.44.0 simplejson 3.17.6 seis 1.16.0
fatiador 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 arquivo de som 0.12.1 Soupsieve 2.4
soxr 0.3.7 espaçado 3.7.2 Spacy-legado 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
SQLPARSE 0.4.2 SRSLY 2.4.8 ssh-import-id 5.11
dados de estrutura de pilha 0.2.0 Estanio 0.3.0 statsmodels 0.14.0
Sympy 1.11.1 emaranhado no Unicode 0.2.0 tenacidade 8.2.2
TensorBoard 2.15.1 Tensorboard-Data-Server 0.7.2 TensorBoard-Plugin-Profile 2.15.0
tensorboardX 2.6.2.2 TensorFlow 2.15.0 TensorFlow-Estimador 2.15.0
TensorFlow-IO-GCS-FileSystem 0.36.0 Termcolor 2.4.0 terminado 0.17.1
fino 8.2.3 ThreadPoolCtl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizadores 0.15.0 tocha 2.1.2+cu121 Torcheval 0.0.7
Torchvision 0.16.2+CU121 tornado 6.3.2 TQDM 4.65.0
traitlets 5.7.1 transformadores 4.36.2 Tritão 2.1.0
Protetor de Tipografia 2.13.3 digitador 0.9.0 inspeção de digitação 0.9.0
typing_extensions 4.7.1 tzdata 2022.1 Ujson 5.4.0
Atualizações automáticas 0.1 urllib3 1.26.16 virtualenv 20.21.0
visões 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 doninha 0.3.4 WebEncodings 0.5.1
Websocket-cliente 0.58.0 Werkzeug 2.2.3 wheel 0.38.4
widgetsnbextension 4.0.5 nuvem de palavras 1.9.3 embrulhado 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profiling 4.5.1 zipp 3.11.0

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.1.

Bibliotecas Java e Scala (cluster Scala 2.12)

Para além das bibliotecas Java e Scala no Databricks Runtime 15.1, o Databricks Runtime 15.1 ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2,12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-DB2-Spark3.4
org.mlflow mlflow-cliente 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2,12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-DB2-Spark3.4
org.mlflow mlflow-cliente 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on