Databricks Runtime 15.3 para Machine Learning (EoS)

Observação

O suporte para esta versão do Databricks Runtime terminou. Para a data de fim de suporte, consulte Fim de suporte e histórico de fim de vida útil. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

O Databricks Runtime 15.3 for Machine Learning fornece um ambienteto-go pronto para machine learning e ciência de dados baseado no Databricks Runtime 15.3 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Novos recursos e melhorias

O Databricks Runtime 15.3 ML é construído sobre o Databricks Runtime 15.3. Para obter informações sobre o que há de novo no Databricks Runtime 15.3, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.3 (EoS ).

Divisões manuais de dados e pesos de amostra do AutoML

O AutoML agora oferece suporte a divisões manuais de dados, permitindo que você especifique conjuntos de dados de treino, validação e teste linha por linha para modelos de classificação e regressão. Consulte Dividir dados em conjuntos de treinamento, validação e teste.

O AutoML agora suporta pesos de amostra, permitindo ajustar a importância de cada linha durante o treinamento do modelo de regressão. Para mais informações, consulte os parâmetros de regressão para a API do AutoML Python.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.3 ML difere do Databricks Runtime 15.3 da seguinte maneira:

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 12,1
    • Cusolver 11.4.5.107-1
    • Cupti 12,1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.3 ML que diferem daquelas incluídas no Databricks Runtime 15.3.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 15.3 ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas Python

O Databricks Runtime 15.3 ML utiliza virtualenv para gestão de Python pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.3 ML também inclui os seguintes pacotes:

  • hiperopt 0.2.7+db3
  • Sparkdl 3.0.0_db1
  • AutoML 1.27.0 |

Para reproduzir o ambiente Databricks Runtime ML Python no seu ambiente virtual Python local, descarregue o ficheiro requirements-15.3.txt e execute pip install -r requirements-15.3.txt. Este comando instala todas as bibliotecas open source que o Databricks Runtime ML utiliza, mas não instala as bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineering, ou o fork Databricks de hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.30.1 AIOHTTP 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.2
ATRs 22.1.0 leitura de áudio 3.0.1 azure-core 1.30.1
Azure-Cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 Backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 preto 23.3.0 lixívia 4.1.0
piscas 1.4 Blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 Ferramentas de cache 5.3.3
catálogo 2.0.10 codificadores de categorias 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
Disjuntor 1.4.0 clicar 8.0.4 CloudPathlib 0.16.0
Cloudpickle 2.2.1 CMDSTANPY 1.2.2 colorido 0.5.6
comunicação 0.1.2 Confeção 0.1.4 ConfigParser 5.2.0
contorno 1.0.5 criptografia 41.0.3 ciclador 0.11.0
cymem 2.0.8 Cython 0.29.32 dacito 1.8.1
databricks-automl-runtime 0.2.21 Databricks-Feature-Engineering 0.5.0 Databricks-SDK 0.20.0
DataClasses-JSON 0.6.6 conjuntos de dados 2.19.1 DBL-TEMPO 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorador 5.1.1
DeepSpeed 0.14.0 defusedxml 0.7.1 aneto 0.3.6
cache de disco 5.6.3 Distlib 0.3.8 dm-árvore 0.1.8
pontos de entrada 0.4 avaliar 0.4.2 executando 0.8.3
facetas-visão geral 1.1.1 Farama-Notificações 0.0.4 fastjsonschema 2.19.1
texto rápido 0.9.2 bloqueio de ficheiro 3.13.4 Flask 2.2.5
flatbuffers 24.3.25 Fonttools 4.25.0 Frozenlist 1.3.3
fsspec 2023.5.0 Futuro 0.18.3 gast 0.4.0
GitDB 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
Google-Auth 2.21.0 google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1
google-nuvem-armazenamento 2.10.0 Google-CRC32C 1.5.0 google-massa 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 Greenlet 2.0.1
Grpcio 1.60.0 grpcio-status 1.60.0 Gunicorn 20.1.0
GVIZ-API 1.10.0 ginásio 0.28.1 h11 0.14.0
H5PY 3.10.0 HJSON 3.1.0 feriados 0,45
Horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.21.2
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
aprendizagem desequilibrada 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 Ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
é perigoso 2.0.1 Jax-Jumpy 1.0.0 Jedi 0.18.1
Jeepney (tipo de minibus) 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
Joblib 1.2.0 Joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 2.4 jsonschema 4.17.3 jupyter-servidor 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 Jupyterlab-Pygments 0.1.2
keras 3.1.1 porta-chaves 23.5.0 Kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-núcleo 0.1.52
"langchain-text-splitters" 0.0.2 códigos de idioma 3.4.0 Langsmith 0.1.63
dados_de_língua 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 15.0.6.1
librosa 0.10.1 LightGBM 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 Marisa-Trie 1.1.1 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 Espuma 3.21.2
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
Mdurl 0.1.0 Memray 1.12.0 Mistune 0.8.4
ml-dtypes 0.3.2 mlflow-skinny 2.11.3 more-itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 MSAL 1.28.0
msal-extensions 1.1.0 msgpack 1.0.8 multidicionário 6.0.2
multimétodo 1.11.2 multiprocesso 0.70.14 Murmurhash 1.0.10
mypy-extensões 0.4.3 NomeX 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 ninja 1.11.1.1
NLTK 3.8.1 bloco de notas 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 OAuthlib 3.2.0
OCI 2.126.4 openai 1.29.0 OpenCensus 0.11.4
contexto opencensus 0.1.3 opt-einsum 3.3.0 Optree 0.11.0
Orjson 3.10.3 embalagem 23.2 pandas 1.5.3
PandocFilters 1.5.0 Paramiko 3.4.0 Parso 0.8.3
PathSpec 0.10.3 ingénuo 0.5.3 petastorm 0.12.1
pexpect 4.8.0 Phik 0.12.4 pickleshare 0.7.5
Almofada 9.4.0 pip (assuming it refers to the Python package manager) 23.2.1 platformdirs 3.10.0
enredo 5.9.0 PMDARIMA 2.0.4 cachorrinho 1.8.1
Portalocker 2.8.2 Preshed 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.36 profeta 1.1.5 Proto-Plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 py-cpuinfo 8.0.0
py-spy 0.3.14 pyarrow 14.0.1 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-módulos 0.2.8 pybind11 2.12.0
Pyccolo 0.0.52 pycparser 2.21 Pidântico 1.10.6
Pygments 2.15.1 PyGObject 3.42.1 PyJWT 2.3.0
PyNaCl 1.5.0 PynVML 11.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pyrsistent 0.18.0
Pytesseract 0.3.10 python-dateutil 2.8.2 editor de Python 1.0.4
python-lsp-jsonrpc 1.1.1 Python-Snappy 0.6.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 Pyzmq 23.2.0
raio 2.12.0 regex 2022.7.9 pedidos 2.31.0
requests-oauthlib 1.3.1 rico 13.7.1 RSA 4,9
s3transfer 0.10.1 safetensors 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0 transformadores de sentenças 2.7.0
Peça de frase 0.1.99 setuptools 68.0.0 shap 0.44.0
simplejson 3.17.6 seis 1.16.0 filtro 0.0.7
inteligente-aberto 5.2.1 smmap 5.0.0 sniffio 1.2.0
arquivo de som 0.12.1 Soupsieve 2.4 SOXR 0.3.7
espaçado 3.7.2 Spacy-legado 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 SQLPARSE 0.4.2
SRSLY 2.4.8 ssh-import-id 5.11 dados de pilha 0.2.0
Estanio 0.5.0 statsmodels 0.14.0 Sympy 1.11.1
emaranhado em unicode 0.2.0 tenacidade 8.2.2 TensorBoard 2.16.2
TensorBoard Data Server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX (ferramenta de visualização de tensores) 2.6.2.2
TensorFlow 2.16.1 TensorFlow-Estimador 2.15.0 TensorFlow-IO-GCS-FileSystem 0.37.0
Termcolor 2.4.0 terminado 0.17.1 textual 0.63.3
tf_keras 2.16.0 Thinc 8.2.3 ThreadPoolCtl 2.2.0
arquivo tiff 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.19.0 tocha 2.3.0+cpu
Torcheval 0.0.7 Torchvision 0.18.0+cpu tornado 6.3.2
tqdm 4.65.0 traitlets 5.7.1 transformadores 4.40.2
Protetor de Tipografia 2.13.3 digitador 0.9.4 inspeção de digitação 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 UC-Micro-PY 1.0.1
Ujson 5.4.0 Upgrades automáticos 0.1 urllib3 1.26.16
virtualenv 20.24.2 visões 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 largura de wc 0.2.5 doninha 0.3.4
Codificações Web 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.2.3
wheel 0.38.4 nuvem de palavras 1.9.3 embrulhado 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profiling 4.5.1 zipp 3.11.0 ZSTD 1.5.5.1

Bibliotecas Python em clusters de GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.30.1 AIOHTTP 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.2
ATRs 22.1.0 leitura de áudio 3.0.1 azure-core 1.30.1
Azure-Cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 Backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 preto 23.3.0 lixívia 4.1.0
piscas 1.4 Blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 Ferramentas de cache 5.3.3
catálogo 2.0.10 codificadores de categorias 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
Disjuntor 1.4.0 clicar 8.0.4 CloudPathlib 0.16.0
Cloudpickle 2.2.1 CMDSTANPY 1.2.2 colorido 0.5.6
comunicação 0.1.2 Confeção 0.1.4 ConfigParser 5.2.0
contorno 1.0.5 criptografia 41.0.3 ciclador 0.11.0
cymem 2.0.8 Cython 0.29.32 dacito 1.8.1
databricks-automl-runtime 0.2.21 Databricks-Feature-Engineering 0.5.0 Databricks-SDK 0.20.0
DataClasses-JSON 0.6.6 conjuntos de dados 2.19.1 DBL-TEMPO 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorador 5.1.1
DeepSpeed 0.14.0 defusedxml 0.7.1 aneto 0.3.6
cache de disco 5.6.3 Distlib 0.3.8 dm-árvore 0.1.8
einops 0.8.0 pontos de entrada 0.4 avaliar 0.4.2
executando 0.8.3 facetas-visão geral 1.1.1 Farama-Notificações 0.0.4
fastjsonschema 2.19.1 texto rápido 0.9.2 bloqueio de ficheiro 3.13.4
flash-attn 2.5.8 Flask 2.2.5 flatbuffers 24.3.25
Fonttools 4.25.0 Frozenlist 1.3.3 fsspec 2023.5.0
Futuro 0.18.3 gast 0.4.0 GitDB 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 Google-Auth 2.21.0
google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1 google-nuvem-armazenamento 2.10.0
Google-CRC32C 1.5.0 google-massa 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.63.0 Greenlet 2.0.1 Grpcio 1.60.0
grpcio-status 1.60.0 Gunicorn 20.1.0 GVIZ-API 1.10.0
ginásio 0.28.1 h11 0.14.0 H5PY 3.10.0
HJSON 3.1.0 feriados 0,45 Horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.21.2 idna 3.4
ImageHash 4.3.1 imageio 2.31.1 aprendizagem desequilibrada 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.4.0 ipyflow-core 0.0.198
Ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 é perigoso 2.0.1
Jax-Jumpy 1.0.0 Jedi 0.18.1 Jeepney (tipo de minibus) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 Joblib 1.2.0
Joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-servidor 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 Jupyterlab-Pygments 0.1.2 keras 3.1.1
porta-chaves 23.5.0 Kiwisolver 1.4.4 langchain 0.1.20
langchain-community 0.0.38 langchain-núcleo 0.1.52 "langchain-text-splitters" 0.0.2
códigos de idioma 3.4.0 Langsmith 0.1.63 dados_de_língua 1.2.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.2 libclang 15.0.6.1 librosa 0.10.1
LightGBM 4.3.0 linkify-it-py 2.0.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Marisa-Trie 1.1.1 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 Espuma 3.21.2 matplotlib 3.7.2
matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0 Mdurl 0.1.0
Memray 1.12.0 Mistune 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 more-itertools 8.10.0 mosaicml-streaming 0.7.4
mpmath 1.3.0 MSAL 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 multidicionário 6.0.2 multimétodo 1.11.2
multiprocesso 0.70.14 Murmurhash 1.0.10 mypy-extensões 0.4.3
NomeX 0.0.8 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 ninja 1.11.1.1 NLTK 3.8.1
bloco de notas 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105
nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105 NVIDIA-CUDNN-CU12 8.9.2.26
nvidia-cufft-cu12 11.0.2.54 NVIDIA-Curand-CU12 10.3.2.106 NVIDIA-CUSOLVER-CU12 11.4.5.107
nvidia-cusparse-cu12 12.1.0.106 NVIDIA-NCCL-CU12 2.20.5 nvidia-nvjitlink-cu12 12.5.40
NVIDIA-NVTX-CU12 12.1.105 OAuthlib 3.2.0 OCI 2.126.4
openai 1.29.0 OpenCensus 0.11.4 contexto opencensus 0.1.3
opt-einsum 3.3.0 Optree 0.11.0 Orjson 3.10.3
embalagem 23.2 pandas 1.5.3 PandocFilters 1.5.0
Paramiko 3.4.0 Parso 0.8.3 PathSpec 0.10.3
ingénuo 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.4 pickleshare 0.7.5 Almofada 9.4.0
pip (assuming it refers to the Python package manager) 23.2.1 platformdirs 3.10.0 enredo 5.9.0
PMDARIMA 2.0.4 cachorrinho 1.8.1 Portalocker 2.8.2
Preshed 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
profeta 1.1.5 Proto-Plus 1.23.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-módulos 0.2.8 pybind11 2.12.0 Pyccolo 0.0.52
pycparser 2.21 Pidântico 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
PynVML 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing 3.0.9 pyrsistent 0.18.0 Pytesseract 0.3.10
python-dateutil 2.8.2 editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1
Python-Snappy 0.6.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 Pyzmq 23.2.0 raio 2.12.0
regex 2022.7.9 pedidos 2.31.0 requests-oauthlib 1.3.1
rico 13.7.1 RSA 4,9 s3transfer 0.10.1
safetensors 0.4.2 scikit-image 0.20.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 transformadores de sentenças 2.7.0 Peça de frase 0.1.99
setuptools 68.0.0 shap 0.44.0 simplejson 3.17.6
seis 1.16.0 filtro 0.0.7 inteligente-aberto 5.2.1
smmap 5.0.0 sniffio 1.2.0 arquivo de som 0.12.1
Soupsieve 2.4 SOXR 0.3.7 espaçado 3.7.2
Spacy-legado 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 SQLPARSE 0.4.2 SRSLY 2.4.8
ssh-import-id 5.11 dados de pilha 0.2.0 Estanio 0.5.0
statsmodels 0.14.0 Sympy 1.11.1 emaranhado em unicode 0.2.0
tenacidade 8.2.2 TensorBoard 2.16.2 TensorBoard Data Server 0.7.2
tensorboard_plugin_profile 2.15.1 tensorboardX (ferramenta de visualização de tensores) 2.6.2.2 TensorFlow 2.16.1
TensorFlow-Estimador 2.15.0 TensorFlow-IO-GCS-FileSystem 0.37.0 Termcolor 2.4.0
terminado 0.17.1 textual 0.63.3 tf_keras 2.16.0
Thinc 8.2.3 ThreadPoolCtl 2.2.0 arquivo tiff 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizadores 0.19.0 tocha 2.3.0+cu121 Torcheval 0.0.7
Torchvision 0.18.0+cu121 tornado 6.3.2 tqdm 4.65.0
traitlets 5.7.1 transformadores 4.40.2 Tritão 2.3.0
Protetor de Tipografia 2.13.3 digitador 0.9.4 inspeção de digitação 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 UC-Micro-PY 1.0.1
Ujson 5.4.0 Upgrades automáticos 0.1 urllib3 1.26.16
virtualenv 20.24.2 visões 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 largura de wc 0.2.5 doninha 0.3.4
Codificações Web 0.5.1 Websocket-cliente 0.58.0 Werkzeug 2.2.3
wheel 0.38.4 nuvem de palavras 1.9.3 embrulhado 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profiling 4.5.1 zipp 3.11.0 ZSTD 1.5.5.1

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.3.

Bibliotecas Java e Scala (cluster Scala 2.12)

Para além das bibliotecas Java e Scala no Databricks Runtime 15.3, o Databricks Runtime 15.3 ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2,12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2,12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on