Databricks Runtime 16.1 para Machine Learning (EoS)

Observação

O suporte para esta versão do Databricks Runtime terminou. Para a data de fim de suporte, consulte Fim de suporte e histórico de fim de vida útil. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

O Databricks Runtime 16.1 for Machine Learning fornece um ambiente pronto para aprendizagem automática e ciência de dados baseado no Databricks Runtime 16.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor, DeepSpeed e Ray.

Novos recursos e melhorias

O Databricks Runtime 16.1 ML é construído sobre o Databricks Runtime 16.1. Para obter informações sobre o que há de novo no Databricks Runtime 16.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 16.1 (EoS ).

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 16.1 ML difere do Databricks Runtime 16.1 da seguinte forma.

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 12,6
    • Cublas 12.6.0.22-1
    • Cusolver 11.6.4.38-1
    • Cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 16.1 ML que diferem daquelas incluídas no Databricks Runtime 16.1.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 16.1 ML inclui as seguintes bibliotecas de primeira linha :

Bibliotecas Python

O Databricks Runtime 16.1 ML utiliza virtualenv para gestão de Python pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 16.1 ML também inclui os seguintes pacotes:

  • hiperopt 0.2.9+db5
  • AutoML 1.29.0 |

Para reproduzir o ambiente Databricks Runtime ML Python no seu ambiente virtual Python local, descarregue o ficheiro requirements-16.1.txt e execute pip install -r requirements-16.1.txt. Este comando instala todas as bibliotecas open source que o Databricks Runtime ML utiliza, mas não instala as bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineering, ou o fork Databricks de hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 1.1.1 AIOHTTP 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 Alambique 1.13.3
tipos anotados 0.7.0 Anyio 4.2.0 argcomplete 3.5.0
Argão2-CFFI 21.3.0 argon2-cffi-vinculações 21.2.0 seta 1.2.3
Astor 0.8.1 AstTokens 2.0.5 Astunparse 1.6.3
Async-LRU 2.0.4 ATRs 23.1.0 audioleitura 3.0.1
Comando automático 2.2.2 azure-core 1.31.0 Azure-Cosmos 4.3.1
azure-identity (serviços de identidade do Azure) 1.18.0 Azure Storage Blob 12.23.1 Armazenamento de Ficheiros Azure Data Lake 12.17.0
Babel 2.11.0 recuo 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 BeautifulSoup4 4.12.3 preto 24.4.2
lixívia 4.1.0 pisca 1.7.0 Blis 0.7.11
Boto3 1.34.69 Botocore 1.34.69 Brotli 1.0.9
Ferramentas de cache 5.3.3 catálogo 2.0.10 codificadores de categorias 2.6.3
certifi 2024.6.2 CFFI 1.16.0 Chardet 4.0.0
Normalizador de Charset 2.0.4 Disjuntor 2.0.0 clique 8.1.7
CloudPathlib 0.19.0 Cloudpickle 2.2.1 cmdstanpy 1.2.4
colorido 0.5.6 colorlog 6.8.2 Comunicação 0.2.1
compositor 0.27.0 Confeção 0.1.5 ConfigParser 5.2.0
contorno 1.2.0 nome fixe 2.2.0 criptografia 42.0.5
ciclista 0.11.0 cymem 2.0.10 Cython 3.0.11
dacito 1.8.1 databricks-automl-runtime 0.2.21 Databricks-Engenharia-de-Características 0.7.0
Databricks-SDK 0.30.0 conjuntos de dados 3.1.0 DBL-TEMPO 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 decorador 5.1.1
velocidade profunda 0.16.0 defusedxml 0.7.1 Preterido 1.2.14
endro 0.3.8 Distlib 0.3.8 dm-árvore 0.1.8
docstring para markdown 0.11 pontos de entrada 0.4 avaliar 0.4.3
executando 0.8.3 facetas-visão geral 1.1.1 Farama-Notificações 0.0.4
fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.21.1 roda de texto rápido 0.9.2 bloqueio de ficheiro 3.13.1
Frasco 2.2.5 flatbuffers 24.3.25 Fonttools 4.51.0
FQDN 1.5.1 Frozenlist 1.4.0 fsspec 2023.5.0
Futuro 0.18.3 gast 0.4.0 GitDB 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 Google-Auth 2.21.0
google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1 Google Cloud Storage 2.10.0
Google-CRC32C 1.6.0 Google-Pasta 0.2.0 google-media-reutilizável 2.7.2
googleapis-common-protos 1.65.0 GQL 3.5.0 GraphQL-Core 3.2.4
Greenlet 3.0.1 Grpcio 1.60.0 grpcio-status 1.60.0
Gunicorn 20.1.0 GVIZ-API 1.10.0 ginásio 0.28.1
h11 0.14.0 H5PY 3.11.0 HJSON 3.1.0
feriados 0.54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.28.0 Hugging Face Hub 0.24.5
IDNA 3.7 ImageHash 4.3.1 imageio 2.33.1
aprendizagem desequilibrada 0.12.3 importlib-metadados 6.0.0 importlib_resources 6.4.5
flexionar 7.3.1 ipyflow-núcleo 0.0.201 Ipykernel 6.28.0
IPython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 isoduração 20.11.0 é perigoso 2.2.0
jaraco.contexto 5.3.0 jaraco.functools 4.0.1 jaraco.texto 3.12.1
Jax-Jumpy 1.0.0 Jedi 0.19.1 Jinja2 3.1.4
Jiter 0.8.0 jmespath 1.0.1 Joblib 1.4.2
Joblibspark 0.5.1 JSON5 0.9.6 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.19.2 jsonschema-especificações 2023.7.1
Jupyter-Eventos 0.10.0 Jupyter-LSP 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_servidor 2.14.1 jupyter_server_terminals 0.4.4
Jupyterlab 4.0.11 Jupyterlab-Pygments 0.1.2 jupyterlab_server 2.25.1
Keras 3.6.0 kiwisolver 1.4.4 langchain 0.3.8
langchain-núcleo 0.2.41 divisores de texto langchain 0.2.4 códigos de idioma 3.4.1
Langsmith 0.1.129 dados_de_linguagem 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 carregador lento (lazy_loader) 0.4
libclang 15.0.6.1 librosa 0.10.2 LightGBM 4.5.0
utilitários relâmpagos 0.11.9 linkify-it-py 2.0.0 LLVMLITE 0.42.0
LZ4 4.3.2 Mako 1.2.0 Marisa-Trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
Matplotlib 3.8.4 matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 Mdurl 0.1.0 Memray 1.14.0
Mistune 2.0.4 ml-dtypes 0.4.1 mlflow-magro 2.15.1
more-itertools 10.3.0 mosaicml-cli | 0.6.41 mosaicml-streaming 0.8.0
mpmath 1.3.0 MSAL 1.31.1 msal-extensões 1.2.0
msgpack 1.1.0 multidicionário 6.0.4 multimétodo 1.12
multiprocesso 0.70.16 Murmurhash 1.0.11 mypy 1.10.0
mypy extensions 1.0.0 NomeX 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 ninja 1.11.1.1 NLTK 3.8.1
nodeenv 1.9.1 bloco de notas 7.0.8 notebook_shim 0.2.3
Dormência 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
OAuthlib 3.2.0 OCI 2.139.0 OpenAI 1.55.1
OpenCensus 0.11.4 opencensus-contexto 0.1.3 OpenTelemetry-API 1.28.2
OpenTelemetry-SDK 1.28.2 OpenTelemetria-Semântica-Convenções 0,49b2 opt_einsum 3.4.0
Optree 0.12.1 Optuna 3.6.1 Optuna-Integração 3.6.0
Orjson 3.10.12 sobrescrições 7.4.0 embalagem 24.1
pandas 1.5.3 PandocFilters 1.5.0 Paramiko 3.4.0
Parso 0.8.3 PathSpec 0.10.3 Patsy 0.5.6
pexpect 4.8.0 Phik 0.12.4 almofada 10.3.0
pip (o gestor de pacotes do Python) 24,2 plataformadirs 3.10.0 enredo 5.22.0
Pluggy 1.0.0 PMDARIMA 2.0.4 cachorrinho 1.8.2
Portalocker 2.10.1 Preshed 3.0.9 Prometheus-Cliente 0.14.1
kit de ferramentas de prompt 3.0.43 profeta 1.1.5 Proto-Plus 1.24.0
Protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.3.14 Pyarrow 15.0.2 Correção rápida do PyArrow 0,6
Piasn1 0.4.8 pyasn1-módulos 0.2.8 Pybind11 2.13.6
Pyccolo 0.0.65 Pycparser 2.21 Pidântico 2.8.2
pydantic_core 2.20.1 Pyflakes 3.2.0 Pigmentos 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
Pyodbc 5.0.1 pyOpenSSL 24.0.0 Pyparsing 3.0.9
Pyright 1.1.294 Pytesseract 0.3.10 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.9.0.post0
editor de Python 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-servidor 1.10.0 Python-Snappy 0.6.1 pytoolconfig 1.2.6
Pytorch-Ranger 0.1.1 Pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 Pyzmq 25.1.2 Interrogatório 1.10.0
raio 2.35.0 referenciação 0.30.2 regex 3/10/2023
pedidos 2.32.2 requests-oauthlib 1.3.1 rfc3339-validador 0.1.4
rfc3986-validador 0.1.1 rico 13.3.5 corda 1.12.0
RPDS-PY 0.10.6 RSA 4,9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 Safetensors 0.4.4
scikit-image 0.23.2 scikit-aprender 1.4.2 SciPy 1.13.1
Seaborn 0.13.2 Enviar para Lixo 1.8.2 transformadores de frases 3.3.1
Peça de frase 0.2.0 Ferramentas de configuração 74.0.0 forma 0.46.0
Shellingham 1.5.4 simplejson 3.17.6 seis 1.16.0
filtro interativo 0.0.8 inteligente-aberto 5.2.1 smmap 5.0.0
sniffio 1.3.0 arquivo de som 0.12.1 Soupsieve 2,5
SOXR 0.5.0.post1 espaçoso 3.7.5 Spacy-legado 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 SQLPARSE 0.4.2
Sério 2.4.8 ssh-import-id 5.11 dados de pilha 0.2.0
Estanio 0.5.1 modelos de estatísticas 0.14.2 Sympy 1.13.1
tabular 0.9.0 emaranhado-no-unicode 0.2.0 tenacidade 8.2.2
TensorBoard 2.18.0 Tensorboard-Data-Server 0.7.2 Tensorboard-plugin-profile 2.18.0
tensorboardX (ferramenta de visualização de tensores) 2.6.2.2 TensorFlow 2.18.0 TensorFlow-Estimador 2.15.0
Termcolor 2.4.0 terminado 0.17.1 textual 0.87.1
tf_keras 2.18.0 fino 8.2.5 Threadpoolctl 2.2.0
ficheiro TIFF 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizadores 0.20.0 Tomli 2.0.1
tocha 2.5.0+CPU otimizador de tocha 0.3.0 Torcheval 0.0.7
torchmetrics 1.4.0.post0 Torchvision 0.20.0+CPU tornado 6.4.1
TQDM 4.66.4 traitlets 5.14.3 transformadores 4.46.3
Protetor de Tipografia 4.3.0 digitador 0.12.5 tipos-protobuf 3.20.3
tipos-psutil 5.9.0 tipos-pytz 2023.3.1.1 tipos-PyYAML 6.0.0
tipos-de-pedidos 2.31.0.0 tipos-setuptools 68.0.0.0 tipo seis 1.16.0
tipos-urllib3 1.26.25.14 typing_extensions (extensões de digitação) 4.11.0 UC-Micro-PY 1.0.1
Ujson 5.10.0 Atualizações automáticas 0.1 uri-modelo 1.3.0
urllib3 1.26.16 validadores 0.34.0 virtualenv 20.26.2
visões 0.7.5 wadllib 1.3.6 Wasabi 1.1.3
wcwidth 0.2.5 doninha 0.4.1 Webcolors 24.8.0
WebEncodings 0.5.1 Websocket-cliente 1.8.0 WebSockets 11.0.3
Werkzeug 3.0.3 whatthepatch (ferramenta para comparação de patches) 1.0.2 wheel 0.43.0
nuvem de palavras 1.9.3 embrulhado 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 Yapf 0.33.0
yarl 1.9.3 ydata-profiling 4.9.0 zíper 3.17.0
ZSTD 1.5.5.1

Bibliotecas Python em clusters de GPU

Observação

O PyTorch usa as dependências CUDA PyPI para fornecer suporte CUDA em vez das versões da biblioteca CUDA que são incorporadas no Databricks Runtime 16.1 ML.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 1.1.1 AIOHTTP 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 tipos anotados 0.7.0
Anyio 4.2.0 argcomplete 3.5.0 Argão2-CFFI 21.3.0
argon2-cffi-vinculações 21.2.0 seta 1.2.3 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 Async-LRU 2.0.4
ATRs 23.1.0 audioleitura 3.0.1 Comando automático 2.2.2
azure-core 1.31.0 Azure-Cosmos 4.3.1 azure-identity (serviços de identidade do Azure) 1.18.0
Azure Storage Blob 12.23.1 Armazenamento de Ficheiros Azure Data Lake 12.17.0 Babel 2.11.0
recuo 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
BeautifulSoup4 4.12.3 preto 24.4.2 lixívia 4.1.0
pisca 1.7.0 Blis 0.7.11 Boto3 1.34.69
Botocore 1.34.69 Brotli 1.0.9 Ferramentas de cache 5.3.3
catálogo 2.0.10 codificadores de categorias 2.6.3 certifi 2024.6.2
CFFI 1.16.0 Chardet 4.0.0 Normalizador de Charset 2.0.4
Disjuntor 2.0.0 clique 8.1.7 CloudPathlib 0.19.0
Cloudpickle 2.2.1 cmdstanpy 1.2.4 colorido 0.5.6
colorlog 6.8.2 Comunicação 0.2.1 compositor 0.27.0
Confeção 0.1.5 ConfigParser 5.2.0 contorno 1.2.0
nome fixe 2.2.0 criptografia 42.0.5 ciclista 0.11.0
cymem 2.0.10 Cython 3.0.11 dacito 1.8.1
databricks-automl-runtime 0.2.21 Databricks-Engenharia-de-Características 0.7.0 Databricks-SDK 0.30.0
conjuntos de dados 3.1.0 DBL-TEMPO 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 decorador 5.1.1 velocidade profunda 0.16.0
defusedxml 0.7.1 Preterido 1.2.14 endro 0.3.8
Distlib 0.3.8 dm-árvore 0.1.8 docstring para markdown 0.11
einops 0.8.0 pontos de entrada 0.4 avaliar 0.4.3
executando 0.8.3 facetas-visão geral 1.1.1 Farama-Notificações 0.0.4
fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.21.1 roda de texto rápido 0.9.2 bloqueio de ficheiro 3.13.1
flash_attn 2.7.0 Frasco 2.2.5 flatbuffers 24.3.25
Fonttools 4.51.0 FQDN 1.5.1 Frozenlist 1.4.0
fsspec 2023.5.0 Futuro 0.18.3 gast 0.4.0
GitDB 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google-Auth 2.21.0 google-auth-oauthlib 1.0.0 google-nuvem-core 2.4.1
Google Cloud Storage 2.10.0 Google-CRC32C 1.6.0 Google-Pasta 0.2.0
google-media-reutilizável 2.7.2 googleapis-common-protos 1.65.0 GQL 3.5.0
GraphQL-Core 3.2.4 Greenlet 3.0.1 Grpcio 1.60.0
grpcio-status 1.60.0 Gunicorn 20.1.0 GVIZ-API 1.10.0
ginásio 0.28.1 h11 0.14.0 H5PY 3.11.0
HJSON 3.1.0 feriados 0.54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
Hugging Face Hub 0.24.5 IDNA 3.7 ImageHash 4.3.1
imageio 2.33.1 aprendizagem desequilibrada 0.12.3 importlib-metadados 6.0.0
importlib_resources 6.4.5 flexionar 7.3.1 ipyflow-núcleo 0.0.201
Ipykernel 6.28.0 IPython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Isodato 0.6.1 isoduração 20.11.0
é perigoso 2.2.0 jaraco.contexto 5.3.0 jaraco.functools 4.0.1
jaraco.texto 3.12.1 Jax-Jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 Jiter 0.8.0 jmespath 1.0.1
Joblib 1.4.2 Joblibspark 0.5.1 JSON5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-especificações 2023.7.1 Jupyter-Eventos 0.10.0 Jupyter-LSP 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_servidor 2.14.1
jupyter_server_terminals 0.4.4 Jupyterlab 4.0.11 Jupyterlab-Pygments 0.1.2
jupyterlab_server 2.25.1 Keras 3.6.0 kiwisolver 1.4.4
langchain 0.3.8 langchain-núcleo 0.2.41 divisores de texto langchain 0.2.4
códigos de idioma 3.4.1 Langsmith 0.1.129 dados_de_linguagem 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
carregador lento (lazy_loader) 0.4 libclang 15.0.6.1 librosa 0.10.2
LightGBM 4.5.0 utilitários relâmpagos 0.11.9 linkify-it-py 2.0.0
LLVMLITE 0.42.0 LZ4 4.3.2 Mako 1.2.0
Marisa-Trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 Matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 Mdurl 0.1.0
Memray 1.14.0 Mistune 2.0.4 ml-dtypes 0.4.1
mlflow-magro 2.15.1 more-itertools 10.3.0 mosaicml-cli | 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 MSAL 1.31.1
msal-extensões 1.2.0 msgpack 1.1.0 multidicionário 6.0.4
multimétodo 1.12 multiprocesso 0.70.16 Murmurhash 1.0.11
mypy 1.10.0 mypy extensions 1.0.0 NomeX 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 ninja 1.11.1.1
NLTK 3.8.1 nodeenv 1.9.1 bloco de notas 7.0.8
notebook_shim 0.2.3 Dormência 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127 NVIDIA-CUDNN-CU12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3
NVIDIA-curand-cu12 10.3.5.147 NVIDIA-CUSOLVER-CU12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170
nvidia-ml-py 12.560.30 NVIDIA-NCCL-CU12 2.21.5 nvidia-nvjitlink-cu12 12.4.127
NVIDIA-NVTX-CU12 12.4.127 OAuthlib 3.2.0 OCI 2.139.0
OpenAI 1.55.1 OpenCensus 0.11.4 opencensus-contexto 0.1.3
OpenTelemetry-API 1.28.2 OpenTelemetry-SDK 1.28.2 OpenTelemetria-Semântica-Convenções 0,49b2
opt_einsum 3.4.0 Optree 0.12.1 Optuna 3.6.1
Optuna-Integração 3.6.0 Orjson 3.10.12 sobrescrições 7.4.0
embalagem 24.1 pandas 1.5.3 PandocFilters 1.5.0
Paramiko 3.4.0 Parso 0.8.3 PathSpec 0.10.3
Patsy 0.5.6 pexpect 4.8.0 Phik 0.12.4
almofada 10.3.0 pip (o gestor de pacotes do Python) 24,2 plataformadirs 3.10.0
enredo 5.22.0 Pluggy 1.0.0 PMDARIMA 2.0.4
cachorrinho 1.8.2 Portalocker 2.10.1 Preshed 3.0.9
Prometheus-Cliente 0.14.1 kit de ferramentas de prompt 3.0.43 profeta 1.1.5
Proto-Plus 1.24.0 Protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
py-cpuinfo 9.0.0 py-spy 0.3.14 Pyarrow 15.0.2
Correção rápida do PyArrow 0,6 Piasn1 0.4.8 pyasn1-módulos 0.2.8
Pybind11 2.13.6 Pyccolo 0.0.65 Pycparser 2.21
Pidântico 2.8.2 pydantic_core 2.20.1 Pyflakes 3.2.0
Pigmentos 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 Pyodbc 5.0.1 pyOpenSSL 24.0.0
Pyparsing 3.0.9 Pyright 1.1.294 Pytesseract 0.3.10
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.9.0.post0 editor de Python 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.10.0 Python-Snappy 0.6.1
pytoolconfig 1.2.6 Pytorch-Ranger 0.1.1 Pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 Pyzmq 25.1.2
Interrogatório 1.10.0 raio 2.35.0 referenciação 0.30.2
regex 3/10/2023 pedidos 2.32.2 requests-oauthlib 1.3.1
rfc3339-validador 0.1.4 rfc3986-validador 0.1.1 rico 13.3.5
corda 1.12.0 RPDS-PY 0.10.6 RSA 4,9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
Safetensors 0.4.4 scikit-image 0.23.2 scikit-aprender 1.4.2
SciPy 1.13.1 Seaborn 0.13.2 Enviar para Lixo 1.8.2
transformadores de frases 3.3.1 Peça de frase 0.2.0 Ferramentas de configuração 74.0.0
forma 0.46.0 Shellingham 1.5.4 simplejson 3.17.6
seis 1.16.0 filtro interativo 0.0.8 inteligente-aberto 5.2.1
smmap 5.0.0 sniffio 1.3.0 arquivo de som 0.12.1
Soupsieve 2,5 SOXR 0.5.0.post1 espaçoso 3.7.5
Spacy-legado 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
SQLPARSE 0.4.2 Sério 2.4.8 ssh-import-id 5.11
dados de pilha 0.2.0 Estanio 0.5.1 modelos de estatísticas 0.14.2
Sympy 1.13.1 tabular 0.9.0 emaranhado-no-unicode 0.2.0
tenacidade 8.2.2 TensorBoard 2.17.0 Tensorboard-Data-Server 0.7.2
Tensorboard-plugin-profile 2.18.0 tensorboardX (ferramenta de visualização de tensores) 2.6.2.2 TensorFlow 2.18.0
TensorFlow-Estimador 2.15.0 Termcolor 2.4.0 terminado 0.17.1
textual 0.87.1 tf_keras 2.17.0 fino 8.2.5
Threadpoolctl 2.2.0 ficheiro TIFF 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizadores 0.20.0
Tomli 2.0.1 tocha 2.5.0+cu124 otimizador de tocha 0.3.0
Torcheval 0.0.7 torchmetrics 1.4.0.post0 Torchvision 0.20.0+CU124
tornado 6.4.1 TQDM 4.66.4 traitlets 5.14.3
transformadores 4.46.3 Tritão 3.1.0 Protetor de Tipografia 4.3.0
digitador 0.14.0 tipos-protobuf 3.20.3 tipos-psutil 5.9.0
tipos-pytz 2023.3.1.1 tipos-PyYAML 6.0.0 tipos-de-pedidos 2.31.0.0
tipos-setuptools 68.0.0.0 tipo seis 1.16.0 tipos-urllib3 1.26.25.14
typing_extensions (extensões de digitação) 4.11.0 UC-Micro-PY 1.0.1 Ujson 5.10.0
Atualizações automáticas 0.1 uri-modelo 1.3.0 urllib3 1.26.16
validadores 0.34.0 virtualenv 20.26.2 visões 0.7.5
wadllib 1.3.6 Wasabi 1.1.3 wcwidth 0.2.5
doninha 0.4.1 Webcolors 24.8.0 WebEncodings 0.5.1
Websocket-cliente 1.8.0 WebSockets 11.0.3 Werkzeug 3.0.3
whatthepatch (ferramenta para comparação de patches) 1.0.2 wheel 0.43.0 nuvem de palavras 1.9.3
embrulhado 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 Yapf 0.33.0 yarl 1.9.3
ydata-profiling 4.9.0 zíper 3.17.0 ZSTD 1.5.5.1

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 16.1.

Bibliotecas Java e Scala (cluster Scala 2.12)

Para além das bibliotecas Java e Scala no Databricks Runtime 16.1, o Databricks Runtime 16.1 ML contém os seguintes JARs:

Clusters de CPU

ID do grupo ID do artefato Versão
com.typesafe.akka akka-actor_2,12 2.5.23
ml.dmlc xgboost4j-spark_2,12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-Spark3.5
org.mlflow mlflow client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 (conector de Spark para TensorFlow versão 2.12) 1.15.0

Clusters de GPU

ID do grupo ID do artefato Versão
com.typesafe.akka akka-actor_2,12 2.5.23
ml.dmlc xgboost4j-gpu_2,12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-Spark3.5
org.mlflow mlflow client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 (conector de Spark para TensorFlow versão 2.12) 1.15.0
  • Last updated on