Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Observação
O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o histórico de fim de suporte e fim de vida. Para todas as versões suportadas do Databricks Runtime, consulte Notas de versão do Databricks Runtime: versões e compatibilidade.
O Databricks Runtime 14.1 para Machine Learning fornece um ambiente prontoto-go para aprendizado de máquina e ciência de dados com base no EoS (Databricks Runtime 14.1). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.
Novos recursos e melhorias
O Databricks Runtime 14.1 ML é criado com base no Databricks Runtime 14.1. Para obter informações sobre as novidades no Databricks Runtime 14.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 14.1 (EoS ).
Aprimoramentos no AutoML
Os notebooks gerados por AutoML agora são salvos como artefatos do MLflow.
Aprimoramentos no Databricks Feature Store
Agora você pode inferir e registrar automaticamente um exemplo de entrada ao registrar um modelo em log. Para fazer isso, defina infer_model_example como True ao chamar log_model. O exemplo é baseado nos dados de treinamento especificados no parâmetro training_set.
Para obter mais informações sobre o Repositório de Recursos do Databricks, consulte o Repositório de Recursos do Databricks.
Ambiente do sistema
O ambiente do sistema no Databricks Runtime 14.1 ML difere do Databricks Runtime 14.1 da seguinte maneira:
-
DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado).
Em vez disso, utilize os comandos
%pip. Veja Bibliotecas do Python no escopo do notebook. - Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
- CUDA 11.8
- cuDNN 8.9.0.131-1
- NCCL 2.15.5
- TensorRT 8.5.3-1
O Databricks Runtime 14.1 ML inclui o XGBoost 1.7.6, que não dá suporte a clusters de GPU com capacidade de computação 5.2 e inferior.
Bibliotecas
As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 14.1 ML que diferem daquelas incluídas no Databricks Runtime 14.1.
Nesta seção:
- Bibliotecas de camada superior
- Bibliotecas do Python
- Bibliotecas do R
- Bibliotecas Java e Scala (cluster Scala 2.12)
Bibliotecas de camada superior
O Databricks Runtime 14.1 ML inclui as seguintes bibliotecas de camada superior:
- GraphFrames
- Horovod e HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Bibliotecas do Python
O Databricks Runtime 14.1 ML usa o Virtualenv para gerenciamento de pacotes do Python e inclui muitos pacotes ML populares.
Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 14.1 ML também inclui os seguintes pacotes:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.22.0
Para reproduzir o ambiente do Databricks Runtime ML Python em seu ambiente virtual do Python local, baixe o arquivo requirements-14.1.txt e execute pip install -r requirements-14.1.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork do Databricks de hyperopt.
Bibliotecas do Python em clusters de CPU
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | acelerar | 0.21.0 | aiohttp | 3.8.5 |
| aiosignal | 1.3.1 | anyio | 3.5.0 | appdirs | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | Astunparse | 1.6.3 | async-timeout (tempo limite para operações assíncronas) | 4.0.3 |
| atributos | 22.1.0 | audioread | 3.0.0 | azure-core | 1.29.1 |
| azure-cosmos | 4.3.1 | Armazenamento em Blob do Azure | 12.18.1 | Azure Armazenamento Arquivos Data Lake | 12.13.1 |
| chamada de retorno | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| preto | 22.6.0 | alvejante | 4.1.0 | antolho | 1.4 |
| felicidade | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.96 |
| ferramentas de cache | 5.3.1 | catálogo | 2.0.9 | codificadores de categoria | 2.6.2 |
| certifi... | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| normalizador de conjunto de caracteres | 2.0.4 | clique | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.1.0 | Comunicação | 0.1.2 | confecção | 0.1.3 |
| configparser | 5.2.0 | contorno | 1.0.5 | convertdate | 2.4.0 |
| criptografia | 39.0.1 | ciclista | 0.11.0 | cymem | 2.0.8 |
| Cython | 0.29.32 | Dacite | 1.8.1 | databricks-automl-runtime | 0.2.19 |
| databricks-cli | 0.17.7 | DataBricks Feature Store | 0.15.1 | databricks-sdk | 0.1.6 |
| dataclasses-json | 0.5.14 | conjuntos de dados | 2.14.4 | dbl-tempo | 0.1.23 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | decorador | 5.1.1 |
| deepspeed | 0.10.0 | defusedxml | 0.7.1 | endro | 0.3.6 |
| cache de disco | 5.6.3 | distlib | 0.3.7 | de docstring para markdown | 0.11 |
| pontos de entrada | 0,4 | efêm | 4.1.4 | avaliar | 0.4.0 |
| em execução | 0.8.3 | Visão geral de facetas | 1.1.1 | fastapi | 0.98.0 |
| fastjsonschema | 2.18.0 | fasttext | 0.9.2 | bloqueio de arquivo | 3.9.0 |
| Flask | 2.2.5 | flatbuffers | 26/05/2023 | fonttools | 4.25.0 |
| lista de congelados | 1.4.0 | fsspec | 2022.11.0 | futuro | 0.18.3 |
| Gast | 0.4.0 | Biblioteca de runtime do GCC | 1.10.0 | gitdb | 4.0.10 |
| GitPython | 3.1.27 | google-api-core | 2.11.1 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.3.3 | armazenamento na nuvem do Google | 2.10.0 |
| google-crc32c | 1.5.0 | google-pasta | 0.2.0 | google-mídia-retomável | 2.6.0 |
| googleapis-common-protos | 1.60.0 | greenlet | 2.0.1 | grpcio | 1.48.2 |
| grpcio-status | 1.48.1 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h11 | 0.14.0 | h5py | 3.7.0 | hjson | 3.1.0 |
| Férias | 0,30 | horovod | 0.28.1 | htmlmin | 0.1.12 |
| httplib2 | 0.20.2 | httptools | 0.6.0 | huggingface-hub | 0.14.1 |
| IDNA | 3.4 | ImageHash | 4.3.1 | desequilibrado-learn | 0.10.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 6.0.1 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets (biblioteca Python para widgets interativos) | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.1 |
| Jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.17.3 |
| Cliente Jupyter | 7.3.4 | servidor Jupyter | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Keras | 2.13.1 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.0.267 |
| códigos de idioma | 3.3.0 | langsmith | 0.0.38 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0,3 |
| libclang | 15.0.6.1 | librosa | 0.10.1 | lightgbm | 4.0.0 |
| llvmlite | 0.39.1 | Calendário Lunar | 0.0.9 | lxml | 4.9.1 |
| Mako | 1.2.0 | Markdown | 3.4.1 | MarkupSafe | 2.1.1 |
| marshmallow | 3.20.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | Mistune | 0.8.4 | mlflow-magro | 2.7.1 |
| more-itertools | 8.10.0 | mpmath | 1.2.1 | msgpack | 1.0.5 |
| _multidict_ | 6.0.4 | multimétodo | 1.9.1 | multiprocesso | 0.70.14 |
| murmurhash | 1.0.10 | mypy-extensions | 0.4.3 | nbclassic | 0.5.2 |
| nbclient | 0.5.13 | nbconvert | 6.5.4 | nbformat | 5.7.0 |
| nest-asyncio | 1.5.6 | networkx | 2.8.4 | ninja | 1.11.1 |
| nltk | 3.7 | nodeenv | 1.8.0 | notebook | 6.5.2 |
| notebook_shim | 0.2.2 | numba | 0.56.4 | numexpr | 2.8.4 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | openai | 0.27.8 |
| openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 | empacotamento | 22,0 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 2.9.2 |
| parso | 0.8.3 | pathspec | 0.10.3 | patia | 0.10.2 |
| Patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.3 | pickleshare | 0.7.5 | Almofada | 9.4.0 |
| caroço | 22.3.1 | platformdirs | 2.5.2 | enredo | 5.9.0 |
| Pluggy | 1.0.0 | pmdarima | 2.0.3 | Cachorrinho | 1.4.0 |
| If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated. | 3.0.9 | prometheus-client | 0.14.1 | kit de ferramentas de prompt | 3.0.36 |
| profeta | 1.1.4 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | Pyarrow | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil | 2.8.2 | python-dotenv | 1.0.0 | editor de Python | 1.0.4 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server (servidor LSP para Python) | 1.7.1 | pytoolconfig | 1.2.5 |
| Pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6,0 |
| pyzmq | 23.2.0 | regex | 2022.7.9 | Solicitações | 2.28.1 |
| requests-oauthlib | 1.3.1 | respostas | 0.18.0 | corda | 1.7.0 |
| RSA | 4.9 | s3transfer | 0.6.2 | safetensors | 0.3.3 |
| scikit-aprender | 1.1.1 | seaborn (biblioteca de visualização em Python) | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | transformadores de frase | 2.2.2 | sentencepiece | 0.1.99 |
| Ferramentas de configuração | 65.6.3 | Shap | 0.42.1 | simplejson | 3.17.6 |
| seis | 1.16.0 | segmentação | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.2.0 | arquivo de som | 0.12.1 |
| Soupsieve | 2.3.2.post1 | soxr | 0.3.6 | espaçoso | 3.6.1 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | srsly | 2.4.7 |
| ssh-import-id | 5.11 | dados empilhados | 0.2.0 | estrelinha | 0.27.0 |
| statsmodels (biblioteca para modelos estatísticos em Python) | 0.13.5 | sympy | 1.11.1 | Tabulate | 0.8.10 |
| enredado-em-unicode | 0.2.0 | tenacidade | 8.1.0 | Tensorboard | 2.13.0 |
| tensorboard-data-server | 0.7.1 | tensorboard-plugin-profile | 2.13.1 | tensorflow-cpu | 2.13.0 |
| tensorflow-estimator | 2.13.0 | tensorflow-io-gcs-filesystem | 0.34.0 | termcolor | 2.3.0 |
| terminado | 0.17.1 | thinc | 8.1.12 | threadpoolctl | 2.2.0 |
| tiktoken | 0.4.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| criadores de token | 0.13.3 | tomli | 2.0.1 | lanterna | 2.0.1+cpu |
| visão de tocha | 0.15.2+cpu | tornado | 6.1 | tqdm | 4.64.1 |
| traitlets | 5.7.1 | Transformadores | 4.31.0 | guarda-tipo | 2.13.3 |
| Typer | 0.9.0 | inspecionar digitação | 0.9.0 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | atualizações não supervisionadas | 0,1 | urllib3 | 1.26.14 |
| uvicorn | 0.23.2 | uvloop | 0.17.0 | virtualenv | 20.16.7 |
| visões | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.2 |
| watchfiles | 0.20.0 | wcwidth | 0.2.5 | codificações web | 0.5.1 |
| websocket-client (cliente WebSocket) | 0.58.0 | WebSockets | 11.0.3 | Ferramentas | 2.2.2 |
| whatthepatch | 1.0.2 | wheel | 0.38.4 | widgetsnbextension | 3.6.1 |
| nuvem de palavras | 1.9.2 | embrulhado | 1.14.1 | xgboost | 1.7.6 |
| xxhash | 3.3.0 | yapf | 0.31.0 | Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. | 1.9.2 |
| criação de perfil de ydata | 4.2.0 | zipp | 3.11.0 |
Bibliotecas do Python em clusters de GPU
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | acelerar | 0.21.0 | aiohttp | 3.8.5 |
| aiosignal | 1.3.1 | anyio | 3.5.0 | appdirs | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | Astunparse | 1.6.3 | async-timeout (tempo limite para operações assíncronas) | 4.0.3 |
| atributos | 22.1.0 | audioread | 3.0.0 | azure-core | 1.29.1 |
| azure-cosmos | 4.3.1 | Armazenamento em Blob do Azure | 12.18.1 | Azure Armazenamento Arquivos Data Lake | 12.13.1 |
| chamada de retorno | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| preto | 22.6.0 | alvejante | 4.1.0 | antolho | 1.4 |
| felicidade | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.96 |
| ferramentas de cache | 5.3.1 | catálogo | 2.0.9 | codificadores de categoria | 2.6.2 |
| certifi... | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| normalizador de conjunto de caracteres | 2.0.4 | clique | 8.0.4 | cloudpickle | 2.0.0 |
| cmake | 3.27.5 | cmdstanpy | 1.1.0 | Comunicação | 0.1.2 |
| confecção | 0.1.3 | configparser | 5.2.0 | contorno | 1.0.5 |
| convertdate | 2.4.0 | criptografia | 39.0.1 | ciclista | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | Dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.19 | databricks-cli | 0.17.7 | DataBricks Feature Store | 0.15.1 |
| databricks-sdk | 0.1.6 | dataclasses-json | 0.5.14 | conjuntos de dados | 2.14.4 |
| dbl-tempo | 0.1.23 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| decorador | 5.1.1 | deepspeed | 0.10.0 | defusedxml | 0.7.1 |
| endro | 0.3.6 | cache de disco | 5.6.3 | distlib | 0.3.7 |
| de docstring para markdown | 0.11 | einops | 0.6.1 | pontos de entrada | 0,4 |
| efêm | 4.1.4 | avaliar | 0.4.0 | em execução | 0.8.3 |
| Visão geral de facetas | 1.1.1 | fastapi | 0.98.0 | fastjsonschema | 2.18.0 |
| fasttext | 0.9.2 | bloqueio de arquivo | 3.9.0 | flash-attn | 2.0.8 |
| Flask | 2.2.5 | flatbuffers | 26/05/2023 | fonttools | 4.25.0 |
| lista de congelados | 1.4.0 | fsspec | 2022.11.0 | futuro | 0.18.3 |
| Gast | 0.4.0 | Biblioteca de runtime do GCC | 1.10.0 | gitdb | 4.0.10 |
| GitPython | 3.1.27 | google-api-core | 2.11.1 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.3.3 | armazenamento na nuvem do Google | 2.10.0 |
| google-crc32c | 1.5.0 | google-pasta | 0.2.0 | google-mídia-retomável | 2.6.0 |
| googleapis-common-protos | 1.60.0 | greenlet | 2.0.1 | grpcio | 1.48.2 |
| grpcio-status | 1.48.1 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h11 | 0.14.0 | h5py | 3.7.0 | hjson | 3.1.0 |
| Férias | 0,30 | horovod | 0.28.1 | htmlmin | 0.1.12 |
| httplib2 | 0.20.2 | httptools | 0.6.0 | huggingface-hub | 0.14.1 |
| IDNA | 3.4 | ImageHash | 4.3.1 | desequilibrado-learn | 0.10.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 6.0.1 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets (biblioteca Python para widgets interativos) | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.1 |
| Jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.17.3 |
| Cliente Jupyter | 7.3.4 | servidor Jupyter | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Keras | 2.13.1 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.0.267 |
| códigos de idioma | 3.3.0 | langsmith | 0.0.38 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0,3 |
| libclang | 15.0.6.1 | librosa | 0.10.1 | lightgbm | 4.0.0 |
| iluminado | 16.0.6 | llvmlite | 0.39.1 | Calendário Lunar | 0.0.9 |
| lxml | 4.9.1 | Mako | 1.2.0 | Markdown | 3.4.1 |
| MarkupSafe | 2.1.1 | marshmallow | 3.20.1 | matplotlib | 3.7.0 |
| matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 | Mistune | 0.8.4 |
| mlflow-magro | 2.7.1 | more-itertools | 8.10.0 | mpmath | 1.2.1 |
| msgpack | 1.0.5 | _multidict_ | 6.0.4 | multimétodo | 1.9.1 |
| multiprocesso | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 2.8.4 |
| ninja | 1.11.1 | nltk | 3.7 | nodeenv | 1.8.0 |
| notebook | 6.5.2 | notebook_shim | 0.2.2 | numba | 0.56.4 |
| numexpr | 2.8.4 | numpy | 1.23.5 | oauthlib | 3.2.0 |
| openai | 0.27.8 | openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 |
| empacotamento | 22,0 | Pandas | 1.5.3 | pandocfilters | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
| patia | 0.10.2 | Patsy | 0.5.3 | petastorm | 0.12.1 |
| pexpect | 4.8.0 | phik | 0.12.3 | pickleshare | 0.7.5 |
| Almofada | 9.4.0 | caroço | 22.3.1 | platformdirs | 2.5.2 |
| enredo | 5.9.0 | Pluggy | 1.0.0 | pmdarima | 2.0.3 |
| Cachorrinho | 1.4.0 | If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated. | 3.0.9 | kit de ferramentas de prompt | 3.0.36 |
| profeta | 1.1.4 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | Pyarrow | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil | 2.8.2 | python-dotenv | 1.0.0 | editor de Python | 1.0.4 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server (servidor LSP para Python) | 1.7.1 | pytoolconfig | 1.2.5 |
| Pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6,0 |
| pyzmq | 23.2.0 | regex | 2022.7.9 | Solicitações | 2.28.1 |
| requests-oauthlib | 1.3.1 | respostas | 0.18.0 | corda | 1.7.0 |
| RSA | 4.9 | s3transfer | 0.6.2 | safetensors | 0.3.3 |
| scikit-aprender | 1.1.1 | seaborn (biblioteca de visualização em Python) | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | transformadores de frase | 2.2.2 | sentencepiece | 0.1.99 |
| Ferramentas de configuração | 65.6.3 | Shap | 0.42.1 | simplejson | 3.17.6 |
| seis | 1.16.0 | segmentação | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.2.0 | arquivo de som | 0.12.1 |
| Soupsieve | 2.3.2.post1 | soxr | 0.3.6 | espaçoso | 3.6.1 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | srsly | 2.4.7 |
| ssh-import-id | 5.11 | dados empilhados | 0.2.0 | estrelinha | 0.27.0 |
| statsmodels (biblioteca para modelos estatísticos em Python) | 0.13.5 | sympy | 1.11.1 | Tabulate | 0.8.10 |
| enredado-em-unicode | 0.2.0 | tenacidade | 8.1.0 | Tensorboard | 2.13.0 |
| tensorboard-data-server | 0.7.1 | tensorboard-plugin-profile | 2.13.1 | TensorFlow | 2.13.0 |
| tensorflow-estimator | 2.13.0 | tensorflow-io-gcs-filesystem | 0.34.0 | termcolor | 2.3.0 |
| terminado | 0.17.1 | thinc | 8.1.12 | threadpoolctl | 2.2.0 |
| tiktoken | 0.4.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| criadores de token | 0.13.3 | tomli | 2.0.1 | lanterna | 2.0.1+cu118 |
| visão de tocha | 0.15.2+cu118 | tornado | 6.1 | tqdm | 4.64.1 |
| traitlets | 5.7.1 | Transformadores | 4.31.0 | Tritão | 2.0.0 |
| guarda-tipo | 2.13.3 | Typer | 0.9.0 | inspecionar digitação | 0.9.0 |
| typing_extensions | 4.4.0 | ujson | 5.4.0 | atualizações não supervisionadas | 0,1 |
| urllib3 | 1.26.14 | uvicorn | 0.23.2 | uvloop | 0.17.0 |
| virtualenv | 20.16.7 | visões | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.2 | watchfiles | 0.20.0 | wcwidth | 0.2.5 |
| codificações web | 0.5.1 | websocket-client (cliente WebSocket) | 0.58.0 | WebSockets | 11.0.3 |
| Ferramentas | 2.2.2 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | nuvem de palavras | 1.9.2 | embrulhado | 1.14.1 |
| xgboost | 1.7.6 | xxhash | 3.3.0 | yapf | 0.31.0 |
| Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. | 1.9.2 | criação de perfil de ydata | 4.2.0 | zipp | 3.11.0 |
Bibliotecas de R
As bibliotecas do R são idênticas às Bibliotecas do R no Databricks Runtime 14.1.
Bibliotecas Java e Scala (cluster Scala 2.12)
Além das bibliotecas Java e Scala no Databricks Runtime 14.1, o Databricks Runtime 14.1 ML contém os seguintes JARs:
Clusters de CPU
| ID do grupo | ID do artefato | Versão |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.7.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters de GPU
| ID do grupo | ID do artefato | Versão |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.7.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |