Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Remarque
La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.
Databricks Runtime 16.3 pour l'apprentissage automatique fournit un environnement prêt à l'emploi pour l'apprentissage automatique et la science des données basé sur Databricks Runtime 16.3 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques de Machine Learning populaires, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML inclut AutoML , un outil permettant d’entraîner automatiquement des pipelines Machine Learning. Databricks Runtime ML prend également en charge l’apprentissage profond distribué à l’aide de TorchDistributor, DeepSpeed et Ray.
Nouvelles fonctionnalités et améliorations
Databricks Runtime 16.3 ML est basé sur Databricks Runtime 16.3. Pour plus d’informations sur les nouveautés de Databricks Runtime 16.3, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 16.3 (EoS).
Autres modifications
TensorFlow 2.17.x ne peut pas charger la bibliothèque cuDNN
Il s’agit d’un problème connu dans Databricks Runtime 16.3 ML que TensorFlow 2.17.x (version par défaut) ne peut pas accéder aux appareils GPU en raison d’une erreur de chargement de bibliothèque cuDNN. Pour résoudre ce problème, mettez à niveau TensorFlow vers la version 2.18.x ou ultérieure.
Environnement système
L’environnement système dans Databricks Runtime 16.3 ML diffère de Databricks Runtime 16.3 comme suit.
- Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliothèques
Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 16.3 ML qui diffèrent de celles incluses dans Databricks Runtime 16.3.
Dans cette section :
- bibliothèques de niveau supérieur
- bibliothèques Python
- Bibliothèques R
- bibliothèques Java et Scala (cluster Scala 2.12)
Bibliothèques de niveau supérieur
Databricks Runtime 16.3 ML inclut les bibliothèques de niveau supérieur suivantes:
- jeux de données
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- Streaming
- TensorFlow
- TensorBoard
- Transformateurs
bibliothèques de Python
Databricks Runtime 16.3 ML utilise virtualenv pour la gestion des packages Python et inclut de nombreux packages ML populaires.
Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 16.3 ML inclut également les packages suivants :
- hyperopt 0.2.8+db1
- automl 1.30.0
Pour reproduire l’environnement Databricks Runtime ML Python dans votre environnement virtuel Python local, téléchargez le fichier requirements-16.3.txt et exécutez pip install -r requirements-16.3.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl ou le fourche Databricks de hyperopt.
bibliothèques de Python sur les clusters processeur
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accélérer | 1.4.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | alambic | 1.14.0 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.3 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | flèche | 1.2.3 |
| astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| autocommand | 2.2.2 | azure-core | 1.32.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.19.0 | azure-storage-blob | 12.23.0 | Azure Storage File Data Lake | 12.17.0 |
| Babel | 2.11.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | bellesoupe4 | 4.12.3 | black | 24.4.2 |
| bleach | 4.1.0 | blinker | 1.7.0 | blis | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| cachetools | 5.3.3 | catalogue | 2.0.10 | encodeurs de catégorie | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | disjoncteur | 2.0.0 | cliquez | 8.1.7 |
| cloudpathlib | 0.20.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| coloré | 0.5.6 | colorlog | 6.9.0 | comm | 0.2.1 |
| compositeur | 0.29.0 | confection | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | cryptographie | 42.0.5 |
| cycliste | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering (ingénierie des fonctionnalités Databricks) | 0.8.0 |
| Kit de développement logiciel Databricks (SDK) | 0.30.0 | ensembles de données | 3.3.2 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | décorateur | 5.1.1 |
| deepspeed | 0.16.4 | defusedxml | 0.7.1 | Obsolète | 1.2.15 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| Conversion de docstring en markdown | 0.11 | einops | 0.8.0 | points d’entrée | 0,4 |
| évaluer | 0.4.3 | exécuter | 0.8.3 | aperçu des facettes | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 |
| verrouillage de fichier | 3.13.1 | Flask | 2.2.5 | flatbuffers | 24.12.23 |
| outils de police | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | futur | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| google-cloud-storage (Stockage dans le cloud de Google) | 2.10.0 | google-crc32c | 1.6.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | vacances | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.29.1 | IDNA | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets (un outil de widgets interactifs pour Python) | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| c'est dangereux | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| spécifications du schéma JSON | 2023.7.1 | événements Jupyter | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | serveur Jupyter | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.19 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| codes de langue | 3.5.0 | langsmith | 0.1.133 | données_linguistiques | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0,4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | carnet de notes | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.64.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | remplace | 7.4.0 | emballage | 24.1 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | pillow | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | pooch | 1.8.2 |
| portalocker | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | prophète | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | éditeur de Python | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | questionary | 2.1.0 | ray | 2.37.0 |
| référencement | 0.30.2 | regex | 2023.10.3 | Requêtes | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | RFC3339 validateur | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | rope | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | transformateurs de phrases | 3.4.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | six | 1.16.0 |
| segment | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | fichier audio | 0.12.1 | soupsieve | 2,5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchimie | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | données en pile | 0.2.0 |
| stanio | 0.5.1 | statsmodels, une bibliothèque Python pour la modélisation statistique | 0.14.2 | sympy | 1.13.1 |
| tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 | ténacité | 8.2.2 |
| tensorboard | 2.18.0 | serveur de données TensorBoard | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.18.0 | estimateur TensorFlow | 2.15.0 |
| termcolor | 2.5.0 | terminado | 0.17.1 | textual | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | générateurs de jetons | 0.21.0 | tomli | 2.0.1 |
| torch | 2.6.0+cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.6.0 | torchvision | 0.21.0+cpu | tornade | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformateurs | 4.49.0 |
| typeguard | 4.4.1 | typer | 0.15.1 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| types de requêtes | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 1.26.16 | validateurs | 0.34.0 | virtualenv | 20.26.2 |
| visions | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.3 |
| wcwidth | 0.2.5 | weasel | 0.4.1 | webcolores | 24.11.1 |
| webencodings | 0.5.1 | websocket-client | 1.8.0 | websockets | 11.0.3 |
| Outil | 3.0.3 | c’est quoi le patch | 1.0.2 | roue | 0.43.0 |
| nuage de mots | 1.9.4 | wrapt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| yarl | 1.9.3 | ydata-profiling | 4.9.0 | zipp | 3.17.0 |
| zstd | 1.5.5.1 |
bibliothèques Python sur des clusters GPU
Remarque
PyTorch utilise les dépendances PyPI CUDA pour fournir la prise en charge de CUDA au lieu des versions de bibliothèque CUDA intégrées à Databricks Runtime 16.3 ML.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accélérer | 1.4.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.3 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | flèche | 1.2.3 | astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | autocommand | 2.2.2 |
| azure-core | 1.32.0 | azure-cosmos | 4.3.1 | azure-identity | 1.19.0 |
| azure-storage-blob | 12.23.0 | Azure Storage File Data Lake | 12.17.0 | Babel | 2.11.0 |
| backoff | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| bellesoupe4 | 4.12.3 | black | 24.4.2 | bleach | 4.1.0 |
| blinker | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| catalogue | 2.0.10 | encodeurs de catégorie | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| disjoncteur | 2.0.0 | cliquez | 8.1.7 | cloudpathlib | 0.20.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 | coloré | 0.5.6 |
| colorlog | 6.9.0 | comm | 0.2.1 | compositeur | 0.29.0 |
| confection | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| coolname | 2.2.0 | cryptographie | 42.0.5 | cycliste | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering (ingénierie des fonctionnalités Databricks) | 0.8.0 | Kit de développement logiciel Databricks (SDK) | 0.30.0 |
| ensembles de données | 3.3.2 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | décorateur | 5.1.1 | deepspeed | 0.16.4 |
| defusedxml | 0.7.1 | Obsolète | 1.2.15 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.8 | Conversion de docstring en markdown | 0.11 |
| einops | 0.8.0 | points d’entrée | 0,4 | évaluer | 0.4.3 |
| exécuter | 0.8.3 | aperçu des facettes | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 | verrouillage de fichier | 3.13.1 |
| flash-attn | 2.7.4.post1 | Flask | 2.2.5 | flatbuffers | 24.12.23 |
| outils de police | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | futur | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| google-cloud-storage (Stockage dans le cloud de Google) | 2.10.0 | google-crc32c | 1.6.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | vacances | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.29.0 | IDNA | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets (un outil de widgets interactifs pour Python) | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| c'est dangereux | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| spécifications du schéma JSON | 2023.7.1 | événements Jupyter | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | serveur Jupyter | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.19 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| codes de langue | 3.5.0 | langsmith | 0.1.133 | données_linguistiques | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0,4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | carnet de notes | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
| nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
| nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.64.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | remplace | 7.4.0 | emballage | 24.1 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | pillow | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | pooch | 1.8.2 |
| portalocker | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | prophète | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | éditeur de Python | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | questionary | 2.1.0 | ray | 2.37.0 |
| référencement | 0.30.2 | regex | 2023.10.3 | Requêtes | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | RFC3339 validateur | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | rope | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | transformateurs de phrases | 3.4.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | six | 1.16.0 |
| segment | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | fichier audio | 0.12.1 | soupsieve | 2,5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchimie | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | données en pile | 0.2.0 |
| stanio | 0.5.1 | statsmodels, une bibliothèque Python pour la modélisation statistique | 0.14.2 | sympy | 1.13.1 |
| tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 | ténacité | 8.2.2 |
| tensorboard | 2.18.0 | serveur de données TensorBoard | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.18.0 | estimateur TensorFlow | 2.15.0 |
| termcolor | 2.5.0 | terminado | 0.17.1 | textual | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | générateurs de jetons | 0.21.0 | tomli | 2.0.1 |
| torch | 2.6.0+cu124 | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.6.0 | torchvision | 0.21.0+cu124 | tornade | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformateurs | 4.49.0 |
| triton | 3.1.0 | typeguard | 4.4.1 | typer | 0.15.1 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | types de requêtes | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| types-six | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | unattended-upgrades | 0.1 |
| uri-template | 1.3.0 | urllib3 | 1.26.16 | validateurs | 0.34.0 |
| virtualenv | 20.26.2 | visions | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.3 | wcwidth | 0.2.5 | weasel | 0.4.1 |
| webcolores | 24.11.1 | webencodings | 0.5.1 | websocket-client | 1.8.0 |
| websockets | 11.0.3 | Outil | 3.0.3 | c’est quoi le patch | 1.0.2 |
| roue | 0.43.0 | nuage de mots | 1.9.4 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | yarl | 1.9.3 | ydata-profiling | 4.9.0 |
| zipp | 3.17.0 | zstd | 1.5.5.1 |
Bibliothèques R
Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 16.3.
bibliothèques Java et Scala (cluster Scala 2.12)
Outre les bibliothèques Java et Scala dans Databricks Runtime 16.3, Databricks Runtime 16.3 ML contient les JARs suivants :
Clusters de CPU
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters de GPU
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |