Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Databricks Runtime 16.4 LTS pour le Machine Learning fournit un environnement prêt à l’emploi pour le Machine Learning et la science des données basé sur Databricks Runtime 16.4 LTS. Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l’apprentissage profond distribué à l’aide de TorchDistributor, DeepSpeed et Ray.
Conseil / Astuce
Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin de la prise en charge (EoS), consultez les notes de publication des versions de Databricks Runtime ayant atteint la fin de la prise en charge. Les versions d’EoS Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.
Nouvelles fonctionnalités et améliorations
Databricks Runtime 16.4 LTS ML est basé sur Databricks Runtime 16.4 LTS. Pour plus d’informations sur les nouveautés de Databricks Runtime 16.4 LTS, notamment Apache Spark MLlib et SparkR, consultez les notes de publication databricks Runtime 16.4 LTS .
Autres modifications
XGBoost4J-Spark est désormais déprécié
XGBoost4J-Spark est désormais déprécié et ne sera pas préinstallé dans la prochaine version principale de Databricks Runtime ML. Databricks recommande d’utiliser l’API Python pour xgboost.spark. Voir l’entraînement distribué des modèles XGBoost en utilisant xgboost.spark.
TensorFlow 2.17.x ne peut pas charger la bibliothèque cuDNN
Il s’agit d’un problème connu dans Databricks Runtime 16.4 LTS ML que TensorFlow 2.17.x (version par défaut) ne peut pas accéder aux appareils GPU en raison d’une erreur de chargement de bibliothèque cuDNN. Pour résoudre ce problème, mettez à niveau TensorFlow vers la version 2.18.x ou ultérieure.
Environnement du système
L’environnement système dans Databricks Runtime 16.4 LTS ML diffère de Databricks Runtime 16.4 LTS comme suit.
- Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliothèques
Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 16.4 LTS ML qui diffèrent de celles incluses dans Databricks Runtime 16.4 LTS.
Dans cette section :
- Bibliothèques de niveau supérieur
- Bibliothèques Python
- Bibliothèques R
- Bibliothèques Java et Scala (cluster Scala 2.12)
Bibliothèques de niveau supérieur
Databricks Runtime 16.4 LTS ML inclut les bibliothèques de niveau supérieur suivantes :
- Ensembles de données
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- streaming
- TensorFlow
- TensorBoard
- Transformateurs
Bibliothèques Python
Databricks Runtime 16.4 LTS ML utilise virtualenv pour la gestion des packages Python et inclut de nombreux packages ML populaires.
Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 16.4 LTS ML inclut également les packages suivants :
- hyperopt 0.2.8+db1
- automl 1.30.0
Pour reproduire l’environnement Python Ml Databricks Runtime dans votre environnement virtuel Python local, téléchargez le fichier requirements-16.4.txt et exécutez pip install -r requirements-16.4.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl ou la duplication Databricks de hyperopt.
Bibliothèques Python sur les clusters de processeurs
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accélérer | 1.5.2 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 | alambic | 1.14.1 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.6.2 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | flèche | 1.2.3 |
| astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| autocommand | 2.2.2 | azure-core | 1.33.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.21.0 | azure-storage-blob | 12.23.0 | Azure Storage File Data Lake | 12.17.0 |
| Babel | 2.11.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | bellesoupe4 | 4.12.3 | black | 24.4.2 |
| bleach | 4.1.0 | blinker | 1.7.0 | blis | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| cachetools | 5.3.3 | catalogue | 2.0.10 | encodeurs de catégorie | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | disjoncteur | 2.1.3 | cliquez | 8.1.7 |
| cloudpathlib | 0.21.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| coloré | 0.5.6 | colorlog | 6.9.0 | comm | 0.2.1 |
| compositeur | 0.29.0 | confection | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | cryptographie | 42.0.5 |
| cycliste | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| dacite | 1.9.2 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering (ingénierie des fonctionnalités Databricks) | 0.10.2 |
| Kit de développement logiciel Databricks (SDK) | 0.30.0 | ensembles de données | 3.5.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | décorateur | 5.1.1 |
| deepspeed | 0.16.5 | defusedxml | 0.7.1 | Déconseillé | 1.2.18 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.9 |
| Conversion de docstring en markdown | 0.11 | einops | 0.8.1 | points d’entrée | 0,4 |
| évaluer | 0.4.3 | exécuter | 0.8.3 | aperçu des facettes | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
| fasttext-wheel | 0.9.2 | verrou de fichier | 3.13.1 | Flask | 2.2.5 |
| flatbuffers | 25.2.10 | outils de police | 4.51.0 | fqdn | 1.5.1 |
| frozenlist | 1.4.0 | fsspec | 2023.5.0 | futur | 0.18.3 |
| gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.37 |
| google-api-core | 2.20.0 | google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 |
| google-cloud-core | 2.4.3 | google-cloud-storage (Stockage dans le cloud de Google) | 2.10.0 | google-crc32c | 1.7.1 |
| google-pasta | 0.2.0 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.70.0 |
| gql | 3.5.2 | graphql-core | 3.2.4 | greenlet | 3.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | gymnasium | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.11.0 | hjson | 3.1.0 | vacances | 0.54 |
| htmlmin | 0.1.12 | httpcore | 1.0.8 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface-hub | 0.29.3 | IDNA | 3.7 |
| ImageHash | 4.3.1 | imageio | 2.33.1 | imbalanced-learn | 0.12.3 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.5.2 | inflect | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets (un outil de widgets interactifs pour Python) | 7.7.2 | isodate | 0.6.1 |
| isoduration | 20.11.0 | c'est dangereux | 2.2.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
| Jedi | 0.19.1 | Jinja2 | 3.1.4 | jiter | 0.9.0 |
| jmespath | 1.0.1 | joblib | 1.4.2 | joblibspark | 0.5.3 |
| json5 | 0.9.6 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| jsonschema | 4.19.2 | spécifications du schéma JSON | 2023.7.1 | événements Jupyter | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| serveur Jupyter | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 |
| jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 | keras | 3.9.0 |
| kiwisolver | 1.4.4 | langchain | 0.3.21 | langchain-core | 0.3.51 |
| langchain-text-splitters | 0.3.8 | codes de langue | 3.5.0 | langsmith | 0.1.133 |
| données_linguistiques | 1.3.0 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | lazy_loader | 0,4 | libclang | 15.0.6.1 |
| librosa | 0.10.2 | lightgbm | 4.5.0 | lightning-utilities | 0.14.3 |
| linkify-it-py | 2.0.0 | llvmlite | 0.42.0 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.2.0 | Markdown | 3.4.1 |
| markdown-it-py | 2.2.0 | MarkupSafe | 2.1.3 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.17.1 | mistune | 2.0.4 |
| ml-dtypes | 0.4.1 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 |
| msal | 1.32.0 | msal-extensions | 1.3.1 | msgpack | 1.1.0 |
| multidict | 6.0.4 | multimethod | 1.12 | multiprocess | 0.70.16 |
| murmurhash | 1.0.12 | mypy | 1.10.0 | mypy-extensions | 1.0.0 |
| namex | 0.0.8 | nbclient | 0.8.0 | nbconvert | 7.10.0 |
| nbformat | 5.9.2 | nest-asyncio | 1.6.0 | networkx | 3.2.1 |
| ninja | 1.11.1.1 | nltk | 3.8.1 | nodeenv | 1.9.1 |
| carnet de notes | 7.0.8 | notebook_shim | 0.2.3 | numba | 0.59.1 |
| numpy | 1.26.4 | oauthlib | 3.2.0 | oci | 2.150.0 |
| openai | 1.69.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opentelemetry-api | 1.32.0 | opentelemetry-sdk | 1.32.0 | opentelemetry-semantic-conventions | 0.53b0 |
| opt_einsum | 3.4.0 | optree | 0.15.0 | optuna | 3.6.1 |
| optuna-integration | 3.6.0 | orjson | 3.10.16 | remplace | 7.4.0 |
| empaquetage | 24.1 | Pandas | 1.5.3 | pandocfilters | 1.5.0 |
| paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | phik | 0.12.4 |
| pillow | 10.3.0 | pip | 24,2 | platformdirs | 3.10.0 |
| plotly | 5.22.0 | pluggy | 1.0.0 | pmdarima | 2.0.4 |
| pooch | 1.8.2 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | prophète | 1.1.6 | proto-plus | 1.26.1 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | éditeur de Python | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | questionary | 2.1.0 | ray | 2.37.0 |
| référencement | 0.30.2 | regex | 2023.10.3 | Requêtes | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | RFC3339 validateur | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | rope | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | transformateurs de phrases | 3.4.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | six | 1.16.0 |
| segment | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | fichier audio | 0.12.1 | soupsieve | 2,5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchimie | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | données en pile | 0.2.0 |
| stanio | 0.5.1 | starlette | 0.46.2 | statsmodels, une bibliothèque Python pour la modélisation statistique | 0.14.2 |
| sympy | 1.13.1 | tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 |
| ténacité | 8.2.2 | tensorboard | 2.17.0 | serveur de données TensorBoard | 0.7.2 |
| tensorboard-plugin-profile | 2.17.0 | tensorboardX | 2.6.2.2 | tensorflow | 2.17.0 |
| estimateur TensorFlow | 2.15.0 | termcolor | 3.0.1 | terminado | 0.17.1 |
| textual | 3.1.0 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| threadpoolctl | 2.2.0 | tifffile | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | générateurs de jetons | 0.21.0 |
| tomli | 2.0.1 | torch | 2.6.0+cpu | torch-optimizer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.6.0 | torchvision | 0.21.0+cpu |
| tornade | 6.4.1 | tqdm | 4.66.4 | traitlets | 5.14.3 |
| Transformateurs | 4.50.2 | typeguard | 4.4.2 | typer | 0.15.2 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | types de requêtes | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| types-six | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | unattended-upgrades | 0.1 |
| uri-template | 1.3.0 | urllib3 | 1.26.16 | uvicorn | 0.34.1 |
| validateurs | 0.34.0 | virtualenv | 20.26.2 | visions | 0.7.5 |
| wadllib | 1.3.6 | wasabi | 1.1.3 | wcwidth | 0.2.5 |
| weasel | 0.4.1 | webcolores | 24.11.1 | webencodings | 0.5.1 |
| websocket-client | 1.8.0 | websockets | 11.0.3 | Outil | 3.0.3 |
| c’est quoi le patch | 1.0.2 | roue | 0.43.0 | nuage de mots | 1.9.4 |
| wrapt | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf | 0.33.0 | yarl | 1.9.3 |
| ydata-profiling | 4.9.0 | zipp | 3.17.0 | zstd | 1.5.5.1 |
Bibliothèques Python sur des clusters GPU
Remarque
PyTorch utilise les dépendances PyPI CUDA pour fournir la prise en charge de CUDA au lieu des versions de bibliothèque CUDA intégrées à Databricks Runtime 16.4 LTS ML.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accélérer | 1.5.2 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | flèche | 1.2.3 | astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | autocommand | 2.2.2 |
| azure-core | 1.33.0 | azure-cosmos | 4.3.1 | azure-identity | 1.21.0 |
| azure-storage-blob | 12.23.0 | Azure Storage File Data Lake | 12.17.0 | Babel | 2.11.0 |
| backoff | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| bellesoupe4 | 4.12.3 | black | 24.4.2 | bleach | 4.1.0 |
| blinker | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| catalogue | 2.0.10 | encodeurs de catégorie | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| disjoncteur | 2.1.3 | cliquez | 8.1.7 | cloudpathlib | 0.21.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 | coloré | 0.5.6 |
| colorlog | 6.9.0 | comm | 0.2.1 | compositeur | 0.29.0 |
| confection | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| coolname | 2.2.0 | cryptographie | 42.0.5 | cycliste | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | dacite | 1.9.2 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering (ingénierie des fonctionnalités Databricks) | 0.10.2 | Kit de développement logiciel Databricks (SDK) | 0.30.0 |
| ensembles de données | 3.5.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | décorateur | 5.1.1 | deepspeed | 0.16.5 |
| defusedxml | 0.7.1 | Déconseillé | 1.2.18 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.9 | Conversion de docstring en markdown | 0.11 |
| einops | 0.8.1 | points d’entrée | 0,4 | évaluer | 0.4.3 |
| exécuter | 0.8.3 | aperçu des facettes | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastapi | 0.115.12 | fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 |
| verrou de fichier | 3.13.1 | flash_attn | 2.7.4.post1 | Flask | 2.2.5 |
| flatbuffers | 25.2.10 | outils de police | 4.51.0 | fqdn | 1.5.1 |
| frozenlist | 1.4.0 | fsspec | 2023.5.0 | futur | 0.18.3 |
| gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.37 |
| google-api-core | 2.20.0 | google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 |
| google-cloud-core | 2.4.3 | google-cloud-storage (Stockage dans le cloud de Google) | 2.10.0 | google-crc32c | 1.7.1 |
| google-pasta | 0.2.0 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.70.0 |
| gql | 3.5.2 | graphql-core | 3.2.4 | greenlet | 3.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | gymnasium | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.11.0 | hjson | 3.1.0 | vacances | 0.54 |
| htmlmin | 0.1.12 | httpcore | 1.0.8 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface-hub | 0.29.3 | IDNA | 3.7 |
| ImageHash | 4.3.1 | imageio | 2.33.1 | imbalanced-learn | 0.12.3 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.5.2 | inflect | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets (un outil de widgets interactifs pour Python) | 7.7.2 | isodate | 0.6.1 |
| isoduration | 20.11.0 | c'est dangereux | 2.2.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
| Jedi | 0.19.1 | Jinja2 | 3.1.4 | jiter | 0.9.0 |
| jmespath | 1.0.1 | joblib | 1.4.2 | joblibspark | 0.5.3 |
| json5 | 0.9.6 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| jsonschema | 4.19.2 | spécifications du schéma JSON | 2023.7.1 | événements Jupyter | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| serveur Jupyter | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 |
| jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 | keras | 3.9.0 |
| kiwisolver | 1.4.4 | langchain | 0.3.21 | langchain-core | 0.3.51 |
| langchain-text-splitters | 0.3.8 | codes de langue | 3.5.0 | langsmith | 0.1.133 |
| données_linguistiques | 1.3.0 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | lazy_loader | 0,4 | libclang | 15.0.6.1 |
| librosa | 0.10.2 | lightgbm | 4.5.0 | lightning-utilities | 0.14.3 |
| linkify-it-py | 2.0.0 | llvmlite | 0.42.0 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.2.0 | Markdown | 3.4.1 |
| markdown-it-py | 2.2.0 | MarkupSafe | 2.1.3 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.17.1 | mistune | 2.0.4 |
| ml-dtypes | 0.4.1 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 |
| msal | 1.32.0 | msal-extensions | 1.3.1 | msgpack | 1.1.0 |
| multidict | 6.0.4 | multimethod | 1.12 | multiprocess | 0.70.16 |
| murmurhash | 1.0.12 | mypy | 1.10.0 | mypy-extensions | 1.0.0 |
| namex | 0.0.8 | nbclient | 0.8.0 | nbconvert | 7.10.0 |
| nbformat | 5.9.2 | nest-asyncio | 1.6.0 | networkx | 3.2.1 |
| ninja | 1.11.1.1 | nltk | 3.8.1 | nodeenv | 1.9.1 |
| carnet de notes | 7.0.8 | notebook_shim | 0.2.3 | numba | 0.59.1 |
| numpy | 1.26.4 | nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 |
| nvidia-cuda-nvrtc-cu12 | 12.4.127 | nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 |
| nvidia-cufft-cu12 | 11.2.1.3 | nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 |
| nvidia-cusparse-cu12 | 12.3.1.170 | nvidia-cusparselt-cu12 | 0.6.2 | nvidia-nccl-cu12 | 2.21.5 |
| nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 | oauthlib | 3.2.0 |
| oci | 2.150.0 | openai | 1.69.0 | opencensus | 0.11.4 |
| opencensus-context | 0.1.3 | opentelemetry-api | 1.32.0 | opentelemetry-sdk | 1.32.0 |
| opentelemetry-semantic-conventions | 0.53b0 | opt_einsum | 3.4.0 | optree | 0.15.0 |
| optuna | 3.6.1 | optuna-integration | 3.6.0 | orjson | 3.10.16 |
| remplace | 7.4.0 | empaquetage | 24.1 | Pandas | 1.5.3 |
| pandocfilters | 1.5.0 | paramiko | 3.4.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.6 | pexpect | 4.8.0 |
| phik | 0.12.4 | pillow | 10.3.0 | pip | 24,2 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggy | 1.0.0 |
| pmdarima | 2.0.4 | pooch | 1.8.2 | preshed | 3.0.9 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.43 | prophète | 1.1.6 |
| proto-plus | 1.26.1 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 |
| éditeur de Python | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.10.0 | python-snappy | 0.6.1 | pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | questionary | 2.1.0 |
| ray | 2.37.0 | référencement | 0.30.2 | regex | 2023.10.3 |
| Requêtes | 2.32.2 | requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 |
| RFC3339 validateur | 0.1.4 | rfc3986-validator | 0.1.1 | rich | 13.3.5 |
| rope | 1.12.0 | rpds-py | 0.10.6 | rsa | 4,9 |
| ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 |
| safetensors | 0.4.4 | scikit-image | 0.23.2 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | Send2Trash | 1.8.2 |
| transformateurs de phrases | 3.4.1 | sentencepiece | 0.2.0 | setuptools | 74.0.0 |
| shap | 0.46.0 | shellingham | 1.5.4 | simplejson | 3.17.6 |
| six | 1.16.0 | segment | 0.0.8 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | fichier audio | 0.12.1 |
| soupsieve | 2,5 | soxr | 0.5.0.post1 | spacy | 3.7.5 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | SQLAlchimie | 2.0.30 |
| sqlparse | 0.4.2 | srsly | 2.5.1 | ssh-import-id | 5.11 |
| données en pile | 0.2.0 | stanio | 0.5.1 | starlette | 0.46.2 |
| statsmodels, une bibliothèque Python pour la modélisation statistique | 0.14.2 | sympy | 1.13.1 | tabulate | 0.9.0 |
| tangled-up-in-unicode | 0.2.0 | ténacité | 8.2.2 | tensorboard | 2.17.0 |
| serveur de données TensorBoard | 0.7.2 | tensorboard-plugin-profile | 2.17.0 | tensorboardX | 2.6.2.2 |
| tensorflow | 2.17.0 | estimateur TensorFlow | 2.15.0 | termcolor | 3.0.1 |
| terminado | 0.17.1 | textual | 3.1.0 | tf_keras | 2.17.0 |
| thinc | 8.2.5 | threadpoolctl | 2.2.0 | tifffile | 2023.4.12 |
| tiktoken | 0.7.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| générateurs de jetons | 0.21.0 | tomli | 2.0.1 | torch | 2.6.0+cu124 |
| torch-optimizer | 0.3.0 | torcheval | 0.0.7 | torchmetrics | 1.6.0 |
| torchvision | 0.21.0+cu124 | tornade | 6.4.1 | tqdm | 4.66.4 |
| traitlets | 5.14.3 | Transformateurs | 4.50.2 | triton | 3.2.0 |
| typeguard | 4.4.2 | typer | 0.15.2 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| types de requêtes | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 1.26.16 | uvicorn | 0.34.1 | validateurs | 0.34.0 |
| virtualenv | 20.26.2 | visions | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.3 | wcwidth | 0.2.5 | weasel | 0.4.1 |
| webcolores | 24.11.1 | webencodings | 0.5.1 | websocket-client | 1.8.0 |
| websockets | 11.0.3 | Outil | 3.0.3 | c’est quoi le patch | 1.0.2 |
| roue | 0.43.0 | nuage de mots | 1.9.4 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | yarl | 1.9.3 | ydata-profiling | 4.9.0 |
| zipp | 3.17.0 | zstd | 1.5.5.1 |
Bibliothèques R
Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 16.4 LTS.
Bibliothèques Java et Scala (cluster Scala 2.12)
Outre les bibliothèques Java et Scala dans Databricks Runtime 16.4 LTS, Databricks Runtime 16.4 LTS ML contient les jaRs suivants :
Clusters de CPU
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters de GPU
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |