注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 17.0 for Machine Learning は、Databricks Runtime 17.0 (EoS) に基づく機械学習とデータ サイエンス用の即時利用可能な環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML では、TorchDistributor、DeepSpeed、Ray を使用した分散型ディープ ラーニング トレーニングもサポートされています。
新機能と機能強化
Databricks Runtime 17.0 ML は、Databricks Runtime 17.0 の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 17.0 の新機能については、 Databricks Runtime 17.0 (EoS) のリリース ノートを参照してください。
SparkML が標準クラスターでサポートされるようになりました
Databricks Runtime 17.0 ML では、標準 (以前は共有) クラスターで SparkML がサポートされています。 標準クラスターの詳細については、「 アクセス モード」を参照してください。
標準クラスターで SparkML を実行する場合は、次の制限事項が適用されます。
- モデルの最大サイズは 1 GB です。
- セッションあたりの最大モデル キャッシュ サイズは 10 GB です。
- モデル のサイズが 1 GB を超える場合、ツリー モデルのトレーニングは早期に停止します。
- 次の SparkML モデルはサポートされていません。
- 分散型LDAモデル (DistributedLDAModel)
- FPGrowthModel
その他の変更
XGBoost4J-Spark が削除されました
以前のバージョンの Databricks Runtime ML に含まれていた XGBoost4J-Spark は、Databricks Runtime 17.0 ML には含まれていません。 Databricks では、 xgboost.sparkに Python API を使用することをお勧めします。
xgboost.sparkを使用した XGBoost モデルの分散トレーニングを参照してください。
Cosmos DB オンライン ストア プロバイダーがサポートされなくなりました
Cosmos DB オンライン ストア プロバイダーは、Databricks Runtime 17.0 ML 以降と互換性がありません。
システム環境
Databricks Runtime 17.0 ML のシステム環境は、次のように Databricks Runtime 17.0 と異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- cublas 12.6.4.1-1
- cusolver 11.7.1.2-1
- cupti 12.6.80-1
- cusparse 12.5.4.2-1
- cuDNN 9.5.1.17-1
- NCCL 2.26.2
- TensorRT 10.2.0.19-1
Libraries
次のセクションでは、Databricks Runtime 17.0 ML に含まれている、Databricks Runtime 17.0 に含まれるライブラリとは異なるライブラリを一覧表示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 17.0 ML には、次の最上位レベル のライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- streaming
- TensorFlow
- TensorBoard
- トランスフォーマー
Python ライブラリ
Databricks Runtime 17.0 ML では、Python パッケージ管理に virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
Databricks Runtime 17.0 ML には、次のセクションで指定したパッケージに加えて、次のパッケージも含まれています。
- automl 1.30.0
ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、 requirements-17.0.txt ファイルをダウンロードし、 pip install -r requirements-17.0.txt実行します。 このコマンドを実行すると、Databricks Runtime ML で使用されるすべてのオープン ソース ライブラリがインストールされますが、 databricks-automl や databricks fork of hyperoptなど、Databricks によって開発されたライブラリはインストールされません。
CPU クラスター上の Python ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 1.5.2 | aiohappyeyeballs | 2.4.4 |
| aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | アイオシグナル | 1.2.0 |
| alembic | 1.15.2 | 注釈付き型 | 0.7.0 | anyio | 4.6.2 |
| argcomplete | 3.6.2 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| 矢印 | 1.3.0 | アスター | 0.8.1 | アストトークン | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | 属性 | 24.3.0 |
| audioread | 3.0.1 | 自動コマンド | 2.2.2 | azure-common | 1.1.28 |
| azure-core (アジュール コア) | 1.33.0 | azure-cosmos | 4.3.1 | azure-identity (アズール・アイデンティティ) | 1.20.0 |
| azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 | アジュール・ストレージ・ブロブ | 12.23.0 |
| azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 | バベル | 2.16.0 | backoff | 2.2.1 |
| backports.tarfile | 1.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 |
| 黒い | 24.10.0 | 漂白剤 | 6.2.0 | ウインカー | 1.7.0 |
| ブリス | 0.7.11 | boto3 | 1.36.2 | botocore | 1.36.3 |
| Brotli | 1.1.0 | キャッシュツールズ (cachetools) | 5.5.1 | カタログ | 2.0.10 |
| category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2025年1月31日 | cffi | 1.17.1 |
| チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 3.3.2 | circuitbreaker | 2.1.3 |
| click | 8.1.7 | cloudpathlib | 0.21.0 | クラウドピックル | 3.0.0 |
| cmdstanpy | 1.2.5 | カラフル | 0.5.6 | colorlog | 6.9.0 |
| comm | 0.2.1 | 作曲家 | 0.29.0 | お菓子 | 0.1.5 |
| configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.3.1 | クールネーム | 2.2.0 |
| cramjam | 2.10.0 | 暗号 | 43.0.3 | サイクリスト | 0.11.0 |
| サイメム | 2.0.11 | Cython | 3.0.12 | ダサイト | 1.9.2 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | databricks-sdk（データブリックスSDK） | 0.49.0 | データセット | 2.20.0 |
| dbl-tempo | 0.1.26 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| デコレータ | 5.1.1 | ディープスピード | 0.14.4 | デフューズドXML (defusedxml) | 0.7.1 |
| Deprecated | 1.2.13 | ディル | 0.3.8 | distlib | 0.3.9 |
| dmツリー | 0.1.9 | ドックストリングをMarkdownに変換 | 0.11 | 入口点 | 0.4 |
| 評価する | 0.4.2 | 実行中 | 0.8.3 | ファセット概要 | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
| ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 | Flask | 2.2.5 |
| フラットバッファーズ | 25.2.10 | fonttools（フォントツールズ） | 4.55.3 | FQDN | 1.5.1 |
| フローズンリスト | 1.5.0 | fsspec | 2023.5.0 | 未来 | 0.18.3 |
| ガスト | 0.4.0 | ギットディービー | 4.0.11 | GitPython | 3.1.43 |
| google-api-core | 2.20.0 | google-auth（Google認証） | 2.38.0 | google-auth-oauthlib | 1.0.0 |
| グーグルクラウドコア | 2.4.3 | Googleクラウドストレージ | 2.10.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.7.1 |
| グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 | Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 |
| gql | 3.5.2 | graphql-core | 3.2.4 | グリーンレット | 3.1.1 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | ガニーコーン (gunicorn) | 20.1.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.12.1 |
| hjson | 3.1.0 | holidays | 0.54 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
| huggingface-hub（ハギングフェイスのハブ） | 0.30.2 | idna | 3.7 | イメージハッシュ (ImageHash) | 4.3.1 |
| imageio | 2.37.0 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.13.0 | importlib-metadata | 6.0.0 |
| importlib_resources（インポートライブラリリソース) | 6.5.2 | inflect | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.8.1 | アイソデート | 0.6.1 |
| イソデュレーション | 20.11.0 | itsdangerous（イッツデンジャラス） | 2.2.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
| ジェダイ | 0.19.2 | ジンジャ2 | 3.1.5 | jiter | 0.9.0 |
| jmespath | 1.0.1 | 「joblib」 | 1.4.2 | ジョブリブスパーク | 0.5.1 |
| json5 | 0.9.25 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| JSONスキーマ | 4.23.0 | jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 | Jupyterイベント | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core（ジュピター・コア） | 5.7.2 |
| ジュピターサーバー | 2.14.1 | jupyter_server_terminals (ジュピター サーバー ターミナルズ) | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | ジュピターラボサーバー | 2.27.3 |
| keras | 3.5.0 | キウィソルバー | 1.4.8 | langchain | 0.3.21 |
| langchain-core | 0.3.55 | langchain-text-splitters | 0.3.8 | 言語コード | 3.5.0 |
| langsmith | 0.1.133 | 言語データ | 1.3.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | レイジーローダー | 0.4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | LightGBM | 4.5.0 |
| lightning-utilities | 0.14.3 | linkify-it-py | 2.0.0 | llvmlite | 0.44.0 |
| lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 |
| matplotlib | 3.10.0 | matplotlib-インライン | 0.1.7 | マッケイブ | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | メムレイ | 1.17.1 |
| mistune | 2.0.4 | ml_dtypes | 0.5.1 | mlflow-skinny | 2.21.3 |
| mmh3 | 5.1.0 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.32.0 |
| msal-extensions | 1.3.1 | msgpack (メッセージパック) | 1.1.0 | マルチディクト | 6.1.0 |
| マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | マーマーハッシュ (murmurhash) | 1.0.12 |
| mypy-extensions (マイパイ拡張機能) | 1.0.0 | namex | 0.0.8 | nbclient（エヌビー・クライアント） | 0.8.0 |
| NBコンバート | 7.16.4 | nbフォーマット | 5.10.4 | nest-asyncio（ネスト・アサインキオ） | 1.6.0 |
| networkx | 3.4.2 | 忍者 | 1.11.1.1 | nltk | 3.9.1 |
| nodeenv | 1.9.1 | ノートブック | 7.3.2 | notebook_shim | 0.2.3 |
| numba | 0.61.0 | NumPy (数値計算ライブラリ) | 2.1.3 | nvidia-ml-py | 12.570.86 |
| oauthlib | 3.2.0 | oci | 2.150.2 | オープンAI | 1.40.2 |
| opencensus | 0.11.4 | opencensus-context (オープンセンサス・コンテキスト) | 0.1.3 | opentelemetry-api | 1.32.1 |
| opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.32.1 | OpenTelemetryセマンティック規約 | 0.53b1 | opt_einsum | 3.4.0 |
| オプツリー | 0.15.0 | オプチュナ | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.16 | によって がオーバーライドされます | 7.4.0 | 包装 | 24.1 |
| パンダ | 2.2.3 | パンドックフィルターズ | 1.5.0 | paramiko | 3.4.0 |
| パルソ | 0.8.4 | pathspec | 0.10.3 | パッツィ | 1.0.1 |
| ペキスペクト | 4.8.0 | フィック | 0.12.4 | pillow | 11.1.0 |
| pip | 25.0 | プラットフォームディレクトリ | 3.10.0 | plotly | 5.24.1 |
| pluggy | 1.5.0 | pmdarima | 2.0.4 | ワンちゃん | 1.8.2 |
| プレシェッド | 3.0.9 | prometheus_client | 0.21.0 | prompt-toolkit（プロンプトツールキット） | 3.0.43 |
| propcache | 0.2.0 | 預言者 | 1.1.6 | proto-plus | 1.26.1 |
| プロトバフ | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 | puremagic | 1.28 |
| py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow (パイアロー) | 19.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.6 | ピッコロ | 0.0.71 | pycparser（パイシーパーサー） | 2.21 |
| Pythonのデータバリデーションライブラリ「pydantic」 | 2.10.6 | pydantic_core | 2.27.2 | パイフレークス | 3.2.0 |
| パイグメンツ | 2.15.1 | PyGObject | 3.48.2 | pyiceberg | 0.9.0 |
| PyJWT | 2.10.1 | PyNaCl | 1.5.0 | pyodbc | 5.2.0 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 24.2.1 | パイパーシング (Pyparsing) | 3.2.0 | pyright | 1.1.394 |
| pytesseract | 0.3.10 | pytest | 8.3.5 | python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 |
| パイソンエディター | 1.0.4 | python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 |
| Python LSP サーバー | 1.12.0 | python-snappy | 0.7.3 | Pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.8.0 |
| PyYAML | 6.0.2 | pyzmq | 26.2.0 | アンケート | 2.1.0 |
| ray | 2.37.0 | 参照 | 0.30.2 | RegEx | 2024.11.6 |
| リクエスト | 2.32.3 | requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 |
| rfc3339-validator | 0.1.4 | RFC3986-バリデーター | 0.1.1 | リッチ | 13.9.4 |
| ロープ | 1.12.0 | rpds-py | 0.22.3 | RSA（アールエスエー） | 4.9.1 |
| ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3transfer | 0.11.3 |
| safetensors | 0.5.3 | scikit-image | 0.25.0 | scikit-learn（サイキット・ラーン） | 1.6.1 |
| scipy | 1.15.1 | seaborn（シーボーン） | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 |
| sentence-transformers | 3.0.1 | sentencepiece | 0.2.0 | setuptools（セットアップツール） | 74.0.0 |
| シャープ | 0.46.0 | シェリンガム | 1.5.4 | simplejson | 3.17.6 |
| 6 | 1.16.0 | sklearn-compat | 0.1.3 | スライサー | 0.0.8 |
| スマートオープン | 7.1.0 | smmap | 5.0.0 | スニフィオ | 1.3.0 |
| sortedcontainers | 2.4.0 | サウンドファイル | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| スタニオ | 0.5.1 | スターレット | 0.46.2 | statsmodels（スタッツモデルズ） | 0.14.4 |
| strictyaml | 1.7.3 | sympy (ライブラリ) | 1.13.3 | 一覧にする | 0.9.0 |
| 粘り強さ | 9.0.0 | TensorBoard | 2.19.0 | テンソルボード・データサーバー | 0.7.2 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.19.0 | tensorflow-estimatorツール | 2.15.0 |
| termcolor | 3.0.1 | 終了しました | 0.17.1 | textual | 3.1.1 |
| tf_keras | 2.19.0 | thinc | 8.2.4 | Threadpoolctl | 3.5.0 |
| tifffile (ティフファイル) | 2024年12月12日 | tiktoken | 0.7.0 | tinycss2 | 1.4.0 |
| tokenize-rt | 6.1.0 | トークナイザー | 0.21.1 | tomli | 2.0.1 |
| 電灯 | 2.4.0+cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| トーチメトリックス | 1.4.0.post0 | torchvision 라이브러리 | 0.19.0+cpu | 竜巻 | 6.4.2 |
| tqdm | 4.67.1 | traitlets（トレイトレット） | 5.14.3 | トランスフォーマー | 4.49.0 |
| typeguard | 4.4.2 | typer | 0.15.2 | types-python-dateutil | 2.9.0.20241206 |
| タイピングエクステンションズ (typing_extensions) | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.34.2 | validators | 0.34.0 |
| virtualenv | 20.29.3 | ビジョン | 0.8.1 | wadllib | 1.3.6 |
| わさび | 1.1.3 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | weasel | 0.4.1 |
| webcolors | 24.11.1 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 1.8.0 |
| ウェブソケット | 11.0.3 | Werkzeug | 3.1.3 | whatthepatch（ホワットザパッチ） | 1.0.2 |
| ホイール | 0.45.1 | ウィジェットNBエクステンション | 3.6.6 | ワードクラウド | 1.9.4 |
| wrapt | 1.17.0 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.5.0 | yapf (ヤップフ) | 0.33.0 | yarl | 1.18.0 |
| ydata-profiling | 4.16.1 | ジップ | 3.21.0 | zstd | 1.5.5.1 |
GPU クラスター上の Python ライブラリ
注
PyTorch は、CUDA PyPI 依存関係を使用して、Databricks Runtime 17.0 ML に組み込まれている CUDA ライブラリ バージョンの代わりに CUDA のサポートを提供します。
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 1.5.2 | aiohappyeyeballs | 2.4.4 |
| aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | アイオシグナル | 1.2.0 |
| alembic | 1.15.2 | 注釈付き型 | 0.7.0 | anyio | 4.6.2 |
| argcomplete | 3.6.2 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| 矢印 | 1.3.0 | アスター | 0.8.1 | アストトークン | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | 属性 | 24.3.0 |
| audioread | 3.0.1 | 自動コマンド | 2.2.2 | azure-common | 1.1.28 |
| azure-core (アジュール コア) | 1.33.0 | azure-cosmos | 4.3.1 | azure-identity (アズール・アイデンティティ) | 1.20.0 |
| azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 | アジュール・ストレージ・ブロブ | 12.23.0 |
| azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 | バベル | 2.16.0 | backoff | 2.2.1 |
| backports.tarfile | 1.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 |
| 黒い | 24.10.0 | 漂白剤 | 6.2.0 | ウインカー | 1.7.0 |
| ブリス | 0.7.11 | boto3 | 1.36.2 | botocore | 1.36.3 |
| Brotli | 1.1.0 | キャッシュツールズ (cachetools) | 5.5.1 | カタログ | 2.0.10 |
| category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2025年1月31日 | cffi | 1.17.1 |
| チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 3.3.2 | circuitbreaker | 2.1.3 |
| click | 8.1.7 | cloudpathlib | 0.21.0 | クラウドピックル | 3.0.0 |
| cmdstanpy | 1.2.5 | カラフル | 0.5.6 | colorlog | 6.9.0 |
| comm | 0.2.1 | 作曲家 | 0.29.0 | お菓子 | 0.1.5 |
| configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.3.1 | クールネーム | 2.2.0 |
| cramjam | 2.10.0 | 暗号 | 43.0.3 | サイクリスト | 0.11.0 |
| サイメム | 2.0.11 | Cython | 3.0.12 | ダサイト | 1.9.2 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | databricks-sdk（データブリックスSDK） | 0.49.0 | データセット | 2.20.0 |
| dbl-tempo | 0.1.26 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| デコレータ | 5.1.1 | ディープスピード | 0.14.4 | デフューズドXML (defusedxml) | 0.7.1 |
| Deprecated | 1.2.13 | ディル | 0.3.8 | distlib | 0.3.9 |
| dmツリー | 0.1.9 | ドックストリングをMarkdownに変換 | 0.11 | 入口点 | 0.4 |
| 評価する | 0.4.2 | 実行中 | 0.8.3 | ファセット概要 | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
| ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 | Flask | 2.2.5 |
| フラットバッファーズ | 25.2.10 | fonttools（フォントツールズ） | 4.55.3 | FQDN | 1.5.1 |
| フローズンリスト | 1.5.0 | fsspec | 2023.5.0 | 未来 | 0.18.3 |
| ガスト | 0.4.0 | ギットディービー | 4.0.11 | GitPython | 3.1.43 |
| google-api-core | 2.20.0 | google-auth（Google認証） | 2.38.0 | google-auth-oauthlib | 1.0.0 |
| グーグルクラウドコア | 2.4.3 | Googleクラウドストレージ | 2.10.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.7.1 |
| グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 | Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 |
| gql | 3.5.2 | graphql-core | 3.2.4 | グリーンレット | 3.1.1 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | ガニーコーン (gunicorn) | 20.1.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.12.1 |
| hjson | 3.1.0 | holidays | 0.54 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
| huggingface-hub（ハギングフェイスのハブ） | 0.30.2 | idna | 3.7 | イメージハッシュ (ImageHash) | 4.3.1 |
| imageio | 2.37.0 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.13.0 | importlib-metadata | 6.0.0 |
| importlib_resources（インポートライブラリリソース) | 6.5.2 | inflect | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.8.1 | アイソデート | 0.6.1 |
| イソデュレーション | 20.11.0 | itsdangerous（イッツデンジャラス） | 2.2.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
| ジェダイ | 0.19.2 | ジンジャ2 | 3.1.5 | jiter | 0.9.0 |
| jmespath | 1.0.1 | 「joblib」 | 1.4.2 | ジョブリブスパーク | 0.5.1 |
| json5 | 0.9.25 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| JSONスキーマ | 4.23.0 | jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 | Jupyterイベント | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core（ジュピター・コア） | 5.7.2 |
| ジュピターサーバー | 2.14.1 | jupyter_server_terminals (ジュピター サーバー ターミナルズ) | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | ジュピターラボサーバー | 2.27.3 |
| keras | 3.5.0 | キウィソルバー | 1.4.8 | langchain | 0.3.21 |
| langchain-core | 0.3.55 | langchain-text-splitters | 0.3.8 | 言語コード | 3.5.0 |
| langsmith | 0.1.133 | 言語データ | 1.3.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | レイジーローダー | 0.4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | LightGBM | 4.5.0 |
| lightning-utilities | 0.14.3 | linkify-it-py | 2.0.0 | llvmlite | 0.44.0 |
| lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 |
| matplotlib | 3.10.0 | matplotlib-インライン | 0.1.7 | マッケイブ | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | メムレイ | 1.17.1 |
| mistune | 2.0.4 | ml_dtypes | 0.5.1 | mlflow-skinny | 2.21.3 |
| mmh3 | 5.1.0 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.32.0 |
| msal-extensions | 1.3.1 | msgpack (メッセージパック) | 1.1.0 | マルチディクト | 6.1.0 |
| マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | マーマーハッシュ (murmurhash) | 1.0.12 |
| mypy-extensions (マイパイ拡張機能) | 1.0.0 | namex | 0.0.8 | nbclient（エヌビー・クライアント） | 0.8.0 |
| NBコンバート | 7.16.4 | nbフォーマット | 5.10.4 | nest-asyncio（ネスト・アサインキオ） | 1.6.0 |
| networkx | 3.4.2 | 忍者 | 1.11.1.1 | nltk | 3.9.1 |
| nodeenv | 1.9.1 | ノートブック | 7.3.2 | notebook_shim | 0.2.3 |
| numba | 0.61.0 | NumPy (数値計算ライブラリ) | 2.1.3 | nvidia-ml-py | 12.570.86 |
| oauthlib | 3.2.0 | oci | 2.150.2 | オープンAI | 1.40.2 |
| opencensus | 0.11.4 | opencensus-context (オープンセンサス・コンテキスト) | 0.1.3 | opentelemetry-api | 1.32.1 |
| opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.32.1 | OpenTelemetryセマンティック規約 | 0.53b1 | opt_einsum | 3.4.0 |
| オプツリー | 0.15.0 | オプチュナ | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.16 | によって がオーバーライドされます | 7.4.0 | 包装 | 24.1 |
| パンダ | 2.2.3 | パンドックフィルターズ | 1.5.0 | paramiko | 3.4.0 |
| パルソ | 0.8.4 | pathspec | 0.10.3 | パッツィ | 1.0.1 |
| ペキスペクト | 4.8.0 | フィック | 0.12.4 | pillow | 11.1.0 |
| pip | 25.0 | プラットフォームディレクトリ | 3.10.0 | plotly | 5.24.1 |
| pluggy | 1.5.0 | pmdarima | 2.0.4 | ワンちゃん | 1.8.2 |
| プレシェッド | 3.0.9 | prometheus_client | 0.21.0 | prompt-toolkit（プロンプトツールキット） | 3.0.43 |
| propcache | 0.2.0 | 預言者 | 1.1.6 | proto-plus | 1.26.1 |
| プロトバフ | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 | puremagic | 1.28 |
| py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow (パイアロー) | 19.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.6 | ピッコロ | 0.0.71 | pycparser（パイシーパーサー） | 2.21 |
| Pythonのデータバリデーションライブラリ「pydantic」 | 2.10.6 | pydantic_core | 2.27.2 | パイフレークス | 3.2.0 |
| パイグメンツ | 2.15.1 | PyGObject | 3.48.2 | pyiceberg | 0.9.0 |
| PyJWT | 2.10.1 | PyNaCl | 1.5.0 | pyodbc | 5.2.0 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 24.2.1 | パイパーシング (Pyparsing) | 3.2.0 | pyright | 1.1.394 |
| pytesseract | 0.3.10 | pytest | 8.3.5 | python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 |
| パイソンエディター | 1.0.4 | python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 |
| Python LSP サーバー | 1.12.0 | python-snappy | 0.7.3 | Pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.8.0 |
| PyYAML | 6.0.2 | pyzmq | 26.2.0 | アンケート | 2.1.0 |
| ray | 2.37.0 | 参照 | 0.30.2 | RegEx | 2024.11.6 |
| リクエスト | 2.32.3 | requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 |
| rfc3339-validator | 0.1.4 | RFC3986-バリデーター | 0.1.1 | リッチ | 13.9.4 |
| ロープ | 1.12.0 | rpds-py | 0.22.3 | RSA（アールエスエー） | 4.9.1 |
| ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3transfer | 0.11.3 |
| safetensors | 0.5.3 | scikit-image | 0.25.0 | scikit-learn（サイキット・ラーン） | 1.6.1 |
| scipy | 1.15.1 | seaborn（シーボーン） | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 |
| sentence-transformers | 3.0.1 | sentencepiece | 0.2.0 | setuptools（セットアップツール） | 74.0.0 |
| シャープ | 0.46.0 | シェリンガム | 1.5.4 | simplejson | 3.17.6 |
| 6 | 1.16.0 | sklearn-compat | 0.1.3 | スライサー | 0.0.8 |
| スマートオープン | 7.1.0 | smmap | 5.0.0 | スニフィオ | 1.3.0 |
| sortedcontainers | 2.4.0 | サウンドファイル | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| スタニオ | 0.5.1 | スターレット | 0.46.2 | statsmodels（スタッツモデルズ） | 0.14.4 |
| strictyaml | 1.7.3 | sympy (ライブラリ) | 1.13.3 | 一覧にする | 0.9.0 |
| 粘り強さ | 9.0.0 | TensorBoard | 2.19.0 | テンソルボード・データサーバー | 0.7.2 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.19.0 | tensorflow-estimatorツール | 2.15.0 |
| termcolor | 3.0.1 | 終了しました | 0.17.1 | textual | 3.1.1 |
| tf_keras | 2.19.0 | thinc | 8.2.4 | Threadpoolctl | 3.5.0 |
| tifffile (ティフファイル) | 2024年12月12日 | tiktoken | 0.7.0 | tinycss2 | 1.4.0 |
| tokenize-rt | 6.1.0 | トークナイザー | 0.21.1 | tomli | 2.0.1 |
| 電灯 | 2.4.0+cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| トーチメトリックス | 1.4.0.post0 | torchvision 라이브러리 | 0.19.0+cpu | 竜巻 | 6.4.2 |
| tqdm | 4.67.1 | traitlets（トレイトレット） | 5.14.3 | トランスフォーマー | 4.49.0 |
| typeguard | 4.4.2 | typer | 0.15.2 | types-python-dateutil | 2.9.0.20241206 |
| タイピングエクステンションズ (typing_extensions) | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.34.2 | validators | 0.34.0 |
| virtualenv | 20.29.3 | ビジョン | 0.8.1 | wadllib | 1.3.6 |
| わさび | 1.1.3 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | weasel | 0.4.1 |
| webcolors | 24.11.1 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 1.8.0 |
| ウェブソケット | 11.0.3 | Werkzeug | 3.1.3 | whatthepatch（ホワットザパッチ） | 1.0.2 |
| ホイール | 0.45.1 | ウィジェットNBエクステンション | 3.6.6 | ワードクラウド | 1.9.4 |
| wrapt | 1.17.0 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.5.0 | yapf (ヤップフ) | 0.33.0 | yarl | 1.18.0 |
| ydata-profiling | 4.16.1 | ジップ | 3.21.0 | zstd | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime 17.0 の R ライブラリ と同じです。
Java と Scala のライブラリ (Scala 2.12 クラスター)
Databricks Runtime 17.0 の Java および Scala ライブラリに加えて、Databricks Runtime 17.0 ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |