注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 13.2 for Machine Learningは、Databricks Runtime 13.2 (EoS)に基づいて、機械学習およびデータサイエンス向けの準備が整った環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。
Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と機械学習」を参照してください。
新機能と機能強化
Databricks Runtime 13.2 ML は Databricks Runtime 13.2 上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 13.2 の新機能については、 Databricks Runtime 13.2 (EoS) のリリース ノートを参照してください。
Databricks Feature Store の変更点
- 最低限必要な
mlflow-skinnyバージョンは、現在 2.4.0 です。 - 指定された DataFrame に必要なすべての参照キーが含まれていない場合、トレーニング セットの作成は失敗します。
システム環境
Databricks Runtime 13.2 ML のシステム環境は、Databricks Runtime 13.2 とは次のように異なります。
-
DBUtils: Databricks Runtime ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) は含まれません。
代わりに
%pipコマンドを使用してください。 「NotebookスコープのPythonライブラリ」を参照。 - GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.7
- cuDNN 8.5.0.96-1
- NCCL 2.15.1
- TensorRT 7.2.2
Databricks Runtime 13.2 ML には XGBoost 1.7.3 が含まれています。これは、コンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。
ライブラリ
以降のセクションでは、Databricks Runtime 13.2 ML に含まれていて、Databricks Runtime 13.2 に含まれているものとは異なるライブラリリストを示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 13.2 ML には、次の最上位層ライブラリが含まれています：
- GraphFrames
- Horovod と HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python ライブラリ
Databricks Runtime 13.2 ML では、Python パッケージ管理に Virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
以下のセクションで指定されているパッケージに加えて、Databricks Runtime 13.2 ML には次のパッケージも含まれています：
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.19.0
ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-13.2.txt ファイルをダウンロードし、pip install -r requirements-13.2.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPUクラスター上のPythonライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.19.0 | aiohttp | 3.8.4 |
| アイオシグナル | 1.3.1 | アプリケーションディレクトリ (appdirs) | 1.4.4 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 | アストトークン | 2.2.1 |
| astunparse | 1.6.3 | 非同期タイムアウト | 4.0.2 | 属性 | 21.4.0 |
| audioread | 3.0.0 | azure-core (アジュール コア) | 1.27.1 | azure-cosmos | 4.3.1b1 |
| アジュール・ストレージ・ブロブ | 12.17.0b1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.11.0 | バックコール (再発信機能) | 0.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 | 黒い | 22.6.0 |
| 漂白剤 | 4.1.0 | ウィンカー | 1.4 | ブリス | 0.7.9 |
| boto3 | 1.24.28 | botocore | 1.27.28 | キャッシュツールズ (cachetools) | 4.2.4 |
| カタログ | 2.0.8 | category-encoders (カテゴリーエンコーダー) | 2.6.0 | サーティフィ | 2022.9.14 |
| cffi (CコードをPythonで呼び出すためのライブラリ) | 1.15.1 | チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 |
| click | 8.0.4 | クラウドピックル | 2.0.0 | cmdstanpy | 1.1.0 |
| お菓子 | 0.0.4 | configparser (コンフィグパーサー) | 5.2.0 | 日付変換 | 2.4.0 |
| 暗号 | 37.0.1 | サイクリスト | 0.11.0 | サイメム | 2.0.7 |
| Cython | 0.29.32 | ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.16 |
| databricks-cli | 0.17.7 | databricks-feature-store | 0.13.1 | databricks-sdk（データブリックスSDK） | 0.1.6 |
| dataclasses-json (データクラスのJSON) | 0.5.8 | データセット | 2.12.0 | dbl-tempo | 0.1.23 |
| dbus-python | 1.2.18 | debugpy | 1.5.1 | デコレータ | 5.1.1 |
| デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.4 | ディスクキャッシュ | 5.6.1 |
| distlib | 0.3.6 | ドックストリングをMarkdownに変換 | 0.12 | 入口点 | 0.4 |
| エフェム | 4.1.4 | 評価する | 0.4.0 | 実行中 | 1.2.0 |
| ファセット概要 | 1.0.3 | fastjsonschema | 2.17.1 | fasttext（ファーストテキスト） | 0.9.2 |
| ファイルロック | 3.6.0 | Flask | 1.1.2+db1 | フラットバッファーズ | 23年5月26日 |
| fonttools（フォントツールズ） | 4.25.0 | フローズンリスト | 1.3.3 | fsspec | 2022.7.1 |
| 未来 | 0.18.2 | ガスト | 0.4.0 | ギットディービー | 4.0.10 |
| GitPython | 3.1.27 | google-api-core | 2.8.2 | google-auth（Google認証） | 1.33.0 |
| google-auth-oauthlib | 0.4.6 | グーグルクラウドコア | 2.3.2 | Googleクラウドストレージ | 2.9.0 |
| google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 | グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.5.0 |
| Google API 共通プロトコル (googleapis-common-protos) | 1.56.4 | グリーンレット | 1.1.1 | grpcio | 1.48.1 |
| grpcio-status | 1.48.1 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.7.0 | holidays | 0.25 | ホロヴォド | 0.28.0 |
| HTML最小化ツール（htmlmin） | 0.1.12 | httplib2 | 0.20.2 | huggingface-hub（ハギングフェイスのハブ） | 0.15.1 |
| idna | 3.3 | イメージハッシュ (ImageHash) | 4.3.1 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.8.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 5.12.0 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.7.2 |
| アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 | ジェダイ | 0.18.1 |
| ジープニー | 0.7.1 | ジンジャ2 | 2.11.3 | jmespath | 0.10.0 |
| 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 | JSONスキーマ | 4.16.0 |
| ジュピタークライアント | 7.3.4 | jupyter_core（ジュピター・コア） | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab ウィジェット | 1.0.0 | keras | 2.11.0 | キーリング | 23.5.0 |
| キウィソルバー | 1.4.2 | 韓国陰暦 | 0.3.1 | langchain | 0.0.181 |
| 言語コード | 3.3.0 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | レイジーローダー | 0.2 | libclang | 15.0.6.1 |
| librosa | 0.10.0 | lightgbm | 3.3.5 | llvmlite | 0.38.0 |
| LunarCalendar | 0.0.9 | Mako | 1.2.0 | Markdown | 3.3.4 |
| MarkupSafe | 2.0.1 | マシュマロ | 3.19.0 | マシュマロ-エナム | 1.5.1 |
| matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 | マッケイブ | 0.7.0 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.4.1 |
| more-itertools | 8.10.0 | msgpack (メッセージパック) | 1.0.5 | マルチディクト | 6.0.4 |
| マルチメソッド | 1.9.1 | マルチプロセス | 0.70.12.2 | マーマーハッシュ (murmurhash) | 1.0.9 |
| mypy-extensions (マイパイ拡張機能) | 0.4.3 | nbclient（エヌビー・クライアント） | 0.5.13 | NBコンバート | 6.4.4 |
| nbフォーマット | 5.5.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.5 | networkx | 2.8.4 |
| 忍者 | 1.11.1 | nltk | 3.7 | nodeenv | 1.8.0 |
| ノートブック | 6.4.12 | numba | 0.55.1 | numexpr | 2.8.4 |
| NumPy (数値計算ライブラリ) | 1.21.5 | oauthlib | 3.2.0 | オープンAI | 0.27.7 |
| openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 | パッケージング | 21.3 |
| パンダ | 1.4.4 | パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 |
| パルソ | 0.8.3 | pathspec | 0.9.0 | 病気または感覚を表す用語として使用される「パシー」 | 0.10.1 |
| パッツィ | 0.5.2 | petastorm | 0.12.1 | ペキスペクト | 4.8.0 |
| フィック | 0.12.3 | ピクルシェア | 0.7.5 | 枕 | 9.2.0 |
| pip | 22.2.2 | プラットフォームディレクトリ | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.3 | ワンちゃん | 1.7.0 |
| プレシェッド | 3.0.8 | prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.36 |
| 預言者 | 1.1.3 | プロトバフ | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 |
| pyarrow (パイアロー) | 8.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.4 | pycparser（パイシーパーサー） | 2.21 | pydantic | 1.10.6 |
| パイフレークス | 3.0.1 | パイグメンツ | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyMeeus | 0.5.12 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.32 | パイパーシング (Pyparsing) | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.0.0 | Python LSP サーバー | 1.7.1 |
| Pytoolconfig | 1.2.2 | pytz | 2022年1月 | PyWavelets | 1.3.0 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | RegEx | 2022.7.9 |
| リクエスト | 2.28.1 | requests-oauthlib | 1.3.1 | レスポンス | 0.18.0 |
| ロープ | 1.7.0 | RSA（アールエスエー） | 4.9 | s3transfer | 0.6.0 |
| scikit-learn（サイキット・ラーン） | 1.1.1 | scipy | 1.9.1 | seaborn（シーボーン） | 0.11.2 |
| SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 | sentence-transformers | 2.2.2 |
| sentencepiece | 0.1.99 | setuptools（セットアップツール） | 63.4.1 | シャープ | 0.41.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | スライサー | 0.0.7 |
| スマートオープン | 5.2.1 | smmap | 5.0.0 | サウンドファイル | 0.12.1 |
| soupsieve | 2.3.1 | soxr | 0.3.5 | spacy | 3.5.3 |
| spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.4 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | srsly | 2.4.6 |
| ssh-import-id | 5.11 | スタックデータ | 0.6.2 | statsmodels（スタッツモデルズ） | 0.13.2 |
| 一覧にする | 0.8.10 | 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.1.0 |
| TensorBoard | 2.11.0 | テンソルボード・データサーバー | 0.6.1 | tensorboard-plugin-profile | 2.11.2 |
| テンソルボードプラグイン-WIT | 1.8.1 | tensorflow (CPU版) | 2.11.0 | tensorflow-estimatorツール | 2.11.0 |
| tensorflow-io-gcs-filesystem | 0.32.0 | termcolor | 2.3.0 | 終了しました | 0.13.1 |
| テストパス (testpath) | 0.6.0 | thinc | 8.1.10 | threadpoolctl | 2.2.0 |
| tiktoken | 0.4.0 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.13.3 |
| tomli | 2.0.1 | 電灯 | 1.13.1 + cpu | torchvision 라이브러리 | 0.14.1+ cpu |
| 竜巻 | 6.1 | tqdm | 4.64.1 | traitlets（トレイトレット） | 5.1.1 |
| トランスフォーマー | 4.29.2 | タイプガード | 2.13.3 | typer | 0.7.0 |
| タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.3.0 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.11 | virtualenv | 20.16.3 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | わさび | 1.1.2 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.58.0 |
| Werkzeug | 2.0.3 | whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.37.1 |
| widgetsnbextension | 3.6.1 | ワードクラウド | 1.9.2 | wrapt | 1.14.1 |
| xgboost | 1.7.5 | xxhash | 3.2.0 | yapf (ヤップフ) | 0.31.0 |
| yarl | 1.9.2 | ydata-profiling | 4.2.0 | ジップ | 3.8.0 |
GPU クラスター上のPython ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.19.0 | aiohttp | 3.8.4 |
| アイオシグナル | 1.3.1 | アプリケーションディレクトリ (appdirs) | 1.4.4 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 | アストトークン | 2.2.1 |
| astunparse | 1.6.3 | 非同期タイムアウト | 4.0.2 | 属性 | 21.4.0 |
| audioread | 3.0.0 | azure-core (アジュール コア) | 1.27.1 | azure-cosmos | 4.3.1b1 |
| アジュール・ストレージ・ブロブ | 12.17.0b1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.11.0 | バックコール (再発信機能) | 0.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 | 黒い | 22.6.0 |
| 漂白剤 | 4.1.0 | ウィンカー | 1.4 | ブリス | 0.7.9 |
| boto3 | 1.24.28 | botocore | 1.27.28 | キャッシュツールズ (cachetools) | 4.2.4 |
| カタログ | 2.0.8 | category-encoders (カテゴリーエンコーダー) | 2.6.0 | サーティフィ | 2022.9.14 |
| cffi (CコードをPythonで呼び出すためのライブラリ) | 1.15.1 | チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 |
| click | 8.0.4 | クラウドピックル | 2.0.0 | cmdstanpy | 1.1.0 |
| お菓子 | 0.0.4 | configparser (コンフィグパーサー) | 5.2.0 | 日付変換 | 2.4.0 |
| 暗号 | 37.0.1 | サイクリスト | 0.11.0 | サイメム | 2.0.7 |
| Cython | 0.29.32 | ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.16 |
| databricks-cli | 0.17.7 | databricks-feature-store | 0.13.1 | databricks-sdk（データブリックスSDK） | 0.1.6 |
| dataclasses-json (データクラスのJSON) | 0.5.8 | データセット | 2.12.0 | dbl-tempo | 0.1.23 |
| dbus-python | 1.2.18 | debugpy | 1.5.1 | デコレータ | 5.1.1 |
| デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.4 | ディスクキャッシュ | 5.6.1 |
| distlib | 0.3.6 | ドックストリングをMarkdownに変換 | 0.12 | einops | 0.6.1 |
| 入口点 | 0.4 | エフェム | 4.1.4 | 評価する | 0.4.0 |
| 実行中 | 1.2.0 | ファセット概要 | 1.0.3 | fastjsonschema | 2.17.1 |
| fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.6.0 | flash-attn | 1.0.5 |
| Flask | 1.1.2+db1 | フラットバッファーズ | 23年5月26日 | fonttools（フォントツールズ） | 4.25.0 |
| フローズンリスト | 1.3.3 | fsspec | 2022.7.1 | 未来 | 0.18.2 |
| ガスト | 0.4.0 | ギットディービー | 4.0.10 | GitPython | 3.1.27 |
| google-api-core | 2.8.2 | google-auth（Google認証） | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| グーグルクラウドコア | 2.3.2 | Googleクラウドストレージ | 2.9.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 |
| グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.5.0 | Google API 共通プロトコル (googleapis-common-protos) | 1.56.4 |
| グリーンレット | 1.1.1 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 | h5py | 3.7.0 |
| holidays | 0.25 | ホロヴォド | 0.28.0 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httplib2 | 0.20.2 | huggingface-hub（ハギングフェイスのハブ） | 0.15.1 | idna | 3.3 |
| イメージハッシュ (ImageHash) | 4.3.1 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.8.1 | importlib-metadata | 4.11.3 |
| importlib-resources | 5.12.0 | ipykernel | 6.17.1 | ipython | 8.10.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.7.2 | アイソデート | 0.6.1 |
| itsdangerous（イッツデンジャラス） | 2.0.1 | ジェダイ | 0.18.1 | ジープニー | 0.7.1 |
| ジンジャ2 | 2.11.3 | jmespath | 0.10.0 | 「joblib」 | 1.2.0 |
| ジョブリブスパーク | 0.5.1 | JSONスキーマ | 4.16.0 | ジュピタークライアント | 7.3.4 |
| jupyter_core（ジュピター・コア） | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 |
| keras | 2.11.0 | キーリング | 23.5.0 | キウィソルバー | 1.4.2 |
| 韓国陰暦 | 0.3.1 | langchain | 0.0.181 | 言語コード | 3.3.0 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| レイジーローダー | 0.2 | libclang | 15.0.6.1 | librosa | 0.10.0 |
| lightgbm | 3.3.5 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.4 | MarkupSafe | 2.0.1 |
| マシュマロ | 3.19.0 | マシュマロ-エナム | 1.5.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | マッケイブ | 0.7.0 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 2.4.1 | more-itertools | 8.10.0 |
| msgpack (メッセージパック) | 1.0.5 | マルチディクト | 6.0.4 | マルチメソッド | 1.9.1 |
| マルチプロセス | 0.70.12.2 | マーマーハッシュ (murmurhash) | 1.0.9 | mypy-extensions (マイパイ拡張機能) | 0.4.3 |
| nbclient（エヌビー・クライアント） | 0.5.13 | NBコンバート | 6.4.4 | nbフォーマット | 5.5.0 |
| nest-asyncio（ネスト・アサインキオ） | 1.5.5 | networkx | 2.8.4 | 忍者 | 1.11.1 |
| nltk | 3.7 | nodeenv | 1.8.0 | ノートブック | 6.4.12 |
| numba | 0.55.1 | numexpr | 2.8.4 | NumPy (数値計算ライブラリ) | 1.21.5 |
| oauthlib | 3.2.0 | オープンAI | 0.27.7 | openapi-schema-pydantic | 1.2.4 |
| opt-einsum | 3.3.0 | パッケージング | 21.3 | パンダ | 1.4.4 |
| パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 | パルソ | 0.8.3 |
| pathspec | 0.9.0 | 病気または感覚を表す用語として使用される「パシー」 | 0.10.1 | パッツィ | 0.5.2 |
| petastorm | 0.12.1 | ペキスペクト | 4.8.0 | フィック | 0.12.3 |
| ピクルシェア | 0.7.5 | 枕 | 9.2.0 | pip | 22.2.2 |
| プラットフォームディレクトリ | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| pmdarima | 2.0.3 | ワンちゃん | 1.7.0 | プレシェッド | 3.0.8 |
| prompt-toolkit（プロンプトツールキット） | 3.0.36 | 預言者 | 1.1.3 | プロトバフ | 3.19.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | pyarrow (パイアロー) | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.10.4 | pycparser（パイシーパーサー） | 2.21 |
| pydantic | 1.10.6 | パイフレークス | 3.0.1 | パイグメンツ | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | パイパーシング (Pyparsing) | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 | パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.0.0 |
| Python LSP サーバー | 1.7.1 | Pytoolconfig | 1.2.2 | pytz | 2022年1月 |
| PyWavelets | 1.3.0 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| RegEx | 2022.7.9 | リクエスト | 2.28.1 | requests-oauthlib | 1.3.1 |
| レスポンス | 0.18.0 | ロープ | 1.7.0 | RSA（アールエスエー） | 4.9 |
| s3transfer | 0.6.0 | scikit-learn（サイキット・ラーン） | 1.1.1 | scipy | 1.9.1 |
| seaborn（シーボーン） | 0.11.2 | SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 |
| sentence-transformers | 2.2.2 | sentencepiece | 0.1.99 | setuptools（セットアップツール） | 63.4.1 |
| シャープ | 0.41.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| サウンドファイル | 0.12.1 | soupsieve | 2.3.1 | soxr | 0.3.5 |
| spacy | 3.5.3 | spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.4 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.6 | ssh-import-id | 5.11 | スタックデータ | 0.6.2 |
| statsmodels（スタッツモデルズ） | 0.13.2 | 一覧にする | 0.8.10 | 「tangled」-up-in-ユニコード | 0.2.0 |
| 粘り強さ | 8.1.0 | TensorBoard | 2.11.0 | テンソルボード・データサーバー | 0.6.1 |
| tensorboard-plugin-profile | 2.11.2 | テンソルボードプラグイン-WIT | 1.8.1 | テンソルフロー | 2.11.0 |
| tensorflow-estimatorツール | 2.11.0 | tensorflow-io-gcs-filesystem | 0.32.0 | termcolor | 2.3.0 |
| 終了しました | 0.13.1 | テストパス (testpath) | 0.6.0 | thinc | 8.1.10 |
| threadpoolctl | 2.2.0 | tiktoken | 0.4.0 | トークナイズ-RT | 4.2.1 |
| トークナイザー | 0.13.3 | tomli | 2.0.1 | 電灯 | 1.13.1+cu117 |
| torchvision 라이브러리 | 0.14.1+cu117 | 竜巻 | 6.1 | tqdm | 4.64.1 |
| traitlets（トレイトレット） | 5.1.1 | トランスフォーマー | 4.29.2 | タイプガード | 2.13.3 |
| typer | 0.7.0 | タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.3.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.11 |
| virtualenv | 20.16.3 | ビジョン | 0.7.5 | wadllib | 1.3.6 |
| わさび | 1.1.2 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 0.58.0 | Werkzeug | 2.0.3 | whatthepatch（ホワットザパッチ） | 1.0.2 |
| ホイール | 0.37.1 | widgetsnbextension | 3.6.1 | ワードクラウド | 1.9.2 |
| wrapt | 1.14.1 | xgboost | 1.7.5 | xxhash | 3.2.0 |
| yapf (ヤップフ) | 0.31.0 | yarl | 1.9.2 | ydata-profiling | 4.2.0 |
| ジップ | 3.8.0 |
R ライブラリ
R ライブラリは、Databricks Runtime 13.2 の R ライブラリと同じです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 13.2 のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 13.2 ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.4.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.4.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |