Important
この機能は パブリック プレビュー段階です。
AI ランタイムは、 ディープ ラーニング ワークロードを対象とした Databricks のコンピューティング オファリングであり、Databricks サーバーレスの GPU サポートを提供します。 AI ランタイムを使用して、お気に入りのフレームワークを使用してカスタム モデルをトレーニングおよび微調整し、最先端の効率、パフォーマンス、品質を得ることができます。 サーバーレス コンピューティングが Databricks アーキテクチャにどのように適合するかの概要については、「サーバーレス ワークスペースアーキテクチャ」を参照してください。
主要な機能
AIランタイムは、マネージドGPUインフラストラクチャとディープラーニング向けに構築されたランタイムを組み合わせています。
- フル マネージド GPU インフラストラクチャ: サーバーレスで柔軟に GPU にアクセスでき、管理するクラスター構成、ドライバーの選択、自動スケール ポリシーはありません。
- ディープ ラーニング専用のランタイム: 依存関係に対する柔軟性を最大限に高めるために最小限の Standard 環境を選択するか、一般的な ML フレームワークで事前に読み込まれたフル機能の AI 環境を選択します。
- ノートブック、ジョブ、Unity カタログ、MLflow にネイティブに統合され、シームレスな開発、データ アクセス、実験追跡を実現します。
ハードウェアオプション
すべての AI ランタイム アクセラレータは、1 つのノードをプロビジョニングします。 そのノード上の GPU の数は、アクセラレータの種類によって異なります。
| アクセラレータ | ノードあたりの GPU 数 | GPU メモリ | 最適な用途 | 分散トレーニング |
|---|---|---|---|---|
| 1xA10 | 1 | 24GB | 小規模から中規模の ML と、従来の ML モデルや小さな言語モデルの微調整などのディープ ラーニング タスク | サポートされていません (単一 GPU) |
| 1xH100 | 1 | 80GB | 1xA10 より多くの GPU メモリを必要とするワークロードでは、中サイズの言語モデルの微調整など、マルチ GPU 分散トレーニングは必要ありません | サポートされていません (単一 GPU) |
| 8xH100 | 8 | GPU あたり 80 GB | 大規模なモデルのトレーニングや微調整、高度なディープ ラーニング タスクの実行など、大規模な AI ワークロード |
@distributed で gpus=8 デコレーターを使用することをサポート |
ヒント
マルチGPU分散トレーニングをサポートするのは 8台のH100 のみです。 シングルGPUワークロードには、モデルに必要なGPUメモリに応じて 1xA10 か 1xH100 を選びましょう。
推奨されるユース ケース
Databricks では、ディープ ラーニング、大規模なクラシック ワークロード、または GPU を含むカスタム モデル トレーニングのユース ケースに対して AI ランタイムが推奨されます。
例えば次が挙げられます。
- LLM の微調整 (LoRA、QLoRA、完全な微調整)
- コンピューター ビジョン (物体検出、画像分類)
- ディープ ラーニング ベースのレコメンダー システム
- 強化学習
- ディープ ラーニングベースの時系列予測
必要条件
始める前に、あなたの作業スペースが以下の要件を満たしているか確認してください:
- 次のいずれかの Azure でサポートされているリージョン内のワークスペース。
centraluseastuseastus2northcentraluswestcentraluswestuswestus3
- AIランタイムプレビューはワークスペース管理設定で有効化する必要があります。 「 Manage Databricks」プレビューをご覧ください。
Limitations
AIランタイムワークロードを計画する際には、以下の制限を念頭に置いてください:
- AI ランタイムでは、A10 アクセラレータと H100 アクセラレータのみがサポートされます。
- AI ランタイムは、FedRAMP High または DoD IL5 標準の コンプライアンス セキュリティ プロファイル をサポートしていません。
- [ 環境 ] パネルを使用した依存関係の追加は、AI ランタイムのスケジュールされたジョブではサポートされていません。 代わりに、ノートブックで
%pip installを使用してプログラムで依存関係をインストールします。 - AI ランタイムでスケジュールされたジョブの場合、ノートブックに関連付けられている互換性のないパッケージ バージョンの自動回復動作はサポートされていません。
- AIランタイムの接続試行は、インタラクティブノートブックの場合は15分で終了し、ノートブックジョブやCLIジョブでは24時間後に終了します。 接続されたノートブックセッションやノートブックジョブは最大2日間、CLIジョブは最大14日間実行可能です。 長期モデル訓練ジョブの場合はチェックポイントを実装し、最大実行時間に達したらジョブを再起動します。
- AI ランタイムは、GPU リソースへのオンデマンド アクセスを提供します。 これにより、GPU への簡単で柔軟なアクセスが可能になりますが、リージョンで容量が制限されたり使用できなくなったりする場合があります。
- AI ランタイムは、需要が高い時間帯にリージョン間 GPU を利用します。 このような使用に関連するエグレス コストが発生する可能性があり、リージョン間ネットワーク接続が特定の時間に制限される場合があります。
AI ランタイムに接続する
ノートブック、SSH トンネル、スケジュールされたジョブ、ジョブ API、宣言型オートメーション バンドルを使用して IDE ターミナルから対話形式で AI ランタイムに接続できます。 手順は「 ノートブックからAIランタイムに接続」をご覧ください。
環境を設定する
AI ランタイムは、2 つのマネージド Python環境を提供します。最小限の Standard 環境と、PyTorch や Transformers などの一般的な ML フレームワークが事前に読み込まれているフル機能の Databricks AI 環境です。 環境の選択、キャッシュ動作、カスタム モジュールのインポート、既知の制限事項の詳細については、「 環境の設定」を参照してください。
ヒント
依存関係スタックを完全に制御するには 標準 環境を選択し、PyTorchやTransformersのような一般的なフレームワークのインストールを省略するには Databricks AI 環境を選べます。
AI ランタイムにデータを読み込む
スムーズなエクスペリエンスを実現するには、AI ランタイムでのデータ アクセスのしくみを理解することが不可欠です。 詳細については、「 AI ランタイムにデータを読み込む」を参照してください。
分散トレーニング
AI ランタイムは、ノートブックが接続されている単一ノード上の複数の GPU 間で分散トレーニングをサポートします。
@distributed Python API の serverless_gpu デコレータを使用すると、PyTorch DDP、FSDP、または DeepSpeed を使用して、最小限の構成でマルチ GPU ワークロードを起動できます。 詳細については、「 ノートブックでの分散トレーニング」を参照してください。
ヒント
8xH100にスケールする前に、@distributedデコレーターで1台のGPUでワークロードを検証してください。
AIランタイム上のレイ
AIランタイムは、Ray Core、Ray Data、Ray Train、Ray Tuneなどの分散GPUワークロード向けにRayをサポートしています。 クラスタ環境なしで、サーバーレスGPUコンピュート上でシングルノードおよびマルチノードのRayジョブを実行できます。 詳細や例については、 Ray on AI Runtimeを参照してください。
実験の追跡と可観測性
MLflow の統合、ログの表示、モデルのチェックポイント管理については、「 実験の追跡と監視」を参照してください。
トレーニング ワークロードを本番運用化
宣言的自動化バンドルを使ったAIランタイムワークロードを展開し、独自のトレーニングコードを実行させ、GPUとCPUのタスクを組み合わせたマルチタスクジョブを構築し、パイプラインをスケジューリングし、開発から本番環境へとプロットアップしましょう。 トレーニング ワークロードの本番環境対応を参照してください。
ディープ ラーニングのための Genie Code
Genie CodeはAIランタイム上のディープラーニングワークロードの開発やトラブルシューティングを支援できます。 分散型トレーニングコードの生成、環境や依存関係の問題の解決、GPUおよび分散ワークロードの障害の調査が可能です。 「 Use Genie Code with AI Runtime」を参照してください。
Guides
クラシック ワークロードからの移行、ノートブックの例、トラブルシューティングについては、 AI ランタイムのユーザー ガイドを参照してください。