AI Runtimeは、Databricksが提供する完全管理型のサーバーレスGPU計算サービスで、トレーニング、ファインチューニング、そしてより広範なディープラーニングワークロードに対応しています。
- サーバーレスGPU:オンデマンドのA10およびH100、Databricks CLI、ノートブック、ジョブ、Rayを通じてアクセス可能です。
- マネージド環境: トレーニングや微調整に備えた既成環境やデータローダー、または独自のDockerコンテナを持ち込むことも可能です。
- 組み込みのオブザーバビリティ: MLflow、ログ、デバッグエージェントによる実験追跡。
- オーケストレーション:GPUワークロードをスケジューリングし、CI/CDパイプラインで活用します。
概要
AIランタイムについて学び、最初のワークロードを実行しましょう。
| 概要 | Description |
|---|---|
| 🚀 クイックスタート | 最初のワークロードはターミナルからAI Runtimeで実行してください。 |
| 🧭 概要 | AIランタイムの重要なポイント、利用可能なGPUの種類、仕組み、制限について学びましょう。 |
| 💡 例 | ノートブックのチュートリアルや、タスクごとに整理されたDatabricksのCLIレシピを閲覧できます。 |
GPUに接続
GPUにはDatabricks CLI、ノートブック、ジョブ、またはRayを通じてアクセスできます。
| 特徴 | Description |
|---|---|
| Databricks CLI | ノートパソコンからYAMLジョブ設定を使って分散GPUトレーニングジョブを提出・管理します。 |
| ノートブック | ノートブックをAIランタイムに接続し、クラスター設定なしでインタラクティブに開発できます。 |
| 仕事 | AIランタイム上のGPUワークロードを定期的なジョブとしてスケジュールし、上流および下流のタスクとオーケストレーションします。 |
| Ray | Ray Core、Ray Data、Ray Train、Ray TuneをAIランタイムで実行します。 |
ワークロードを開発する
データを効率的に読み込み、環境を構成し、コーディング エージェントを使用してワークロードを開発します。
| 特徴 | Description |
|---|---|
| GPUにデータを読み込む | 高いGPU利用率を実現するよう設計された耐障害性ローダーを使用して、Unity Catalogボリュームからデータをストリーミングできます。 |
| 事前構築環境 | 最低限のStandard環境か、MLフレームワークをあらかじめインストールしたDatabricksのAI環境から始めましょう。 |
| カスタムDockerイメージ | ワークロードでカスタムシステムライブラリや依存関係が必要な場合は、自分専用のDockerイメージを持ち込みましょう。 |
| コーディングエージェント | Genie Codeと databricks-ai-runtime エージェントスキルを使ってGPUワークロードを作成、送信、管理してください。 |
監視、デバッグ、デプロイ
実験の追跡、ログの確認、エラーの診断、運用環境のワークロードのスケジュール設定を行います。
| 特徴 | Description |
|---|---|
| デバッグ用のMLflow | 実験、指標、ランをMLflowで追跡しましょう。 |
| ログを見る | トレーニング出力の表示、コード実行中のGPUリソース使用状況の監視、Genie Codeでのデバッグなどが可能です。 |
| ワークロードのスケジュールを設定する | 宣言的自動化バンドルを用いたトレーニングコードをデプロイし、実行をスケジュールし、マルチタスクのGPUとCPUワークフローを構築しましょう。 |
| 訓練済みモデルを提供する | AIランタイムで訓練されたモデルをモデルサービスにデプロイします。 |
Guides
AI Runtimeの移行ガイド、チュートリアル、技術リソースを探検してください。
| Resource | Description |
|---|---|
| なぜAIランタイムを使うのか | コスト、開発者体験、スケールに関して、AI RuntimeとClassic ComputeおよびDatabricks Runtime MLを比較してください。 |
| スラームからの移住 | Slurmのバッチスクリプト、分散ランチャー、共有ストレージをDatabricks CLIにマッピングします。 |
| クラシックGPUワークロードの移行 | 既存のディープラーニングワークロードを従来のDatabricksクラスターからAIランタイムに移行します。 |
| ワークロードのパフォーマンスを最適化しましょう | トレーニングのスループットを向上させ、長期にわたる作業が失敗に対してより強靭になるようにしましょう。 |