Important
この機能は パブリック プレビュー段階です。
ノートブックをAIランタイムに接続することは、トレーニングやワークロードの微調整を行う主な方法です。 GPU を使って対話的に開発し、本番運用の準備が整ったら、同じノートブックを定期実行ジョブとしてスケジュールできます。
ヒント
- ノートブックを サーバーレスGPU に接続し、クラスタ構成なしでGPU上でインタラクティブに開発できます。
- ノートブックUI、ジョブAPI、または宣言的自動化バンドルから同じノートブックを定期的なジョブとしてスケジュールしてください。
- ノートブックからのマルチGPUトレーニングについては、「 ノートブックでの分散トレーニング」を参照してください。
ヒント
このページではノートについて扱っています。 別の方法でAIランタイムにアクセスするには、 SSHトンネル経由でIDEから接続するか、ノートパソコンから AI Runtime CLIでジョブを提出するか、 Rayを実行する方法があります。 宣言的自動化バンドルでトレーニングコード(ノートブックではなく)を本番化するには、 Productionize training workloadsをご覧ください。
ノートに接続してください
これは、AI ランタイムを使用する主な方法です。 ノートブックを接続して環境を構成するには:
ノートブックで、上部にあるコンピューティング ドロップダウン メニューをクリックし、[ サーバーレス GPU] を選択します。
[
をクリックして、[ 環境 ] サイド パネルを開きます。
[アクセラレータ] フィールドから アクセラレータ を選択します。 分散トレーニング ワークロードの場合は、 8xH100 を選択します。 アクセラレーターの選択については「 ハードウェアオプション 」をご覧ください。
Base environment フィールドから、Standard environment には Standard v6 を、AI environment には AI v6 を選択します。
[ 適用 ] をクリックし、ノートブック環境に AI ランタイムを適用することを 確認 します。
注
コンピューティングへの接続は、非アクティブ状態が 60 分続くと自動的に終了します。
ヒント
GPU を必要としない操作 (Git リポジトリの複製、データ形式の変換、探索的データ分析など) の場合は、GPU リソースを保持するためにノートブックを CPU クラスターにアタッチします。
ノートを用意する予定を立てましょう
AI Runtimeを使うノートブックは、ノートブックのUIからでもプログラム的にも、定期的なジョブとしてスケジュールできます。 詳細については、 スケジュールされたノートブック ジョブの作成と管理 に関するページを参照してください。
Important
Databricks AI環境を含むワークスペースベースの環境を用いたスケジュールされたノートブックジョブの実行はベータ版です。 ワークスペース管理者はジョブプレビュー でサーバーレスワークスペースの基本環境サポート をオンにする必要があります。 Manage Azure Databricks プレビューを参照してください。
実行したいノートからスケジュールを作成するには:
- 右上にある [スケジュール ] ボタンを選択します。
- [ スケジュールの追加] を選択します。
- [ 新しいスケジュール ] フォームに ジョブ名、 スケジュール、 コンピューティングを設定します。
- を選択してを作成します。
ジョブとパイプライン UI からジョブを作成 および スケジュールすることもできます。 詳細なガイダンスについては、「 新しいジョブを作成 する」を参照してください。
注
[ 環境 ] パネルを使用した依存関係の追加は、AI ランタイムのスケジュールされたジョブではサポートされていません。 依存関係は、ノートブック内にプログラムでインストールする必要があります (たとえば、 %pip install)。 自動回復はサポートされていません。 互換性のないパッケージが原因でジョブが失敗した場合は、手動で修正して再実行する必要があります。
7 日間の最大実行時間を超える可能性があるワークロードの場合は、再開できるように手動チェックポイント処理を実装します。
UCVolumeWriterからUCVolumeReaderおよびserverless_gpu.dataを介して Unity カタログ ボリュームを使用することをお勧めします。
モデルのチェックポイント処理を参照してください。
ジョブAPIと宣言的自動化バンドルでスケジュールを組む
Databricks Jobs APIやDeclarative Automation Bundlesを使って、AIランタイムノートブックジョブをプログラム的に作成・管理できます。 デプロイ パイプラインを自動化するために、ジョブまたはバンドル定義でコンピューティングの種類をサーバーレス GPU として構成します。
ノートブックではなくコードのディレクトリに対して自分のトレーニングコマンドを実行したり、マルチタスクジョブやスケジュールパイプラインを構築したい場合は、 Productionize training workloadsをご覧ください。
以下の例は、 標準環境を用いたスケジュールされたAIランタイムノートブックジョブの宣言的自動化バンドルの設定を示しています。
resources:
jobs:
sample_job:
name: sample_job_h100
trigger:
periodic:
interval: 1
unit: DAYS
parameters:
- name: catalog
default: ${var.catalog}
- name: schema
default: ${var.schema}
environments:
- environment_key: default
spec:
environment_version: '6'
tasks:
- task_key: notebook_task
notebook_task:
notebook_path: /Workspace/Users/your_email/your_notebook
environment_key: default
compute:
hardware_accelerator: GPU_8xH100
DatabricksのAI環境を標準環境の代わりに使用するには、環境specでAI環境識別子(例えばAI v6のdatabricks_ai_v6)にbase_environmentを設定し、タスクの environment_key を参照してください:
Important
仕事でDatabricksのAI環境をワークスペースベース環境として選択するのは ベータ版です。 ワークスペース管理者はジョブプレビュー でサーバーレスワークスペースの基本環境サポート をオンにする必要があります。 Manage Azure Databricks プレビューを参照してください。
resources:
jobs:
sample_job:
name: sample_job_aiv6_h100
trigger:
periodic:
interval: 1
unit: DAYS
parameters:
- name: catalog
default: ${var.catalog}
- name: schema
default: ${var.schema}
environments:
- environment_key: aiv6
spec:
base_environment: databricks_ai_v6
tasks:
- task_key: notebook_task
notebook_task:
notebook_path: /Workspace/Users/your_email/your_notebook
environment_key: aiv6
compute:
hardware_accelerator: GPU_8xH100