ノートブックからAIランタイムに接続

Important

この機能は パブリック プレビュー段階です

ノートブックをAIランタイムに接続することは、トレーニングやワークロードの微調整を行う主な方法です。 GPU を使って対話的に開発し、本番運用の準備が整ったら、同じノートブックを定期実行ジョブとしてスケジュールできます。

ヒント

  • ノートブックを サーバーレスGPU に接続し、クラスタ構成なしでGPU上でインタラクティブに開発できます。
  • ノートブックUI、ジョブAPI、または宣言的自動化バンドルから同じノートブックを定期的なジョブとしてスケジュールしてください。
  • ノートブックからのマルチGPUトレーニングについては、「 ノートブックでの分散トレーニング」を参照してください。

ヒント

このページではノートについて扱っています。 別の方法でAIランタイムにアクセスするには、 SSHトンネル経由でIDEから接続するか、ノートパソコンから AI Runtime CLIでジョブを提出するか、 Rayを実行する方法があります。 宣言的自動化バンドルでトレーニングコード(ノートブックではなく)を本番化するには、 Productionize training workloadsをご覧ください。

ノートに接続してください

これは、AI ランタイムを使用する主な方法です。 ノートブックを接続して環境を構成するには:

  1. ノートブックで、上部にあるコンピューティング ドロップダウン メニューをクリックし、[ サーバーレス GPU] を選択します。

    ノートブックの計算ドロップダウンメニューで、AIランタイムノートブックの計算対象としてServerless GPUを選択しています。

  2. [ 環境] アイコン をクリックして、[ 環境 ] サイド パネルを開きます。

  3. [アクセラレータ] フィールドから アクセラレータ を選択します。 分散トレーニング ワークロードの場合は、 8xH100 を選択します。 アクセラレーターの選択については「 ハードウェアオプション 」をご覧ください。

  4. Base environment フィールドから、Standard environment には Standard v6 を、AI environment には AI v6 を選択します。

  5. [ 適用 ] をクリックし、ノートブック環境に AI ランタイムを適用することを 確認 します。

    環境サイドパネルには、AIランタイムノートブック用のアクセラレータとベース環境フィールドが表示されます。

コンピューティングへの接続は、非アクティブ状態が 60 分続くと自動的に終了します。

ヒント

GPU を必要としない操作 (Git リポジトリの複製、データ形式の変換、探索的データ分析など) の場合は、GPU リソースを保持するためにノートブックを CPU クラスターにアタッチします。

ノートを用意する予定を立てましょう

AI Runtimeを使うノートブックは、ノートブックのUIからでもプログラム的にも、定期的なジョブとしてスケジュールできます。 詳細については、 スケジュールされたノートブック ジョブの作成と管理 に関するページを参照してください。

Important

Databricks AI環境を含むワークスペースベースの環境を用いたスケジュールされたノートブックジョブの実行はベータ版です。 ワークスペース管理者はジョブプレビュー でサーバーレスワークスペースの基本環境サポート をオンにする必要があります。 Manage Azure Databricks プレビューを参照してください。

実行したいノートからスケジュールを作成するには:

  1. 右上にある [スケジュール ] ボタンを選択します。
  2. [ スケジュールの追加] を選択します
  3. [ 新しいスケジュール ] フォームに ジョブ名スケジュールコンピューティングを設定します
  4. を選択してを作成します。

新しいスケジュールフォームでは、スケジュールされたノートブックジョブのジョブ名、スケジュール、計算フィールドが表示されます。

ジョブとパイプライン UI からジョブを作成 および スケジュールすることもできます。 詳細なガイダンスについては、「 新しいジョブを作成 する」を参照してください。

[ 環境 ] パネルを使用した依存関係の追加は、AI ランタイムのスケジュールされたジョブではサポートされていません。 依存関係は、ノートブック内にプログラムでインストールする必要があります (たとえば、 %pip install)。 自動回復はサポートされていません。 互換性のないパッケージが原因でジョブが失敗した場合は、手動で修正して再実行する必要があります。

7 日間の最大実行時間を超える可能性があるワークロードの場合は、再開できるように手動チェックポイント処理を実装します。 UCVolumeWriterからUCVolumeReaderおよびserverless_gpu.dataを介して Unity カタログ ボリュームを使用することをお勧めします。 モデルのチェックポイント処理を参照してください。

ジョブAPIと宣言的自動化バンドルでスケジュールを組む

Databricks Jobs APIDeclarative Automation Bundlesを使って、AIランタイムノートブックジョブをプログラム的に作成・管理できます。 デプロイ パイプラインを自動化するために、ジョブまたはバンドル定義でコンピューティングの種類をサーバーレス GPU として構成します。

ノートブックではなくコードのディレクトリに対して自分のトレーニングコマンドを実行したり、マルチタスクジョブやスケジュールパイプラインを構築したい場合は、 Productionize training workloadsをご覧ください。

以下の例は、 標準環境を用いたスケジュールされたAIランタイムノートブックジョブの宣言的自動化バンドルの設定を示しています。

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

DatabricksのAI環境を標準環境の代わりに使用するには、環境specでAI環境識別子(例えばAI v6のdatabricks_ai_v6)にbase_environmentを設定し、タスクの environment_key を参照してください:

Important

仕事でDatabricksのAI環境をワークスペースベース環境として選択するのは ベータ版です。 ワークスペース管理者はジョブプレビュー でサーバーレスワークスペースの基本環境サポート をオンにする必要があります。 Manage Azure Databricks プレビューを参照してください。

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100