環境を設定する

Important

この機能は パブリック プレビュー段階です。

AI Runtimeは、サーバーレスGPU計算のための2つのマネージドPython環境を提供します。 標準環境には cudaが含まれています。 環境バージョン 5 の時点では、 torch と torchvision はプレインストールされなくなりました。 DatabricksのAI環境にはPyTorch、Transformers、その他の機械学習やディープラーニングフレームワークがあらかじめインストールされています。 依存関係スタックを完全に制御する Standard 環境を選択するか、すぐに使用できるトレーニングセットアップ用の AI 環境を選択します。 どちらの環境から始めて、自分でさらに多くのパッケージをインストールすることができます。

ヒント

  • 依存関係を完全に制御するには Standard 環境を、すぐに使えるMLスタックを用意するには Databricks AI 環境を選びましょう。
  • 標準には cudaが含まれます。 環境バージョン5以降、 torch と torchvision は事前インストールされていません。 AI環境にはPyTorchやTransformersなどが追加されています。
  • %uv pip install（環境バージョン 5 以上）、またはノートブック内の environment.dependencies、あるいは CLI の %pip install を使って、さらにパッケージをインストールできます。

使用する環境は何か

AI ランタイムには、Standard 環境と Databricks AI 環境という 2 つのマネージド Python環境が用意されています。

環境 主な特性 いつ使用するか
標準環境 最小限。cuda を含みます。 環境バージョン 5 の時点では、torchとtorchvisionはプレインストールされなくなりました。 依存関係スタックを完全に制御し、必要なもののみをインストールする必要がある場合
Databricks AI 環境 人気のある機械学習（ML）フレームワーク（PyTorch、Transformers など）が事前にインストールされています 手動の依存関係管理を使用せずに、トレーニング、微調整、実験のための完全な環境が必要です

また、ワークスペース管理者がAIランタイム用に構築した ワークスペースベース環境 を使うこともできます。 サーバーレス GPU コンピューティング (AI ランタイム) のビルドを参照してください。

ノートブックで環境を選択するには、 Environment サイドパネルを開き、 ベース環境を選択してください:

ノートブックの環境サイドパネルでベース環境を選択すること。

標準環境 (最小環境)

AI ランタイム操作に必要なパッケージのみを含む、最小限の安定した環境。 この環境には、GPU サポート用の cuda が含まれています。 環境バージョン 5 の時点では、 torch と torchvision はプレインストールされなくなりました。 必要なバージョンを %uv pip install または %pip installでインストールしてください。 各環境バージョンにインストールされているパッケージについては、以下のリリース ノートを参照してください。

最適: 依存関係スタックを完全に制御し、必要なものだけをインストールするユーザー。

選択方法: 環境 サイドパネルで、基準環境として Standard v6 を選択してください。

さまざまなバージョンにインストールされているパッケージ バージョンの詳細については、リリース ノートを参照してください。

Databricks AI 環境

環境 4 以降で使用できます。 AI 環境は、GPU 上の機械学習に固有の一般的なランタイム パッケージとパッケージを使用して、Standard 環境の上に構築されています。 プレインストールされたパッケージには、次のものが含まれます。

  • PyTorch (CUDA サポートあり)
  • トランスフォーマー (ハギングフェイス)
  • その他の ML/DL 依存関係

最適: 手動の依存関係管理を使用せずに、ワークロードのトレーニング、微調整、実験のための完全な環境を必要とする ML 専門家。

選択方法: 環境 サイドパネルで、ベース環境として AI v6 を選択します。

さまざまなバージョンにインストールされているパッケージ バージョンの詳細については、リリース ノートを参照してください。

追加パッケージをインストールする

マネージド環境かワークスペースベースの環境のいずれかから始めて、その上に自分だけのPythonパッケージをインストールすることができます。 インストール方法はAIランタイムへの接続方法によります。

ノートの中で

ノートブックやトレーニング スクリプトの先頭で %uv pip を使ってパッケージをインストールできます。これは uv を使用してインストールし、%pip よりも高速です。 実行の再現性を保つために、バージョンを固定します:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

すべての%pipおよび%uv pip参照、どの環境バージョンがそれぞれをサポートするかについては、「%uvコマンドでライブラリを管理する」を参照してください。

@distributedデコレーターをマルチGPUワークロードに使うと、.distributed()呼び出す前にインストールしたパッケージは自動的にスナップショットされ、すべての分散プロセスに伝播されます。 インストールされているパッケージの合計サイズは、15 GB を超えてはなりません。 詳細については、「 ノートブックへの依存関係の追加」を参照してください。

CLI で

airCLIも同じ管理環境を使用しています。 environment.version付きのものを選び、その上にインストールするパッケージをワークロードYAMLのenvironment.dependencies欄にリストアップしてください。 CLIは選択した環境に UVをインストールし、別の仮想環境を自分で管理する必要がなくなります。

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

DatabricksのAI環境から始めるには、 version を databricks_ai_v5のようなAI環境識別子に設定してください。 完全な依存関係形式、サポートされるインストールフラグ、カスタムDockerイメージのサポートについては、Python依存関係を参照してください。

ワークスペースの基本環境

ワークスペース管理者は、サーバーレス GPU コンピューティング用の ワークスペース基本環境 を構築できます。これにより、[ 基本環境 ] ドロップダウン メニューを使用して、ワークスペース内のすべてのユーザーがワークスペースを使用できるようになります。 詳細については、「 サーバーレス GPU コンピューティング用のビルド (AI ランタイム)」を参照してください。

スケジュールされたワークロードでベース環境を使用するには、ジョブやバンドルの environments ブロック内の識別子で参照してください。 例えば、この宣言的自動化バンドルタスクではDatabricksのAI環境を選択します:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

ジョブの完全な例については、「Jobs API と宣言型 Automation Bundle を使用したスケジュール」をご覧ください。

環境キャッシュとカスタム モジュール

環境はいつキャッシュされますか?

AIランタイムはノートブックの環境をキャッシュするので、ノートブックを再起動してもパッケージを再インストールする必要はありません。 詳細は「 環境依存関係のリセット」を参照してください。

キャッシュはインタラクティブノートに適用されます。 airCLIを経由するかジョブとしてスケジューリングされたワークロードはこのキャッシュを使用しません。各実行は依存関係を新規インストールします。

ベストプラクティスとして、パッケージを特定のバージョンにピン留めすることで、キャッシュ環境が有効で実行が再現可能になります。

カスタム モジュールをインポートする方法

以下の手順では、自分のPythonモジュールの使い方を示します。

  1. コードをワークスペースに同期してください。 Gitリポジトリをワークスペースにクローンし、 Gitフォルダを作ってもいいか、ファイルを ワークスペースファイルとして直接アップロードする方法もあります。 共有コードをチームプロジェクト用の /Workspace/Shared の下に保存するか、個人開発用のユーザーフォルダに保存してください。 コードをGitフォルダに保管することでバージョン管理ができます。
  2. フォルダを sys.path に追加し、 ノートブックやトレーニングスクリプトの上部にインポートしてください:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

制限事項

次の機能は、AI ランタイムでは使用できません。

  • Spark 関数: PySpark 関数を直接インポートまたは使用することはできません。 AI ランタイムは Python 専用の環境です。Spark はローカル ランタイムとして使用できません。 ただし、Spark Connect はデータの読み込みに使用できます。 AI ランタイムでのデータの読み込みを参照してください。
  • Databricks ランタイム ML ライブラリ: プレインストールされたパッケージは、Databricks Runtime ML の代わりではありません。 Databricks Runtime ML で使用できる一部の ML ライブラリは、AI ランタイムにプレインストールされない場合があります。
  • プライベート成果物: AI ランタイムは、特定の場合にプライベート成果物をサポートします。 詳細については、アカウント チームにお問い合わせください。
  • Last updated on