サーバーレスジョブおよびパイプラインのパフォーマンスモードを選択してください

サーバーレスジョブおよびパイプラインは、以下のいずれかのパフォーマンスモードで実行されます:

  • パフォーマンス最適化モード(既定): Azure Databricks はウォーム状態のコンピュートのプールを維持するため、ワークロードは通常 1 分以内に開始され、必要なときにより多くのコンピュートがすばやく割り当てられます。 このモードは、開発やテスト中の迅速なフィードバック、または標準モードが完了要件やデータの新規性要件を満たせない場合に使用してください。
  • 標準モード:ワークロードは通常4分から6分以内に開始され、使用するDatabricksユニット(DBU)が少ない。 代表的な実行が完了要件およびデータの新鮮度要件を満たす場合は、このモードをスケジュールされた作業およびバッチ作業向けに評価してください。

各ジョブと各パイプラインスケジュールのモードを選択します。 標準モードで最も節約できるワークロードを見つけるには、「 標準モードに切り替えるジョブとパイプラインの検索」を参照してください。

このページでは、各モードを比較し、モードの選択と設定方法を説明し、どのモードが使われているか、そしてそのコストがいくらかを確認する方法を紹介します。

Note

標準モードはサーバーレス計算のためのパフォーマンス設定です。 これはクラシックコンピュートの 標準アクセスモード とは関係ありません。

パフォーマンスモードを比較する

以下の表は、2つのパフォーマンスモードを比較しています:

パフォーマンス最適化モード(デフォルト) 標準モード
起動時間 通常は1分未満です。 Azure Databricksは、ワークロードに対応できるウォームコンピュートを常に備えてくれます。 通常は、コンピュートの可用性によりますが、4〜6分です。
実行時間 ワークロードがスケールアップする場合は、ウォーム容量からコンピュートが追加されるため、より短くなります。 スケールアップするワークロードでは、コンピューティングリソースがよりゆっくり追加されるため、時間がかかることがあります。
費用 同じワークロードでより多くのDBUを消費し、その代償として高速かつ予測可能な起動を実現します。 同じワークロード、同じ DBU あたりの価格、同じ SKU 上で、より少ない DBU を消費します。
最適な用途 迅速なフィードバックを必要とするインタラクティブな作業や開発、および標準モードでは満たせない完了要件やデータ鮮度要件を持つ本番ワークロード。 夜間バッチジョブ、バックフィル、1回限りのロードなど、起動やスケールアップが遅くても完了要件とデータ鮮度要件を満たすスケジュール済みおよびバッチ処理。

パフォーマンス最適化モードは、UI、API、Declarative Automation Bundle、Terraform、またはSDKのいずれかで作成するサーバーレスジョブおよびパイプラインのデフォルトです。 テーブル定義からスケジュール通りに動作するマテリアライズドビューやストリーミングテーブルのリフレッシュには独自の設定があり、デフォルトは標準モードです。 スケジュールされた更新のパフォーマンス モードを選択するを参照してください。

両方のモードは同じサーバーレスランタイム上でワークロードを実行し、同じ結果を生み出します。 価格については、 Lakeflow Jobs の料金ページをご覧ください。

ワークロードに合ったモードを選択してください

パフォーマンス最適化モードがデフォルトです。 スケジュールされたバッチ作業については、Databricksはコスト削減のために標準モードを評価することを推奨しています。 起動およびスケールアップ時間を含む代表実行がワークロードの完了要件およびデータの新規性要件を満たした場合は標準モードを選択してください。 例えば、ナイトリージョブは、下流のダッシュボードが結果を必要とする前に完了すれば標準モードを使用できます。

以下のワークロードに対してパフォーマンス最適化モードを使用してください:

  • 結果を待っているユーザーがいるインタラクティブな作業(Run now を使用したアドホック実行や、ユーザーがアプリまたは API 呼び出しで開始する実行など)。
  • ジョブやパイプラインの開発、テスト、検証で、迅速なフィードバックが重要となる場合。
  • サービスレベルアグリーメント、データフレッシュネス目標、または下流の利用者が標準モードよりも早く結果を求めるワークロード。
  • ファイル到着トリガーまたはテーブル更新トリガーが開始するジョブで、新しいデータを迅速に処理することが目的です。
  • 数分ごとに実行されるジョブで、遅いスタートが次の実行を遅延させたりキューに入れたりすることがあります。
  • 起動時間が全体の実行時間に占める割合が大きく、迅速な完了が重要な短時間のジョブ。
  • 完了要件を満たすためにより迅速なスケールアップが必要なワークロード。

標準モードは以下のワークロードに適しています:

  • 標準モードで完了要件とデータ鮮度要件を満たす、毎晩、毎時、その他の定期バッチ ジョブ
  • 更新が消費者が結果を必要とする前に完了したタイミングで、スケジュールに従ってテーブルを更新するパイプライン。
  • バックフィルおよび一度きりのデータロード。
  • 標準モードがダウンストリームの完了要件を満たす場合に、外部オーケストレーターがスケジュールに従ってトリガーするジョブ。

パフォーマンスモードの設定はインタラクティブなサーバーレスノートブックには適用されません。

パフォーマンスモードはジョブレベル設定です。 ジョブが時間に敏感なタスクと待機可能なタスクを混ぜている場合は、タスクを別々のジョブに分割してください。 ジョブをまとめて調整するには、ジョブの実行タスクを使用します。 実行ジョブタスクが実行するジョブは独自のパフォーマンスモードを使用します。

既存のジョブで標準モードを試す

作業にコミットする前に標準モードの影響を測定するには、次の操作を行います。

  1. ジョブを標準モードに切り替えてください。 「 ジョブを標準モードに切り替える」を参照してください。
  2. ジョブは通常のスケジュール通りに、代表的な数回の実行を進めてください。
  3. 1ランごとのDBU数や完了時間(起動を含む)を、スイッチ以前の実行と比較してください。 ジョブが完了要件やデータの最新性を満たしているか確認してください。 「 各モードのコストを測定する」を参照してください。
  4. ジョブが遅延要件を満たさなくなった場合は、パフォーマンス最適化モードに戻してください。 この変更は次の実行に適用されます。

比較にはジョブのスケジュールされた実行を使用します。 本番ジョブの追加の手動実行は、重複データを書き込むことがあります。

ワークロードタイプ別のパフォーマンスモードのサポート

以下の種類のサーバーレス計算ワークロードに対してパフォーマンスモードを直接設定できます:

  • サーバーレスノートブック、Pythonスクリプト、Pythonホイール、JAR、dbt タスク(タスクが dbutils.notebook.run() で実行されるノートブックも含む)。
  • サーバーレス パイプラインは、パイプライン タスクによって実行されます。
  • SQL タスクが開始する、または SQL ウェアハウス上のノートブックや dbt タスクが起動するマテリアライズドビューやストリーミングテーブルの更新。 このモードはSQLウェアハウスを変更しません。

以下のワークロードはパフォーマンス最適化モードで動作します:

以下のワークロードでは、パフォーマンスモードはジョブ設定以外の場所で設定します:

  • Jobs API runs/submit 操作で作成するワンタイム実行。 パフォーマンスモードを設定するには、リクエスト本文で performance_target を設定します。 パラメータを省略すると、実行はパフォーマンス最適化モードを使用します。
  • テーブル定義に基づいてスケジュールに従ってリフレッシュされるマテリアライズドビューとストリーミングテーブル。 パフォーマンスモードを設定するには、カタログエクスプローラーで更新スケジュールを変更してください。 これらのリフレッシュは、既定で標準モードになります。 これらのリフレッシュのモード設定はベータです。 これを使用するには、ワークスペース管理者がPreviewsページでSystem-Managed Job for Materialized Views & Streaming Tablesプレビューを有効にする必要があります。 「Azure Databricks プレビューの管理」およびスケジュール更新のパフォーマンスモードの選択を参照してください。

パフォーマンスモードは、インタラクティブなサーバーレスノートブック、クラシックなコンピュート、SQL ウェアハウス上で動作するタスク、 または AI ランタイム上で動作するタスクには適用されません。

ジョブを標準モードに切り替える

Note

  • ジョブのパフォーマンスモードを変更するには、そのジョブに対して CAN MANAGE 権限が必要です。
  • Declarative Automation Bundles でモードを設定するには、Databricks CLI バージョン 0.241.0 以上が必要です。

各ジョブのパフォーマンスモードを設定します。 このモードはジョブ内のすべてのサーバーレスタスクに適用され、保存後に開始される実行には変更が適用されます。

UI

ジョブ UI でジョブを標準モードに切り替えるには、次の操作を行います。

  1. ワークスペースで、[ワークフロー] アイコンをクリックします。サイドバーのジョブとパイプライン。
  2. ジョブの名前をクリックします。
  3. [ジョブ詳細]ペインで、[パフォーマンス最適化]をオフにします。

パフォーマンス最適化はジョブの詳細ペインでオフと表示され、変更後に開始される実行では標準モードが使用されます。

パフォーマンス最適化モードに戻るには、パフォーマンス最適化 を有効にしてください。 この設定は、そのモードが適用されるタスクが少なくとも1つあるジョブがある場合のみ変更できます。 ワークロードタイプ別のパフォーマンスモードのサポートを参照してください。

単回のランモードも選択できます:

ノートブックからノートブックをスケジュールする際は、スケジュールダイアログでモードを選択します。 「スケジュールされたノートブック ジョブの作成と管理」をご覧ください。

宣言型オートメーション バンドル

バンドル内のジョブで標準モードを使用するには、ジョブ リソースに performance_target を設定します。 次の例は標準モードを使用し、開発中のフィードバックを高速化するために dev ターゲットでパフォーマンス最適化モードを使用しています。

resources:
  jobs:
    nightly_etl:
      name: nightly_etl
      performance_target: STANDARD
      tasks:
        - task_key: transform
          notebook_task:
            notebook_path: ../src/transform.ipynb

targets:
  dev:
    resources:
      jobs:
        nightly_etl:
          performance_target: PERFORMANCE_OPTIMIZED

performance_targetを省略すると、ジョブはパフォーマンス最適化モードを使用します。 ジョブリソースとターゲットオーバーライドの詳細については、「 ジョブ と ターゲット設定によるオーバーライド」を参照してください。

REST API

既存のジョブを標準モードに切り替えるには、performance_target 内で を指定して new_settings を呼び出します。 次の例は、DATABRICKS_TOKEN で説明されているように、 および DATABRICKS_HOST 環境変数が設定されていることを前提としています。

curl -X POST "$DATABRICKS_HOST/api/2.2/jobs/update" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "job_id": 123456789,
    "new_settings": {
      "performance_target": "STANDARD"
    }
  }'

以下のリストは、 performance_target が他のリクエストでどのように動作するかを説明します。

  • ジョブを作成する: 新しいジョブのモードを設定します。 フィールドを省略すると、そのジョブはPERFORMANCE_OPTIMIZEDを使用します。
  • ジョブのリセット:すべてのジョブ設定を置き換えます。 標準モードを維持するには、新しい設定に performance_target を含めてください。
  • 今すぐ実行 と 実行を修復:その実行のモードのみを設定します。
  • 1 回限りの実行を実行する: 実行のモードを設定します。 そのフィールドを省略すると、そのランは PERFORMANCE_OPTIMIZED を使用します。

Databricks コマンドラインインターフェース (CLI)

既存のジョブを標準モードに切り替えるには、JSON リクエスト本文のジョブ ID で databricks jobs update を実行します。

databricks jobs update --json '{"job_id": 123456789, "new_settings": {"performance_target": "STANDARD"}}'

ジョブを変更せずに標準モードで一度だけジョブを実行するには、以下を実行します。

databricks jobs run-now 123456789 --performance-target STANDARD --no-wait

Python SDK

Databricks SDK for Python を使用して、既存のジョブを 1 つ以上標準モードに切り替えるには、次のコマンドを実行します。

from databricks.sdk import WorkspaceClient
from databricks.sdk.service import jobs

w = WorkspaceClient()

# Replace with the IDs of the jobs to switch to standard mode.
job_ids = [123456789, 234567890]

for job_id in job_ids:
    w.jobs.update(
        job_id=job_id,
        new_settings=jobs.JobSettings(performance_target=jobs.PerformanceTarget.STANDARD),
    )

Terraform

Databricks Terraform プロバイダーで管理するジョブで標準モードを使用するには、databricks_job リソースで performance_target を設定します。

resource "databricks_job" "nightly_etl" {
  name               = "nightly_etl"
  performance_target = "STANDARD"

  task {
    task_key = "transform"
    notebook_task {
      notebook_path = "/Workspace/Users/someone@example.com/transform"
    }
  }
}

バンドルや Terraform がジョブを展開する場合は、構成内のモードを変更してください。 次のデプロイメントでは、UI や API で行った変更が上書きされます。 バンドルが展開するジョブは、ジョブ UI では読み取り専用です。

パイプラインを標準モードに切り替える

サーバーレスパイプラインは、それを実行するジョブのパフォーマンスモードを使用します。 パイプラインページからパイプラインをスケジュールすると、スケジュールがジョブを作成するため、スケジュール上のモードを選択します。

標準モードを使用するパイプラインスケジュールを作成するには、次の操作を行います。

  1. ワークスペースで、[ワークフロー] アイコンをクリックします。サイドバーのジョブとパイプライン。
  2. パイプラインの名前をクリックします。
  3. [スケジュール] をクリックします。 パイプラインにすでにスケジュールがある場合は、[ スケジュールの追加]をクリックします。
  4. トリガーとジョブ名を設定します。 「 パイプラインUIでパイプラインをスケジュールする」を参照してください。
  5. パフォーマンス最適化のチェックボックスを外します。
  6. Create をクリックしてください。

スケジュールは、パイプラインを標準モードで実行するジョブを作成します。 確認するには、そのジョブを開き、Job details ペインで Performance optimized がオフになっていることを確認します。

既存のスケジュールやパイプラインを実行する他のジョブのモードを変更するには、そのジョブを標準モードに切り替えてください。 「 ジョブを標準モードに切り替える」を参照してください。

手動で開始したトリガー付きパイプライン更新(例えば、パイプラインページの「スタート」)は、パフォーマンス最適化モードで実行されます。 選択的フルリフレッシュは標準モードで実行可能です。 リフレッシュするテーブルを選択したら、「異なる設定で今すぐ実行」をクリックし、「テーブル全体更新付きでパイプラインを実行する」をオンにし、「パフォーマンス最適化」をオフにします。

パイプラインに内蔵された連続モードを使用する連続パイプラインはパフォーマンス最適化モードで動作し、そのモードを変更することはできません。 標準モードで連続パイプラインを実行するには、連続ジョブで実行し、そのジョブに 最適化されたパフォーマンス をオフにしてください。 連続ジョブは実行を再開始すると新しいモードが適用されます。 変更をすぐに適用するには、[ 実行の再起動]をクリックします。 「 連続したジョブで連続パイプラインを実行する 」および 「ジョブを継続的に実行する」を参照してください。

テーブル定義からスケジュールでリフレッシュされるマテリアライズドビューやストリーミングテーブルについては、カタログエクスプローラーで更新スケジュールのモードを設定します。 スケジュールされた更新のパフォーマンス モードを選択するを参照してください。

実行がどのモードを使用していたか確認する

実行が使用するモードはジョブの設定と異なる場合があります。 例えば、1回のランで別のモードを選べますが、そのモードは一部のタスクタイプには適用されません。 実行がどのモードを使用していたかを確認するには、次のいずれかの方法を使用してください:

  • ジョブUI: 実行を開きます。 ジョブ実行の詳細ページでは、パフォーマンス最適化モードではパフォーマンス最適化が有効、標準モードでは無効と表示されます。 タスク実行詳細ページには、各タスクに対して同じフィールドが表示されます。
  • ジョブ API: effective_performance_target応答のフィールドには、実行で使用されたモードが表示されます。
  • システム テーブル: product_features.performance_targetの列には、サーバーレス ジョブおよびパイプラインのモードが記録されます。 ジョブがトリガーするパイプライン更新の場合、trigger_details.job_task.performance_targetの列にもモードが記録されます。

各モードのコストを測定する

課金対象使用量システムテーブルを使って、切り替えるべきワークロードを見つけ、標準モードでどれだけ節約できるかを測定します。 使用記録がテーブルに表示されるまでに数時間かかることがあります。 このセクションのクエリはリスト価格を使用しているため、コストは割引を反映していません。

標準モードに切り替えるジョブとパイプラインを探す

次のクエリは、過去30日間にパフォーマンス最適化モードを使用したサーバーレスジョブとパイプラインをリストコスト順に並べたものです。 結果の上位付近のワークロードは、代表的な実行(起動およびスケールアップ時間を含む)が完了要件およびデータの新規性要件を満たす場合、標準モードの適した候補となります。

SELECT
  u.workspace_id,
  u.billing_origin_product AS product,
  u.usage_metadata.job_id AS job_id,
  u.usage_metadata.dlt_pipeline_id AS pipeline_id,
  MAX(u.usage_metadata.job_name) AS job_name,
  COUNT(DISTINCT u.usage_metadata.job_run_id) AS job_runs,
  SUM(u.usage_quantity) AS dbus,
  SUM(u.usage_quantity * lp.pricing.default) AS list_cost
FROM system.billing.usage AS u
INNER JOIN system.billing.list_prices AS lp
  ON u.cloud = lp.cloud
  AND u.sku_name = lp.sku_name
  AND u.usage_start_time >= lp.price_start_time
  AND (u.usage_end_time <= lp.price_end_time OR lp.price_end_time IS NULL)
WHERE
  u.billing_origin_product IN ('JOBS', 'DLT')
  AND u.product_features.is_serverless
  AND u.product_features.performance_target = 'PERFORMANCE_OPTIMIZED'
  AND u.usage_unit = 'DBU'
  AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY
  u.workspace_id,
  u.billing_origin_product,
  u.usage_metadata.job_id,
  u.usage_metadata.dlt_pipeline_id
ORDER BY list_cost DESC
LIMIT 50

ジョブが実行するパイプラインを切り替えるには、そのジョブのパイプラインを切り替えてください。 ジョブを標準モードに切り替えるを参照してください。

ジョブの切り替え前後の使用状況を比較する

ジョブを両方のモードで実行した後、次のクエリは、各モードでジョブのタスクが実行ごとに消費する DBU を比較します。 <job-id>をジョブのIDに置き換えます:

SELECT
  u.product_features.performance_target AS performance_mode,
  COUNT(DISTINCT u.usage_metadata.job_run_id) AS runs,
  SUM(u.usage_quantity) AS dbus,
  SUM(u.usage_quantity) / COUNT(DISTINCT u.usage_metadata.job_run_id) AS dbus_per_run
FROM system.billing.usage AS u
WHERE
  u.billing_origin_product = 'JOBS'
  AND u.product_features.is_serverless
  AND u.usage_unit = 'DBU'
  AND u.usage_metadata.job_id = '<job-id>'
  AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY ALL

クエリはジョブ(JOBS)に請求された使用量のみをカウントします。 パイプラインタスクはパイプライン使用量(DLT)として請求されるため、結果にはそれらが含まれていません。 パイプラインタスクが実行しているパイプラインを比較するには、代わりにu.billing_origin_product = 'DLT'とu.usage_metadata.dlt_pipeline_id = '<pipeline-id>'でフィルタリングし、u.usage_metadata.job_run_idではなくu.usage_metadata.dlt_update_idをカウントします。

1回の実行あたりのDBU消費量も処理するデータの量に依存しているため、同じ量のデータを処理する実行を比較してください。 実行時間を比較するには、ジョブを開き、その実行一覧を表示します。 「Lakeflow ジョブの監視」を参照してください。

すべてのジョブおよびパイプラインでモードごとのDBU消費を報告するには、「 パフォーマンスモードごとの消費DBU報告」を参照してください。

サーバーレスパフォーマンスモードに関するよくある質問(FAQ)

スタンダードモードは料金が違いますか?

No. 両モードとも同じSKUで、DBUあたり同じ価格で請求されます。 標準モードは消費するDBU数が少ないためコストが安くなります。

ワークスペース内のすべてのジョブにデフォルトモードを設定できますか?

No. 各ジョブと各パイプラインスケジュールのモードを設定します。 多くのジョブを切り替えるには、Jobs API、Databricks SDK for Python、Declarative Automation Bundles、または Terraform を使用してください。 「 ジョブを標準モードに切り替える」を参照してください。

同じ仕事のタスクで異なるモードを使うことはできますか?

No. このモードはジョブ全体に適用されます。 各モードでタスクを実行するには、それぞれ別々のジョブに分け、実行ジョブタスクを使ってそれらをオーケストレーションします。

モード変更はいつ有効になりますか?

保存後に開始されるランには変更が適用されます。 進行中のランは、最初に持っていたモードをそのまま維持します。 連続ジョブの場合は、「 実行を再スタート 」をクリックして変更をすぐに適用します。

なぜランは本来のジョブとは違うモードを使ったのでしょうか?

実行はその実行専用のモードで開始された場合があります。例えば、「異なる設定で今すぐ実行」、修復によって、または「今すぐ実行」リクエストで performance_target を指定して開始された可能性があります。 実行が使用したモードを確認するには、「 実行が使用したモードを確認する」を参照してください。

選んでいないのに、ジョブで標準モードが使われるのはなぜですか?

2025年9月までは、UIで作成した新しいサーバーレスジョブおよびパイプラインスケジュールのデフォルトは標準モードでした。 変更前にUIが標準モードで作成したジョブは、変更するまでそのモードが維持されます。 2025年9月リリースノートをご覧ください。 ジョブをパフォーマンス最適化モードに切り替えるには、「ジョブを標準モードに切り替える」を参照してください。

なぜ標準モードでジョブが始まるまでに6分以上かかるのでしょうか?

標準モードでの起動時間は、コンピュートの可用性に依存し、実行ごとに異なります。 4〜6分が標準で、最大値ではありません。 ジョブの開始時刻を予測どおりにしたい場合は、パフォーマンス最適化モードを使用してください。

外部ツールがトリガーするジョブに対して標準モードを使うことはできますか?

Yes. ジョブでモードを設定し、ツールが「今すぐ実行」でジョブをトリガーするようにします。 ツールが runs/submitを用いて一度実行を行う場合、リクエストが performance_targetを設定しない限り、実行はパフォーマンス最適化モードを使用します。

追加リソース