次の方法で共有


Azure Databricks

Azure Databricks は、スケーラブルなデータ管理、ガバナンス、分析のための統合プラットフォームを提供し、合理化されたワークフローと、多様なデータ型を効率的に処理する機能を組み合わせたものです。

このコネクタは、次の製品とリージョンで使用できます。

サービス クラス リージョン
コピロット スタジオ Premium 次を除くすべての Power Automate リージョン :
     - 米国政府 (GCC)
     - 米国政府 (GCC High)
     - 21Vianet が運営する China Cloud
     - 米国国防総省 (DoD)
Power Apps Premium 次を除くすべての Power Apps リージョン :
     - 米国政府 (GCC)
     - 米国政府 (GCC High)
     - 21Vianet が運営する China Cloud
     - 米国国防総省 (DoD)
Power Automate(パワーオートメート) Premium 次を除くすべての Power Automate リージョン :
     - 米国政府 (GCC)
     - 米国政府 (GCC High)
     - 21Vianet が運営する China Cloud
     - 米国国防総省 (DoD)
お問い合わせ
名前 Databricks のサポート
URL https://help.databricks.com
Email eng-partner-eco-help@databricks.com
コネクタ メタデータ
Publisher Databricks Inc.
Web サイト https://www.databricks.com/
プライバシー ポリシー https://www.databricks.com/legal/privacynotice
カテゴリ データ

Microsoft Power Platform から Azure Databricks に接続する

このページでは、データ接続として Azure Databricks を追加して、Microsoft Power Platform から Azure Databricks に接続する方法について説明します。 接続されている場合は、次のプラットフォームから Azure Databricks データを使用できます。

  • Power Apps: Azure Databricks のガバナンス コントロールを維持しながら、Azure Databricks との間で読み取りと書き込みを行うことができるアプリケーションを構築します。
  • Power Automate: フローを構築し、カスタム SQL または既存のジョブを実行して結果を取得できるようにするアクションを追加します。
  • Copilot Studio: Azure Databricks データをナレッジ ソースとして使用してカスタム エージェントを構築します。

開始する前に

Power Platform から Azure Databricks に接続する前に、次の要件を満たす必要があります。

  • Microsoft Entra ID (旧称 Azure Active Directory) アカウントをお持ちの場合。
  • Premium Power Apps ライセンスをお持ちの場合。
  • Azure Databricks アカウントを持っている。
  • Azure Databricks の SQL ウェアハウスにアクセスできます。

省略可能: Azure Virtual Networks を使用して接続する

Azure Databricks ワークスペースで仮想ネットワークを使用している場合、接続する方法は 2 つあります。

  1. パブリック インターネット経由で公開することなく、仮想ネットワーク内のリソースと Power Platform を統合します。 Azure Databricks ワークスペースのプライベート エンドポイントに接続するには、Azure Databricks へのプライベート接続を構成した後、次の操作を行います。

    仮想ネットワークの詳細については、 仮想ネットワークのサポートの概要に関するページを参照してください。

  2. ハイブリッド展開を使用してアクセスを有効にします。パブリック エンドポイントを含むフロントエンド プライベート リンクは、ワークスペースの IP アクセス リストによって保護されます。 アクセスを有効にするには、次の操作を行います。

    1. ワークスペース レベルでパブリック アクセスを有効にします。 詳細については、「 ワークスペースの IP アクセス リストを構成する」を参照してください。
    2. AzureConnectors の IP 範囲、または環境のリージョンに基づく特定の Power Platform IP 範囲をワークスペースの IP アクセスリストに追加します。

省略可能: Microsoft Entra サービス プリンシパルを作成する

重要

Azure Databricks と Power Platform が異なるテナントにある場合は、認証にサービス プリンシパルを使用する必要があります。

接続する前に、次の手順を実行して、Microsoft Entra サービス プリンシパルを作成、設定、および Azure Databricks アカウントまたはワークスペースに割り当てます。

手順 1: Azure Databricks 接続を Power Platform に追加する

手記: Copilot Studio を使用している場合は、Power Apps または Power Automate で Databricks 接続を作成することをお勧めします。 その後、Copilot Studio で使用できます。

Azure Databricks 接続を追加するには、次の操作を行います。

  1. Power Apps または Power Automate のサイドバーで、[ 接続] をクリックします。

  2. 左上隅にある [ + 新しい接続 ] をクリックします。

  3. 右上の検索バーを使用して 、"Azure Databricks" を検索します。

  4. Azure Databricks タイルを選択します。

  5. ドロップダウン メニューから 認証の種類 を選択します。

  6. 認証方法を選択し、認証情報を入力します。

    • Power Platform のデプロイと Azure Databricks アカウントが同じ Microsoft Entra テナント内にある場合は、 OAuth 接続を使用できます。 次の情報を入力してください。

      • [サーバー ホスト名] に、Azure Databricks SQL ウェアハウスのホスト名を入力します。
      • [HTTP パス] に、SQL ウェアハウスの HTTP パスを入力します。
      • Create をクリックしてください。
      • Microsoft Entra ID でサインインします。
    • サービス プリンシパル接続 は、任意のシナリオで使用できます。 接続する前にMicrosoft Entra サービスプリンシパルを作成します。 次の情報を入力してください。

      • [クライアント ID] に、サービス プリンシパル ID を入力します。
      • クライアント シークレットの場合は、サービス プリンシパル シークレットを入力します。
      • [テナント] に、サービス プリンシパル テナントを入力します。
      • [ホスト名] に、Azure Databricks SQL ウェアハウスのホスト名を入力します。
      • [HTTP パス] に、SQL ウェアハウスの HTTP パスを入力します。
      • (省略可能)接続の作成後に、サービス プリンシパル接続の名前を変更したり、チーム メンバーと共有したりできます。
    • Azure Databricks SQL ウェアハウスの接続の詳細を確認するには、「 Azure Databricks コンピューティング リソースの接続の詳細を取得する」を参照してください。

  7. Create をクリックしてください。

手順 2: Azure Databricks 接続を使用する

Power Apps または Power Automate で Azure Databricks 接続を作成したら、Azure Databricks データを使用して、Power キャンバス アプリ、Power Automate フロー、Copilot Studio エージェントを作成できます。

Azure Databricks データを使用して Power Canvas アプリを構築する

重要

キャンバス アプリは、アプリで Azure Databricks に直接接続する場合にのみ使用できます。 仮想テーブルは使用できません。

Azure Databricks データをアプリケーションに追加するには、次の操作を行います。

  1. 左端のナビゲーション バーで、[ 作成] をクリックします。
  2. [ 空のキャンバスで開始] をクリックし、目的のキャンバス サイズを選択して新しいキャンバス アプリを作成します。
  3. アプリケーションから、[データの追加] をクリックします>Connectors>Azure Databricks。 作成した Azure Databricks 接続を選択します。
  4. [データセットの選択] サイドバーからカタログ を選択 します。
  5. [ データセットの選択 ] サイドバーから、キャンバス アプリを接続するすべてのテーブルを選択します。
  6. [接続] をクリックします。

Power Apps でのデータ操作:

コネクタは、主キーが定義されているテーブル に対してのみ 、作成、更新、および削除操作をサポートします。 作成操作を実行するときは、常に主キーを指定する必要があります。

手記: Azure Databricks では、 生成された ID 列がサポートされます。 この場合、主キー値は行の作成時にサーバーで自動的に生成され、手動で指定することはできません。

Azure Databricks データを使用して Power Automate フローを構築する

ステートメント実行 APIジョブ API は Power Automate 内で公開されるため、SQL ステートメントを記述して既存のジョブを実行できます。 Azure Databricks をアクションとして使用して Power Automate フローを作成するには、次の操作を行います。

  1. 左端のナビゲーション バーで、[ 作成] をクリックします。
  2. フローを作成し、トリガーの種類を追加します。
  3. 新しいフローで + をクリックし、 "Databricks" を検索して使用可能なアクションを確認します。

SQL を記述するには、次のいずれかのアクションを選択します。

  • SQL ステートメントの実行: SQL ステートメントを記述して実行します。 次のように入力します。

    • Body/warehouse_id に、SQL ステートメントを実行する対象の倉庫IDを入力します。
    • Body/statement_id に、実行する SQL ステートメントの ID を入力します。
    • 詳細なパラメーターの詳細については、 こちらを参照してください
  • 状態を確認して結果を取得する: SQL ステートメントの状態を確認し、結果を収集します。 次のように入力します。

    • ステートメント ID には、SQL ステートメントの実行時に返される ID を入力します。
    • パラメーターの詳細については、こちらを参照 してください
  • ステートメントの実行を取り消す: SQL ステートメントの実行を終了します。 次のように入力します。

    • ステートメント ID には、終了する SQL ステートメントの ID を入力します。
    • パラメーターの詳細については、こちらを参照 してください
  • チャンク インデックスによる結果の取得: 大きな結果セットに適したチャンク インデックスで結果を取得します。 次のように入力します。

    • [ステートメント ID] に、結果を取得する SQL ステートメントの ID を入力します。
    • [チャンク インデックス] には、ターゲット チャンク インデックスを入力します。
    • パラメーターの詳細については、こちらを参照 してください

既存の Databricks ジョブを操作するには、次のいずれかのアクションを選択します。

  • ジョブの一覧表示: ジョブの一覧を取得します。 詳細については 、こちらを参照してください
  • 新しいジョブ実行をトリガーする: ジョブを実行し、トリガーされた実行のrun_idを返します。 詳細については 、こちらを参照してください
  • 単一のジョブ実行を取得する: 実行状態 (RUNNING、SUCCESS、FAILED など)、開始時刻と終了時刻、実行期間、クラスター情報など、実行に関するメタデータを返します。詳細については 、こちらを参照してください
  • ジョブの実行を取り消す: ジョブの実行またはタスクの実行を取り消します。 詳細については、このページを参照してください。
  • 1 つのジョブ実行の出力を取得する: 1 つのタスク実行の出力とメタデータを取得します。 詳細については、このページを参照してください。

Copilot Studio で Azure Databricks をナレッジ ソースとして使用する

知識ソースとして Azure Databricks データを Copilot Studio エージェントに追加するには、次の操作を行います。

  1. サイドバーから[ エージェント]をクリックします。
  2. 既存のエージェントを選択するか、[+ 新しいエージェント] をクリックして 新しいエージェントを作成します。
    • メッセージを入力してエージェントについて説明し、[ 作成] をクリックします。
    • または、[ スキップ ] をクリックしてエージェントの情報を手動で指定します。
  3. [ ナレッジ ] タブで、[ + ナレッジ] をクリックします。
  4. 詳細設定をクリックします。
  5. ナレッジ ソースとして Azure Databricks を選択します。
  6. データのカタログ名を入力します。
  7. [接続] をクリックします。
  8. エージェントでナレッジ ソースとして使用するテーブルを選択し、[ 追加] をクリックします。

Azure Databricks データを使用して Dataverse 仮想テーブルを作成する

Azure Databricks コネクタを使用して Dataverse 仮想テーブルを作成することもできます。 仮想テーブル (仮想エンティティとも呼ばれます) は、外部システムのデータを Microsoft Dataverse と統合します。 仮想テーブルは、物理テーブルを Dataverse データベースに格納せずに、Dataverse でテーブルを定義します。 仮想テーブルの詳細については、「仮想 テーブル (エンティティ) の概要」を参照してください。

仮想テーブルは Dataverse ストレージ容量を消費しませんが、パフォーマンスを向上させるために直接接続を使用することをお勧めします。

システム カスタマイザーまたはシステム管理者ロールが必要です。 詳細については、「 Power Platform のセキュリティ ロール」を参照してください。

Dataverse 仮想テーブルを作成するには、次の手順に従います。

  1. Power Apps のサイドバーで、[ テーブル] をクリックします。

  2. メニュー バーから [ + 新しいテーブル ] をクリックし、[ 仮想テーブルの作成] を選択します。

  3. 既存の Azure Databricks 接続を選択するか、Azure Databricks への新しい接続を作成します。 新しい接続を追加するには、「 手順 1: Power Platform に Azure Databricks 接続を追加する」を参照してください。

    Databricks では、サービス プリンシパル接続を使用して仮想テーブルを作成することをお勧めします。

  4. [次へ] をクリックします。

  5. Dataverse 仮想テーブルとして表すテーブルを選択します。

    • Dataverse 仮想テーブルには主キーが必要です。 したがって、ビューを仮想テーブルにすることはできませんが、具体化されたビューは可能です。
  6. [次へ] をクリックします。

  7. 必要に応じて、テーブルの詳細を更新して、仮想テーブルを構成します。

  8. [次へ] をクリックします。

  9. データ ソースの詳細を確認し、[ 完了] をクリックします。

  10. Power Apps、Power Automate、Copilot Studio で Dataverse 仮想テーブルを使用します。

Dataverse 仮想テーブルの既知の制限事項の一覧については、「 既知の制限事項とトラブルシューティング」を参照してください。

バッチ更新を実施する

Power Apps の入力に応じて一括作成、更新、または削除操作を実行する必要がある場合、Databricks では Power Automate フローを実装することをお勧めします。 そのために必要な作業は次のとおりです。

  1. Power Apps で Azure Databricks 接続を使用してキャンバス アプリを作成します。

  2. Azure Databricks 接続を使用して Power Automate フローを作成し、トリガーとして Power Apps を使用します。

  3. Power Automate トリガーで、Power Apps から Power Automate に渡す入力フィールドを追加します。

  4. Power Apps 内にコレクション オブジェクトを作成して、すべての変更を収集します。

  5. キャンバス アプリに Power Automate フローを追加します。

  6. キャンバス アプリから Power Automate フローを呼び出し、 ForAll コマンドを使用してコレクションを反復処理します。

    ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
    

同時書き込み

行レベルのコンカレンシー では、行レベルで変更を検出し、同時書き込みが同じデータ ファイル内の異なる行を更新または削除したときに発生する競合を自動的に解決することで、同時書き込み操作間の競合を軽減します。

行レベルのコンカレンシーは、Databricks Runtime 14.2 以降に含まれています。 行レベルのコンカレンシーは、次の種類のテーブルで既定でサポートされています。

  • 削除ベクターが有効になっているテーブルとパーティション分割されていないテーブル
  • 削除ベクトルが無効でない限り、液体クラスタリングを使用するテーブル

削除ベクトルを有効にするには、次の SQL コマンドを実行します。

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Azure Databricks での同時書き込みの競合の詳細については、「Azure Databricks での分離レベルと書き込みの競合」を参照してください。

Azure Databricks をデータ ポリシーに追加する

Azure Databricks をビジネス データ ポリシーに追加すると、Azure Databricks は他のグループのコネクタとデータを共有できません。 これにより、データが保護され、データへのアクセス権を持たないユーザーとデータが共有されなくなります。 詳細については、「 データ ポリシーの管理」を参照してください。

Azure Databricks コネクタを Power Platform データ ポリシーに追加するには:

  1. Power Platform アプリケーションで、右上にある設定歯車をクリックし、[ 管理センター] を選択します。
  2. サイドバーで、[ポリシー]>[データ ポリシー]をクリックします。
  3. 新しい管理センターを使用している場合は、[ セキュリティ>データとプライバシー>Data ポリシー] をクリックします。
  4. [ + 新しいポリシー ] をクリックするか、既存のポリシーを選択します。
  5. 新しいポリシーを作成する場合は、名前を入力します。
  6. ポリシーに追加する環境を選択し、上記の [ + ポリシーに追加] をクリックします。
  7. [次へ] をクリックします。
  8. Azure Databricks コネクタを検索して選択します。
  9. [ ビジネスに移動 ] をクリックし、[ 次へ] をクリックします。
  10. ポリシーを確認し、[ポリシーの 作成] をクリックします。

制限事項

  • Power Platform コネクタは、政府機関向けクラウドをサポートしていません。

Power App の制限事項

次の PowerFx 数式は、ローカルで取得されたデータのみを使用して値を計算します。

カテゴリ 計算式
テーブル関数 - GroupBy
-朖
集約 - CountRows
- StdevP
- StdevS

接続を作成する

コネクタでは、次の認証の種類がサポートされています。

OAuth 接続 OAuth 接続 すべてのリージョン 共有不可
サービス プリンシパル接続 サービス プリンシパル接続 すべてのリージョン 共有可能
既定 [非推奨] このオプションは、明示的な認証の種類がない古い接続に対してのみ行われ、下位互換性のためにのみ提供されます。 すべてのリージョン 共有不可

OAuth 接続

認証 ID: oauth2-auth

適用対象: すべてのリージョン

OAuth 接続

これは共有可能な接続ではありません。 電源アプリが別のユーザーと共有されている場合、別のユーザーは新しい接続を明示的に作成するように求められます。

名前 タイプ Description 必須
サーバー ホスト名 (例: adb-3980263885549757139.2.azuredatabricks.net) 文字列 Databricks ワークスペースのサーバー名 正しい
HTTP パス (例: /sql/1.0/warehouses/a9c4e781bd29f315) 文字列 Databricks SQL Warehouse の HTTP パス 正しい

サービス プリンシパル接続

認証 ID: oAuthClientCredentials

適用対象: すべてのリージョン

サービス プリンシパル接続

これは共有可能な接続です。 電源アプリが別のユーザーと共有されている場合は、接続も共有されます。 詳細については、 キャンバス アプリのコネクタの概要 - Power Apps |Microsoft Docs

名前 タイプ Description 必須
クライアントID 文字列 正しい
クライアント シークレット securestring 正しい
Tenant 文字列 正しい
サーバー ホスト名 (例: adb-3980263885549757139.2.azuredatabricks.net) 文字列 Databricks ワークスペースのサーバー名 正しい
HTTP パス (例: /sql/1.0/warehouses/a9c4e781bd29f315) 文字列 Databricks SQL Warehouse の HTTP パス 正しい

既定 [非推奨]

適用対象: すべてのリージョン

このオプションは、明示的な認証の種類がない古い接続に対してのみ行われ、下位互換性のためにのみ提供されます。

これは共有可能な接続ではありません。 電源アプリが別のユーザーと共有されている場合、別のユーザーは新しい接続を明示的に作成するように求められます。

調整制限

名前 呼び出し 更新期間
接続ごとの API 呼び出し 100 60 秒

アクション

1 つのジョブ実行を取得する

実行のメタデータを取得します。 結果の大きな配列は、要素が 100 を超えるとページ分割されます。 1 回の実行の要求では、その実行のすべてのプロパティと、配列プロパティの最初の 100 個の要素 (タスク、job_clusters、job_parameters、repair_history) が返されます。 next_page_token フィールドを使用して、より多くの結果を確認し、その値を後続の要求のpage_tokenとして渡します。 配列プロパティに 100 を超える要素がある場合、後続の要求で追加の結果が返されます。 追加の結果がない配列は、後のページでは空になります。

1 回の実行の出力を取得する

1 つのタスク実行の出力とメタデータを取得します。 ノートブック タスクが dbutils.notebook.exit() 呼び出しを通じて値を返す場合は、このエンドポイントを使用してその値を取得できます。 Azure Databricks では、この API が出力の最初の 5 MB を返すように制限されています。 より大きな結果を返すために、ジョブの結果をクラウド ストレージ サービスに格納できます。 このエンドポイントは 、run_id パラメーターが有効であることを検証し、 run_id パラメーターが無効な場合は HTTP 状態コード 400 を返します。 実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。

Azure Databricks Genie

Genie スペースにクエリを実行して、データから分析情報を取得します。

SQL ステートメントを実行する

SQL ステートメントを実行し、必要に応じて、指定した時間、その結果を待機します。

ジョブを一覧表示する

ジョブの一覧を取得します。

ステートメントの実行を取り消す

実行中のステートメントの取り消しを要求します。 呼び出し元は、状態をポーリングして終了状態を確認する必要があります。

チャンク インデックスで結果を取得する

ステートメントの実行が成功した後、この要求を使用して、インデックスによって任意のチャンクをフェッチできます。

実行を取り消す

ジョブの実行またはタスクの実行を取り消します。 実行は非同期的に取り消されるため、この要求が完了しても実行されている可能性があります。

新しいジョブの実行をトリガーする

ジョブを実行し、トリガーされた実行のrun_idを返します。

状態を確認して結果を取得する

ステートメントの状態、マニフェスト、結果を取得する

1 つのジョブ実行を取得する

実行のメタデータを取得します。 結果の大きな配列は、要素が 100 を超えるとページ分割されます。 1 回の実行の要求では、その実行のすべてのプロパティと、配列プロパティの最初の 100 個の要素 (タスク、job_clusters、job_parameters、repair_history) が返されます。 next_page_token フィールドを使用して、より多くの結果を確認し、その値を後続の要求のpage_tokenとして渡します。 配列プロパティに 100 を超える要素がある場合、後続の要求で追加の結果が返されます。 追加の結果がない配列は、後のページでは空になります。

パラメーター

名前 キー 必須 説明
実行 ID
run_id True integer

メタデータを取得する実行の正規識別子。 これは必須フィールドです。

履歴を含める
include_history boolean

応答に修復履歴を含めるかどうか。

解決された値を含める
include_resolved_values boolean

解決されたパラメーター値を応答に含めるかどうか。

ページ トークン
page_token string

前の GetRun 応答から返されたnext_page_tokenを使用して、実行の配列プロパティの次のページを要求します。

戻り値

Body
JobsRun

1 回の実行の出力を取得する

1 つのタスク実行の出力とメタデータを取得します。 ノートブック タスクが dbutils.notebook.exit() 呼び出しを通じて値を返す場合は、このエンドポイントを使用してその値を取得できます。 Azure Databricks では、この API が出力の最初の 5 MB を返すように制限されています。 より大きな結果を返すために、ジョブの結果をクラウド ストレージ サービスに格納できます。 このエンドポイントは 、run_id パラメーターが有効であることを検証し、 run_id パラメーターが無効な場合は HTTP 状態コード 400 を返します。 実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。

パラメーター

名前 キー 必須 説明
実行 ID
run_id True integer

実行の正規識別子。

戻り値

Azure Databricks Genie

Genie スペースにクエリを実行して、データから分析情報を取得します。

パラメーター

名前 キー 必須 説明
Genie Space ID
genie_space_id True string

Genie Space ID

SQL ステートメントを実行する

SQL ステートメントを実行し、必要に応じて、指定した時間、その結果を待機します。

パラメーター

名前 キー 必須 説明
warehouse_id
warehouse_id True string

ターゲット ウェアハウス ID

ステートメント
statement True string

実行する SQL ステートメント。 ステートメントは必要に応じてパラメーター化できます。パラメーターを参照してください

名前
name True string

パラメーター マーカー名

type string

パラメーター のデータ型

value
value string

パラメーター値

カタログ
catalog string

実行用の既定のカタログ

スキーマ
schema string

実行の既定のスキーマ

意気
disposition string

結果フェッチ モード

format
format string

結果セットの形式

on_wait_timeout
on_wait_timeout string

タイムアウト時のアクション

wait_timeout
wait_timeout string

結果の待機タイムアウト

byte_limit
byte_limit integer

結果のバイト制限

row_limit
row_limit integer

結果行の制限

戻り値

ステートメント実行応答

ジョブを一覧表示する

ジョブの一覧を取得します。

パラメーター

名前 キー 必須 説明
極限
limit integer

返すジョブの数。 この値は 0 より大きく、100 以下である必要があります。 既定値は 20 です。

タスクの展開
expand_tasks boolean

応答にタスクとクラスターの詳細を含めるかどうか。 最初の 100 個の要素のみが表示されることに注意してください。 :method:jobs/get を使用して、すべてのタスクとクラスターを改ページ処理します。

ジョブ名
name string

正確な (大文字と小文字を区別しない) ジョブ名に基づく一覧のフィルター。

ページ トークン
page_token string

前の要求から返されたnext_page_tokenまたはprev_page_tokenを使用して、ジョブの次のページまたは前のページをそれぞれ一覧表示します。

戻り値

ステートメントの実行を取り消す

実行中のステートメントの取り消しを要求します。 呼び出し元は、状態をポーリングして終了状態を確認する必要があります。

パラメーター

名前 キー 必須 説明
ステートメント ID
statement_id True string

ステートメント ID

チャンク インデックスで結果を取得する

ステートメントの実行が成功した後、この要求を使用して、インデックスによって任意のチャンクをフェッチできます。

パラメーター

名前 キー 必須 説明
ステートメント ID
statement_id True string

ステートメント ID

チャンク インデックス
chunk_index True string

チャンク インデックス

戻り値

実行を取り消す

ジョブの実行またはタスクの実行を取り消します。 実行は非同期的に取り消されるため、この要求が完了しても実行されている可能性があります。

パラメーター

名前 キー 必須 説明
run_id
run_id True integer

これは必須フィールドです。

新しいジョブの実行をトリガーする

ジョブを実行し、トリガーされた実行のrun_idを返します。

パラメーター

名前 キー 必須 説明
idempotency_token
idempotency_token string

ジョブ実行要求のべき等性を保証する省略可能なトークン。 指定されたトークンを持つ実行が既に存在する場合、要求は新しい実行を作成せず、代わりに既存の実行の ID を返します。 指定されたトークンを使用して実行が削除されると、エラーが返されます。 べき等トークンを指定した場合、失敗した場合は、要求が成功するまで再試行できます。 Azure Databricks では、そのべき等トークンを使用して 1 回の実行が起動されることを保証します。 このトークンは、最大 64 文字にする必要があります。 詳細については、「 ジョブのべき等性を確保する方法」を参照してください。

job_id
job_id True integer

実行するジョブの ID

job_parameters
job_parameters object

実行で使用されるジョブ レベルのパラメーター。 例: "param": "overriding_val"

only array of string

ジョブ内で実行するタスク キーの一覧。 このフィールドが指定されていない場合、ジョブ内のすべてのタスクが実行されます。

performance_target
performance_target string
full_refresh
full_refresh boolean

true の場合、差分ライブ テーブルで完全更新がトリガーされます。

enabled
enabled True boolean

true の場合は、ジョブのキューを有効にします。 これは必須フィールドです。

戻り値

状態を確認して結果を取得する

ステートメントの状態、マニフェスト、結果を取得する

パラメーター

名前 キー 必須 説明
ステートメント ID
statement_id True string

ステートメント ID

戻り値

ステートメント実行応答

定義

Object

SqlBaseChunkInfo

結果セット チャンクのメタデータ

名前 パス 説明
byte_count
byte_count integer

結果チャンク内のバイト数

chunk_index
chunk_index integer

結果セットチャンクのシーケンス内の位置

row_count
row_count integer

結果チャンク内の行数

row_offset
row_offset integer

結果セット内の行オフセットの開始

SqlColumnInfo

名前 パス 説明
名前
name string

列名

立場
position integer

列の位置 (0 から始まる)

type_interval_type
type_interval_type string

間隔の種類の形式

type_name
type_name SqlColumnInfoTypeName

基本データ型の名前。 これには、STRUCT、MAP、ARRAY などの複合型の詳細は含まれません。

type_precision
type_precision integer

DECIMAL 型の桁数

type_scale
type_scale integer

DECIMAL 型の小数点以下桁数

type_text
type_text string

完全な SQL 型の仕様

SqlColumnInfoTypeName

基本データ型の名前。 これには、STRUCT、MAP、ARRAY などの複合型の詳細は含まれません。

基本データ型の名前。 これには、STRUCT、MAP、ARRAY などの複合型の詳細は含まれません。

SqlStatementResponse

ステートメント実行応答

名前 パス 説明
マニフェスト
manifest SqlResultManifest

結果セットのスキーマとメタデータ

結果
result SqlResultData
statement_id
statement_id string

ステートメント ID

状態
status SqlStatementStatus

ステートメントの実行状態

SqlResultManifest

結果セットのスキーマとメタデータ

名前 パス 説明
チャンク
chunks array of SqlBaseChunkInfo

結果チャンク メタデータ

format
format string
スキーマ
schema SqlResultSchema

結果セット列の定義

total_byte_count
total_byte_count integer

結果セットの合計バイト数

total_chunk_count
total_chunk_count integer

チャンクの合計数

total_row_count
total_row_count integer

行の合計数

切り捨て られます
truncated boolean

結果の切り捨て状態

SqlStatementStatus

ステートメントの実行状態

名前 パス 説明
エラー
error SqlServiceError
状態
state SqlStatementState

ステートメントの実行状態

SqlStatementState

ステートメントの実行状態

ステートメントの実行状態

SqlServiceError

名前 パス 説明
error_code
error_code string
メッセージ
message string

エラーメッセージ

SqlResultSchema

結果セット列の定義

名前 パス 説明
column_count
column_count integer
columns
columns array of SqlColumnInfo

SqlResultData

名前 パス 説明
byte_count
byte_count integer

結果チャンク内のバイト数

chunk_index
chunk_index integer

チャンク位置

data_array
data_array SqlJsonArray

文字列値を持つ配列の配列

external_links
external_links array of SqlExternalLink
next_chunk_index
next_chunk_index integer

次のチャンク インデックス

next_chunk_internal_link
next_chunk_internal_link string

次のチャンク リンク

row_count
row_count integer

チャンク内の行

row_offset
row_offset integer

開始行オフセット

SqlJsonArray

文字列値を持つ配列の配列

名前 パス 説明
アイテム
array of
名前 パス 説明
byte_count
byte_count integer

チャンク内のバイト数

chunk_index
chunk_index integer

チャンク位置

満了
expiration date-time

リンクの有効期限

external_link
external_link string
http_headers
http_headers object

必要な HTTP ヘッダー

next_chunk_index
next_chunk_index integer

次のチャンク インデックス

next_chunk_internal_link
next_chunk_internal_link string

次のチャンク リンク

row_count
row_count integer

チャンク内の行

row_offset
row_offset integer

開始行オフセット

JobsRunNowResponse

名前 パス 説明
run_id
run_id integer

新しくトリガーされた実行のグローバルに一意の ID。

JobsPerformanceTarget

JobsPipelineParams

名前 パス 説明
full_refresh
full_refresh boolean

true の場合、差分ライブ テーブルで完全更新がトリガーされます。

JobsQueueSettings

名前 パス 説明
enabled
enabled boolean

true の場合は、ジョブのキューを有効にします。 これは必須フィールドです。

JobsListJobsResponse

名前 パス 説明
jobs
jobs array of JobsBaseJob

ジョブの一覧。 一覧表示するジョブがある場合にのみ、応答に含まれます。

next_page_token
next_page_token string

ジョブの次のページを一覧表示するために使用できるトークン (該当する場合)。

prev_page_token
prev_page_token string

ジョブの前のページを一覧表示するために使用できるトークン (該当する場合)。

JobsBaseJob

名前 パス 説明
created_time
created_time integer

このジョブがエポック ミリ秒単位 (1970 年 1 月 1 日 UTC 以降のミリ秒) で作成された時刻。

creator_user_name
creator_user_name string

作成者ユーザー名。 ユーザーが既に削除されている場合、このフィールドは応答に含まれません。

effective_budget_policy_id
effective_budget_policy_id uuid

コスト属性のためにこのジョブによって使用される予算ポリシーの ID。 これは、(優先順位の順に) 1 で設定できます。 アカウントまたはワークスペース コンソール 2 を使用した予算管理者。 ジョブの詳細ページのジョブ UI と、budget_policy_id 3 を使用したジョブ API。 ジョブの作成または変更に関するrun_as ID のアクセス可能な予算ポリシーに基づいて、既定で推論されます。

has_more
has_more boolean

ジョブに、表示されない配列プロパティ (タスク、job_clusters) が増えるかどうかを示します。 これらは、:method:jobs/get エンドポイントを使用してアクセスできます。 これは、expand_tasks=true の API 2.2 :method:jobs/list 要求にのみ関連します。

job_id
job_id integer

このジョブの正規識別子。

設定
settings JobsJobSettings
trigger_state
trigger_state JobsTriggerStateProto

JobsJobSettings

名前 パス 説明
budget_policy_id
budget_policy_id uuid

このジョブに使用するユーザー指定の予算ポリシーの ID。 指定しない場合、ジョブの作成時または変更時に既定の予算ポリシーが適用される場合があります。 このワークロードで使用される予算ポリシーについては、effective_budget_policy_idを参照してください。

continuous JobsContinuous
デプロイ
deployment JobsJobDeployment
説明
description string

ジョブに関する説明 (オプション)。 UTF-8 エンコードの最大長は 2,7700 文字です。

edit_mode
edit_mode JobsJobEditMode
email_notifications
email_notifications JobsJobEmailNotifications
environments
environments array of JobsJobEnvironment

このジョブのサーバーレス タスクで参照できるタスク実行環境の仕様の一覧。 サーバーレス タスクには環境が必要です。 サーバーレス ノートブック タスクの場合、ノートブック環境パネルで環境にアクセスできます。 その他のサーバーレス タスクでは、タスク設定でenvironment_keyを使用してタスク環境を指定する必要があります。

git_source
git_source JobsGitSource
正常性
health JobsJobsHealthRules
job_clusters
job_clusters array of JobsJobCluster

このジョブのタスクで共有および再利用できるジョブ クラスター仕様の一覧。 共有ジョブ クラスターでライブラリを宣言することはできません。 タスク設定で依存ライブラリを宣言する必要があります。

max_concurrent_runs
max_concurrent_runs integer

ジョブの同時実行の最大許容数 (省略可能)。 同じジョブの複数の実行を同時に実行できるようにする場合は、この値を設定します。 これは、頻繁なスケジュールでジョブをトリガーし、連続する実行が互いに重複できるようにする場合や、入力パラメーターによって異なる複数の実行をトリガーする場合に便利です。 この設定は、新しい実行にのみ影響します。 たとえば、ジョブのコンカレンシーが 4 で、アクティブな同時実行が 4 つあるとします。 その後、コンカレンシーを 3 に設定しても、アクティブな実行は強制終了されません。 ただし、それ以降は、アクティブな実行が 3 つ未満でない限り、新しい実行はスキップされます。 この値は 1000 を超えることはできません。 この値を 0 に設定すると、すべての新しい実行がスキップされます。

名前
name string

ジョブの省略可能な名前。 UTF-8 エンコードの最大長は 4,096 バイトです。

notification_settings
notification_settings JobsJobNotificationSettings
parameters
parameters array of JobsJobParameterDefinition

ジョブ レベルのパラメーター定義

performance_target
performance_target JobsPerformanceTarget
キュー
queue JobsQueueSettings
run_as
run_as JobsJobRunAs
スケジュール
schedule JobsCronSchedule
tags
tags object

ジョブに関連付けられているタグのマップ。 これらはジョブ クラスターのクラスター タグとしてクラスターに転送され、クラスター タグと同じ制限が適用されます。 ジョブには最大 25 個のタグを追加できます。

tasks
tasks array of JobsTask

このジョブによって実行されるタスクの仕様の一覧。 書き込みエンドポイント (:method:jobs/create、:method:jobs/reset、:method:jobs/update、:method:jobs/submit) で最大 1000 個の要素をサポートします。 読み取りエンドポイントは、100 個のタスクのみを返します。 100 個を超えるタスクが使用可能な場合は、:method:jobs/get を使用してそれらのタスクをページングできます。 オブジェクト ルートの next_page_token フィールドを使用して、より多くの結果が得られているかどうかを判断します。

timeout_seconds
timeout_seconds integer

各ジョブの実行に任意で適用できるタイムアウト。 値 0 は、タイムアウトがないことを意味します。

トリガ
trigger JobsTriggerSettings
webhook_notifications
webhook_notifications JobsWebhookNotifications

JobsContinuous

名前 パス 説明
pause_status
pause_status JobsPauseStatus

JobsPauseStatus

JobsJobDeployment

名前 パス 説明
kind
kind JobsJobDeploymentKind
metadata_file_path
metadata_file_path string

デプロイ メタデータを含むファイルのパス。

JobsJobDeploymentKind

JobsJobEditMode

JobsJobEmailNotifications

名前 パス 説明
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of string

実行の期間が正常性フィールドのRUN_DURATION_SECONDSメトリックに指定されたしきい値を超えたときに通知される電子メール アドレスの一覧。 ジョブの正常性フィールドにRUN_DURATION_SECONDS メトリックのルールが指定されていない場合、通知は送信されません。

on_failure
on_failure array of string

実行が正常に完了しなかった場合に通知される電子メール アドレスの一覧。 実行は、INTERNAL_ERROR life_cycle_stateまたは FAILED、またはTIMED_OUT result_stateで終了した場合、正常に完了しなかったと見なされます。 ジョブの作成時、リセット、または更新時にこれが指定されていない場合、リストは空で、通知は送信されません。

on_start
on_start array of string

実行の開始時に通知される電子メール アドレスの一覧。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of string

ストリームのストリーミング バックログしきい値を超えたときに通知する電子メール アドレスの一覧。 ストリーミング バックログのしきい値は、STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDS、STREAMING_BACKLOG_SECONDS、またはSTREAMING_BACKLOG_FILESのメトリックを使用して、正常性フィールドで設定できます。 アラートは、これらのメトリックの 10 分間の平均に基づいています。 問題が解決しない場合、通知は 30 分ごとに再送信されます。

on_success
on_success array of string

実行が正常に完了したときに通知される電子メール アドレスの一覧。 TERMINATED life_cycle_stateと SUCCESS result_stateで終了した場合、実行は正常に完了したと見なされます。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。

JobsJobEnvironment

名前 パス 説明
environment_key
environment_key string

環境のキー。 ジョブ内で一意である必要があります。

仕様
spec ComputeEnvironment

ComputeEnvironment

名前 パス 説明
依存関係
dependencies array of string

この環境の pip のバージョンでサポートされている pip 依存関係の一覧。 各依存関係は、 https://pip.pypa.io/en/stable/reference/requirements-file-format/ごとの有効な pip 要件ファイル行です。 許可される依存関係には、要件指定子、アーカイブ URL、ローカル プロジェクト パス (Azure Databricks の WSFS または UC ボリュームなど)、または VCS プロジェクト URL が含まれます。

environment_version
environment_version string

必須。 環境で使用される環境バージョン。 各バージョンには、特定の Python バージョンと一連の Python パッケージが付属しています。 バージョンは、整数で構成される文字列です。 https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versionsを参照してください。

JobsGitSource

名前 パス 説明
git_branch
git_branch string

チェックアウトしてこのジョブで使用するブランチの名前。 このフィールドは、git_tagまたはgit_commitと組み合わせて指定することはできません。

git_commit
git_commit string

このジョブによってチェックアウトされ、使用されることをコミットします。 このフィールドは、git_branchまたはgit_tagと組み合わせて指定することはできません。

git_provider
git_provider JobsGitProvider
git_snapshot
git_snapshot JobsGitSnapshot
git_tag
git_tag string

チェックアウトしてこのジョブで使用するタグの名前。 このフィールドは、git_branchまたはgit_commitと組み合わせて指定することはできません。

git_url
git_url string

このジョブによって複製されるリポジトリの URL。

JobsGitProvider

JobsGitSnapshot

名前 パス 説明
used_commit
used_commit string

実行の実行に使用されたコミット。 git_branchが指定された場合、これは実行時にブランチの HEAD を指します。git_tag指定された場合、これはタグが指すコミットを指します。

JobsJobsHealthRules

名前 パス 説明
ルール
rules array of JobsJobsHealthRule

JobsJobsHealthRule

名前 パス 説明
メトリック
metric JobsJobsHealthMetric
オープ
op JobsJobsHealthOperator
value
value integer

正常性規則を満たすために正常性メトリックが従う必要があるしきい値を指定します。

JobsJobsHealthMetric

JobsJobsHealthOperator

JobsJobCluster

名前 パス 説明
job_cluster_key
job_cluster_key string

ジョブ クラスターの一意の名前。 このフィールドは必須であり、ジョブ内で一意である必要があります。 JobTaskSettings では、このフィールドを参照して、タスク実行用に起動するクラスターを決定できます。

new_cluster
new_cluster ComputeClusterSpec

ComputeClusterSpec

名前 パス 説明
apply_policy_default_values
apply_policy_default_values boolean

true に設定すると、省略されたフィールドに対してポリシーの固定値と既定値が使用されます。 false に設定すると、ポリシーの固定値のみが適用されます。

オートスケール
autoscale ComputeAutoScale
autotermination_minutes
autotermination_minutes integer

この時間内に非アクティブになったクラスターは、数分後に自動的に終了します。 設定されていない場合、このクラスターは自動的に終了されません。 指定する場合、しきい値は 10 ~ 10000 分である必要があります。 ユーザーは、この値を 0 に設定して、自動終了を明示的に無効にすることもできます。

azure_attributes
azure_attributes ComputeAzureAttributes
cluster_log_conf
cluster_log_conf ComputeClusterLogConf
クラスター名
cluster_name string

ユーザーによって要求されたクラスター名。 これは一意である必要はありません。 作成時に指定しない場合、クラスター名は空の文字列になります。 ジョブ クラスターの場合、クラスター名はジョブとジョブ実行 ID に基づいて自動的に設定されます。

custom_tags
custom_tags object

クラスター リソースの追加タグ。 Azure Databricks では、default_tagsに加えて、すべてのクラスター リソース (AWS インスタンスや EBS ボリュームなど) にこれらのタグが付けられます。 注: - 現在、Azure Databricks では最大 45 個のカスタム タグを使用できます。クラスターは、リソースのタグがクラスター タグのサブセットである場合にのみクラウド リソースを再利用できます

data_security_mode
data_security_mode ComputeDataSecurityMode
docker_image
docker_image ComputeDockerImage
driver_instance_pool_id
driver_instance_pool_id string

クラスターのドライバーが属するインスタンス プールのオプションの ID。 ドライバー プールが割り当てられない場合、プール クラスターは ID (instance_pool_id) のインスタンス プールを使用します。

driver_node_type_id
driver_node_type_id string

Spark ドライバーのノードの種類。 このフィールドは省略可能です。未設定の場合、ドライバー ノードの種類は、上記で定義node_type_id同じ値として設定されます。 このフィールドは、node_type_idと共に、virtual_cluster_sizeが設定されている場合は設定しないでください。 driver_node_type_id、node_type_id、およびvirtual_cluster_sizeの両方が指定されている場合は、driver_node_type_idとnode_type_idが優先されます。

enable_elastic_disk
enable_elastic_disk boolean

ローカル ストレージの自動スケール: 有効にすると、Spark ワーカーのディスク領域が不足しているときに、このクラスターによって追加のディスク領域が動的に取得されます。 この機能を使用するには、特定の AWS アクセス許可が正しく機能する必要があります。詳細については、ユーザー ガイドを参照してください。

enable_local_disk_encryption
enable_local_disk_encryption boolean

クラスター VM のローカル ディスクで LUKS を有効にするかどうか

init_scripts
init_scripts array of ComputeInitScriptInfo

init スクリプトを保存するための構成。 任意の数の宛先を指定できます。 スクリプトは、指定された順序で順番に実行されます。 cluster_log_confが指定されている場合、init スクリプト ログは <destination>/<cluster-ID>/init_scripts に送信されます。

instance_pool_id
instance_pool_id string

クラスターが属するインスタンス プールの省略可能な ID。

is_single_node
is_single_node boolean

このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。 true に設定すると、Azure Databricks は、custom_tags、spark_conf、およびnum_workersに関連する単一ノードを自動的に設定します。

kind
kind ComputeKind
node_type_id
node_type_id string

このフィールドは、単一の値を通じて使用されるリソースをこのクラスターのそれぞれの Spark ノードにエンコードします。 たとえば、Spark ノードはメモリまたはコンピューティング集約型ワークロード用にプロビジョニングされ、最適化されます。 使用可能なノードの種類の一覧は、:method:clusters/listNodeTypes API 呼び出しを使用して取得できます。

num_workers
num_workers integer

このクラスターに属するワーカー ノードの数。 クラスターには、1 つの Spark Driver と num_workers Executor があり、合計で num_workers + 1 Spark ノードが含まれます。 注: クラスターのプロパティを読み取る場合、このフィールドには、実際の現在のワーカー数ではなく、必要なワーカー数が反映されます。 たとえば、クラスターのサイズが 5 から 10 個のワーカーに変更された場合、このフィールドはすぐに更新され、10 個のワーカーのターゲット サイズが反映されます。一方、spark_infoに一覧表示されているワーカーは、新しいノードがプロビジョニングされるときに徐々に 5 から 10 に増加します。

policy_id
policy_id string

クラスターの作成に使用されるクラスター ポリシーの ID (該当する場合)。

runtime_engine
runtime_engine ComputeRuntimeEngine
single_user_name
single_user_name string

data_security_modeがSINGLE_USERされている場合の単一ユーザー名

spark_conf
spark_conf object

省略可能なユーザー指定の Spark 構成キーと値のペアのセットを含んでいるオブジェクト。 ユーザーは、spark.driver.extraJavaOptions と spark.executor.extraJavaOptions をそれぞれ使用して、ドライバーと Executors に追加の JVM オプションの文字列を渡すこともできます。

spark_env_vars
spark_env_vars object

省略可能な、ユーザー指定の環境変数のキーと値のペアのセットを含んでいるオブジェクト。 ドライバーとワーカーを起動すると、フォーム (X,Y) のキーと値のペアがそのままエクスポートされることに注意してください (つまり、X='Y' をエクスポートします)。 SPARK_DAEMON_JAVA_OPTSの追加セットを指定するには、次の例に示すように、$SPARK_DAEMON_JAVA_OPTS に追加することをお勧めします。 これにより、すべての既定の databricks マネージド環境変数も確実に含まれます。 Spark 環境変数の例: {"SPARK_WORKER_MEMORY": "28000m"、"SPARK_LOCAL_DIRS": "/local_disk0"} または {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}

spark_version
spark_version string

クラスターの Spark バージョン (例: 3.3.x-scala2.11)。 使用可能な Spark バージョンの一覧は、:method:clusters/sparkVersions API 呼び出しを使用して取得できます。

ssh_public_keys
ssh_public_keys array of string

このクラスター内の各 Spark ノードに追加される SSH 公開キーの内容。 対応する秘密キーを使用して、ポート 2200 のユーザー名 ubuntu でログインできます。 最大 10 個のキーを指定できます。

use_ml_runtime
use_ml_runtime boolean

このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。 effective_spark_versionは、spark_version (DBR リリース)、このフィールドuse_ml_runtime、およびnode_type_idが gpu ノードかどうかを決定します。

workload_type
workload_type ComputeWorkloadType

ComputeAutoScale

名前 パス 説明
max_workers
max_workers integer

オーバーロード時にクラスターをスケールアップできるワーカーの最大数。 max_workersはmin_workersより厳密に大きくする必要があることに注意してください。

min_workers
min_workers integer

使用率が低い場合にクラスターをスケールダウンできるワーカーの最小数。 これは、作成後にクラスターに含まれるワーカーの初期数でもあります。

ComputeAzureAttributes

名前 パス 説明
可用性
availability ComputeAzureAvailability
first_on_demand
first_on_demand integer

クラスターの最初のfirst_on_demand ノードは、オンデマンド インスタンスに配置されます。 クラスター ドライバー ノードがオンデマンド インスタンスに配置されるようにするには、この値を 0 より大きくする必要があります。 この値が現在のクラスター サイズ以上の場合、すべてのノードがオンデマンド インスタンスに配置されます。 この値が現在のクラスター サイズより小さい場合、first_on_demandノードはオンデマンド インスタンスに配置され、残りは可用性インスタンスに配置されます。 この値はクラスター サイズには影響せず、クラスターの有効期間中は現在変更できないことに注意してください。

log_analytics_info
log_analytics_info ComputeLogAnalyticsInfo
spot_bid_max_price
spot_bid_max_price double

Azure スポット インスタンスに使用される最大入札価格。 入札の最大価格は、インスタンスのオンデマンド価格より高くすることはできません。 指定しない場合、既定値は -1 で、インスタンスは価格に基づいて削除できず、可用性に基づいてのみ削除できないことを指定します。 さらに、値は 0 または -1 > する必要があります。

ComputeAzureAvailability

ComputeLogAnalyticsInfo

名前 パス 説明
log_analytics_primary_key
log_analytics_primary_key string
log_analytics_workspace_id
log_analytics_workspace_id string

ComputeClusterLogConf

名前 パス 説明
dbfs
dbfs ComputeDbfsStorageInfo
volumes
volumes ComputeVolumesStorageInfo

ComputeDbfsStorageInfo

名前 パス 説明
コピー先
destination string

dbfs 変換先 (例: dbfs:/my/path)

ComputeVolumesStorageInfo

名前 パス 説明
コピー先
destination string

UC ボリューム変換先 (例: /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh または dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

ComputeDataSecurityMode

ComputeDockerImage

名前 パス 説明
basic_auth
basic_auth ComputeDockerBasicAuth
URL
url string

Docker イメージの URL。

ComputeDockerBasicAuth

名前 パス 説明
パスワード
password string

ユーザーのパスワード

ユーザー名
username string

ユーザーの名前

ComputeInitScriptInfo

名前 パス 説明
abfss
abfss ComputeAdlsgen2Info
ファイル
file ComputeLocalFileInfo
gcs
gcs ComputeGcsStorageInfo
volumes
volumes ComputeVolumesStorageInfo
ワークスペース
workspace ComputeWorkspaceStorageInfo

ComputeAdlsgen2Info

名前 パス 説明
コピー先
destination string

abfss 変換先 (例: abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<directory-name>。

ComputeLocalFileInfo

名前 パス 説明
コピー先
destination string

ローカル ファイル変換先 (file:/my/local/file.sh など)

ComputeGcsStorageInfo

名前 パス 説明
コピー先
destination string

GCS の宛先/URI (例: gs://my-bucket/some-prefix)

ComputeWorkspaceStorageInfo

名前 パス 説明
コピー先
destination string

wsfs 変換先 (例: workspace:/cluster-init-scripts/setup-datadog.sh

ComputeKind

ComputeRuntimeEngine

ComputeWorkloadType

名前 パス 説明
clients
clients ComputeClientsTypes

ComputeClientsTypes

名前 パス 説明
jobs
jobs boolean

ジョブが設定されている場合、クラスターをジョブに使用できます

ノートブック
notebooks boolean

ノートブックを設定すると、このクラスターをノートブックに使用できます

JobsJobNotificationSettings

名前 パス 説明
no_alert_for_canceled_runs
no_alert_for_canceled_runs boolean

true の場合、実行が取り消された場合は、on_failureで指定された受信者に通知を送信しないでください。

no_alert_for_skipped_runs
no_alert_for_skipped_runs boolean

true の場合、実行がスキップされた場合は、on_failureで指定された受信者に通知を送信しないでください。

JobsJobParameterDefinition

名前 パス 説明
デフォルト
default string

パラメータのデフォルト値。

名前
name string

定義されたパラメーターの名前。 英数字、_、-、および .

JobsJobRunAs

名前 パス 説明
service_principal_name
service_principal_name string

アクティブなサービス プリンシパルのアプリケーション ID。 このフィールドを設定するには、servicePrincipal/user ロールが必要です。

user_name
user_name string

アクティブなワークスペース ユーザーの電子メール。 管理者以外のユーザーは、このフィールドを自分のメールにのみ設定できます。

JobsCronSchedule

名前 パス 説明
pause_status
pause_status JobsPauseStatus
quartz_cron_expression
quartz_cron_expression string

ジョブのスケジュールを記述する Quartz 構文を使用した Cron 式。 詳細については、 Cron トリガー を参照してください。 これは必須フィールドです。

timezone_id
timezone_id string

Java タイムゾーン ID。 ジョブのスケジュールは、このタイムゾーンに関して解決されます。 詳細については 、Java TimeZone を参照してください。 これは必須フィールドです。

JobsTask

名前 パス 説明
clean_rooms_notebook_task
clean_rooms_notebook_task Object
condition_task
condition_task JobsConditionTask
dashboard_task
dashboard_task JobsDashboardTask
dbt_task
dbt_task Object
depends_on
depends_on array of JobsTaskDependency

タスクの依存関係グラフを指定するオブジェクトの省略可能な配列。 このフィールドで指定されたすべてのタスクは、このタスクを実行する前に完了する必要があります。 タスクは、run_if条件が true の場合にのみ実行されます。 キーはtask_keyされ、値は依存タスクに割り当てられた名前です。

説明
description string

このタスクの説明 (省略可能)。

disable_auto_optimization
disable_auto_optimization boolean

サーバーレスで自動最適化を無効にするオプション

email_notifications
email_notifications JobsTaskEmailNotifications
environment_key
environment_key string

ジョブ内の環境仕様を参照するキー。 このフィールドは、サーバーレス コンピューティングを使用する場合に、Python スクリプト、Python ホイール、および dbt タスクに必要です。

existing_cluster_id
existing_cluster_id string

existing_cluster_id場合、すべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブまたはタスクを実行する場合、応答が停止した場合は、クラスターを手動で再起動することが必要になる場合があります。 信頼性を高める目的で、新しいクラスターでジョブとタスクを実行することをお勧めします

for_each_task
for_each_task JobsForEachTask
正常性
health JobsJobsHealthRules
job_cluster_key
job_cluster_key string

job_cluster_key場合、このタスクは、job.settings.job_clustersで指定されたクラスターを再利用して実行されます。

libraries
libraries array of ComputeLibrary

クラスターにインストールするライブラリの省略可能な一覧。 既定値は空のリストです。

max_retries
max_retries integer

失敗した実行を再試行する最大回数 (省略可能)。 FAILED result_stateまたはINTERNAL_ERROR life_cycle_stateで完了した場合、実行は失敗したと見なされます。 -1 値は無期限に再試行することを意味し、値 0 は再試行を行わないという意味です。

min_retry_interval_millis
min_retry_interval_millis integer

失敗した実行の開始から後続の再試行までの間隔 (ミリ秒単位) (省略可能)。 既定の動作では、失敗した実行は直ちに再試行されます。

new_cluster
new_cluster ComputeClusterSpec
notebook_task
notebook_task JobsNotebookTask
notification_settings
notification_settings JobsTaskNotificationSettings
pipeline_task
pipeline_task JobsPipelineTask
power_bi_task
power_bi_task Object
python_wheel_task
python_wheel_task JobsPythonWheelTask
retry_on_timeout
retry_on_timeout boolean

タイムアウト時にジョブを再試行するかどうかを指定するオプションのポリシー。既定の動作では、タイムアウト時に再試行されません。

run_if
run_if JobsRunIf
run_job_task
run_job_task JobsRunJobTask
spark_jar_task
spark_jar_task JobsSparkJarTask
spark_python_task
spark_python_task JobsSparkPythonTask
spark_submit_task
spark_submit_task JobsSparkSubmitTask
sql_task
sql_task Object
task_key
task_key string

タスクの一意の名前。 このフィールドは、他のタスクからこのタスクを参照するために使用されます。 このフィールドは必須であり、親ジョブ内で一意である必要があります。 [更新] または [リセット] では、このフィールドを使用して、更新またはリセットするタスクを参照します。

timeout_seconds
timeout_seconds integer

このジョブ タスクの各実行に適用される省略可能なタイムアウト。 値 0 は、タイムアウトがないことを意味します。

webhook_notifications
webhook_notifications JobsWebhookNotifications

JobsConditionTask

名前 パス 説明
left
left string

条件タスクの左オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。

オープ
op JobsConditionTaskOp
right string

条件タスクの右オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。

JobsConditionTaskOp

JobsDashboardTask

名前 パス 説明
dashboard_id
dashboard_id string

更新するダッシュボードの識別子。

サブスクリプション
subscription JobsSubscription
warehouse_id
warehouse_id string

省略可能: スケジュールに対してダッシュボードを実行するウェアハウス ID。 指定しない場合は、ダッシュボードの既定のウェアハウスが使用されます。

JobsSubscription

名前 パス 説明
custom_subject
custom_subject string

省略可能: サブスクライバーに送信される電子メールのカスタム件名行をユーザーが指定できるようにします。

一時 停止
paused boolean

true の場合、サブスクリプションは電子メールを送信しません。

サブスクライバー
subscribers array of JobsSubscriptionSubscriber

ダッシュボードのスナップショットを送信するサブスクライバーの一覧。

JobsSubscriptionSubscriber

名前 パス 説明
destination_id
destination_id string

destination_id フィールドが存在すると、ダッシュボードのスナップショットが宛先に送信されます。

user_name
user_name string

user_name フィールドが存在すると、ダッシュボードのスナップショットがユーザーの電子メールに送信されます。

JobsSource

JobsTaskDependency

名前 パス 説明
結果
outcome string

条件タスクの依存関係でのみ指定できます。 このタスクを実行するために満たす必要がある依存タスクの結果。

task_key
task_key string

このタスクが依存するタスクの名前。

JobsTaskEmailNotifications

名前 パス 説明
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of string

実行の期間が正常性フィールドのRUN_DURATION_SECONDSメトリックに指定されたしきい値を超えたときに通知される電子メール アドレスの一覧。 ジョブの正常性フィールドにRUN_DURATION_SECONDS メトリックのルールが指定されていない場合、通知は送信されません。

on_failure
on_failure array of string

実行が正常に完了しなかった場合に通知される電子メール アドレスの一覧。 実行は、INTERNAL_ERROR life_cycle_stateまたは FAILED、またはTIMED_OUT result_stateで終了した場合、正常に完了しなかったと見なされます。 ジョブの作成時、リセット、または更新時にこれが指定されていない場合、リストは空で、通知は送信されません。

on_start
on_start array of string

実行の開始時に通知される電子メール アドレスの一覧。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of string

ストリームのストリーミング バックログしきい値を超えたときに通知する電子メール アドレスの一覧。 ストリーミング バックログのしきい値は、STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDS、STREAMING_BACKLOG_SECONDS、またはSTREAMING_BACKLOG_FILESのメトリックを使用して、正常性フィールドで設定できます。 アラートは、これらのメトリックの 10 分間の平均に基づいています。 問題が解決しない場合、通知は 30 分ごとに再送信されます。

on_success
on_success array of string

実行が正常に完了したときに通知される電子メール アドレスの一覧。 TERMINATED life_cycle_stateと SUCCESS result_stateで終了した場合、実行は正常に完了したと見なされます。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。

ComputeLibrary

名前 パス 説明
クラン
cran ComputeRCranLibrary
jar string

インストールする JAR ライブラリの URI。 サポートされている URI には、ワークスペース パス、Unity カタログ ボリューム パス、ADLS URI が含まれます。 例: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } または { "jar": "abfss://my-bucket/library.jar" }。 ADLS が使用されている場合は、クラスターがライブラリに対する読み取りアクセス権を持っていることを確認してください。 ADLS URI にアクセスするには、Microsoft Entra ID サービス プリンシパルを使用してクラスターを起動することが必要な場合があります。

maven
maven ComputeMavenLibrary
pypi
pypi ComputePythonPyPiLibrary
requirements
requirements string

インストールする requirements.txt ファイルの URI。 ワークスペース パスと Unity カタログ ボリューム パスのみがサポートされています。 例: { "requirements": "/Workspace/path/to/requirements.txt" } または { "requirements" : "/Volumes/path/to/requirements.txt" }

whl
whl string

インストールするホイール ライブラリの URI。 サポートされている URI には、ワークスペース パス、Unity カタログ ボリューム パス、ADLS URI が含まれます。 例: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } または { "whl": "abfss://my-bucket/library.whl" }。 ADLS が使用されている場合は、クラスターがライブラリに対する読み取りアクセス権を持っていることを確認してください。 ADLS URI にアクセスするには、Microsoft Entra ID サービス プリンシパルを使用してクラスターを起動することが必要な場合があります。

JobsForEachTask

名前 パス 説明
コンカレンシー
concurrency integer

タスクの同時実行の最大数 (省略可能)。 タスクの複数の実行を同時に実行できるようにする場合は、この値を設定します。

入力
inputs string

繰り返し処理するタスクの配列。 JSON 文字列または配列パラメーターへの参照を指定できます。

タスク
task Object

ComputeRCranLibrary

名前 パス 説明
パッケージ
package string

インストールする CRAN パッケージの名前。

リポジトリ
repo string

パッケージが見つかるリポジトリ。 指定しない場合は、既定の CRAN リポジトリが使用されます。

ComputeMavenLibrary

名前 パス 説明
座標
coordinates string

Gradle スタイルの Maven 座標。 例: "org.jsoup:jsoup:1.7.2"。

除外
exclusions array of string

除外する依存関係の一覧。 例: ["slf4j:slf4j", "*:hadoop-client". Maven 依存関係の除外: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html

リポジトリ
repo string

Maven パッケージをインストールする Maven リポジトリ。 省略すると、Maven Central リポジトリと Spark パッケージの両方が検索されます。

ComputePythonPyPiLibrary

名前 パス 説明
パッケージ
package string

インストールする pypi パッケージの名前。 オプションの正確なバージョン仕様もサポートされています。 例: "simplejson" と "simplejson==3.8.0"。

リポジトリ
repo string

パッケージが見つかるリポジトリ。 指定しない場合は、既定の pip インデックスが使用されます。

JobsNotebookTask

名前 パス 説明
base_parameters
base_parameters object

このジョブの実行ごとに使用される基本パラメーター。 パラメーターを指定して :method:jobs/run Now の呼び出しによって実行が開始された場合、2 つのパラメーター マップがマージされます。 base_parametersと run-now で同じキーが指定されている場合は、run-now の値が使用されます。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。 ノートブックがジョブのbase_parametersで指定されていないパラメーターを受け取るか、または run-now オーバーライド パラメーターを受け取る場合、ノートブックの既定値が使用されます。 dbutils.widgets.get を使用して、ノートブックでこれらのパラメーターを取得します。 このフィールドの JSON 表現は 1 MB を超えることはできません。

notebook_path
notebook_path string

Azure Databricks ワークスペースまたはリモート リポジトリで実行するノートブックのパス。 Azure Databricks ワークスペースに格納されているノートブックの場合、パスは絶対パスで、スラッシュで始まる必要があります。 リモート リポジトリに格納されているノートブックの場合、パスは相対パスである必要があります。 これは必須フィールドです。

ソース
source JobsSource
warehouse_id
warehouse_id string

SQL ウェアハウスでノートブックを実行するための省略可能なwarehouse_id。 従来の SQL ウェアハウスはサポートされていません。サーバーレスまたはプロの SQL ウェアハウスを使用してください。 SQL ウェアハウスでは SQL セルのみがサポートされることに注意してください。ノートブックに SQL 以外のセルが含まれている場合、実行は失敗します。

JobsTaskNotificationSettings

名前 パス 説明
alert_on_last_attempt
alert_on_last_attempt boolean

true の場合、再試行された実行のon_startで指定された受信者に通知を送信せず、実行の最後の再試行まで、on_failureで指定された受信者に通知を送信しません。

no_alert_for_canceled_runs
no_alert_for_canceled_runs boolean

true の場合、実行が取り消された場合は、on_failureで指定された受信者に通知を送信しないでください。

no_alert_for_skipped_runs
no_alert_for_skipped_runs boolean

true の場合、実行がスキップされた場合は、on_failureで指定された受信者に通知を送信しないでください。

JobsPipelineTask

名前 パス 説明
full_refresh
full_refresh boolean

true の場合、差分ライブ テーブルで完全更新がトリガーされます。

pipeline_id
pipeline_id string

実行するパイプライン タスクの完全な名前。

JobsPythonWheelTask

名前 パス 説明
entry_point
entry_point string

使用する名前付きエントリ ポイントがパッケージのメタデータに存在しない場合は、$packageName.$entryPoint() を使用してパッケージから直接関数を実行します。

named_parameters
named_parameters object

Python wheel タスクに渡されるコマンド ライン パラメーターは、["--name=task", "--data=dbfs:/path/to/data.json"] の形式です。 パラメーターが null でない場合は空のままにします。

package_name
package_name string

実行するパッケージの名前

parameters
parameters array of string

Python ホイール タスクに渡されるコマンド ライン パラメーター。 named_parametersが null でない場合は空のままにします。

JobsRunIf

JobsRunJobTask

名前 パス 説明
job_id
job_id integer

トリガーするジョブの ID。

job_parameters
job_parameters object

ジョブをトリガーするために使用されるジョブ レベルのパラメーター。

pipeline_params
pipeline_params JobsPipelineParams

JobsSparkJarTask

名前 パス 説明
main_class_name
main_class_name string

実行される main メソッドを含むクラスのフル ネーム。 このクラスは、ライブラリとして提供される JAR に含まれている必要があります。 このコードでは、Spark コンテキストを取得するために SparkContext.getOrCreate を使用する必要があります。それ以外の場合、ジョブの実行は失敗します。

parameters
parameters array of string

main メソッドに渡されるパラメーター。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。

JobsSparkPythonTask

名前 パス 説明
parameters
parameters array of string

Python ファイルに渡されるコマンド ライン パラメーター。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。

python_file
python_file string

実行する Python ファイル。 クラウド ファイル URI (dbfs:/、s3:/、adls:/、gcs:/など) とワークスペース パスがサポートされています。 Azure Databricks ワークスペースに格納されている Python ファイルの場合、パスは絶対パスで始まる必要があります。 リモート リポジトリに格納されているファイルの場合、パスは相対パスである必要があります。 これは必須フィールドです。

ソース
source JobsSource

JobsSparkSubmitTask

名前 パス 説明
parameters
parameters array of string

Spark 送信に渡されるコマンド ライン パラメーター。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。

JobsWebhookNotifications

名前 パス 説明
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of JobsWebhook

実行の継続時間が正常性フィールドのRUN_DURATION_SECONDSメトリックに指定されたしきい値を超えたときに呼び出すシステム通知 ID のオプションリスト。 on_duration_warning_threshold_exceeded プロパティには、最大 3 つの宛先を指定できます。

on_failure
on_failure array of JobsWebhook

実行が失敗したときに呼び出すシステム通知 ID のオプションの一覧。 on_failure プロパティには、最大 3 つの宛先を指定できます。

on_start
on_start array of JobsWebhook

実行の開始時に呼び出すシステム通知 ID のオプションの一覧。 on_start プロパティには、最大 3 つの宛先を指定できます。

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of JobsWebhook

任意のストリームでストリーミング バックログのしきい値を超えたときに呼び出すシステム通知 ID のオプションの一覧。 ストリーミング バックログのしきい値は、STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDS、STREAMING_BACKLOG_SECONDS、またはSTREAMING_BACKLOG_FILESのメトリックを使用して、正常性フィールドで設定できます。 アラートは、これらのメトリックの 10 分間の平均に基づいています。 問題が解決しない場合、通知は 30 分ごとに再送信されます。 on_streaming_backlog_exceeded プロパティには、最大 3 つの宛先を指定できます。

on_success
on_success array of JobsWebhook

実行が正常に完了したときに呼び出すシステム通知 ID のオプションの一覧。 on_success プロパティには、最大 3 つの宛先を指定できます。

JobsWebhook

名前 パス 説明
id
id string

JobsTriggerSettings

名前 パス 説明
file_arrival
file_arrival JobsFileArrivalTriggerConfiguration
pause_status
pause_status JobsPauseStatus
周期的
periodic JobsPeriodicTriggerConfiguration

JobsFileArrivalTriggerConfiguration

名前 パス 説明
min_time_between_triggers_seconds
min_time_between_triggers_seconds integer

設定した場合、トリガーは、最後にトリガーが起動されてから指定した時間が経過した後にのみ実行を開始します。 最小値は 60 秒です

URL
url string

ファイルの到着を監視する URL。 パスは、ルートまたは外部の場所のサブパスを指している必要があります。

wait_after_last_change_seconds
wait_after_last_change_seconds integer

設定した場合、トリガーは、指定した時間だけファイル アクティビティが発生しなかった後にのみ実行を開始します。 これにより、実行をトリガーする前に、受信ファイルのバッチが到着するのを待機できます。 最小値は 60 秒です。

JobsPeriodicTriggerConfiguration

名前 パス 説明
サイクル間隔
interval integer

トリガーを実行する間隔。

ユニット
unit JobsPeriodicTriggerConfigurationTimeUnit

JobsPeriodicTriggerConfigurationTimeUnit

JobsTriggerStateProto

名前 パス 説明
file_arrival
file_arrival JobsFileArrivalTriggerState

JobsFileArrivalTriggerState

名前 パス 説明
using_file_events
using_file_events boolean

トリガーがファイル イベントを利用してファイルの到着を検出するかどうかを示します。

JobsRun

名前 パス 説明
attempt_number
attempt_number integer

トリガーされたジョブ実行に対するこの実行試行のシーケンス番号。 実行の最初の試行のattempt_numberは 0 です。 最初の実行試行が失敗し、ジョブに再試行ポリシー (max_retries > 0) がある場合、後続の実行は、元の試行の ID と増分attempt_numberのoriginal_attempt_run_idで作成されます。 実行は成功するまで再試行され、最大attempt_numberはジョブのmax_retries値と同じです。

cleanup_duration
cleanup_duration integer

クラスターを終了し、関連付けられている成果物をクリーンアップするのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、cleanup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。

cluster_instance
cluster_instance JobsClusterInstance
cluster_spec
cluster_spec JobsClusterSpec
creator_user_name
creator_user_name string

作成者ユーザー名。 ユーザーが既に削除されている場合、このフィールドは応答に含まれません。

説明
description string

実行の説明

effective_performance_target
effective_performance_target JobsPerformanceTarget
end_time
end_time integer

この実行がエポック ミリ秒単位 (1970 年 1 月 1 日 UTC からミリ秒) で終了した時刻。 ジョブがまだ実行されている場合、このフィールドは 0 に設定されます。

execution_duration
execution_duration integer

完了、失敗、タイムアウト、取り消し、または予期しないエラーが発生するまで、JAR またはノートブックでコマンドを実行するのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、execution_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。

git_source
git_source JobsGitSource
has_more
has_more boolean

実行に、表示されない配列プロパティ (タスク、job_clusters) が追加されているかどうかを示します。 これらは、:method:jobs/getrun エンドポイントを使用してアクセスできます。 これは、expand_tasks=true の API 2.2 :method:jobs/listruns 要求にのみ関連します。

job_clusters
job_clusters array of JobsJobCluster

このジョブのタスクで共有および再利用できるジョブ クラスター仕様の一覧。 共有ジョブ クラスターでライブラリを宣言することはできません。 タスク設定で依存ライブラリを宣言する必要があります。 100 個を超えるジョブ クラスターが使用可能な場合は、:method:jobs/getrun を使用してそれらのクラスターをページングできます。

job_id
job_id integer

この実行を含むジョブの正規識別子。

job_parameters
job_parameters array of JobsJobParameter

実行で使用されるジョブ レベルのパラメーター

job_run_id
job_run_id integer

この実行が属するジョブ実行の ID。 レガシ ジョブと単一タスク ジョブ実行の場合、フィールドにはジョブ実行 ID が設定されます。 タスク実行の場合、フィールドには、タスク実行が属しているジョブ実行の ID が設定されます。

next_page_token
next_page_token string

配列プロパティの次のページを一覧表示するために使用できるトークン。

original_attempt_run_id
original_attempt_run_id integer

この実行が前の実行試行の再試行である場合、このフィールドには元の試行のrun_idが含まれます。それ以外の場合は、run_idと同じです。

overriding_parameters
overriding_parameters JobsRunParameters
queue_duration
queue_duration integer

実行がキューに費やした時間 (ミリ秒単位)。

repair_history
repair_history array of JobsRepairHistoryItem

実行の修復履歴。

run_duration
run_duration integer

ジョブの実行とそのすべての修復が完了するまでの時間 (ミリ秒)。

run_id
run_id integer

実行の正規識別子。 この ID は、すべてのジョブのすべての実行で一意です。

run_name
run_name string

実行の省略可能な名前。 UTF-8 エンコードの最大長は 4,096 バイトです。

run_page_url
run_page_url string

実行の詳細ページへの URL。

実行タイプ
run_type JobsRunType
スケジュール
schedule JobsCronSchedule
setup_duration
setup_duration integer

クラスターのセットアップにかかった時間 (ミリ秒単位)。 新しいクラスターで実行される実行の場合、これはクラスターの作成時刻です。既存のクラスターで実行される実行の場合、今回は非常に短い必要があります。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、setup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。

開始時間
start_time integer

この実行がエポック ミリ秒単位で開始された時刻 (1970 年 1 月 1 日 UTC からのミリ秒)。 これは、ジョブ タスクの実行を開始する時刻ではない可能性があります。たとえば、ジョブが新しいクラスターで実行されるようにスケジュールされている場合、これはクラスター作成呼び出しが発行された時刻です。

状態
status JobsRunStatus
tasks
tasks array of JobsRunTask

実行によって実行されるタスクの一覧。 各タスクには、JobsGetOutput を呼び出して実行 resutls を取得するために使用できる独自のrun_idがあります。 100 個を超えるタスクが使用可能な場合は、:method:jobs/getrun を使用してそれらのタスクを改ページ処理できます。 オブジェクト ルートの next_page_token フィールドを使用して、より多くの結果が得られているかどうかを判断します。

トリガ
trigger JobsTriggerType
trigger_info
trigger_info JobsTriggerInfo

JobsClusterInstance

名前 パス 説明
cluster_id
cluster_id string

実行で使用されるクラスターの正規識別子。 このフィールドは、既存のクラスターでの実行に常に使用できます。 新しいクラスターでの実行では、クラスターが作成されると使用可能になります。 この値を使用すると、/#setting/sparkui/$cluster_id/driver-logs を参照してログを表示できます。 ログは、実行が完了した後も引き続き使用できます。 識別子がまだ使用できない場合、応答にはこのフィールドは含まれません。

spark_context_id
spark_context_id string

実行で使用される Spark コンテキストの正規識別子。 このフィールドは、実行が開始されると入力されます。 この値を使用して、/#setting/sparkui/$cluster_id/$spark_context_id を参照して Spark UI を表示できます。 Spark UI は、実行が完了した後も引き続き使用できます。 識別子がまだ使用できない場合、応答にはこのフィールドは含まれません。

JobsClusterSpec

名前 パス 説明
existing_cluster_id
existing_cluster_id string

existing_cluster_id場合、すべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブまたはタスクを実行する場合、応答が停止した場合は、クラスターを手動で再起動することが必要になる場合があります。 信頼性を高める目的で、新しいクラスターでジョブとタスクを実行することをお勧めします

job_cluster_key
job_cluster_key string

job_cluster_key場合、このタスクは、job.settings.job_clustersで指定されたクラスターを再利用して実行されます。

libraries
libraries array of ComputeLibrary

クラスターにインストールするライブラリの省略可能な一覧。 既定値は空のリストです。

new_cluster
new_cluster ComputeClusterSpec

JobsJobParameter

名前 パス 説明
デフォルト
default string

パラメーターの省略可能な既定値

名前
name string

パラメーターの名前

value
value string

実行で使用される値

JobsRunParameters

名前 パス 説明
pipeline_params
pipeline_params JobsPipelineParams

JobsRepairHistoryItem

名前 パス 説明
effective_performance_target
effective_performance_target JobsPerformanceTarget
end_time
end_time integer

(修復された) 実行の終了時刻。

id
id integer

修復の ID。 repair_historyの修復を表す項目に対してのみ返されます。

開始時間
start_time integer

(修復された) 実行の開始時刻。

状態
status JobsRunStatus
task_run_ids
task_run_ids array of integer

この修復履歴項目の一部として実行されたタスク実行の実行 ID。

type JobsRepairHistoryItemType

JobsRunStatus

名前 パス 説明
queue_details
queue_details JobsQueueDetails
状態
state JobsRunLifecycleStateV2State
termination_details
termination_details JobsTerminationDetails

JobsQueueDetails

名前 パス 説明
コード
code JobsQueueDetailsCodeCode
メッセージ
message string

キューの詳細を含む説明メッセージ。 このフィールドは非構造化であり、その正確な形式は変更される可能性があります。

JobsQueueDetailsCodeCode

JobsRunLifecycleStateV2State

JobsTerminationDetails

名前 パス 説明
コード
code JobsTerminationCodeCode
メッセージ
message string

終了の詳細を含む説明メッセージ。 このフィールドは非構造化であり、形式が変更される可能性があります。

type JobsTerminationTypeType

JobsTerminationCodeCode

JobsTerminationTypeType

JobsRepairHistoryItemType

JobsRunType

JobsRunTask

名前 パス 説明
attempt_number
attempt_number integer

トリガーされたジョブ実行に対するこの実行試行のシーケンス番号。 実行の最初の試行のattempt_numberは 0 です。 最初の実行試行が失敗し、ジョブに再試行ポリシー (max_retries > 0) がある場合、後続の実行は、元の試行の ID と増分attempt_numberのoriginal_attempt_run_idで作成されます。 実行は成功するまで再試行され、最大attempt_numberはジョブのmax_retries値と同じです。

clean_rooms_notebook_task
clean_rooms_notebook_task Object
cleanup_duration
cleanup_duration integer

クラスターを終了し、関連付けられている成果物をクリーンアップするのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、cleanup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。

cluster_instance
cluster_instance JobsClusterInstance
condition_task
condition_task JobsRunConditionTask
dashboard_task
dashboard_task Object
dbt_task
dbt_task Object
depends_on
depends_on array of JobsTaskDependency

タスクの依存関係グラフを指定するオブジェクトの省略可能な配列。 このフィールドで指定されたすべてのタスクは、このタスクを実行する前に正常に完了する必要があります。 キーはtask_keyされ、値は依存タスクに割り当てられた名前です。

説明
description string

このタスクの説明 (省略可能)。

effective_performance_target
effective_performance_target JobsPerformanceTarget
email_notifications
email_notifications JobsJobEmailNotifications
end_time
end_time integer

この実行がエポック ミリ秒単位 (1970 年 1 月 1 日 UTC からミリ秒) で終了した時刻。 ジョブがまだ実行されている場合、このフィールドは 0 に設定されます。

environment_key
environment_key string

ジョブ内の環境仕様を参照するキー。 このフィールドは、サーバーレス コンピューティングを使用する場合に、Python スクリプト、Python ホイール、および dbt タスクに必要です。

execution_duration
execution_duration integer

完了、失敗、タイムアウト、取り消し、または予期しないエラーが発生するまで、JAR またはノートブックでコマンドを実行するのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、execution_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。

existing_cluster_id
existing_cluster_id string

existing_cluster_id場合、すべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブまたはタスクを実行する場合、応答が停止した場合は、クラスターを手動で再起動することが必要になる場合があります。 信頼性を高める目的で、新しいクラスターでジョブとタスクを実行することをお勧めします

for_each_task
for_each_task Object
git_source
git_source JobsGitSource
job_cluster_key
job_cluster_key string

job_cluster_key場合、このタスクは、job.settings.job_clustersで指定されたクラスターを再利用して実行されます。

libraries
libraries array of Object

クラスターにインストールするライブラリの省略可能な一覧。 既定値は空のリストです。

new_cluster
new_cluster Object
notebook_task
notebook_task JobsNotebookTask
notification_settings
notification_settings Object
pipeline_task
pipeline_task Object
power_bi_task
power_bi_task Object
python_wheel_task
python_wheel_task Object
queue_duration
queue_duration integer

実行がキューに費やした時間 (ミリ秒単位)。

resolved_values
resolved_values JobsResolvedValues
run_duration
run_duration integer

ジョブの実行とそのすべての修復が完了するまでの時間 (ミリ秒)。

run_id
run_id integer

タスク実行の ID。

run_if
run_if JobsRunIf
run_job_task
run_job_task JobsRunJobTask
run_page_url
run_page_url string
setup_duration
setup_duration integer

クラスターのセットアップにかかった時間 (ミリ秒単位)。 新しいクラスターで実行される実行の場合、これはクラスターの作成時刻です。既存のクラスターで実行される実行の場合、今回は非常に短い必要があります。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、setup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。

spark_jar_task
spark_jar_task Object
spark_python_task
spark_python_task Object
spark_submit_task
spark_submit_task Object
sql_task
sql_task Object
開始時間
start_time integer

この実行がエポック ミリ秒単位で開始された時刻 (1970 年 1 月 1 日 UTC からのミリ秒)。 これは、ジョブ タスクの実行を開始する時刻ではない可能性があります。たとえば、ジョブが新しいクラスターで実行されるようにスケジュールされている場合、これはクラスター作成呼び出しが発行された時刻です。

状態
status JobsRunStatus
task_key
task_key string

タスクの一意の名前。 このフィールドは、他のタスクからこのタスクを参照するために使用されます。 このフィールドは必須であり、親ジョブ内で一意である必要があります。 [更新] または [リセット] では、このフィールドを使用して、更新またはリセットするタスクを参照します。

timeout_seconds
timeout_seconds integer

このジョブ タスクの各実行に適用される省略可能なタイムアウト。 値 0 は、タイムアウトがないことを意味します。

webhook_notifications
webhook_notifications Object

JobsRunConditionTask

名前 パス 説明
left
left string

条件タスクの左オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。

オープ
op JobsConditionTaskOp
結果
outcome string

条件式の評価結果。 タスクが正常に完了した場合に入力されます。 "true" または "false" にすることができます

right string

条件タスクの右オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。

JobsTriggerType

JobsTriggerInfo

名前 パス 説明
run_id
run_id integer

ジョブ実行タスク実行の実行 ID

JobsRunOutput

名前 パス 説明
clean_rooms_notebook_output
clean_rooms_notebook_output Object
dashboard_output
dashboard_output Object
dbt_output
dbt_output Object
エラー
error string

タスクが失敗した理由、または出力が使用できない理由を示すエラー メッセージ。 メッセージは非構造化であり、その正確な形式は変更される可能性があります。

error_trace
error_trace string

実行の実行中にエラーが発生した場合、このフィールドには使用可能なスタック トレースが含まれます。

info
info string
ログ
logs string

spark_jar_task、spark_python_task、python_wheel_taskなどの標準ストリーム (stdout/stderr) に書き込むタスクからの出力。 notebook_task、pipeline_task、またはspark_submit_taskではサポートされていません。 Azure Databricks では、この API がこれらのログの最後の 5 MB を返すように制限されています。

logs_truncated
logs_truncated boolean

ログが切り捨てられるかどうか。

メタデータ
metadata Object
notebook_output
notebook_output JobsNotebookOutput
run_job_output
run_job_output JobsRunJobOutput
sql_output
sql_output Object

JobsNotebookOutput

名前 パス 説明
結果
result string

dbutils.notebook.exit() に渡される値。 Azure Databricks では、この API が値の最初の 5 MB を返すように制限されています。 結果を大きくするために、ジョブは結果をクラウド ストレージ サービスに格納できます。 dbutils.notebook.exit() が呼び出されなかった場合、このフィールドは存在しません。

切り捨て られます
truncated boolean

結果が切り捨てられたかどうか。

JobsRunJobOutput

名前 パス 説明
run_id
run_id integer

トリガーされたジョブ実行の実行 ID

JobsResolvedValues

名前 パス 説明
condition_task
condition_task JobsResolvedConditionTaskValues
dbt_task
dbt_task JobsResolvedDbtTaskValues
notebook_task
notebook_task JobsResolvedNotebookTaskValues
python_wheel_task
python_wheel_task JobsResolvedPythonWheelTaskValues
run_job_task
run_job_task JobsResolvedRunJobTaskValues
simulation_task
simulation_task JobsResolvedParamPairValues
spark_jar_task
spark_jar_task JobsResolvedStringParamsValues
spark_python_task
spark_python_task JobsResolvedStringParamsValues
spark_submit_task
spark_submit_task JobsResolvedStringParamsValues
sql_task
sql_task JobsResolvedParamPairValues

JobsResolvedConditionTaskValues

名前 パス 説明
left
left string
right string

JobsResolvedDbtTaskValues

名前 パス 説明
commands
commands array of string

JobsResolvedNotebookTaskValues

名前 パス 説明
base_parameters
base_parameters object

JobsResolvedPythonWheelTaskValues

名前 パス 説明
named_parameters
named_parameters object
parameters
parameters array of string

JobsResolvedRunJobTaskValues

名前 パス 説明
job_parameters
job_parameters object
parameters
parameters object

JobsResolvedParamPairValues

名前 パス 説明
parameters
parameters object

JobsResolvedStringParamsValues

名前 パス 説明
parameters
parameters array of string