Azure Databricks
Azure Databricks は、スケーラブルなデータ管理、ガバナンス、分析のための統合プラットフォームを提供し、合理化されたワークフローと、多様なデータ型を効率的に処理する機能を組み合わせたものです。
このコネクタは、次の製品とリージョンで使用できます。
| サービス | クラス | リージョン |
|---|---|---|
| コピロット スタジオ | Premium | 次を除くすべての Power Automate リージョン : - 米国政府 (GCC) - 米国政府 (GCC High) - 21Vianet が運営する China Cloud - 米国国防総省 (DoD) |
| Power Apps | Premium | 次を除くすべての Power Apps リージョン : - 米国政府 (GCC) - 米国政府 (GCC High) - 21Vianet が運営する China Cloud - 米国国防総省 (DoD) |
| Power Automate(パワーオートメート) | Premium | 次を除くすべての Power Automate リージョン : - 米国政府 (GCC) - 米国政府 (GCC High) - 21Vianet が運営する China Cloud - 米国国防総省 (DoD) |
| お問い合わせ | |
|---|---|
| 名前 | Databricks のサポート |
| URL | https://help.databricks.com |
| eng-partner-eco-help@databricks.com |
| コネクタ メタデータ | |
|---|---|
| Publisher | Databricks Inc. |
| Web サイト | https://www.databricks.com/ |
| プライバシー ポリシー | https://www.databricks.com/legal/privacynotice |
| カテゴリ | データ |
Microsoft Power Platform から Azure Databricks に接続する
このページでは、データ接続として Azure Databricks を追加して、Microsoft Power Platform から Azure Databricks に接続する方法について説明します。 接続されている場合は、次のプラットフォームから Azure Databricks データを使用できます。
- Power Apps: Azure Databricks のガバナンス コントロールを維持しながら、Azure Databricks との間で読み取りと書き込みを行うことができるアプリケーションを構築します。
- Power Automate: フローを構築し、カスタム SQL または既存のジョブを実行して結果を取得できるようにするアクションを追加します。
- Copilot Studio: Azure Databricks データをナレッジ ソースとして使用してカスタム エージェントを構築します。
開始する前に
Power Platform から Azure Databricks に接続する前に、次の要件を満たす必要があります。
- Microsoft Entra ID (旧称 Azure Active Directory) アカウントをお持ちの場合。
- Premium Power Apps ライセンスをお持ちの場合。
- Azure Databricks アカウントを持っている。
- Azure Databricks の SQL ウェアハウスにアクセスできます。
省略可能: Azure Virtual Networks を使用して接続する
Azure Databricks ワークスペースで仮想ネットワークを使用している場合、接続する方法は 2 つあります。
パブリック インターネット経由で公開することなく、仮想ネットワーク内のリソースと Power Platform を統合します。 Azure Databricks ワークスペースのプライベート エンドポイントに接続するには、Azure Databricks へのプライベート接続を構成した後、次の操作を行います。
Power Platform 仮想ネットワーク (プライマリまたはセカンダリ) が Azure Databricks 仮想ネットワークと異なる場合は、 仮想ネットワーク ピアリングを 使用して仮想ネットワークを Azure Databricks に接続します。
仮想ネットワークの詳細については、 仮想ネットワークのサポートの概要に関するページを参照してください。
ハイブリッド展開を使用してアクセスを有効にします。パブリック エンドポイントを含むフロントエンド プライベート リンクは、ワークスペースの IP アクセス リストによって保護されます。 アクセスを有効にするには、次の操作を行います。
- ワークスペース レベルでパブリック アクセスを有効にします。 詳細については、「 ワークスペースの IP アクセス リストを構成する」を参照してください。
- AzureConnectors の IP 範囲、または環境のリージョンに基づく特定の Power Platform IP 範囲をワークスペースの IP アクセスリストに追加します。
省略可能: Microsoft Entra サービス プリンシパルを作成する
重要
Azure Databricks と Power Platform が異なるテナントにある場合は、認証にサービス プリンシパルを使用する必要があります。
接続する前に、次の手順を実行して、Microsoft Entra サービス プリンシパルを作成、設定、および Azure Databricks アカウントまたはワークスペースに割り当てます。
手順 1: Azure Databricks 接続を Power Platform に追加する
手記: Copilot Studio を使用している場合は、Power Apps または Power Automate で Databricks 接続を作成することをお勧めします。 その後、Copilot Studio で使用できます。
Azure Databricks 接続を追加するには、次の操作を行います。
Power Apps または Power Automate のサイドバーで、[ 接続] をクリックします。
左上隅にある [ + 新しい接続 ] をクリックします。
右上の検索バーを使用して 、"Azure Databricks" を検索します。
Azure Databricks タイルを選択します。
ドロップダウン メニューから 認証の種類 を選択します。
認証方法を選択し、認証情報を入力します。
Power Platform のデプロイと Azure Databricks アカウントが同じ Microsoft Entra テナント内にある場合は、 OAuth 接続を使用できます。 次の情報を入力してください。
- [サーバー ホスト名] に、Azure Databricks SQL ウェアハウスのホスト名を入力します。
- [HTTP パス] に、SQL ウェアハウスの HTTP パスを入力します。
- Create をクリックしてください。
- Microsoft Entra ID でサインインします。
サービス プリンシパル接続 は、任意のシナリオで使用できます。 接続する前にMicrosoft Entra サービスプリンシパルを作成します。 次の情報を入力してください。
- [クライアント ID] に、サービス プリンシパル ID を入力します。
- クライアント シークレットの場合は、サービス プリンシパル シークレットを入力します。
- [テナント] に、サービス プリンシパル テナントを入力します。
- [ホスト名] に、Azure Databricks SQL ウェアハウスのホスト名を入力します。
- [HTTP パス] に、SQL ウェアハウスの HTTP パスを入力します。
- (省略可能)接続の作成後に、サービス プリンシパル接続の名前を変更したり、チーム メンバーと共有したりできます。
Azure Databricks SQL ウェアハウスの接続の詳細を確認するには、「 Azure Databricks コンピューティング リソースの接続の詳細を取得する」を参照してください。
Create をクリックしてください。
手順 2: Azure Databricks 接続を使用する
Power Apps または Power Automate で Azure Databricks 接続を作成したら、Azure Databricks データを使用して、Power キャンバス アプリ、Power Automate フロー、Copilot Studio エージェントを作成できます。
Azure Databricks データを使用して Power Canvas アプリを構築する
重要
キャンバス アプリは、アプリで Azure Databricks に直接接続する場合にのみ使用できます。 仮想テーブルは使用できません。
Azure Databricks データをアプリケーションに追加するには、次の操作を行います。
- 左端のナビゲーション バーで、[ 作成] をクリックします。
- [ 空のキャンバスで開始] をクリックし、目的のキャンバス サイズを選択して新しいキャンバス アプリを作成します。
- アプリケーションから、[データの追加] をクリックします>Connectors>Azure Databricks。 作成した Azure Databricks 接続を選択します。
- [データセットの選択] サイドバーからカタログ を選択 します。
- [ データセットの選択 ] サイドバーから、キャンバス アプリを接続するすべてのテーブルを選択します。
- [接続] をクリックします。
Power Apps でのデータ操作:
コネクタは、主キーが定義されているテーブル に対してのみ 、作成、更新、および削除操作をサポートします。 作成操作を実行するときは、常に主キーを指定する必要があります。
手記: Azure Databricks では、 生成された ID 列がサポートされます。 この場合、主キー値は行の作成時にサーバーで自動的に生成され、手動で指定することはできません。
Azure Databricks データを使用して Power Automate フローを構築する
ステートメント実行 API とジョブ API は Power Automate 内で公開されるため、SQL ステートメントを記述して既存のジョブを実行できます。 Azure Databricks をアクションとして使用して Power Automate フローを作成するには、次の操作を行います。
- 左端のナビゲーション バーで、[ 作成] をクリックします。
- フローを作成し、トリガーの種類を追加します。
- 新しいフローで + をクリックし、 "Databricks" を検索して使用可能なアクションを確認します。
SQL を記述するには、次のいずれかのアクションを選択します。
SQL ステートメントの実行: SQL ステートメントを記述して実行します。 次のように入力します。
- Body/warehouse_id に、SQL ステートメントを実行する対象の倉庫IDを入力します。
- Body/statement_id に、実行する SQL ステートメントの ID を入力します。
- 詳細なパラメーターの詳細については、 こちらを参照してください。
状態を確認して結果を取得する: SQL ステートメントの状態を確認し、結果を収集します。 次のように入力します。
- ステートメント ID には、SQL ステートメントの実行時に返される ID を入力します。
- パラメーターの詳細については、こちらを参照 してください。
ステートメントの実行を取り消す: SQL ステートメントの実行を終了します。 次のように入力します。
- ステートメント ID には、終了する SQL ステートメントの ID を入力します。
- パラメーターの詳細については、こちらを参照 してください。
チャンク インデックスによる結果の取得: 大きな結果セットに適したチャンク インデックスで結果を取得します。 次のように入力します。
- [ステートメント ID] に、結果を取得する SQL ステートメントの ID を入力します。
- [チャンク インデックス] には、ターゲット チャンク インデックスを入力します。
- パラメーターの詳細については、こちらを参照 してください。
既存の Databricks ジョブを操作するには、次のいずれかのアクションを選択します。
- ジョブの一覧表示: ジョブの一覧を取得します。 詳細については 、こちらを参照してください。
- 新しいジョブ実行をトリガーする: ジョブを実行し、トリガーされた実行のrun_idを返します。 詳細については 、こちらを参照してください。
- 単一のジョブ実行を取得する: 実行状態 (RUNNING、SUCCESS、FAILED など)、開始時刻と終了時刻、実行期間、クラスター情報など、実行に関するメタデータを返します。詳細については 、こちらを参照してください。
- ジョブの実行を取り消す: ジョブの実行またはタスクの実行を取り消します。 詳細については、このページを参照してください。
- 1 つのジョブ実行の出力を取得する: 1 つのタスク実行の出力とメタデータを取得します。 詳細については、このページを参照してください。
Copilot Studio で Azure Databricks をナレッジ ソースとして使用する
知識ソースとして Azure Databricks データを Copilot Studio エージェントに追加するには、次の操作を行います。
- サイドバーから[ エージェント]をクリックします。
- 既存のエージェントを選択するか、[+ 新しいエージェント] をクリックして 新しいエージェントを作成します。
- メッセージを入力してエージェントについて説明し、[ 作成] をクリックします。
- または、[ スキップ ] をクリックしてエージェントの情報を手動で指定します。
- [ ナレッジ ] タブで、[ + ナレッジ] をクリックします。
- 詳細設定をクリックします。
- ナレッジ ソースとして Azure Databricks を選択します。
- データのカタログ名を入力します。
- [接続] をクリックします。
- エージェントでナレッジ ソースとして使用するテーブルを選択し、[ 追加] をクリックします。
Azure Databricks データを使用して Dataverse 仮想テーブルを作成する
Azure Databricks コネクタを使用して Dataverse 仮想テーブルを作成することもできます。 仮想テーブル (仮想エンティティとも呼ばれます) は、外部システムのデータを Microsoft Dataverse と統合します。 仮想テーブルは、物理テーブルを Dataverse データベースに格納せずに、Dataverse でテーブルを定義します。 仮想テーブルの詳細については、「仮想 テーブル (エンティティ) の概要」を参照してください。
注
仮想テーブルは Dataverse ストレージ容量を消費しませんが、パフォーマンスを向上させるために直接接続を使用することをお勧めします。
システム カスタマイザーまたはシステム管理者ロールが必要です。 詳細については、「 Power Platform のセキュリティ ロール」を参照してください。
Dataverse 仮想テーブルを作成するには、次の手順に従います。
Power Apps のサイドバーで、[ テーブル] をクリックします。
メニュー バーから [ + 新しいテーブル ] をクリックし、[ 仮想テーブルの作成] を選択します。
既存の Azure Databricks 接続を選択するか、Azure Databricks への新しい接続を作成します。 新しい接続を追加するには、「 手順 1: Power Platform に Azure Databricks 接続を追加する」を参照してください。
Databricks では、サービス プリンシパル接続を使用して仮想テーブルを作成することをお勧めします。
[次へ] をクリックします。
Dataverse 仮想テーブルとして表すテーブルを選択します。
- Dataverse 仮想テーブルには主キーが必要です。 したがって、ビューを仮想テーブルにすることはできませんが、具体化されたビューは可能です。
[次へ] をクリックします。
必要に応じて、テーブルの詳細を更新して、仮想テーブルを構成します。
[次へ] をクリックします。
データ ソースの詳細を確認し、[ 完了] をクリックします。
Power Apps、Power Automate、Copilot Studio で Dataverse 仮想テーブルを使用します。
Dataverse 仮想テーブルの既知の制限事項の一覧については、「 既知の制限事項とトラブルシューティング」を参照してください。
バッチ更新を実施する
Power Apps の入力に応じて一括作成、更新、または削除操作を実行する必要がある場合、Databricks では Power Automate フローを実装することをお勧めします。 そのために必要な作業は次のとおりです。
Power Apps で Azure Databricks 接続を使用してキャンバス アプリを作成します。
Azure Databricks 接続を使用して Power Automate フローを作成し、トリガーとして Power Apps を使用します。
Power Automate トリガーで、Power Apps から Power Automate に渡す入力フィールドを追加します。
Power Apps 内にコレクション オブジェクトを作成して、すべての変更を収集します。
キャンバス アプリに Power Automate フローを追加します。
キャンバス アプリから Power Automate フローを呼び出し、
ForAllコマンドを使用してコレクションを反復処理します。ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
同時書き込み
行レベルのコンカレンシー では、行レベルで変更を検出し、同時書き込みが同じデータ ファイル内の異なる行を更新または削除したときに発生する競合を自動的に解決することで、同時書き込み操作間の競合を軽減します。
行レベルのコンカレンシーは、Databricks Runtime 14.2 以降に含まれています。 行レベルのコンカレンシーは、次の種類のテーブルで既定でサポートされています。
- 削除ベクターが有効になっているテーブルとパーティション分割されていないテーブル
- 削除ベクトルが無効でない限り、液体クラスタリングを使用するテーブル
削除ベクトルを有効にするには、次の SQL コマンドを実行します。
ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
Azure Databricks での同時書き込みの競合の詳細については、「Azure Databricks での分離レベルと書き込みの競合」を参照してください。
Azure Databricks をデータ ポリシーに追加する
Azure Databricks をビジネス データ ポリシーに追加すると、Azure Databricks は他のグループのコネクタとデータを共有できません。 これにより、データが保護され、データへのアクセス権を持たないユーザーとデータが共有されなくなります。 詳細については、「 データ ポリシーの管理」を参照してください。
Azure Databricks コネクタを Power Platform データ ポリシーに追加するには:
- Power Platform アプリケーションで、右上にある設定歯車をクリックし、[ 管理センター] を選択します。
- サイドバーで、[ポリシー]>[データ ポリシー]をクリックします。
- 新しい管理センターを使用している場合は、[ セキュリティ>データとプライバシー>Data ポリシー] をクリックします。
- [ + 新しいポリシー ] をクリックするか、既存のポリシーを選択します。
- 新しいポリシーを作成する場合は、名前を入力します。
- ポリシーに追加する環境を選択し、上記の [ + ポリシーに追加] をクリックします。
- [次へ] をクリックします。
- Azure Databricks コネクタを検索して選択します。
- [ ビジネスに移動 ] をクリックし、[ 次へ] をクリックします。
- ポリシーを確認し、[ポリシーの 作成] をクリックします。
制限事項
- Power Platform コネクタは、政府機関向けクラウドをサポートしていません。
Power App の制限事項
次の PowerFx 数式は、ローカルで取得されたデータのみを使用して値を計算します。
| カテゴリ | 計算式 |
|---|---|
| テーブル関数 | - GroupBy -朖 |
| 集約 | - CountRows - StdevP - StdevS |
接続を作成する
コネクタでは、次の認証の種類がサポートされています。
| OAuth 接続 | OAuth 接続 | すべてのリージョン | 共有不可 |
| サービス プリンシパル接続 | サービス プリンシパル接続 | すべてのリージョン | 共有可能 |
| 既定 [非推奨] | このオプションは、明示的な認証の種類がない古い接続に対してのみ行われ、下位互換性のためにのみ提供されます。 | すべてのリージョン | 共有不可 |
OAuth 接続
認証 ID: oauth2-auth
適用対象: すべてのリージョン
OAuth 接続
これは共有可能な接続ではありません。 電源アプリが別のユーザーと共有されている場合、別のユーザーは新しい接続を明示的に作成するように求められます。
| 名前 | タイプ | Description | 必須 |
|---|---|---|---|
| サーバー ホスト名 (例: adb-3980263885549757139.2.azuredatabricks.net) | 文字列 | Databricks ワークスペースのサーバー名 | 正しい |
| HTTP パス (例: /sql/1.0/warehouses/a9c4e781bd29f315) | 文字列 | Databricks SQL Warehouse の HTTP パス | 正しい |
サービス プリンシパル接続
認証 ID: oAuthClientCredentials
適用対象: すべてのリージョン
サービス プリンシパル接続
これは共有可能な接続です。 電源アプリが別のユーザーと共有されている場合は、接続も共有されます。 詳細については、 キャンバス アプリのコネクタの概要 - Power Apps |Microsoft Docs
| 名前 | タイプ | Description | 必須 |
|---|---|---|---|
| クライアントID | 文字列 | 正しい | |
| クライアント シークレット | securestring | 正しい | |
| Tenant | 文字列 | 正しい | |
| サーバー ホスト名 (例: adb-3980263885549757139.2.azuredatabricks.net) | 文字列 | Databricks ワークスペースのサーバー名 | 正しい |
| HTTP パス (例: /sql/1.0/warehouses/a9c4e781bd29f315) | 文字列 | Databricks SQL Warehouse の HTTP パス | 正しい |
既定 [非推奨]
適用対象: すべてのリージョン
このオプションは、明示的な認証の種類がない古い接続に対してのみ行われ、下位互換性のためにのみ提供されます。
これは共有可能な接続ではありません。 電源アプリが別のユーザーと共有されている場合、別のユーザーは新しい接続を明示的に作成するように求められます。
調整制限
| 名前 | 呼び出し | 更新期間 |
|---|---|---|
| 接続ごとの API 呼び出し | 100 | 60 秒 |
アクション
| 1 つのジョブ実行を取得する |
実行のメタデータを取得します。 結果の大きな配列は、要素が 100 を超えるとページ分割されます。 1 回の実行の要求では、その実行のすべてのプロパティと、配列プロパティの最初の 100 個の要素 (タスク、job_clusters、job_parameters、repair_history) が返されます。 next_page_token フィールドを使用して、より多くの結果を確認し、その値を後続の要求のpage_tokenとして渡します。 配列プロパティに 100 を超える要素がある場合、後続の要求で追加の結果が返されます。 追加の結果がない配列は、後のページでは空になります。 |
| 1 回の実行の出力を取得する |
1 つのタスク実行の出力とメタデータを取得します。 ノートブック タスクが dbutils.notebook.exit() 呼び出しを通じて値を返す場合は、このエンドポイントを使用してその値を取得できます。 Azure Databricks では、この API が出力の最初の 5 MB を返すように制限されています。 より大きな結果を返すために、ジョブの結果をクラウド ストレージ サービスに格納できます。 このエンドポイントは 、run_id パラメーターが有効であることを検証し、 run_id パラメーターが無効な場合は HTTP 状態コード 400 を返します。 実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。 |
| Azure Databricks Genie |
Genie スペースにクエリを実行して、データから分析情報を取得します。 |
| SQL ステートメントを実行する |
SQL ステートメントを実行し、必要に応じて、指定した時間、その結果を待機します。 |
| ジョブを一覧表示する |
ジョブの一覧を取得します。 |
| ステートメントの実行を取り消す |
実行中のステートメントの取り消しを要求します。 呼び出し元は、状態をポーリングして終了状態を確認する必要があります。 |
| チャンク インデックスで結果を取得する |
ステートメントの実行が成功した後、この要求を使用して、インデックスによって任意のチャンクをフェッチできます。 |
| 実行を取り消す |
ジョブの実行またはタスクの実行を取り消します。 実行は非同期的に取り消されるため、この要求が完了しても実行されている可能性があります。 |
| 新しいジョブの実行をトリガーする |
ジョブを実行し、トリガーされた実行のrun_idを返します。 |
| 状態を確認して結果を取得する |
ステートメントの状態、マニフェスト、結果を取得する |
1 つのジョブ実行を取得する
実行のメタデータを取得します。 結果の大きな配列は、要素が 100 を超えるとページ分割されます。 1 回の実行の要求では、その実行のすべてのプロパティと、配列プロパティの最初の 100 個の要素 (タスク、job_clusters、job_parameters、repair_history) が返されます。 next_page_token フィールドを使用して、より多くの結果を確認し、その値を後続の要求のpage_tokenとして渡します。 配列プロパティに 100 を超える要素がある場合、後続の要求で追加の結果が返されます。 追加の結果がない配列は、後のページでは空になります。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
実行 ID
|
run_id | True | integer |
メタデータを取得する実行の正規識別子。 これは必須フィールドです。 |
|
履歴を含める
|
include_history | boolean |
応答に修復履歴を含めるかどうか。 |
|
|
解決された値を含める
|
include_resolved_values | boolean |
解決されたパラメーター値を応答に含めるかどうか。 |
|
|
ページ トークン
|
page_token | string |
前の GetRun 応答から返されたnext_page_tokenを使用して、実行の配列プロパティの次のページを要求します。 |
戻り値
- Body
- JobsRun
1 回の実行の出力を取得する
1 つのタスク実行の出力とメタデータを取得します。 ノートブック タスクが dbutils.notebook.exit() 呼び出しを通じて値を返す場合は、このエンドポイントを使用してその値を取得できます。 Azure Databricks では、この API が出力の最初の 5 MB を返すように制限されています。 より大きな結果を返すために、ジョブの結果をクラウド ストレージ サービスに格納できます。 このエンドポイントは 、run_id パラメーターが有効であることを検証し、 run_id パラメーターが無効な場合は HTTP 状態コード 400 を返します。 実行は 60 日後に自動的に削除されます。 60 日を超えて参照する場合は、有効期限が切れる前に古い実行結果を保存する必要があります。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
実行 ID
|
run_id | True | integer |
実行の正規識別子。 |
戻り値
- Body
- JobsRunOutput
Azure Databricks Genie
Genie スペースにクエリを実行して、データから分析情報を取得します。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
Genie Space ID
|
genie_space_id | True | string |
Genie Space ID |
SQL ステートメントを実行する
SQL ステートメントを実行し、必要に応じて、指定した時間、その結果を待機します。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
warehouse_id
|
warehouse_id | True | string |
ターゲット ウェアハウス ID |
|
ステートメント
|
statement | True | string |
実行する SQL ステートメント。 ステートメントは必要に応じてパラメーター化できます。パラメーターを参照してください |
|
名前
|
name | True | string |
パラメーター マーカー名 |
|
型
|
type | string |
パラメーター のデータ型 |
|
|
value
|
value | string |
パラメーター値 |
|
|
カタログ
|
catalog | string |
実行用の既定のカタログ |
|
|
スキーマ
|
schema | string |
実行の既定のスキーマ |
|
|
意気
|
disposition | string |
結果フェッチ モード |
|
|
format
|
format | string |
結果セットの形式 |
|
|
on_wait_timeout
|
on_wait_timeout | string |
タイムアウト時のアクション |
|
|
wait_timeout
|
wait_timeout | string |
結果の待機タイムアウト |
|
|
byte_limit
|
byte_limit | integer |
結果のバイト制限 |
|
|
row_limit
|
row_limit | integer |
結果行の制限 |
戻り値
ステートメント実行応答
- Body
- SqlStatementResponse
ジョブを一覧表示する
ジョブの一覧を取得します。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
極限
|
limit | integer |
返すジョブの数。 この値は 0 より大きく、100 以下である必要があります。 既定値は 20 です。 |
|
|
タスクの展開
|
expand_tasks | boolean |
応答にタスクとクラスターの詳細を含めるかどうか。 最初の 100 個の要素のみが表示されることに注意してください。 :method:jobs/get を使用して、すべてのタスクとクラスターを改ページ処理します。 |
|
|
ジョブ名
|
name | string |
正確な (大文字と小文字を区別しない) ジョブ名に基づく一覧のフィルター。 |
|
|
ページ トークン
|
page_token | string |
前の要求から返されたnext_page_tokenまたはprev_page_tokenを使用して、ジョブの次のページまたは前のページをそれぞれ一覧表示します。 |
戻り値
- Body
- JobsListJobsResponse
ステートメントの実行を取り消す
実行中のステートメントの取り消しを要求します。 呼び出し元は、状態をポーリングして終了状態を確認する必要があります。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
ステートメント ID
|
statement_id | True | string |
ステートメント ID |
チャンク インデックスで結果を取得する
ステートメントの実行が成功した後、この要求を使用して、インデックスによって任意のチャンクをフェッチできます。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
ステートメント ID
|
statement_id | True | string |
ステートメント ID |
|
チャンク インデックス
|
chunk_index | True | string |
チャンク インデックス |
戻り値
- Body
- SqlResultData
実行を取り消す
ジョブの実行またはタスクの実行を取り消します。 実行は非同期的に取り消されるため、この要求が完了しても実行されている可能性があります。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
run_id
|
run_id | True | integer |
これは必須フィールドです。 |
新しいジョブの実行をトリガーする
ジョブを実行し、トリガーされた実行のrun_idを返します。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
idempotency_token
|
idempotency_token | string |
ジョブ実行要求のべき等性を保証する省略可能なトークン。 指定されたトークンを持つ実行が既に存在する場合、要求は新しい実行を作成せず、代わりに既存の実行の ID を返します。 指定されたトークンを使用して実行が削除されると、エラーが返されます。 べき等トークンを指定した場合、失敗した場合は、要求が成功するまで再試行できます。 Azure Databricks では、そのべき等トークンを使用して 1 回の実行が起動されることを保証します。 このトークンは、最大 64 文字にする必要があります。 詳細については、「 ジョブのべき等性を確保する方法」を参照してください。 |
|
|
job_id
|
job_id | True | integer |
実行するジョブの ID |
|
job_parameters
|
job_parameters | object |
実行で使用されるジョブ レベルのパラメーター。 例: "param": "overriding_val" |
|
|
唯
|
only | array of string |
ジョブ内で実行するタスク キーの一覧。 このフィールドが指定されていない場合、ジョブ内のすべてのタスクが実行されます。 |
|
|
performance_target
|
performance_target | string | ||
|
full_refresh
|
full_refresh | boolean |
true の場合、差分ライブ テーブルで完全更新がトリガーされます。 |
|
|
enabled
|
enabled | True | boolean |
true の場合は、ジョブのキューを有効にします。 これは必須フィールドです。 |
戻り値
- Body
- JobsRunNowResponse
状態を確認して結果を取得する
ステートメントの状態、マニフェスト、結果を取得する
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
ステートメント ID
|
statement_id | True | string |
ステートメント ID |
戻り値
ステートメント実行応答
- Body
- SqlStatementResponse
定義
Object
SqlBaseChunkInfo
結果セット チャンクのメタデータ
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
結果チャンク内のバイト数 |
|
chunk_index
|
chunk_index | integer |
結果セットチャンクのシーケンス内の位置 |
|
row_count
|
row_count | integer |
結果チャンク内の行数 |
|
row_offset
|
row_offset | integer |
結果セット内の行オフセットの開始 |
SqlColumnInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
名前
|
name | string |
列名 |
|
立場
|
position | integer |
列の位置 (0 から始まる) |
|
type_interval_type
|
type_interval_type | string |
間隔の種類の形式 |
|
type_name
|
type_name | SqlColumnInfoTypeName |
基本データ型の名前。 これには、STRUCT、MAP、ARRAY などの複合型の詳細は含まれません。 |
|
type_precision
|
type_precision | integer |
DECIMAL 型の桁数 |
|
type_scale
|
type_scale | integer |
DECIMAL 型の小数点以下桁数 |
|
type_text
|
type_text | string |
完全な SQL 型の仕様 |
SqlColumnInfoTypeName
基本データ型の名前。 これには、STRUCT、MAP、ARRAY などの複合型の詳細は含まれません。
基本データ型の名前。 これには、STRUCT、MAP、ARRAY などの複合型の詳細は含まれません。
SqlStatementResponse
ステートメント実行応答
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
マニフェスト
|
manifest | SqlResultManifest |
結果セットのスキーマとメタデータ |
|
結果
|
result | SqlResultData | |
|
statement_id
|
statement_id | string |
ステートメント ID |
|
状態
|
status | SqlStatementStatus |
ステートメントの実行状態 |
SqlResultManifest
結果セットのスキーマとメタデータ
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
チャンク
|
chunks | array of SqlBaseChunkInfo |
結果チャンク メタデータ |
|
format
|
format | string | |
|
スキーマ
|
schema | SqlResultSchema |
結果セット列の定義 |
|
total_byte_count
|
total_byte_count | integer |
結果セットの合計バイト数 |
|
total_chunk_count
|
total_chunk_count | integer |
チャンクの合計数 |
|
total_row_count
|
total_row_count | integer |
行の合計数 |
|
切り捨て られます
|
truncated | boolean |
結果の切り捨て状態 |
SqlStatementStatus
ステートメントの実行状態
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
エラー
|
error | SqlServiceError | |
|
状態
|
state | SqlStatementState |
ステートメントの実行状態 |
SqlStatementState
SqlServiceError
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
error_code
|
error_code | string | |
|
メッセージ
|
message | string |
エラーメッセージ |
SqlResultSchema
結果セット列の定義
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
column_count
|
column_count | integer | |
|
columns
|
columns | array of SqlColumnInfo |
SqlResultData
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
結果チャンク内のバイト数 |
|
chunk_index
|
chunk_index | integer |
チャンク位置 |
|
data_array
|
data_array | SqlJsonArray |
文字列値を持つ配列の配列 |
|
external_links
|
external_links | array of SqlExternalLink | |
|
next_chunk_index
|
next_chunk_index | integer |
次のチャンク インデックス |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
次のチャンク リンク |
|
row_count
|
row_count | integer |
チャンク内の行 |
|
row_offset
|
row_offset | integer |
開始行オフセット |
SqlJsonArray
文字列値を持つ配列の配列
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
アイテム
|
array of |
SqlExternalLink
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
チャンク内のバイト数 |
|
chunk_index
|
chunk_index | integer |
チャンク位置 |
|
満了
|
expiration | date-time |
リンクの有効期限 |
|
external_link
|
external_link | string | |
|
http_headers
|
http_headers | object |
必要な HTTP ヘッダー |
|
next_chunk_index
|
next_chunk_index | integer |
次のチャンク インデックス |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
次のチャンク リンク |
|
row_count
|
row_count | integer |
チャンク内の行 |
|
row_offset
|
row_offset | integer |
開始行オフセット |
JobsRunNowResponse
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
run_id
|
run_id | integer |
新しくトリガーされた実行のグローバルに一意の ID。 |
JobsPerformanceTarget
JobsPipelineParams
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
true の場合、差分ライブ テーブルで完全更新がトリガーされます。 |
JobsQueueSettings
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
enabled
|
enabled | boolean |
true の場合は、ジョブのキューを有効にします。 これは必須フィールドです。 |
JobsListJobsResponse
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
jobs
|
jobs | array of JobsBaseJob |
ジョブの一覧。 一覧表示するジョブがある場合にのみ、応答に含まれます。 |
|
next_page_token
|
next_page_token | string |
ジョブの次のページを一覧表示するために使用できるトークン (該当する場合)。 |
|
prev_page_token
|
prev_page_token | string |
ジョブの前のページを一覧表示するために使用できるトークン (該当する場合)。 |
JobsBaseJob
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
created_time
|
created_time | integer |
このジョブがエポック ミリ秒単位 (1970 年 1 月 1 日 UTC 以降のミリ秒) で作成された時刻。 |
|
creator_user_name
|
creator_user_name | string |
作成者ユーザー名。 ユーザーが既に削除されている場合、このフィールドは応答に含まれません。 |
|
effective_budget_policy_id
|
effective_budget_policy_id | uuid |
コスト属性のためにこのジョブによって使用される予算ポリシーの ID。 これは、(優先順位の順に) 1 で設定できます。 アカウントまたはワークスペース コンソール 2 を使用した予算管理者。 ジョブの詳細ページのジョブ UI と、budget_policy_id 3 を使用したジョブ API。 ジョブの作成または変更に関するrun_as ID のアクセス可能な予算ポリシーに基づいて、既定で推論されます。 |
|
has_more
|
has_more | boolean |
ジョブに、表示されない配列プロパティ (タスク、job_clusters) が増えるかどうかを示します。 これらは、:method:jobs/get エンドポイントを使用してアクセスできます。 これは、expand_tasks=true の API 2.2 :method:jobs/list 要求にのみ関連します。 |
|
job_id
|
job_id | integer |
このジョブの正規識別子。 |
|
設定
|
settings | JobsJobSettings | |
|
trigger_state
|
trigger_state | JobsTriggerStateProto |
JobsJobSettings
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
budget_policy_id
|
budget_policy_id | uuid |
このジョブに使用するユーザー指定の予算ポリシーの ID。 指定しない場合、ジョブの作成時または変更時に既定の予算ポリシーが適用される場合があります。 このワークロードで使用される予算ポリシーについては、effective_budget_policy_idを参照してください。 |
|
蟬
|
continuous | JobsContinuous | |
|
デプロイ
|
deployment | JobsJobDeployment | |
|
説明
|
description | string |
ジョブに関する説明 (オプション)。 UTF-8 エンコードの最大長は 2,7700 文字です。 |
|
edit_mode
|
edit_mode | JobsJobEditMode | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
environments
|
environments | array of JobsJobEnvironment |
このジョブのサーバーレス タスクで参照できるタスク実行環境の仕様の一覧。 サーバーレス タスクには環境が必要です。 サーバーレス ノートブック タスクの場合、ノートブック環境パネルで環境にアクセスできます。 その他のサーバーレス タスクでは、タスク設定でenvironment_keyを使用してタスク環境を指定する必要があります。 |
|
git_source
|
git_source | JobsGitSource | |
|
正常性
|
health | JobsJobsHealthRules | |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
このジョブのタスクで共有および再利用できるジョブ クラスター仕様の一覧。 共有ジョブ クラスターでライブラリを宣言することはできません。 タスク設定で依存ライブラリを宣言する必要があります。 |
|
max_concurrent_runs
|
max_concurrent_runs | integer |
ジョブの同時実行の最大許容数 (省略可能)。 同じジョブの複数の実行を同時に実行できるようにする場合は、この値を設定します。 これは、頻繁なスケジュールでジョブをトリガーし、連続する実行が互いに重複できるようにする場合や、入力パラメーターによって異なる複数の実行をトリガーする場合に便利です。 この設定は、新しい実行にのみ影響します。 たとえば、ジョブのコンカレンシーが 4 で、アクティブな同時実行が 4 つあるとします。 その後、コンカレンシーを 3 に設定しても、アクティブな実行は強制終了されません。 ただし、それ以降は、アクティブな実行が 3 つ未満でない限り、新しい実行はスキップされます。 この値は 1000 を超えることはできません。 この値を 0 に設定すると、すべての新しい実行がスキップされます。 |
|
名前
|
name | string |
ジョブの省略可能な名前。 UTF-8 エンコードの最大長は 4,096 バイトです。 |
|
notification_settings
|
notification_settings | JobsJobNotificationSettings | |
|
parameters
|
parameters | array of JobsJobParameterDefinition |
ジョブ レベルのパラメーター定義 |
|
performance_target
|
performance_target | JobsPerformanceTarget | |
|
キュー
|
queue | JobsQueueSettings | |
|
run_as
|
run_as | JobsJobRunAs | |
|
スケジュール
|
schedule | JobsCronSchedule | |
|
tags
|
tags | object |
ジョブに関連付けられているタグのマップ。 これらはジョブ クラスターのクラスター タグとしてクラスターに転送され、クラスター タグと同じ制限が適用されます。 ジョブには最大 25 個のタグを追加できます。 |
|
tasks
|
tasks | array of JobsTask |
このジョブによって実行されるタスクの仕様の一覧。 書き込みエンドポイント (:method:jobs/create、:method:jobs/reset、:method:jobs/update、:method:jobs/submit) で最大 1000 個の要素をサポートします。 読み取りエンドポイントは、100 個のタスクのみを返します。 100 個を超えるタスクが使用可能な場合は、:method:jobs/get を使用してそれらのタスクをページングできます。 オブジェクト ルートの next_page_token フィールドを使用して、より多くの結果が得られているかどうかを判断します。 |
|
timeout_seconds
|
timeout_seconds | integer |
各ジョブの実行に任意で適用できるタイムアウト。 値 0 は、タイムアウトがないことを意味します。 |
|
トリガ
|
trigger | JobsTriggerSettings | |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobsContinuous
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus |
JobsPauseStatus
JobsJobDeployment
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
kind
|
kind | JobsJobDeploymentKind | |
|
metadata_file_path
|
metadata_file_path | string |
デプロイ メタデータを含むファイルのパス。 |
JobsJobDeploymentKind
JobsJobEditMode
JobsJobEmailNotifications
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
実行の期間が正常性フィールドのRUN_DURATION_SECONDSメトリックに指定されたしきい値を超えたときに通知される電子メール アドレスの一覧。 ジョブの正常性フィールドにRUN_DURATION_SECONDS メトリックのルールが指定されていない場合、通知は送信されません。 |
|
on_failure
|
on_failure | array of string |
実行が正常に完了しなかった場合に通知される電子メール アドレスの一覧。 実行は、INTERNAL_ERROR life_cycle_stateまたは FAILED、またはTIMED_OUT result_stateで終了した場合、正常に完了しなかったと見なされます。 ジョブの作成時、リセット、または更新時にこれが指定されていない場合、リストは空で、通知は送信されません。 |
|
on_start
|
on_start | array of string |
実行の開始時に通知される電子メール アドレスの一覧。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
ストリームのストリーミング バックログしきい値を超えたときに通知する電子メール アドレスの一覧。 ストリーミング バックログのしきい値は、STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDS、STREAMING_BACKLOG_SECONDS、またはSTREAMING_BACKLOG_FILESのメトリックを使用して、正常性フィールドで設定できます。 アラートは、これらのメトリックの 10 分間の平均に基づいています。 問題が解決しない場合、通知は 30 分ごとに再送信されます。 |
|
on_success
|
on_success | array of string |
実行が正常に完了したときに通知される電子メール アドレスの一覧。 TERMINATED life_cycle_stateと SUCCESS result_stateで終了した場合、実行は正常に完了したと見なされます。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
JobsJobEnvironment
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
environment_key
|
environment_key | string |
環境のキー。 ジョブ内で一意である必要があります。 |
|
仕様
|
spec | ComputeEnvironment |
ComputeEnvironment
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
依存関係
|
dependencies | array of string |
この環境の pip のバージョンでサポートされている pip 依存関係の一覧。 各依存関係は、 https://pip.pypa.io/en/stable/reference/requirements-file-format/ごとの有効な pip 要件ファイル行です。 許可される依存関係には、要件指定子、アーカイブ URL、ローカル プロジェクト パス (Azure Databricks の WSFS または UC ボリュームなど)、または VCS プロジェクト URL が含まれます。 |
|
environment_version
|
environment_version | string |
必須。 環境で使用される環境バージョン。 各バージョンには、特定の Python バージョンと一連の Python パッケージが付属しています。 バージョンは、整数で構成される文字列です。 https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versionsを参照してください。 |
JobsGitSource
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
git_branch
|
git_branch | string |
チェックアウトしてこのジョブで使用するブランチの名前。 このフィールドは、git_tagまたはgit_commitと組み合わせて指定することはできません。 |
|
git_commit
|
git_commit | string |
このジョブによってチェックアウトされ、使用されることをコミットします。 このフィールドは、git_branchまたはgit_tagと組み合わせて指定することはできません。 |
|
git_provider
|
git_provider | JobsGitProvider | |
|
git_snapshot
|
git_snapshot | JobsGitSnapshot | |
|
git_tag
|
git_tag | string |
チェックアウトしてこのジョブで使用するタグの名前。 このフィールドは、git_branchまたはgit_commitと組み合わせて指定することはできません。 |
|
git_url
|
git_url | string |
このジョブによって複製されるリポジトリの URL。 |
JobsGitProvider
JobsGitSnapshot
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
used_commit
|
used_commit | string |
実行の実行に使用されたコミット。 git_branchが指定された場合、これは実行時にブランチの HEAD を指します。git_tag指定された場合、これはタグが指すコミットを指します。 |
JobsJobsHealthRules
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
ルール
|
rules | array of JobsJobsHealthRule |
JobsJobsHealthRule
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
メトリック
|
metric | JobsJobsHealthMetric | |
|
オープ
|
op | JobsJobsHealthOperator | |
|
value
|
value | integer |
正常性規則を満たすために正常性メトリックが従う必要があるしきい値を指定します。 |
JobsJobsHealthMetric
JobsJobsHealthOperator
JobsJobCluster
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
job_cluster_key
|
job_cluster_key | string |
ジョブ クラスターの一意の名前。 このフィールドは必須であり、ジョブ内で一意である必要があります。 JobTaskSettings では、このフィールドを参照して、タスク実行用に起動するクラスターを決定できます。 |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
ComputeClusterSpec
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
apply_policy_default_values
|
apply_policy_default_values | boolean |
true に設定すると、省略されたフィールドに対してポリシーの固定値と既定値が使用されます。 false に設定すると、ポリシーの固定値のみが適用されます。 |
|
オートスケール
|
autoscale | ComputeAutoScale | |
|
autotermination_minutes
|
autotermination_minutes | integer |
この時間内に非アクティブになったクラスターは、数分後に自動的に終了します。 設定されていない場合、このクラスターは自動的に終了されません。 指定する場合、しきい値は 10 ~ 10000 分である必要があります。 ユーザーは、この値を 0 に設定して、自動終了を明示的に無効にすることもできます。 |
|
azure_attributes
|
azure_attributes | ComputeAzureAttributes | |
|
cluster_log_conf
|
cluster_log_conf | ComputeClusterLogConf | |
|
クラスター名
|
cluster_name | string |
ユーザーによって要求されたクラスター名。 これは一意である必要はありません。 作成時に指定しない場合、クラスター名は空の文字列になります。 ジョブ クラスターの場合、クラスター名はジョブとジョブ実行 ID に基づいて自動的に設定されます。 |
|
custom_tags
|
custom_tags | object |
クラスター リソースの追加タグ。 Azure Databricks では、default_tagsに加えて、すべてのクラスター リソース (AWS インスタンスや EBS ボリュームなど) にこれらのタグが付けられます。 注: - 現在、Azure Databricks では最大 45 個のカスタム タグを使用できます。クラスターは、リソースのタグがクラスター タグのサブセットである場合にのみクラウド リソースを再利用できます |
|
data_security_mode
|
data_security_mode | ComputeDataSecurityMode | |
|
docker_image
|
docker_image | ComputeDockerImage | |
|
driver_instance_pool_id
|
driver_instance_pool_id | string |
クラスターのドライバーが属するインスタンス プールのオプションの ID。 ドライバー プールが割り当てられない場合、プール クラスターは ID (instance_pool_id) のインスタンス プールを使用します。 |
|
driver_node_type_id
|
driver_node_type_id | string |
Spark ドライバーのノードの種類。 このフィールドは省略可能です。未設定の場合、ドライバー ノードの種類は、上記で定義node_type_id同じ値として設定されます。 このフィールドは、node_type_idと共に、virtual_cluster_sizeが設定されている場合は設定しないでください。 driver_node_type_id、node_type_id、およびvirtual_cluster_sizeの両方が指定されている場合は、driver_node_type_idとnode_type_idが優先されます。 |
|
enable_elastic_disk
|
enable_elastic_disk | boolean |
ローカル ストレージの自動スケール: 有効にすると、Spark ワーカーのディスク領域が不足しているときに、このクラスターによって追加のディスク領域が動的に取得されます。 この機能を使用するには、特定の AWS アクセス許可が正しく機能する必要があります。詳細については、ユーザー ガイドを参照してください。 |
|
enable_local_disk_encryption
|
enable_local_disk_encryption | boolean |
クラスター VM のローカル ディスクで LUKS を有効にするかどうか |
|
init_scripts
|
init_scripts | array of ComputeInitScriptInfo |
init スクリプトを保存するための構成。 任意の数の宛先を指定できます。 スクリプトは、指定された順序で順番に実行されます。 cluster_log_confが指定されている場合、init スクリプト ログは <destination>/<cluster-ID>/init_scripts に送信されます。 |
|
instance_pool_id
|
instance_pool_id | string |
クラスターが属するインスタンス プールの省略可能な ID。 |
|
is_single_node
|
is_single_node | boolean |
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。 true に設定すると、Azure Databricks は、custom_tags、spark_conf、およびnum_workersに関連する単一ノードを自動的に設定します。 |
|
kind
|
kind | ComputeKind | |
|
node_type_id
|
node_type_id | string |
このフィールドは、単一の値を通じて使用されるリソースをこのクラスターのそれぞれの Spark ノードにエンコードします。 たとえば、Spark ノードはメモリまたはコンピューティング集約型ワークロード用にプロビジョニングされ、最適化されます。 使用可能なノードの種類の一覧は、:method:clusters/listNodeTypes API 呼び出しを使用して取得できます。 |
|
num_workers
|
num_workers | integer |
このクラスターに属するワーカー ノードの数。 クラスターには、1 つの Spark Driver と num_workers Executor があり、合計で num_workers + 1 Spark ノードが含まれます。 注: クラスターのプロパティを読み取る場合、このフィールドには、実際の現在のワーカー数ではなく、必要なワーカー数が反映されます。 たとえば、クラスターのサイズが 5 から 10 個のワーカーに変更された場合、このフィールドはすぐに更新され、10 個のワーカーのターゲット サイズが反映されます。一方、spark_infoに一覧表示されているワーカーは、新しいノードがプロビジョニングされるときに徐々に 5 から 10 に増加します。 |
|
policy_id
|
policy_id | string |
クラスターの作成に使用されるクラスター ポリシーの ID (該当する場合)。 |
|
runtime_engine
|
runtime_engine | ComputeRuntimeEngine | |
|
single_user_name
|
single_user_name | string |
data_security_modeがSINGLE_USERされている場合の単一ユーザー名 |
|
spark_conf
|
spark_conf | object |
省略可能なユーザー指定の Spark 構成キーと値のペアのセットを含んでいるオブジェクト。 ユーザーは、spark.driver.extraJavaOptions と spark.executor.extraJavaOptions をそれぞれ使用して、ドライバーと Executors に追加の JVM オプションの文字列を渡すこともできます。 |
|
spark_env_vars
|
spark_env_vars | object |
省略可能な、ユーザー指定の環境変数のキーと値のペアのセットを含んでいるオブジェクト。 ドライバーとワーカーを起動すると、フォーム (X,Y) のキーと値のペアがそのままエクスポートされることに注意してください (つまり、X='Y' をエクスポートします)。 SPARK_DAEMON_JAVA_OPTSの追加セットを指定するには、次の例に示すように、$SPARK_DAEMON_JAVA_OPTS に追加することをお勧めします。 これにより、すべての既定の databricks マネージド環境変数も確実に含まれます。 Spark 環境変数の例: {"SPARK_WORKER_MEMORY": "28000m"、"SPARK_LOCAL_DIRS": "/local_disk0"} または {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"} |
|
spark_version
|
spark_version | string |
クラスターの Spark バージョン (例: 3.3.x-scala2.11)。 使用可能な Spark バージョンの一覧は、:method:clusters/sparkVersions API 呼び出しを使用して取得できます。 |
|
ssh_public_keys
|
ssh_public_keys | array of string |
このクラスター内の各 Spark ノードに追加される SSH 公開キーの内容。 対応する秘密キーを使用して、ポート 2200 のユーザー名 ubuntu でログインできます。 最大 10 個のキーを指定できます。 |
|
use_ml_runtime
|
use_ml_runtime | boolean |
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。 effective_spark_versionは、spark_version (DBR リリース)、このフィールドuse_ml_runtime、およびnode_type_idが gpu ノードかどうかを決定します。 |
|
workload_type
|
workload_type | ComputeWorkloadType |
ComputeAutoScale
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
max_workers
|
max_workers | integer |
オーバーロード時にクラスターをスケールアップできるワーカーの最大数。 max_workersはmin_workersより厳密に大きくする必要があることに注意してください。 |
|
min_workers
|
min_workers | integer |
使用率が低い場合にクラスターをスケールダウンできるワーカーの最小数。 これは、作成後にクラスターに含まれるワーカーの初期数でもあります。 |
ComputeAzureAttributes
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
可用性
|
availability | ComputeAzureAvailability | |
|
first_on_demand
|
first_on_demand | integer |
クラスターの最初のfirst_on_demand ノードは、オンデマンド インスタンスに配置されます。 クラスター ドライバー ノードがオンデマンド インスタンスに配置されるようにするには、この値を 0 より大きくする必要があります。 この値が現在のクラスター サイズ以上の場合、すべてのノードがオンデマンド インスタンスに配置されます。 この値が現在のクラスター サイズより小さい場合、first_on_demandノードはオンデマンド インスタンスに配置され、残りは可用性インスタンスに配置されます。 この値はクラスター サイズには影響せず、クラスターの有効期間中は現在変更できないことに注意してください。 |
|
log_analytics_info
|
log_analytics_info | ComputeLogAnalyticsInfo | |
|
spot_bid_max_price
|
spot_bid_max_price | double |
Azure スポット インスタンスに使用される最大入札価格。 入札の最大価格は、インスタンスのオンデマンド価格より高くすることはできません。 指定しない場合、既定値は -1 で、インスタンスは価格に基づいて削除できず、可用性に基づいてのみ削除できないことを指定します。 さらに、値は 0 または -1 > する必要があります。 |
ComputeAzureAvailability
ComputeLogAnalyticsInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
log_analytics_primary_key
|
log_analytics_primary_key | string | |
|
log_analytics_workspace_id
|
log_analytics_workspace_id | string |
ComputeClusterLogConf
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
dbfs
|
dbfs | ComputeDbfsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo |
ComputeDbfsStorageInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コピー先
|
destination | string |
dbfs 変換先 (例: dbfs:/my/path) |
ComputeVolumesStorageInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コピー先
|
destination | string |
UC ボリューム変換先 (例: /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh または dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh |
ComputeDataSecurityMode
ComputeDockerImage
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
basic_auth
|
basic_auth | ComputeDockerBasicAuth | |
|
URL
|
url | string |
Docker イメージの URL。 |
ComputeDockerBasicAuth
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
パスワード
|
password | string |
ユーザーのパスワード |
|
ユーザー名
|
username | string |
ユーザーの名前 |
ComputeInitScriptInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
abfss
|
abfss | ComputeAdlsgen2Info | |
|
ファイル
|
file | ComputeLocalFileInfo | |
|
gcs
|
gcs | ComputeGcsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo | |
|
ワークスペース
|
workspace | ComputeWorkspaceStorageInfo |
ComputeAdlsgen2Info
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コピー先
|
destination | string |
abfss 変換先 (例: abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<directory-name>。 |
ComputeLocalFileInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コピー先
|
destination | string |
ローカル ファイル変換先 (file:/my/local/file.sh など) |
ComputeGcsStorageInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コピー先
|
destination | string |
GCS の宛先/URI (例: gs://my-bucket/some-prefix) |
ComputeWorkspaceStorageInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コピー先
|
destination | string |
wsfs 変換先 (例: workspace:/cluster-init-scripts/setup-datadog.sh |
ComputeKind
ComputeRuntimeEngine
ComputeWorkloadType
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
clients
|
clients | ComputeClientsTypes |
ComputeClientsTypes
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
jobs
|
jobs | boolean |
ジョブが設定されている場合、クラスターをジョブに使用できます |
|
ノートブック
|
notebooks | boolean |
ノートブックを設定すると、このクラスターをノートブックに使用できます |
JobsJobNotificationSettings
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
true の場合、実行が取り消された場合は、on_failureで指定された受信者に通知を送信しないでください。 |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
true の場合、実行がスキップされた場合は、on_failureで指定された受信者に通知を送信しないでください。 |
JobsJobParameterDefinition
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
デフォルト
|
default | string |
パラメータのデフォルト値。 |
|
名前
|
name | string |
定義されたパラメーターの名前。 英数字、_、-、および . |
JobsJobRunAs
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
service_principal_name
|
service_principal_name | string |
アクティブなサービス プリンシパルのアプリケーション ID。 このフィールドを設定するには、servicePrincipal/user ロールが必要です。 |
|
user_name
|
user_name | string |
アクティブなワークスペース ユーザーの電子メール。 管理者以外のユーザーは、このフィールドを自分のメールにのみ設定できます。 |
JobsCronSchedule
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus | |
|
quartz_cron_expression
|
quartz_cron_expression | string |
ジョブのスケジュールを記述する Quartz 構文を使用した Cron 式。 詳細については、 Cron トリガー を参照してください。 これは必須フィールドです。 |
|
timezone_id
|
timezone_id | string |
Java タイムゾーン ID。 ジョブのスケジュールは、このタイムゾーンに関して解決されます。 詳細については 、Java TimeZone を参照してください。 これは必須フィールドです。 |
JobsTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
condition_task
|
condition_task | JobsConditionTask | |
|
dashboard_task
|
dashboard_task | JobsDashboardTask | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
タスクの依存関係グラフを指定するオブジェクトの省略可能な配列。 このフィールドで指定されたすべてのタスクは、このタスクを実行する前に完了する必要があります。 タスクは、run_if条件が true の場合にのみ実行されます。 キーはtask_keyされ、値は依存タスクに割り当てられた名前です。 |
|
説明
|
description | string |
このタスクの説明 (省略可能)。 |
|
disable_auto_optimization
|
disable_auto_optimization | boolean |
サーバーレスで自動最適化を無効にするオプション |
|
email_notifications
|
email_notifications | JobsTaskEmailNotifications | |
|
environment_key
|
environment_key | string |
ジョブ内の環境仕様を参照するキー。 このフィールドは、サーバーレス コンピューティングを使用する場合に、Python スクリプト、Python ホイール、および dbt タスクに必要です。 |
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id場合、すべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブまたはタスクを実行する場合、応答が停止した場合は、クラスターを手動で再起動することが必要になる場合があります。 信頼性を高める目的で、新しいクラスターでジョブとタスクを実行することをお勧めします |
|
for_each_task
|
for_each_task | JobsForEachTask | |
|
正常性
|
health | JobsJobsHealthRules | |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key場合、このタスクは、job.settings.job_clustersで指定されたクラスターを再利用して実行されます。 |
|
libraries
|
libraries | array of ComputeLibrary |
クラスターにインストールするライブラリの省略可能な一覧。 既定値は空のリストです。 |
|
max_retries
|
max_retries | integer |
失敗した実行を再試行する最大回数 (省略可能)。 FAILED result_stateまたはINTERNAL_ERROR life_cycle_stateで完了した場合、実行は失敗したと見なされます。 -1 値は無期限に再試行することを意味し、値 0 は再試行を行わないという意味です。 |
|
min_retry_interval_millis
|
min_retry_interval_millis | integer |
失敗した実行の開始から後続の再試行までの間隔 (ミリ秒単位) (省略可能)。 既定の動作では、失敗した実行は直ちに再試行されます。 |
|
new_cluster
|
new_cluster | ComputeClusterSpec | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | JobsTaskNotificationSettings | |
|
pipeline_task
|
pipeline_task | JobsPipelineTask | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | JobsPythonWheelTask | |
|
retry_on_timeout
|
retry_on_timeout | boolean |
タイムアウト時にジョブを再試行するかどうかを指定するオプションのポリシー。既定の動作では、タイムアウト時に再試行されません。 |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
spark_jar_task
|
spark_jar_task | JobsSparkJarTask | |
|
spark_python_task
|
spark_python_task | JobsSparkPythonTask | |
|
spark_submit_task
|
spark_submit_task | JobsSparkSubmitTask | |
|
sql_task
|
sql_task | Object | |
|
task_key
|
task_key | string |
タスクの一意の名前。 このフィールドは、他のタスクからこのタスクを参照するために使用されます。 このフィールドは必須であり、親ジョブ内で一意である必要があります。 [更新] または [リセット] では、このフィールドを使用して、更新またはリセットするタスクを参照します。 |
|
timeout_seconds
|
timeout_seconds | integer |
このジョブ タスクの各実行に適用される省略可能なタイムアウト。 値 0 は、タイムアウトがないことを意味します。 |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobsConditionTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
left
|
left | string |
条件タスクの左オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。 |
|
オープ
|
op | JobsConditionTaskOp | |
|
右
|
right | string |
条件タスクの右オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。 |
JobsConditionTaskOp
JobsDashboardTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
dashboard_id
|
dashboard_id | string |
更新するダッシュボードの識別子。 |
|
サブスクリプション
|
subscription | JobsSubscription | |
|
warehouse_id
|
warehouse_id | string |
省略可能: スケジュールに対してダッシュボードを実行するウェアハウス ID。 指定しない場合は、ダッシュボードの既定のウェアハウスが使用されます。 |
JobsSubscription
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
custom_subject
|
custom_subject | string |
省略可能: サブスクライバーに送信される電子メールのカスタム件名行をユーザーが指定できるようにします。 |
|
一時 停止
|
paused | boolean |
true の場合、サブスクリプションは電子メールを送信しません。 |
|
サブスクライバー
|
subscribers | array of JobsSubscriptionSubscriber |
ダッシュボードのスナップショットを送信するサブスクライバーの一覧。 |
JobsSubscriptionSubscriber
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
destination_id
|
destination_id | string |
destination_id フィールドが存在すると、ダッシュボードのスナップショットが宛先に送信されます。 |
|
user_name
|
user_name | string |
user_name フィールドが存在すると、ダッシュボードのスナップショットがユーザーの電子メールに送信されます。 |
JobsSource
JobsTaskDependency
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
結果
|
outcome | string |
条件タスクの依存関係でのみ指定できます。 このタスクを実行するために満たす必要がある依存タスクの結果。 |
|
task_key
|
task_key | string |
このタスクが依存するタスクの名前。 |
JobsTaskEmailNotifications
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
実行の期間が正常性フィールドのRUN_DURATION_SECONDSメトリックに指定されたしきい値を超えたときに通知される電子メール アドレスの一覧。 ジョブの正常性フィールドにRUN_DURATION_SECONDS メトリックのルールが指定されていない場合、通知は送信されません。 |
|
on_failure
|
on_failure | array of string |
実行が正常に完了しなかった場合に通知される電子メール アドレスの一覧。 実行は、INTERNAL_ERROR life_cycle_stateまたは FAILED、またはTIMED_OUT result_stateで終了した場合、正常に完了しなかったと見なされます。 ジョブの作成時、リセット、または更新時にこれが指定されていない場合、リストは空で、通知は送信されません。 |
|
on_start
|
on_start | array of string |
実行の開始時に通知される電子メール アドレスの一覧。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
ストリームのストリーミング バックログしきい値を超えたときに通知する電子メール アドレスの一覧。 ストリーミング バックログのしきい値は、STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDS、STREAMING_BACKLOG_SECONDS、またはSTREAMING_BACKLOG_FILESのメトリックを使用して、正常性フィールドで設定できます。 アラートは、これらのメトリックの 10 分間の平均に基づいています。 問題が解決しない場合、通知は 30 分ごとに再送信されます。 |
|
on_success
|
on_success | array of string |
実行が正常に完了したときに通知される電子メール アドレスの一覧。 TERMINATED life_cycle_stateと SUCCESS result_stateで終了した場合、実行は正常に完了したと見なされます。 ジョブの作成時、リセット時、または更新時に指定しない場合、リストは空になり、通知は送信されません。 |
ComputeLibrary
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
クラン
|
cran | ComputeRCranLibrary | |
|
瓶
|
jar | string |
インストールする JAR ライブラリの URI。 サポートされている URI には、ワークスペース パス、Unity カタログ ボリューム パス、ADLS URI が含まれます。 例: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } または { "jar": "abfss://my-bucket/library.jar" }。 ADLS が使用されている場合は、クラスターがライブラリに対する読み取りアクセス権を持っていることを確認してください。 ADLS URI にアクセスするには、Microsoft Entra ID サービス プリンシパルを使用してクラスターを起動することが必要な場合があります。 |
|
maven
|
maven | ComputeMavenLibrary | |
|
pypi
|
pypi | ComputePythonPyPiLibrary | |
|
requirements
|
requirements | string |
インストールする requirements.txt ファイルの URI。 ワークスペース パスと Unity カタログ ボリューム パスのみがサポートされています。 例: { "requirements": "/Workspace/path/to/requirements.txt" } または { "requirements" : "/Volumes/path/to/requirements.txt" } |
|
whl
|
whl | string |
インストールするホイール ライブラリの URI。 サポートされている URI には、ワークスペース パス、Unity カタログ ボリューム パス、ADLS URI が含まれます。 例: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } または { "whl": "abfss://my-bucket/library.whl" }。 ADLS が使用されている場合は、クラスターがライブラリに対する読み取りアクセス権を持っていることを確認してください。 ADLS URI にアクセスするには、Microsoft Entra ID サービス プリンシパルを使用してクラスターを起動することが必要な場合があります。 |
JobsForEachTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コンカレンシー
|
concurrency | integer |
タスクの同時実行の最大数 (省略可能)。 タスクの複数の実行を同時に実行できるようにする場合は、この値を設定します。 |
|
入力
|
inputs | string |
繰り返し処理するタスクの配列。 JSON 文字列または配列パラメーターへの参照を指定できます。 |
|
タスク
|
task | Object |
ComputeRCranLibrary
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
パッケージ
|
package | string |
インストールする CRAN パッケージの名前。 |
|
リポジトリ
|
repo | string |
パッケージが見つかるリポジトリ。 指定しない場合は、既定の CRAN リポジトリが使用されます。 |
ComputeMavenLibrary
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
座標
|
coordinates | string |
Gradle スタイルの Maven 座標。 例: "org.jsoup:jsoup:1.7.2"。 |
|
除外
|
exclusions | array of string |
除外する依存関係の一覧。 例: ["slf4j:slf4j", "*:hadoop-client". Maven 依存関係の除外: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html。 |
|
リポジトリ
|
repo | string |
Maven パッケージをインストールする Maven リポジトリ。 省略すると、Maven Central リポジトリと Spark パッケージの両方が検索されます。 |
ComputePythonPyPiLibrary
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
パッケージ
|
package | string |
インストールする pypi パッケージの名前。 オプションの正確なバージョン仕様もサポートされています。 例: "simplejson" と "simplejson==3.8.0"。 |
|
リポジトリ
|
repo | string |
パッケージが見つかるリポジトリ。 指定しない場合は、既定の pip インデックスが使用されます。 |
JobsNotebookTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
このジョブの実行ごとに使用される基本パラメーター。 パラメーターを指定して :method:jobs/run Now の呼び出しによって実行が開始された場合、2 つのパラメーター マップがマージされます。 base_parametersと run-now で同じキーが指定されている場合は、run-now の値が使用されます。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。 ノートブックがジョブのbase_parametersで指定されていないパラメーターを受け取るか、または run-now オーバーライド パラメーターを受け取る場合、ノートブックの既定値が使用されます。 dbutils.widgets.get を使用して、ノートブックでこれらのパラメーターを取得します。 このフィールドの JSON 表現は 1 MB を超えることはできません。 |
|
notebook_path
|
notebook_path | string |
Azure Databricks ワークスペースまたはリモート リポジトリで実行するノートブックのパス。 Azure Databricks ワークスペースに格納されているノートブックの場合、パスは絶対パスで、スラッシュで始まる必要があります。 リモート リポジトリに格納されているノートブックの場合、パスは相対パスである必要があります。 これは必須フィールドです。 |
|
ソース
|
source | JobsSource | |
|
warehouse_id
|
warehouse_id | string |
SQL ウェアハウスでノートブックを実行するための省略可能なwarehouse_id。 従来の SQL ウェアハウスはサポートされていません。サーバーレスまたはプロの SQL ウェアハウスを使用してください。 SQL ウェアハウスでは SQL セルのみがサポートされることに注意してください。ノートブックに SQL 以外のセルが含まれている場合、実行は失敗します。 |
JobsTaskNotificationSettings
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
alert_on_last_attempt
|
alert_on_last_attempt | boolean |
true の場合、再試行された実行のon_startで指定された受信者に通知を送信せず、実行の最後の再試行まで、on_failureで指定された受信者に通知を送信しません。 |
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
true の場合、実行が取り消された場合は、on_failureで指定された受信者に通知を送信しないでください。 |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
true の場合、実行がスキップされた場合は、on_failureで指定された受信者に通知を送信しないでください。 |
JobsPipelineTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
true の場合、差分ライブ テーブルで完全更新がトリガーされます。 |
|
pipeline_id
|
pipeline_id | string |
実行するパイプライン タスクの完全な名前。 |
JobsPythonWheelTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
entry_point
|
entry_point | string |
使用する名前付きエントリ ポイントがパッケージのメタデータに存在しない場合は、$packageName.$entryPoint() を使用してパッケージから直接関数を実行します。 |
|
named_parameters
|
named_parameters | object |
Python wheel タスクに渡されるコマンド ライン パラメーターは、["--name=task", "--data=dbfs:/path/to/data.json"] の形式です。 パラメーターが null でない場合は空のままにします。 |
|
package_name
|
package_name | string |
実行するパッケージの名前 |
|
parameters
|
parameters | array of string |
Python ホイール タスクに渡されるコマンド ライン パラメーター。 named_parametersが null でない場合は空のままにします。 |
JobsRunIf
JobsRunJobTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
job_id
|
job_id | integer |
トリガーするジョブの ID。 |
|
job_parameters
|
job_parameters | object |
ジョブをトリガーするために使用されるジョブ レベルのパラメーター。 |
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
JobsSparkJarTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
main_class_name
|
main_class_name | string |
実行される main メソッドを含むクラスのフル ネーム。 このクラスは、ライブラリとして提供される JAR に含まれている必要があります。 このコードでは、Spark コンテキストを取得するために SparkContext.getOrCreate を使用する必要があります。それ以外の場合、ジョブの実行は失敗します。 |
|
parameters
|
parameters | array of string |
main メソッドに渡されるパラメーター。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。 |
JobsSparkPythonTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Python ファイルに渡されるコマンド ライン パラメーター。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。 |
|
python_file
|
python_file | string |
実行する Python ファイル。 クラウド ファイル URI (dbfs:/、s3:/、adls:/、gcs:/など) とワークスペース パスがサポートされています。 Azure Databricks ワークスペースに格納されている Python ファイルの場合、パスは絶対パスで始まる必要があります。 リモート リポジトリに格納されているファイルの場合、パスは相対パスである必要があります。 これは必須フィールドです。 |
|
ソース
|
source | JobsSource |
JobsSparkSubmitTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Spark 送信に渡されるコマンド ライン パラメーター。 Task パラメーター変数を使用して、ジョブの実行に関する情報を含むパラメーターを設定します。 |
JobsWebhookNotifications
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of JobsWebhook |
実行の継続時間が正常性フィールドのRUN_DURATION_SECONDSメトリックに指定されたしきい値を超えたときに呼び出すシステム通知 ID のオプションリスト。 on_duration_warning_threshold_exceeded プロパティには、最大 3 つの宛先を指定できます。 |
|
on_failure
|
on_failure | array of JobsWebhook |
実行が失敗したときに呼び出すシステム通知 ID のオプションの一覧。 on_failure プロパティには、最大 3 つの宛先を指定できます。 |
|
on_start
|
on_start | array of JobsWebhook |
実行の開始時に呼び出すシステム通知 ID のオプションの一覧。 on_start プロパティには、最大 3 つの宛先を指定できます。 |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of JobsWebhook |
任意のストリームでストリーミング バックログのしきい値を超えたときに呼び出すシステム通知 ID のオプションの一覧。 ストリーミング バックログのしきい値は、STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDS、STREAMING_BACKLOG_SECONDS、またはSTREAMING_BACKLOG_FILESのメトリックを使用して、正常性フィールドで設定できます。 アラートは、これらのメトリックの 10 分間の平均に基づいています。 問題が解決しない場合、通知は 30 分ごとに再送信されます。 on_streaming_backlog_exceeded プロパティには、最大 3 つの宛先を指定できます。 |
|
on_success
|
on_success | array of JobsWebhook |
実行が正常に完了したときに呼び出すシステム通知 ID のオプションの一覧。 on_success プロパティには、最大 3 つの宛先を指定できます。 |
JobsWebhook
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
id
|
id | string |
JobsTriggerSettings
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerConfiguration | |
|
pause_status
|
pause_status | JobsPauseStatus | |
|
周期的
|
periodic | JobsPeriodicTriggerConfiguration |
JobsFileArrivalTriggerConfiguration
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
min_time_between_triggers_seconds
|
min_time_between_triggers_seconds | integer |
設定した場合、トリガーは、最後にトリガーが起動されてから指定した時間が経過した後にのみ実行を開始します。 最小値は 60 秒です |
|
URL
|
url | string |
ファイルの到着を監視する URL。 パスは、ルートまたは外部の場所のサブパスを指している必要があります。 |
|
wait_after_last_change_seconds
|
wait_after_last_change_seconds | integer |
設定した場合、トリガーは、指定した時間だけファイル アクティビティが発生しなかった後にのみ実行を開始します。 これにより、実行をトリガーする前に、受信ファイルのバッチが到着するのを待機できます。 最小値は 60 秒です。 |
JobsPeriodicTriggerConfiguration
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
サイクル間隔
|
interval | integer |
トリガーを実行する間隔。 |
|
ユニット
|
unit | JobsPeriodicTriggerConfigurationTimeUnit |
JobsPeriodicTriggerConfigurationTimeUnit
JobsTriggerStateProto
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerState |
JobsFileArrivalTriggerState
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
using_file_events
|
using_file_events | boolean |
トリガーがファイル イベントを利用してファイルの到着を検出するかどうかを示します。 |
JobsRun
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
トリガーされたジョブ実行に対するこの実行試行のシーケンス番号。 実行の最初の試行のattempt_numberは 0 です。 最初の実行試行が失敗し、ジョブに再試行ポリシー (max_retries > 0) がある場合、後続の実行は、元の試行の ID と増分attempt_numberのoriginal_attempt_run_idで作成されます。 実行は成功するまで再試行され、最大attempt_numberはジョブのmax_retries値と同じです。 |
|
cleanup_duration
|
cleanup_duration | integer |
クラスターを終了し、関連付けられている成果物をクリーンアップするのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、cleanup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。 |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
cluster_spec
|
cluster_spec | JobsClusterSpec | |
|
creator_user_name
|
creator_user_name | string |
作成者ユーザー名。 ユーザーが既に削除されている場合、このフィールドは応答に含まれません。 |
|
説明
|
description | string |
実行の説明 |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
end_time
|
end_time | integer |
この実行がエポック ミリ秒単位 (1970 年 1 月 1 日 UTC からミリ秒) で終了した時刻。 ジョブがまだ実行されている場合、このフィールドは 0 に設定されます。 |
|
execution_duration
|
execution_duration | integer |
完了、失敗、タイムアウト、取り消し、または予期しないエラーが発生するまで、JAR またはノートブックでコマンドを実行するのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、execution_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。 |
|
git_source
|
git_source | JobsGitSource | |
|
has_more
|
has_more | boolean |
実行に、表示されない配列プロパティ (タスク、job_clusters) が追加されているかどうかを示します。 これらは、:method:jobs/getrun エンドポイントを使用してアクセスできます。 これは、expand_tasks=true の API 2.2 :method:jobs/listruns 要求にのみ関連します。 |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
このジョブのタスクで共有および再利用できるジョブ クラスター仕様の一覧。 共有ジョブ クラスターでライブラリを宣言することはできません。 タスク設定で依存ライブラリを宣言する必要があります。 100 個を超えるジョブ クラスターが使用可能な場合は、:method:jobs/getrun を使用してそれらのクラスターをページングできます。 |
|
job_id
|
job_id | integer |
この実行を含むジョブの正規識別子。 |
|
job_parameters
|
job_parameters | array of JobsJobParameter |
実行で使用されるジョブ レベルのパラメーター |
|
job_run_id
|
job_run_id | integer |
この実行が属するジョブ実行の ID。 レガシ ジョブと単一タスク ジョブ実行の場合、フィールドにはジョブ実行 ID が設定されます。 タスク実行の場合、フィールドには、タスク実行が属しているジョブ実行の ID が設定されます。 |
|
next_page_token
|
next_page_token | string |
配列プロパティの次のページを一覧表示するために使用できるトークン。 |
|
original_attempt_run_id
|
original_attempt_run_id | integer |
この実行が前の実行試行の再試行である場合、このフィールドには元の試行のrun_idが含まれます。それ以外の場合は、run_idと同じです。 |
|
overriding_parameters
|
overriding_parameters | JobsRunParameters | |
|
queue_duration
|
queue_duration | integer |
実行がキューに費やした時間 (ミリ秒単位)。 |
|
repair_history
|
repair_history | array of JobsRepairHistoryItem |
実行の修復履歴。 |
|
run_duration
|
run_duration | integer |
ジョブの実行とそのすべての修復が完了するまでの時間 (ミリ秒)。 |
|
run_id
|
run_id | integer |
実行の正規識別子。 この ID は、すべてのジョブのすべての実行で一意です。 |
|
run_name
|
run_name | string |
実行の省略可能な名前。 UTF-8 エンコードの最大長は 4,096 バイトです。 |
|
run_page_url
|
run_page_url | string |
実行の詳細ページへの URL。 |
|
実行タイプ
|
run_type | JobsRunType | |
|
スケジュール
|
schedule | JobsCronSchedule | |
|
setup_duration
|
setup_duration | integer |
クラスターのセットアップにかかった時間 (ミリ秒単位)。 新しいクラスターで実行される実行の場合、これはクラスターの作成時刻です。既存のクラスターで実行される実行の場合、今回は非常に短い必要があります。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、setup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。 |
|
開始時間
|
start_time | integer |
この実行がエポック ミリ秒単位で開始された時刻 (1970 年 1 月 1 日 UTC からのミリ秒)。 これは、ジョブ タスクの実行を開始する時刻ではない可能性があります。たとえば、ジョブが新しいクラスターで実行されるようにスケジュールされている場合、これはクラスター作成呼び出しが発行された時刻です。 |
|
状態
|
status | JobsRunStatus | |
|
tasks
|
tasks | array of JobsRunTask |
実行によって実行されるタスクの一覧。 各タスクには、JobsGetOutput を呼び出して実行 resutls を取得するために使用できる独自のrun_idがあります。 100 個を超えるタスクが使用可能な場合は、:method:jobs/getrun を使用してそれらのタスクを改ページ処理できます。 オブジェクト ルートの next_page_token フィールドを使用して、より多くの結果が得られているかどうかを判断します。 |
|
トリガ
|
trigger | JobsTriggerType | |
|
trigger_info
|
trigger_info | JobsTriggerInfo |
JobsClusterInstance
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
cluster_id
|
cluster_id | string |
実行で使用されるクラスターの正規識別子。 このフィールドは、既存のクラスターでの実行に常に使用できます。 新しいクラスターでの実行では、クラスターが作成されると使用可能になります。 この値を使用すると、/#setting/sparkui/$cluster_id/driver-logs を参照してログを表示できます。 ログは、実行が完了した後も引き続き使用できます。 識別子がまだ使用できない場合、応答にはこのフィールドは含まれません。 |
|
spark_context_id
|
spark_context_id | string |
実行で使用される Spark コンテキストの正規識別子。 このフィールドは、実行が開始されると入力されます。 この値を使用して、/#setting/sparkui/$cluster_id/$spark_context_id を参照して Spark UI を表示できます。 Spark UI は、実行が完了した後も引き続き使用できます。 識別子がまだ使用できない場合、応答にはこのフィールドは含まれません。 |
JobsClusterSpec
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id場合、すべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブまたはタスクを実行する場合、応答が停止した場合は、クラスターを手動で再起動することが必要になる場合があります。 信頼性を高める目的で、新しいクラスターでジョブとタスクを実行することをお勧めします |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key場合、このタスクは、job.settings.job_clustersで指定されたクラスターを再利用して実行されます。 |
|
libraries
|
libraries | array of ComputeLibrary |
クラスターにインストールするライブラリの省略可能な一覧。 既定値は空のリストです。 |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
JobsJobParameter
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
デフォルト
|
default | string |
パラメーターの省略可能な既定値 |
|
名前
|
name | string |
パラメーターの名前 |
|
value
|
value | string |
実行で使用される値 |
JobsRunParameters
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
JobsRepairHistoryItem
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
end_time
|
end_time | integer |
(修復された) 実行の終了時刻。 |
|
id
|
id | integer |
修復の ID。 repair_historyの修復を表す項目に対してのみ返されます。 |
|
開始時間
|
start_time | integer |
(修復された) 実行の開始時刻。 |
|
状態
|
status | JobsRunStatus | |
|
task_run_ids
|
task_run_ids | array of integer |
この修復履歴項目の一部として実行されたタスク実行の実行 ID。 |
|
型
|
type | JobsRepairHistoryItemType |
JobsRunStatus
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
queue_details
|
queue_details | JobsQueueDetails | |
|
状態
|
state | JobsRunLifecycleStateV2State | |
|
termination_details
|
termination_details | JobsTerminationDetails |
JobsQueueDetails
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コード
|
code | JobsQueueDetailsCodeCode | |
|
メッセージ
|
message | string |
キューの詳細を含む説明メッセージ。 このフィールドは非構造化であり、その正確な形式は変更される可能性があります。 |
JobsQueueDetailsCodeCode
JobsRunLifecycleStateV2State
JobsTerminationDetails
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
コード
|
code | JobsTerminationCodeCode | |
|
メッセージ
|
message | string |
終了の詳細を含む説明メッセージ。 このフィールドは非構造化であり、形式が変更される可能性があります。 |
|
型
|
type | JobsTerminationTypeType |
JobsTerminationCodeCode
JobsTerminationTypeType
JobsRepairHistoryItemType
JobsRunType
JobsRunTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
トリガーされたジョブ実行に対するこの実行試行のシーケンス番号。 実行の最初の試行のattempt_numberは 0 です。 最初の実行試行が失敗し、ジョブに再試行ポリシー (max_retries > 0) がある場合、後続の実行は、元の試行の ID と増分attempt_numberのoriginal_attempt_run_idで作成されます。 実行は成功するまで再試行され、最大attempt_numberはジョブのmax_retries値と同じです。 |
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
cleanup_duration
|
cleanup_duration | integer |
クラスターを終了し、関連付けられている成果物をクリーンアップするのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、cleanup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。 |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
condition_task
|
condition_task | JobsRunConditionTask | |
|
dashboard_task
|
dashboard_task | Object | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
タスクの依存関係グラフを指定するオブジェクトの省略可能な配列。 このフィールドで指定されたすべてのタスクは、このタスクを実行する前に正常に完了する必要があります。 キーはtask_keyされ、値は依存タスクに割り当てられた名前です。 |
|
説明
|
description | string |
このタスクの説明 (省略可能)。 |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
end_time
|
end_time | integer |
この実行がエポック ミリ秒単位 (1970 年 1 月 1 日 UTC からミリ秒) で終了した時刻。 ジョブがまだ実行されている場合、このフィールドは 0 に設定されます。 |
|
environment_key
|
environment_key | string |
ジョブ内の環境仕様を参照するキー。 このフィールドは、サーバーレス コンピューティングを使用する場合に、Python スクリプト、Python ホイール、および dbt タスクに必要です。 |
|
execution_duration
|
execution_duration | integer |
完了、失敗、タイムアウト、取り消し、または予期しないエラーが発生するまで、JAR またはノートブックでコマンドを実行するのにかかった時間 (ミリ秒単位)。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、execution_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。 |
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id場合、すべての実行に使用される既存のクラスターの ID。 既存のクラスターでジョブまたはタスクを実行する場合、応答が停止した場合は、クラスターを手動で再起動することが必要になる場合があります。 信頼性を高める目的で、新しいクラスターでジョブとタスクを実行することをお勧めします |
|
for_each_task
|
for_each_task | Object | |
|
git_source
|
git_source | JobsGitSource | |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key場合、このタスクは、job.settings.job_clustersで指定されたクラスターを再利用して実行されます。 |
|
libraries
|
libraries | array of Object |
クラスターにインストールするライブラリの省略可能な一覧。 既定値は空のリストです。 |
|
new_cluster
|
new_cluster | Object | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | Object | |
|
pipeline_task
|
pipeline_task | Object | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | Object | |
|
queue_duration
|
queue_duration | integer |
実行がキューに費やした時間 (ミリ秒単位)。 |
|
resolved_values
|
resolved_values | JobsResolvedValues | |
|
run_duration
|
run_duration | integer |
ジョブの実行とそのすべての修復が完了するまでの時間 (ミリ秒)。 |
|
run_id
|
run_id | integer |
タスク実行の ID。 |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
run_page_url
|
run_page_url | string | |
|
setup_duration
|
setup_duration | integer |
クラスターのセットアップにかかった時間 (ミリ秒単位)。 新しいクラスターで実行される実行の場合、これはクラスターの作成時刻です。既存のクラスターで実行される実行の場合、今回は非常に短い必要があります。 タスクの実行時間は、setup_duration、execution_duration、およびcleanup_durationの合計です。 マルチタスク ジョブを実行する場合、setup_duration フィールドは 0 に設定されます。 マルチタスク ジョブの実行時間の合計は、run_duration フィールドの値です。 |
|
spark_jar_task
|
spark_jar_task | Object | |
|
spark_python_task
|
spark_python_task | Object | |
|
spark_submit_task
|
spark_submit_task | Object | |
|
sql_task
|
sql_task | Object | |
|
開始時間
|
start_time | integer |
この実行がエポック ミリ秒単位で開始された時刻 (1970 年 1 月 1 日 UTC からのミリ秒)。 これは、ジョブ タスクの実行を開始する時刻ではない可能性があります。たとえば、ジョブが新しいクラスターで実行されるようにスケジュールされている場合、これはクラスター作成呼び出しが発行された時刻です。 |
|
状態
|
status | JobsRunStatus | |
|
task_key
|
task_key | string |
タスクの一意の名前。 このフィールドは、他のタスクからこのタスクを参照するために使用されます。 このフィールドは必須であり、親ジョブ内で一意である必要があります。 [更新] または [リセット] では、このフィールドを使用して、更新またはリセットするタスクを参照します。 |
|
timeout_seconds
|
timeout_seconds | integer |
このジョブ タスクの各実行に適用される省略可能なタイムアウト。 値 0 は、タイムアウトがないことを意味します。 |
|
webhook_notifications
|
webhook_notifications | Object |
JobsRunConditionTask
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
left
|
left | string |
条件タスクの左オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。 |
|
オープ
|
op | JobsConditionTaskOp | |
|
結果
|
outcome | string |
条件式の評価結果。 タスクが正常に完了した場合に入力されます。 "true" または "false" にすることができます |
|
右
|
right | string |
条件タスクの右オペランド。 文字列値、ジョブ状態、またはパラメーター参照のいずれかを指定できます。 |
JobsTriggerType
JobsTriggerInfo
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
run_id
|
run_id | integer |
ジョブ実行タスク実行の実行 ID |
JobsRunOutput
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
clean_rooms_notebook_output
|
clean_rooms_notebook_output | Object | |
|
dashboard_output
|
dashboard_output | Object | |
|
dbt_output
|
dbt_output | Object | |
|
エラー
|
error | string |
タスクが失敗した理由、または出力が使用できない理由を示すエラー メッセージ。 メッセージは非構造化であり、その正確な形式は変更される可能性があります。 |
|
error_trace
|
error_trace | string |
実行の実行中にエラーが発生した場合、このフィールドには使用可能なスタック トレースが含まれます。 |
|
info
|
info | string | |
|
ログ
|
logs | string |
spark_jar_task、spark_python_task、python_wheel_taskなどの標準ストリーム (stdout/stderr) に書き込むタスクからの出力。 notebook_task、pipeline_task、またはspark_submit_taskではサポートされていません。 Azure Databricks では、この API がこれらのログの最後の 5 MB を返すように制限されています。 |
|
logs_truncated
|
logs_truncated | boolean |
ログが切り捨てられるかどうか。 |
|
メタデータ
|
metadata | Object | |
|
notebook_output
|
notebook_output | JobsNotebookOutput | |
|
run_job_output
|
run_job_output | JobsRunJobOutput | |
|
sql_output
|
sql_output | Object |
JobsNotebookOutput
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
結果
|
result | string |
dbutils.notebook.exit() に渡される値。 Azure Databricks では、この API が値の最初の 5 MB を返すように制限されています。 結果を大きくするために、ジョブは結果をクラウド ストレージ サービスに格納できます。 dbutils.notebook.exit() が呼び出されなかった場合、このフィールドは存在しません。 |
|
切り捨て られます
|
truncated | boolean |
結果が切り捨てられたかどうか。 |
JobsRunJobOutput
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
run_id
|
run_id | integer |
トリガーされたジョブ実行の実行 ID |
JobsResolvedValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
condition_task
|
condition_task | JobsResolvedConditionTaskValues | |
|
dbt_task
|
dbt_task | JobsResolvedDbtTaskValues | |
|
notebook_task
|
notebook_task | JobsResolvedNotebookTaskValues | |
|
python_wheel_task
|
python_wheel_task | JobsResolvedPythonWheelTaskValues | |
|
run_job_task
|
run_job_task | JobsResolvedRunJobTaskValues | |
|
simulation_task
|
simulation_task | JobsResolvedParamPairValues | |
|
spark_jar_task
|
spark_jar_task | JobsResolvedStringParamsValues | |
|
spark_python_task
|
spark_python_task | JobsResolvedStringParamsValues | |
|
spark_submit_task
|
spark_submit_task | JobsResolvedStringParamsValues | |
|
sql_task
|
sql_task | JobsResolvedParamPairValues |
JobsResolvedConditionTaskValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
left
|
left | string | |
|
右
|
right | string |
JobsResolvedDbtTaskValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
commands
|
commands | array of string |
JobsResolvedNotebookTaskValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
JobsResolvedPythonWheelTaskValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
named_parameters
|
named_parameters | object | |
|
parameters
|
parameters | array of string |
JobsResolvedRunJobTaskValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
job_parameters
|
job_parameters | object | |
|
parameters
|
parameters | object |
JobsResolvedParamPairValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
parameters
|
parameters | object |
JobsResolvedStringParamsValues
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
parameters
|
parameters | array of string |