Share via

バッチ ジョブ

  • [アーティクル]

一般的なパラメーターとヘッダー

次の情報は、実行できるクラスターに関連するすべてのタスクに共通です。

  • {cluster-endpoint} をクラスターの管理エンドポイントの URL に置き換えます。 (たとえば、myendpoint.azurehdinsight.net)

  • {batch-id} を、ジョブの送信時に返されるバッチ ID に置き換えます。

  • Content-Type ヘッダーを application/json に設定します。

  • HTTP 基本認証を使用してエンドポイントで認証します。

新しいバッチ ジョブを作成する

jar から新しいバッチ ジョブを送信します。

要求

クラスターで使用される ヘッダーとパラメーター については、「共通パラメーターとヘッダー」を参照してください。

Method 要求 URI
POST https://{cluster-endpoint}/livy/batches

新しいバッチ ジョブを作成する要求の例を次に示します。

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
要素名 必須 Type Description
proxyUser いいえ String ジョブを実行する偽装するユーザー
file はい String バッチ ジョブの jar へのパス。
args いいえ 文字列の配列 バッチ ジョブに渡されるコマンド ライン引数。
className はい String メイン クラスのクラス名。
jars いいえ 文字列の配列 Java クラスパスに配置するファイル
pyFiles いいえ 文字列の配列 PYTHONPATH に配置するファイル
ファイル いいえ 文字列の配列 Executor 作業ディレクトリに配置するファイル
driverMemory いいえ String ドライバーのメモリ (1000M、2G)
driverCores いいえ Integer ドライバーによって使用されるコアの数
executorMemory いいえ String Executor のメモリ (1000M、2G)
executorCores いいえ Integer Executor によって使用されるコアの数
numExecutors いいえ Integer Executor の数
archives いいえ 文字列の配列 圧縮されていないアーカイブ (YARN モードのみ)

[応答]

要求が正常に完了すると、操作は 200 (OK) を返します

状態コード: 200 OK

応答本文:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
要素名 必須 Type 説明
id はい Integer バッチ セッション ID
log はい 文字列の配列 このバッチ ジョブのログ行の配列。
state いいえ String セッションの状態。 使用できる値: ["starting", "idle", "error"]

バッチ ジョブの完全なログを取得する

要求

クラスターで使用される ヘッダーとパラメーター については、「共通パラメーターとヘッダー」を参照してください。

Method 要求 URI
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Response

検証が完了し、要求が受け入れられた場合、操作は 200 (OK) を返します。

状態コード: 200 OK

応答本文:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
要素名 必須 Type 説明
id はい Integer バッチ セッション ID
from はい Integer Offset
size はい Integer 行の合計数
log はい 文字列の配列 このバッチ ジョブのログ行の配列。

バッチ ジョブの状態を取得する

要求

クラスターで使用されるヘッダーとパラメーターについては、「共通パラメーターとヘッダー」を参照してください。

Method 要求 URI
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Response

検証が完了し、要求が受け入れられた場合、操作は 200 (OK) を返します。

状態コード: 200 OK

応答本文:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
要素名 必須 Type 説明
id はい Integer バッチ セッション ID
log はい 文字列の配列 このバッチ ジョブのログ行の配列。
state はい String セッションの状態。 使用できる値: ["starting", "idle", "error"]

バッチ ジョブを強制終了する

要求

クラスターで使用される ヘッダーとパラメーター については、「共通パラメーターとヘッダー」を参照してください。

Method 要求 URI
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Response

検証が完了し、要求が受け入れられた場合、操作は 200 (OK) を返します。

状態コード: 200 OK

応答本文:

{  
"msg" : "deleted"  
}
要素名 必須 Type 説明
メッセージ はい String 削除のメッセージ。

対話型セッション

  • ステートメントの開始、送信、ステートメントの結果の取得、対話型セッションの終了

すべてのアクティブなバッチ ジョブを返す

要求

クラスターで使用される ヘッダーとパラメーター については、「共通パラメーターとヘッダー」を参照してください。

Method 要求 URI
GET https://{cluster-endpoint}/livy/batches

Response

検証が完了し、要求が受け入れられた場合、操作は 200 (OK) を返します。

状態コード: 200 OK

応答本文:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
要素名 必須 Type 説明
from はい String Offset
total はい String 返すバッチの数
session はい 複合型の配列 (Batch) アクティブなバッチ ジョブの一覧

Batch

要素名 必須 Type 説明
id はい Integer バッチ セッション ID
log はい 文字列の配列 このバッチ ジョブのログ行の配列。
state はい String セッションの状態。 使用可能な値: ["starting"、"idle"、"error"]