Spark Batch - Create Spark Batch Job

サービス:

Synapse

API バージョン:

2020-12-01

新しい Spark バッチ ジョブを作成します。

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

省略可能なパラメーターを含む:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI パラメーター

名前	/	必須	型	説明
endpoint	path	True	string	ワークスペース開発エンドポイント (例: https://myworkspace.dev.azuresynapse.net )。
livyApiVersion	path	True	string	要求の有効な api-version。
sparkPoolName	path	True	string	Spark プールの名前。
detailed	query		boolean	プレーンな livy を超えて詳細な応答を返すかどうかを指定する省略可能なクエリ パラメーター。

要求本文

名前	必須	型	説明
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

応答

名前	型	説明
200 OK	SparkBatchJob	Success

例

Create new spark batch job.

要求のサンプル

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

応答のサンプル

状態コード:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

定義

名前	説明
LivyStates	バッチの状態
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Spark バッチ ジョブの結果。
SparkBatchJobState
SparkErrorSource
SparkJobType	ジョブの種類。
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

バッチの状態

名前	型	説明
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

名前	型	説明
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

名前	型	説明
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

名前	型	説明
appId	string	このセッションのアプリケーション ID
appInfo	object	詳細なアプリケーション情報。
artifactId	string	成果物識別子。
errorInfo	SparkServiceError[]	エラー情報。
id	integer	セッション ID。
jobType	SparkJobType	ジョブの種類。
livyInfo	SparkBatchJobState
log	string[]	ログ行。
name	string	バッチ名。
pluginInfo	SparkServicePlugin	プラグイン情報。
result	SparkBatchJobResultType	Spark バッチ ジョブの結果。
schedulerInfo	SparkScheduler	スケジューラ情報。
sparkPoolName	string	Spark プール名。
state	LivyStates	バッチの状態
submitterId	string	送信者識別子。
submitterName	string	送信者の名前。
tags	object	タグ。
workspaceName	string	ワークスペース名。

SparkBatchJobOptions

名前	型	説明
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Spark バッチ ジョブの結果。

名前	型	説明
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

名前	型	説明
currentState	string	Spark ジョブの状態。
deadAt	string	「死んだ」生き生きとした状態が最初に見られた時。
jobCreationRequest	SparkRequest
killedAt	string	「殺された」生き生きとした状態が最初に見られた時。
notStartedAt	string	「not_started」リヴィ状態が最初に見られた時。
recoveringAt	string	リヴィ状態が最初に見られた時点。
runningAt	string	"実行中" の livy 状態が最初に見られた時刻。
startingAt	string	「開始」のリヴィ状態が最初に見られた時刻。
successAt	string	「成功」リヴィ状態が最初に見られた時刻。

SparkErrorSource

名前	型	説明
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

ジョブの種類。

名前	型	説明
SparkBatch	string
SparkSession	string

SparkRequest

名前	型	説明
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

名前	型	説明
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

名前	型	説明
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

名前	型	説明
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string