Spark Batch - Create Spark Batch Job

Service:

Synapse

API Version:

2020-12-01

새 Spark 일괄 처리 작업을 만듭니다.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

With optional parameters:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI 매개 변수

Name	In(다음 안에)	필수	형식	Description
endpoint	path	True	string	작업 영역 개발 엔드포인트(예: https://myworkspace.dev.azuresynapse.net )입니다.
livyApiVersion	path	True	string	요청에 대한 유효한 api-version입니다.
sparkPoolName	path	True	string	spark 세션의 이름입니다.
detailed	query		boolean	자세한 응답이 일반 livy 이상으로 반환되는지 여부를 지정하는 선택적 쿼리 매개 변수입니다.

요청 본문

Name	필수	형식	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

응답

Name	형식	Description
200 OK	SparkBatchJob	Success

예제

Create new spark batch job.

Sample Request

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Sample Response

Status code:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

정의

Name	Description
LivyStates	일괄 처리 상태
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Spark 일괄 처리 작업 결과입니다.
SparkBatchJobState
SparkErrorSource
SparkJobType	작업 유형입니다.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

일괄 처리 상태

Name	형식	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	형식	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	형식	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	형식	Description
appId	string	이 세션의 애플리케이션 ID
appInfo	object	자세한 애플리케이션 정보입니다.
artifactId	string	아티팩트 식별자입니다.
errorInfo	SparkServiceError[]	오류 정보입니다.
id	integer	세션 ID입니다.
jobType	SparkJobType	작업 유형입니다.
livyInfo	SparkBatchJobState
log	string[]	로그 줄입니다.
name	string	일괄 처리 이름입니다.
pluginInfo	SparkServicePlugin	플러그 인 정보입니다.
result	SparkBatchJobResultType	Spark 일괄 처리 작업 결과입니다.
schedulerInfo	SparkScheduler	스케줄러 정보입니다.
sparkPoolName	string	Spark 풀 이름입니다.
state	LivyStates	일괄 처리 상태
submitterId	string	제출자 식별자입니다.
submitterName	string	제출자 이름입니다.
tags	object	태그입니다.
workspaceName	string	작업 영역 이름입니다.

SparkBatchJobOptions

Name	형식	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Spark 일괄 처리 작업 결과입니다.

Name	형식	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	형식	Description
currentState	string	Spark 작업 상태입니다.
deadAt	string	"죽은" livy 상태가 처음 나타난 시간입니다.
jobCreationRequest	SparkRequest
killedAt	string	"죽은" livy 상태가 처음 나타난 시간입니다.
notStartedAt	string	"not_started" livy 상태가 처음 표시된 시간입니다.
recoveringAt	string	"복구 중" livy 상태가 처음 표시된 시간입니다.
runningAt	string	"실행 중" livy 상태가 처음 표시된 시간입니다.
startingAt	string	"시작" livy 상태가 처음 표시된 시간입니다.
successAt	string	"성공" livy 상태가 처음 표시된 시간입니다.

SparkErrorSource

Name	형식	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

작업 유형입니다.

Name	형식	Description
SparkBatch	string
SparkSession	string

SparkRequest

Name	형식	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	형식	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	형식	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	형식	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string