你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Spark Batch - Get Spark Batch Jobs

服务:

Synapse

API 版本:

2020-12-01

列出在特定 Spark 池下运行的所有 Spark 批处理作业。

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

具有可选参数:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

URI 参数

名称	在	必需	类型	说明
endpoint	path	True	string	工作区开发终结点，例如 https://myworkspace.dev.azuresynapse.net 。
livyApiVersion	path	True	string	请求的有效 api-version。
sparkPoolName	path	True	string	Spark 池的名称。
detailed	query		boolean	可选查询参数，指定是否返回超出普通 livy 的详细响应。
from	query		integer int32	可选参数，指定列表应从哪个索引开始。
size	query		integer int32	可选参数，用于指定返回的列表的大小。 By default it is 20 and that is the maximum.

响应

名称	类型	说明
200 OK	SparkBatchJobCollection	成功

示例

List all spark batch jobs

示例请求

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

示例响应

状态代码:

200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

定义

名称	说明
LivyStates	批处理状态
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	批处理列表操作的响应。
SparkBatchJobResultType	Spark 批处理作业结果。
SparkBatchJobState
SparkErrorSource
SparkJobType	作业类型。
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

批处理状态

名称	类型	说明
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

名称	类型	说明
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

名称	类型	说明
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

名称	类型	说明
appId	string	此会话的应用程序 ID
appInfo	object	详细的应用程序信息。
artifactId	string	项目标识符。
errorInfo	SparkServiceError[]	错误信息。
id	integer	会话 ID。
jobType	SparkJobType	作业类型。
livyInfo	SparkBatchJobState
log	string[]	日志行。
name	string	批名称。
pluginInfo	SparkServicePlugin	插件信息。
result	SparkBatchJobResultType	Spark 批处理作业结果。
schedulerInfo	SparkScheduler	计划程序信息。
sparkPoolName	string	Spark 池名称。
state	LivyStates	批处理状态
submitterId	string	提交者标识符。
submitterName	string	提交者名称。
tags	object	标记。
workspaceName	string	工作区名称。

SparkBatchJobCollection

批处理列表操作的响应。

名称	类型	说明
from	integer	提取的会话的开始索引。
sessions	SparkBatchJob[]	批列表
total	integer	提取的会话数。

SparkBatchJobResultType

Spark 批处理作业结果。

名称	类型	说明
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

名称	类型	说明
currentState	string	Spark 作业状态。
deadAt	string	第一次看到“死”里维状态的时间。
jobCreationRequest	SparkRequest
killedAt	string	第一次看到“杀死”利维状态的时间。
notStartedAt	string	首次看到“not_started”livy 状态的时间。
recoveringAt	string	首次看到“正在恢复”livy 状态的时间。
runningAt	string	首次看到“正在运行”livy 状态的时间。
startingAt	string	首次看到“开始”livy 状态的时间。
successAt	string	首次看到“成功”livy 状态的时间。

SparkErrorSource

名称	类型	说明
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

作业类型。

名称	类型	说明
SparkBatch	string
SparkSession	string

SparkRequest

名称	类型	说明
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

名称	类型	说明
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

名称	类型	说明
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

名称	类型	说明
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string