Spark Batch - Get Spark Batch Jobs

Ссылка

Служба:: Synapse

Версия API:: 2020-12-01

Выведите список всех пакетных заданий Spark, которые выполняются в определенном пуле Spark.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

С использованием необязательных параметров:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

Параметры URI

Имя	В	Обязательно	Тип	Описание
endpoint	path	True	string	Конечная точка разработки рабочей области, например `https://myworkspace.dev.azuresynapse.net`.
livyApiVersion	path	True	string	Допустимая версия API для запроса.
sparkPoolName	path	True	string	Имя пула Spark.
detailed	query		boolean	Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного livy.
from	query		integer int32	Необязательный параметр, указывающий, с какого индекса должен начинаться список.
size	query		integer int32	Необязательный параметр, указывающий размер возвращаемого списка. `By default it is 20 and that is the maximum.`

Ответы

Имя	Тип	Описание
200 OK	SparkBatchJobCollection	Успешное завершение

Примеры

List all spark batch jobs

Образец запроса

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Пример ответа

Код состояния:: 200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

Определения

Имя	Описание
LivyStates	Состояние пакета
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	Ответ для операции пакетного списка.
SparkBatchJobResultType	Результат пакетного задания Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Состояние пакета

Имя	Тип	Описание
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Имя	Тип	Описание
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Имя	Тип	Описание
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Имя	Тип	Описание
appId	string	Идентификатор приложения для этого сеанса
appInfo	object	Подробные сведения о приложении.
artifactId	string	Идентификатор артефакта.
errorInfo	SparkServiceError[]	Сведения об ошибке.
id	integer	Идентификатор сеанса.
jobType	SparkJobType	Тип задания.
livyInfo	SparkBatchJobState
log	string[]	Строки журнала.
name	string	Имя пакета.
pluginInfo	SparkServicePlugin	Сведения о подключаемом модуле.
result	SparkBatchJobResultType	Результат пакетного задания Spark.
schedulerInfo	SparkScheduler	Сведения о планировщике.
sparkPoolName	string	Имя пула Spark.
state	LivyStates	Состояние пакета
submitterId	string	Идентификатор отправителя.
submitterName	string	Имя отправителя.
tags	object	Теги.
workspaceName	string	Имя рабочей области.

SparkBatchJobCollection

Ответ для операции пакетного списка.

Имя	Тип	Описание
from	integer	Начальный индекс извлекаемых сеансов.
sessions	SparkBatchJob[]	Список пакетной службы
total	integer	Количество извлекаемых сеансов.

SparkBatchJobResultType

Результат пакетного задания Spark.

Имя	Тип	Описание
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Имя	Тип	Описание
currentState	string	состояние задания Spark.
deadAt	string	время, когда "мертвый" livy государство было впервые замечено.
jobCreationRequest	SparkRequest
killedAt	string	время, когда "убил" livy государство было впервые замечено.
notStartedAt	string	время, когда "not_started" состояние livy было впервые замечено.
recoveringAt	string	время, когда "восстановление" состояния livy было впервые замечено.
runningAt	string	время, когда впервые было замечено "запущенное" состояние livy.
startingAt	string	время, когда "начальное" состояние livy было впервые замечено.
successAt	string	время, когда "успех" livy государство было впервые замечено.

SparkErrorSource

Имя	Тип	Описание
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Тип задания.

Имя	Тип	Описание
SparkBatch	string
SparkSession	string

SparkRequest

Имя	Тип	Описание
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Имя	Тип	Описание
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Имя	Тип	Описание
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Имя	Тип	Описание
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string

Поделиться через