Spark Batch - Create Spark Batch Job

Служба:

Synapse

Версия API:

2020-12-01

Создайте новое пакетное задание Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

С использованием необязательных параметров:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

Параметры URI

Имя	В	Обязательно	Тип	Описание
endpoint	path	True	string	Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Допустимая версия API для запроса.
sparkPoolName	path	True	string	Имя пула Spark.
detailed	query		boolean	Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного livy.

Текст запроса

Имя	Обязательно	Тип	Описание
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Ответы

Имя	Тип	Описание
200 OK	SparkBatchJob	Успешное завершение

Примеры

Create new spark batch job.

Образец запроса

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Пример ответа

Код состояния:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Определения

Имя	Описание
LivyStates	Состояние пакета
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Результат пакетного задания Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Состояние пакета

Имя	Тип	Описание
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Имя	Тип	Описание
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Имя	Тип	Описание
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Имя	Тип	Описание
appId	string	Идентификатор приложения для этого сеанса
appInfo	object	Подробные сведения о приложении.
artifactId	string	Идентификатор артефакта.
errorInfo	SparkServiceError[]	Сведения об ошибке.
id	integer	Идентификатор сеанса.
jobType	SparkJobType	Тип задания.
livyInfo	SparkBatchJobState
log	string[]	Строки журнала.
name	string	Имя пакета.
pluginInfo	SparkServicePlugin	Сведения о подключаемом модуле.
result	SparkBatchJobResultType	Результат пакетного задания Spark.
schedulerInfo	SparkScheduler	Сведения о планировщике.
sparkPoolName	string	Имя пула Spark.
state	LivyStates	Состояние пакета
submitterId	string	Идентификатор отправителя.
submitterName	string	Имя отправителя.
tags	object	Теги.
workspaceName	string	Имя рабочей области.

SparkBatchJobOptions

Имя	Тип	Описание
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Результат пакетного задания Spark.

Имя	Тип	Описание
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Имя	Тип	Описание
currentState	string	состояние задания Spark.
deadAt	string	время, когда "мертвые" ливи государства были впервые замечены.
jobCreationRequest	SparkRequest
killedAt	string	время, когда впервые было замечено "убитое" состояние ливи.
notStartedAt	string	время, когда "not_started" состояние livy было впервые замечено.
recoveringAt	string	время, в которое впервые было замечено "восстановление" состояния livy.
runningAt	string	время, когда впервые было замечено "запущенное" состояние livy.
startingAt	string	время, когда "начальное" состояние ливи было впервые замечено.
successAt	string	время, когда "успех" livy состояние было впервые замечено.

SparkErrorSource

Имя	Тип	Описание
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Тип задания.

Имя	Тип	Описание
SparkBatch	string
SparkSession	string

SparkRequest

Имя	Тип	Описание
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Имя	Тип	Описание
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Имя	Тип	Описание
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Имя	Тип	Описание
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string