Spark Batch - Create Spark Batch Job

Servizio:

Synapse

Versione API:

2020-12-01

Creare un nuovo processo batch Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Con parametri facoltativi:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

Parametri dell'URI

Nome	In	Necessario	Tipo	Descrizione
endpoint	path	True	string	Endpoint di sviluppo dell'area di lavoro, ad esempio https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Versione api valida per la richiesta.
sparkPoolName	path	True	string	Nome del pool di spark.
detailed	query		boolean	Parametro di query facoltativo che specifica se la risposta dettagliata viene restituita oltre la normale livy.

Corpo della richiesta

Nome	Necessario	Tipo	Descrizione
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Risposte

Nome	Tipo	Descrizione
200 OK	SparkBatchJob	Operazione riuscita

Esempio

Create new spark batch job.

Esempio di richiesta

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Risposta di esempio

Codice di stato:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definizioni

Nome	Descrizione
LivyStates	Stato del batch
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Risultato del processo batch Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	Tipo di processo.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Stato del batch

Nome	Tipo	Descrizione
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Nome	Tipo	Descrizione
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Nome	Tipo	Descrizione
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Nome	Tipo	Descrizione
appId	string	ID applicazione della sessione
appInfo	object	Informazioni dettagliate sull'applicazione.
artifactId	string	Identificatore dell'artefatto.
errorInfo	SparkServiceError[]	Informazioni sugli errori.
id	integer	ID sessione.
jobType	SparkJobType	Tipo di processo.
livyInfo	SparkBatchJobState
log	string[]	Righe di log.
name	string	Nome del batch.
pluginInfo	SparkServicePlugin	Informazioni sul plug-in.
result	SparkBatchJobResultType	Risultato del processo batch Spark.
schedulerInfo	SparkScheduler	Informazioni sull'utilità di pianificazione.
sparkPoolName	string	Nome del pool di Spark.
state	LivyStates	Stato del batch
submitterId	string	Identificatore del mittente.
submitterName	string	Nome del mittente.
tags	object	Tag.
workspaceName	string	Nome dell'area di lavoro.

SparkBatchJobOptions

Nome	Tipo	Descrizione
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Risultato del processo batch Spark.

Nome	Tipo	Descrizione
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Nome	Tipo	Descrizione
currentState	string	stato del processo Spark.
deadAt	string	tempo in cui lo stato livy "morto" è stato visto per la prima volta.
jobCreationRequest	SparkRequest
killedAt	string	il tempo in cui lo stato livy "ucciso" è stato visto per la prima volta.
notStartedAt	string	l'ora in cui lo stato livy "not_started" è stato visto per la prima volta.
recoveringAt	string	l'ora in cui lo stato livy "ripristinante" è stato visto per la prima volta.
runningAt	string	l'ora in cui lo stato livy "in esecuzione" è stato visto per la prima volta.
startingAt	string	l'ora in cui lo stato livy "iniziale" è stato visto per la prima volta.
successAt	string	l'ora in cui lo stato livy "successo" è stato visto per la prima volta.

SparkErrorSource

Nome	Tipo	Descrizione
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Tipo di processo.

Nome	Tipo	Descrizione
SparkBatch	string
SparkSession	string

SparkRequest

Nome	Tipo	Descrizione
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Nome	Tipo	Descrizione
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Nome	Tipo	Descrizione
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Nome	Tipo	Descrizione
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string