次の方法で共有

Spark Session - Create Spark Session

  • リファレンス
サービス:
Synapse
API バージョン:
2020-12-01

新しい Spark セッションを作成します。

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions
省略可能なパラメーターを含む: 
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions?detailed={detailed}

URI パラメーター

名前 / 必須 型 説明
endpoint
 path True

string

ワークスペース開発エンドポイント (例: https://myworkspace.dev.azuresynapse.net )。
livyApiVersion
 path True

string

要求の有効な api-version。
sparkPoolName
 path True

string

Spark プールの名前。
detailed
 query

boolean

プレーンな livy を超えて詳細な応答を返すかどうかを指定する省略可能なクエリ パラメーター。

要求本文

名前 必須 型 説明
name True

string

archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

numExecutors

integer

pyFiles

string[]

tags

object

応答

名前 型 説明
200 OK

SparkSession

Success

例

Create new spark session.

要求のサンプル

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/sessions?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 2,
  "numExecutors": 2
}

応答のサンプル

状態コード:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkSession",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

定義

名前 説明
LivyStates

バッチの状態
PluginCurrentState
SchedulerCurrentState
SparkErrorSource
SparkJobType

ジョブの種類。
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin
SparkSession
SparkSessionOptions
SparkSessionResultType
SparkSessionState

LivyStates

バッチの状態

名前 型 説明
busy

string

dead

string

error

string

idle

string

killed

string

not_started

string

recovering

string

running

string

shutting_down

string

starting

string

success

string

PluginCurrentState

名前 型 説明
Cleanup

string

Ended

string

Monitoring

string

Preparation

string

Queued

string

ResourceAcquisition

string

Submission

string

SchedulerCurrentState

名前 型 説明
Ended

string

Queued

string

Scheduled

string

SparkErrorSource

名前 型 説明
Dependency

string

System

string

Unknown

string

User

string

SparkJobType

ジョブの種類。

名前 型 説明
SparkBatch

string

SparkSession

string

SparkRequest

名前 型 説明
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

SparkScheduler

名前 型 説明
cancellationRequestedAt

string

currentState

SchedulerCurrentState

endedAt

string

scheduledAt

string

submittedAt

string

SparkServiceError

名前 型 説明
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

名前 型 説明
cleanupStartedAt

string

currentState

PluginCurrentState

monitoringStartedAt

string

preparationStartedAt

string

resourceAcquisitionStartedAt

string

submissionStartedAt

string

SparkSession

名前 型 説明
appId

string

appInfo

object

artifactId

string

errorInfo

SparkServiceError[]

id

integer

jobType

SparkJobType

livyInfo

SparkSessionState

log

string[]

name

string

pluginInfo

SparkServicePlugin

result

SparkSessionResultType

schedulerInfo

SparkScheduler

sparkPoolName

string

state

LivyStates

セッションの状態。
submitterId

string

submitterName

string

tags

object

workspaceName

string

SparkSessionOptions

名前 型 説明
archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

tags

object

SparkSessionResultType

名前 型 説明
Cancelled

string

Failed

string

Succeeded

string

Uncertain

string

SparkSessionState

名前 型 説明
busyAt

string

currentState

string

deadAt

string

errorAt

string

idleAt

string

jobCreationRequest

SparkRequest

killedAt

string

notStartedAt

string

recoveringAt

string

shuttingDownAt

string

startingAt

string