Поделиться через


Spark Job Definition - Get Spark Job Definitions By Workspace

Списки определения заданий Spark.

GET {endpoint}/sparkJobDefinitions?api-version=2020-12-01

Параметры URI

Имя В Обязательно Тип Описание
endpoint
path True

string

uri

Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.

api-version
query True

string

Версия API клиента Synapse.

Ответы

Имя Тип Описание
200 OK

SparkJobDefinitionsListResponse

Все в порядке.

Other Status Codes

CloudError

Ответ об ошибке, полученный от службы Azure Synapse.

Примеры

SparkJobDefinitions_ListByWorkspace

Образец запроса

GET exampleWorkspace.dev.azuresynapse.net/sparkJobDefinitions?api-version=2020-12-01

Пример ответа

Date: Sat, 16 Jun 2018 00:37:43 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-reads: 14990
x-ms-request-id: 92292250-c10f-4c47-8eb6-b886b361add7
x-ms-correlation-request-id: 92292250-c10f-4c47-8eb6-b886b361add7
{
  "value": [
    {
      "id": "/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.Synapse/workspaces/exampleWorkspaceName/sparkjobdefinitions/exampleSparkJobDefinition",
      "name": "exampleSparkJobDefinition",
      "type": "Microsoft.Synapse/workspaces/sparkjobdefinitions",
      "properties": {
        "description": "A sample spark job definition",
        "targetBigDataPool": {
          "referenceName": "exampleBigDataPool",
          "type": "BigDataPoolReference"
        },
        "requiredSparkVersion": "3.3",
        "jobProperties": {
          "name": "exampleSparkJobDefinition",
          "file": "abfss://test@test.dfs.core.windows.net/artefacts/sample.jar",
          "className": "dev.test.tools.sample.Main",
          "conf": {},
          "args": [
            "exampleArg"
          ],
          "jars": [],
          "pyFiles": [],
          "files": [],
          "archives": [],
          "driverMemory": "28g",
          "driverCores": 4,
          "executorMemory": "28g",
          "executorCores": 4,
          "numExecutors": 2
        }
      },
      "etag": "1500504f-0000-0200-0000-5cbe090f0000"
    }
  ]
}

Определения

Имя Описание
BigDataPoolReference

Справочник по пулу больших данных.

BigDataPoolReferenceType

Ссылочный тип пула больших данных.

CloudError

Объект , определяющий структуру Azure Synapse ответа об ошибке.

Folder

Папка, в которую находится это определение задания Spark. Если этот параметр не указан, это определение задания Spark будет отображаться на корневом уровне.

SparkConfigurationReference

Справочник по конфигурации Spark.

SparkConfigurationReferenceType

Ссылочный тип конфигурации Spark.

SparkJobDefinition

Определение задания Spark.

SparkJobDefinitionResource

Тип ресурса определения задания Spark.

SparkJobDefinitionsListResponse

Список ресурсов определений заданий Spark.

SparkJobProperties

Свойства задания Spark.

BigDataPoolReference

Справочник по пулу больших данных.

Имя Тип Описание
referenceName

string

Имя пула больших данных.

type

BigDataPoolReferenceType

Ссылочный тип пула больших данных.

BigDataPoolReferenceType

Ссылочный тип пула больших данных.

Имя Тип Описание
BigDataPoolReference

string

CloudError

Объект , определяющий структуру Azure Synapse ответа об ошибке.

Имя Тип Описание
error.code

string

Код ошибки.

error.details

CloudError[]

Массив с дополнительными сведениями об ошибке.

error.message

string

Сообщение об ошибке.

error.target

string

Имя свойства или путь в запросе, связанном с ошибкой.

Folder

Папка, в которую находится это определение задания Spark. Если этот параметр не указан, это определение задания Spark будет отображаться на корневом уровне.

Имя Тип Описание
name

string

Имя папки, в которую находится это определение задания Spark.

SparkConfigurationReference

Справочник по конфигурации Spark.

Имя Тип Описание
referenceName

string

Ссылка на имя конфигурации Spark.

type

SparkConfigurationReferenceType

Ссылочный тип конфигурации Spark.

SparkConfigurationReferenceType

Ссылочный тип конфигурации Spark.

Имя Тип Описание
SparkConfigurationReference

string

SparkJobDefinition

Определение задания Spark.

Имя Тип Описание
description

string

Описание определения задания Spark.

folder

Folder

Папка, в которую находится это определение задания Spark. Если этот параметр не указан, это определение задания Spark будет отображаться на корневом уровне.

jobProperties

SparkJobProperties

Свойства задания Spark.

language

string

Язык приложения Spark.

requiredSparkVersion

string

Требуемая версия приложения Spark.

targetBigDataPool

BigDataPoolReference

Справочник по пулу больших данных.

targetSparkConfiguration

SparkConfigurationReference

Конфигурация Spark для задания Spark.

SparkJobDefinitionResource

Тип ресурса определения задания Spark.

Имя Тип Описание
etag

string

Etag ресурса.

id

string

Полный идентификатор ресурса. Например: /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/{resourceProviderNamespace}/{resourceType}/{resourceName}

name

string

Имя ресурса.

properties

SparkJobDefinition

Свойства определения задания Spark.

type

string

Тип ресурса. Например, Microsoft.Compute/virtualMachines или Microsoft.Storage/storageAccounts.

SparkJobDefinitionsListResponse

Список ресурсов определений заданий Spark.

Имя Тип Описание
nextLink

string

Ссылка на следующую страницу результатов, если есть оставшиеся результаты.

value

SparkJobDefinitionResource[]

Список определений заданий Spark.

SparkJobProperties

Свойства задания Spark.

Имя Тип Описание
archives

string[]

Архивы, используемые в этом задании.

args

string[]

Аргументы командной строки для приложения.

className

string

Класс Main для приложения Java/Scala.

conf

object

Свойства конфигурации Spark.

driverCores

integer

Количество ядер, используемых для драйвера.

driverMemory

string

Объем памяти, используемый для процесса драйвера.

executorCores

integer

Число ядер, используемых для каждого исполнителя.

executorMemory

string

Объем памяти, используемый для каждого процесса исполнителя.

file

string

Файл, содержащий приложение для выполнения.

files

string[]

файлы, используемые в этом задании.

jars

string[]

JAR-файлы, используемые в этом задании.

name

string

Имя задания.

numExecutors

integer

Количество исполнителей, запускаемых для этого задания.