Udostępnij za pośrednictwem


Spark Job Definition - Get Spark Job Definitions By Workspace

Listy definicje zadań platformy Spark.

GET {endpoint}/sparkJobDefinitions?api-version=2020-12-01

Parametry identyfikatora URI

Nazwa W Wymagane Typ Opis
endpoint
path True

string

uri

Punkt końcowy programowania obszaru roboczego, na przykład https://myworkspace.dev.azuresynapse.net.

api-version
query True

string

Wersja interfejsu API klienta usługi Synapse.

Odpowiedzi

Nazwa Typ Opis
200 OK

SparkJobDefinitionsListResponse

OK.

Other Status Codes

CloudError

Odebrano odpowiedź o błędzie z usługi Azure Synapse.

Przykłady

SparkJobDefinitions_ListByWorkspace

Przykładowe żądanie

GET exampleWorkspace.dev.azuresynapse.net/sparkJobDefinitions?api-version=2020-12-01

Przykładowa odpowiedź

Date: Sat, 16 Jun 2018 00:37:43 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-reads: 14990
x-ms-request-id: 92292250-c10f-4c47-8eb6-b886b361add7
x-ms-correlation-request-id: 92292250-c10f-4c47-8eb6-b886b361add7
{
  "value": [
    {
      "id": "/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.Synapse/workspaces/exampleWorkspaceName/sparkjobdefinitions/exampleSparkJobDefinition",
      "name": "exampleSparkJobDefinition",
      "type": "Microsoft.Synapse/workspaces/sparkjobdefinitions",
      "properties": {
        "description": "A sample spark job definition",
        "targetBigDataPool": {
          "referenceName": "exampleBigDataPool",
          "type": "BigDataPoolReference"
        },
        "requiredSparkVersion": "3.3",
        "jobProperties": {
          "name": "exampleSparkJobDefinition",
          "file": "abfss://test@test.dfs.core.windows.net/artefacts/sample.jar",
          "className": "dev.test.tools.sample.Main",
          "conf": {},
          "args": [
            "exampleArg"
          ],
          "jars": [],
          "pyFiles": [],
          "files": [],
          "archives": [],
          "driverMemory": "28g",
          "driverCores": 4,
          "executorMemory": "28g",
          "executorCores": 4,
          "numExecutors": 2
        }
      },
      "etag": "1500504f-0000-0200-0000-5cbe090f0000"
    }
  ]
}

Definicje

Nazwa Opis
BigDataPoolReference

Dokumentacja puli danych big data.

BigDataPoolReferenceType

Typ odwołania do puli danych big data.

CloudError

Obiekt, który definiuje strukturę odpowiedzi Azure Synapse błędu.

Folder

Folder, w którego znajduje się ta definicja zadania platformy Spark. Jeśli nie zostanie określona, ta definicja zadania platformy Spark będzie wyświetlana na poziomie głównym.

SparkConfigurationReference

Dokumentacja konfiguracji platformy Spark.

SparkConfigurationReferenceType

Typ odwołania do konfiguracji platformy Spark.

SparkJobDefinition

Definicja zadania platformy Spark.

SparkJobDefinitionResource

Typ zasobu definicji zadania platformy Spark.

SparkJobDefinitionsListResponse

Lista zasobów definicji zadań platformy Spark.

SparkJobProperties

Właściwości zadania platformy Spark.

BigDataPoolReference

Dokumentacja puli danych big data.

Nazwa Typ Opis
referenceName

string

Odwołanie do nazwy puli danych big data.

type

BigDataPoolReferenceType

Typ odwołania do puli danych big data.

BigDataPoolReferenceType

Typ odwołania do puli danych big data.

Nazwa Typ Opis
BigDataPoolReference

string

CloudError

Obiekt, który definiuje strukturę odpowiedzi Azure Synapse błędu.

Nazwa Typ Opis
error.code

string

Kod błędu.

error.details

CloudError[]

Tablica z dodatkowymi szczegółami błędu.

error.message

string

Komunikat o błędzie.

error.target

string

Nazwa/ścieżka właściwości w żądaniu skojarzonym z błędem.

Folder

Folder, w którego znajduje się ta definicja zadania platformy Spark. Jeśli nie zostanie określona, ta definicja zadania platformy Spark będzie wyświetlana na poziomie głównym.

Nazwa Typ Opis
name

string

Nazwa folderu, w którego znajduje się ta definicja zadania platformy Spark.

SparkConfigurationReference

Dokumentacja konfiguracji platformy Spark.

Nazwa Typ Opis
referenceName

string

Odwołanie do nazwy konfiguracji platformy Spark.

type

SparkConfigurationReferenceType

Typ odwołania do konfiguracji platformy Spark.

SparkConfigurationReferenceType

Typ odwołania do konfiguracji platformy Spark.

Nazwa Typ Opis
SparkConfigurationReference

string

SparkJobDefinition

Definicja zadania platformy Spark.

Nazwa Typ Opis
description

string

Opis definicji zadania platformy Spark.

folder

Folder

Folder, w którego znajduje się ta definicja zadania platformy Spark. Jeśli nie zostanie określona, ta definicja zadania platformy Spark będzie wyświetlana na poziomie głównym.

jobProperties

SparkJobProperties

Właściwości zadania platformy Spark.

language

string

Język aplikacji Spark.

requiredSparkVersion

string

Wymagana wersja platformy Spark aplikacji.

targetBigDataPool

BigDataPoolReference

Dokumentacja puli danych big data.

targetSparkConfiguration

SparkConfigurationReference

Konfiguracja platformy Spark zadania platformy Spark.

SparkJobDefinitionResource

Typ zasobu definicji zadania platformy Spark.

Nazwa Typ Opis
etag

string

Zasób Etag.

id

string

W pełni kwalifikowany identyfikator zasobu dla zasobu. Ex - /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/{resourceProviderNamespace}/{resourceType}/{resourceName}

name

string

Nazwa zasobu

properties

SparkJobDefinition

Właściwości definicji zadania platformy Spark.

type

string

Typ zasobu. Np. "Microsoft.Compute/virtualMachines" lub "Microsoft.Storage/storageAccounts"

SparkJobDefinitionsListResponse

Lista zasobów definicji zadań platformy Spark.

Nazwa Typ Opis
nextLink

string

Link do następnej strony wyników, jeśli istnieją jakiekolwiek pozostałe wyniki.

value

SparkJobDefinitionResource[]

Lista definicji zadań platformy Spark.

SparkJobProperties

Właściwości zadania platformy Spark.

Nazwa Typ Opis
archives

string[]

Archiwa, które mają być używane w tym zadaniu.

args

string[]

Argumenty wiersza polecenia dla aplikacji.

className

string

Klasa główna dla aplikacji Java/Scala.

conf

object

Właściwości konfiguracji platformy Spark.

driverCores

integer

Liczba rdzeni do użycia dla sterownika.

driverMemory

string

Ilość pamięci do użycia w procesie sterownika.

executorCores

integer

Liczba rdzeni do użycia dla każdej funkcji wykonawczej.

executorMemory

string

Ilość pamięci do użycia na proces wykonywania.

file

string

Plik zawierający aplikację do wykonania.

files

string[]

pliki, które mają być używane w tym zadaniu.

jars

string[]

Pliki Jar do użycia w tym zadaniu.

name

string

Nazwa zadania.

numExecutors

integer

Liczba funkcji wykonawczych do uruchomienia dla tego zadania.