Megosztás a következőn keresztül:

az synapse spark job

  • Referencia

Synapse Spark-kötegelt feladatok kezelése.

Parancsok

Name Description Típus Állapot
az synapse spark job cancel

Spark-feladat megszakítása.

 Alapvető FE
az synapse spark job list

Az összes Spark-feladat listázása.

 Alapvető FE
az synapse spark job show

Spark-feladat lekérése.

 Alapvető FE
az synapse spark job submit

Spark-feladat elküldése.

 Alapvető FE

az synapse spark job cancel

Szerkesztés

Spark-feladat megszakítása.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Példák

Spark-feladat megszakítása.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Kötelező paraméterek

--livy-id

A Spark-feladat azonosítója.

--spark-pool-name

A Spark-készlet neve.

--workspace-name

A munkaterület neve.

Opcionális paraméterek

--yes -y

Ne kérje a megerősítést.

Alapértelmezett érték: False
Globális paraméterek
--debug

Növelje a naplózás részletességét az összes hibakeresési napló megjelenítéséhez.

--help -h

Jelenítse meg ezt a súgóüzenetet, és lépjen ki.

--only-show-errors

Csak a hibák megjelenítése, a figyelmeztetések mellőzése.

--output -o

Kimeneti formátum.

Elfogadott értékek: json, jsonc, none, table, tsv, yaml, yamlc
Alapértelmezett érték: json
--query

JMESPath lekérdezési sztring. További információkért és példákért lásd http://jmespath.org/ .

--subscription

Az előfizetés neve vagy azonosítója. Az alapértelmezett előfizetést konfigurálhatja a következővel az account set -s NAME_OR_ID: .

--verbose

A naplózás részletességének növelése. Használja a --debug parancsot a teljes hibakeresési naplókhoz.

az synapse spark job list

Szerkesztés

Az összes Spark-feladat listázása.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Példák

Az összes Spark-feladat listázása.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Kötelező paraméterek

--spark-pool-name

A Spark-készlet neve.

--workspace-name

A munkaterület neve.

Opcionális paraméterek

--from-index

Nem kötelező paraméter, amely megadja, hogy a lista melyik indexből induljon ki.

--size

A visszaadott lista mérete. Alapértelmezés szerint 20, és ez a maximum.

Globális paraméterek
--debug

Növelje a naplózás részletességét az összes hibakeresési napló megjelenítéséhez.

--help -h

Jelenítse meg ezt a súgóüzenetet, és lépjen ki.

--only-show-errors

Csak a hibák megjelenítése, a figyelmeztetések mellőzése.

--output -o

Kimeneti formátum.

Elfogadott értékek: json, jsonc, none, table, tsv, yaml, yamlc
Alapértelmezett érték: json
--query

JMESPath lekérdezési sztring. További információkért és példákért lásd http://jmespath.org/ .

--subscription

Az előfizetés neve vagy azonosítója. Az alapértelmezett előfizetést konfigurálhatja a következővel az account set -s NAME_OR_ID: .

--verbose

A naplózás részletességének növelése. Használja a --debug parancsot a teljes hibakeresési naplókhoz.

az synapse spark job show

Szerkesztés

Spark-feladat lekérése.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Példák

Spark-feladat lekérése.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Kötelező paraméterek

--livy-id

A Spark-feladat azonosítója.

--spark-pool-name

A Spark-készlet neve.

--workspace-name

A munkaterület neve.

Globális paraméterek
--debug

Növelje a naplózás részletességét az összes hibakeresési napló megjelenítéséhez.

--help -h

Jelenítse meg ezt a súgóüzenetet, és lépjen ki.

--only-show-errors

Csak a hibák megjelenítése, a figyelmeztetések mellőzése.

--output -o

Kimeneti formátum.

Elfogadott értékek: json, jsonc, none, table, tsv, yaml, yamlc
Alapértelmezett érték: json
--query

JMESPath lekérdezési sztring. További információkért és példákért lásd http://jmespath.org/ .

--subscription

Az előfizetés neve vagy azonosítója. Az alapértelmezett előfizetést konfigurálhatja a következővel az account set -s NAME_OR_ID: .

--verbose

A naplózás részletességének növelése. Használja a --debug parancsot a teljes hibakeresési naplókhoz.

az synapse spark job submit

Szerkesztés

Spark-feladat elküldése.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Példák

Java Spark-feladat elküldése.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Kötelező paraméterek

--executor-size

A végrehajtó mérete.

Elfogadott értékek: Large, Medium, Small
--executors

A végrehajtók száma.

--main-definition-file

A feladathoz használt fő fájl.

--name -n

A Spark-feladat neve.

--spark-pool-name

A Spark-készlet neve.

--workspace-name

A munkaterület neve.

Opcionális paraméterek

--archives

Az archívumok tömbje.

--arguments

Nem kötelező argumentumok a feladathoz (Megjegyzés: a fájlargumentumokhoz használjon tárolási URI-kat).

--configuration

A Spark-feladat konfigurációja.

--language

A Spark-feladat nyelve.

Elfogadott értékek: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Alapértelmezett érték: Scala
--main-class-name

A teljes azonosító vagy a fő definíciós fájlban található főosztály.

--python-files

A fő Python-definíciós fájlban az újrafenyenítéshez használt fájlok tömbje. Ilyenek például az egyéni whl-fájlok és az egyéni Python-fájlok. Több fájlt is átadhat, például "az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2".

--reference-files

A fő definíciós fájlban hivatkozásra használt további fájlok.

--tags

Szóközzel elválasztott címkék: key[=value] [key[=value] ...]. Meglévő címkék törlése a "" használatával.

Globális paraméterek
--debug

Növelje a naplózás részletességét az összes hibakeresési napló megjelenítéséhez.

--help -h

Jelenítse meg ezt a súgóüzenetet, és lépjen ki.

--only-show-errors

Csak a hibák megjelenítése, a figyelmeztetések mellőzése.

--output -o

Kimeneti formátum.

Elfogadott értékek: json, jsonc, none, table, tsv, yaml, yamlc
Alapértelmezett érték: json
--query

JMESPath lekérdezési sztring. További információkért és példákért lásd http://jmespath.org/ .

--subscription

Az előfizetés neve vagy azonosítója. Az alapértelmezett előfizetést konfigurálhatja a következővel az account set -s NAME_OR_ID: .

--verbose

A naplózás részletességének növelése. Használja a --debug parancsot a teljes hibakeresési naplókhoz.