az synapse spark job

Synapse Spark-batchtaken beheren.

Opdracht

Name	Description	Type	Status
az synapse spark job cancel	Een Spark-taak annuleren.	Basis	GA
az synapse spark job list	Alle Spark-taken weergeven.	Basis	GA
az synapse spark job show	Haal een Spark-taak op.	Basis	GA
az synapse spark job submit	Dien een Spark-taak in.	Basis	GA

az synapse spark job cancel

Een Spark-taak annuleren.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Voorbeelden

Een Spark-taak annuleren.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Vereiste parameters

--livy-id

De id van de Spark-taak.

--spark-pool-name

De naam van de Spark-pool.

--workspace-name

De naam van de werkruimte.

Optionele parameters

--yes -y

Niet vragen om bevestiging.

Default value: False

Globale parameters

--debug

Vergroot de uitgebreidheid van logboekregistratie om alle logboeken voor foutopsporing weer te geven.

--help -h

Dit Help-bericht weergeven en afsluiten.

--only-show-errors

Alleen fouten weergeven, waarschuwingen onderdrukken.

--output -o

Uitvoerindeling.

Geaccepteerde waarden: json, jsonc, none, table, tsv, yaml, yamlc

Default value: json

--query

JMESPath-queryreeks. Zie http://jmespath.org/ voor meer informatie en voorbeelden.

--subscription

Naam of id van het abonnement. U kunt het standaardabonnement configureren met behulp van az account set -s NAME_OR_ID.

--verbose

Vergroot de uitgebreidheid van logboekregistratie. Gebruik --debug voor volledige foutopsporingslogboeken.

az synapse spark job list

Alle Spark-taken weergeven.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Voorbeelden

Alle Spark-taken weergeven.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Vereiste parameters

--spark-pool-name

De naam van de Spark-pool.

--workspace-name

De naam van de werkruimte.

Optionele parameters

--from-index

Optionele parameter die aangeeft vanaf welke index de lijst moet beginnen.

--size

De grootte van de geretourneerde lijst. Standaard is dit 20 en dat is het maximum.

Globale parameters

--debug

Vergroot de uitgebreidheid van logboekregistratie om alle logboeken voor foutopsporing weer te geven.

--help -h

Dit Help-bericht weergeven en afsluiten.

--only-show-errors

Alleen fouten weergeven, waarschuwingen onderdrukken.

--output -o

Uitvoerindeling.

Geaccepteerde waarden: json, jsonc, none, table, tsv, yaml, yamlc

Default value: json

--query

JMESPath-queryreeks. Zie http://jmespath.org/ voor meer informatie en voorbeelden.

--subscription

Naam of id van het abonnement. U kunt het standaardabonnement configureren met behulp van az account set -s NAME_OR_ID.

--verbose

Vergroot de uitgebreidheid van logboekregistratie. Gebruik --debug voor volledige foutopsporingslogboeken.

az synapse spark job show

Haal een Spark-taak op.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Voorbeelden

Haal een Spark-taak op.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Vereiste parameters

--livy-id

De id van de Spark-taak.

--spark-pool-name

De naam van de Spark-pool.

--workspace-name

De naam van de werkruimte.

Globale parameters

--debug

Vergroot de uitgebreidheid van logboekregistratie om alle logboeken voor foutopsporing weer te geven.

--help -h

Dit Help-bericht weergeven en afsluiten.

--only-show-errors

Alleen fouten weergeven, waarschuwingen onderdrukken.

--output -o

Uitvoerindeling.

Geaccepteerde waarden: json, jsonc, none, table, tsv, yaml, yamlc

Default value: json

--query

JMESPath-queryreeks. Zie http://jmespath.org/ voor meer informatie en voorbeelden.

--subscription

Naam of id van het abonnement. U kunt het standaardabonnement configureren met behulp van az account set -s NAME_OR_ID.

--verbose

Vergroot de uitgebreidheid van logboekregistratie. Gebruik --debug voor volledige foutopsporingslogboeken.

az synapse spark job submit

Dien een Spark-taak in.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Voorbeelden

Dien een Java Spark-taak in.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Vereiste parameters

--executor-size

De grootte van de uitvoerder.

Geaccepteerde waarden: Large, Medium, Small

--executors

Het aantal uitvoerders.

--main-definition-file

Het primaire bestand dat wordt gebruikt voor de taak.

--name -n

De naam van de Spark-taak.

--spark-pool-name

De naam van de Spark-pool.

--workspace-name

De naam van de werkruimte.

Optionele parameters

--archives

De matrix van archieven.

--arguments

Optionele argumenten voor de taak (opmerking: gebruik opslag-URI's voor bestandsargumenten).

--configuration

De configuratie van de Spark-taak.

--language

De Spark-taaktaal.

Geaccepteerde waarden: CSharp, PySpark, Python, Scala, Spark, SparkDotNet

Default value: Scala

--main-class-name

De volledig gekwalificeerde id of de hoofdklasse die zich in het hoofddefinitiebestand bevindt.

--python-files

De matrix van bestanden die worden gebruikt voor refenence in het belangrijkste Python-definitiebestand. Voorbeelden hiervan zijn aangepaste whl-bestanden en aangepaste Python-bestanden. Kan meerdere bestanden doorgeven, zoals 'az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2'.

--reference-files

Aanvullende bestanden die worden gebruikt voor verwijzingen in het hoofddefinitiebestand.

--tags

Door spaties gescheiden tags: key[=value] [key[=value] ...]. Gebruik '' om bestaande tags te wissen.

Globale parameters

--debug

Vergroot de uitgebreidheid van logboekregistratie om alle logboeken voor foutopsporing weer te geven.

--help -h

Dit Help-bericht weergeven en afsluiten.

--only-show-errors

Alleen fouten weergeven, waarschuwingen onderdrukken.

--output -o

Uitvoerindeling.

Geaccepteerde waarden: json, jsonc, none, table, tsv, yaml, yamlc

Default value: json

--query

JMESPath-queryreeks. Zie http://jmespath.org/ voor meer informatie en voorbeelden.

--subscription

Naam of id van het abonnement. U kunt het standaardabonnement configureren met behulp van az account set -s NAME_OR_ID.

--verbose

Vergroot de uitgebreidheid van logboekregistratie. Gebruik --debug voor volledige foutopsporingslogboeken.