Submit-AzSynapseSparkJob

Referentie

Module:: Az.Synapse

Hiermee verzendt u een Synapse Analytics Spark-taak.

Syntax

Submit-AzSynapseSparkJob
      -WorkspaceName <String>
      -SparkPoolName <String>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Submit-AzSynapseSparkJob
      -SparkPoolObject <PSSynapseSparkPool>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

De cmdlet Submit-AzSynapseSparkJob verzendt een Synapse Analytics Spark-taak.

Voorbeelden

Voorbeeld 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Met deze opdracht wordt een Synapse Analytics Spark-taak verzonden.

Voorbeeld 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

Met deze opdracht wordt een Synapse Analytics Spark .NET-taak verzonden.

Voorbeeld 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Met deze opdracht wordt een Synapse Analytics PySpark-taak verzonden.

Parameters

-CommandLineArgument

Optionele argumenten voor de taak. bijvoorbeeld "--iteratie 10000 --time-out 20s"

Type:	String[]
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-Configuration

Spark-configuratie-eigenschappen.

Type:	Hashtable
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-Confirm

Hiermee wordt u gevraagd om bevestiging voordat u de cmdlet uitvoert.

Type:	SwitchParameter
Aliases:	cf
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-DefaultProfile

De referenties, accounts, tenants en abonnementen die worden gebruikt voor communicatie met Azure.

Type:	IAzureContextContainer
Aliases:	AzContext, AzureRmContext, AzureCredential
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-ExecutorCount

Het aantal uitvoerders dat moet worden toegewezen in de opgegeven Spark-pool voor de taak.

Type:	Int32
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

-ExecutorSize

Het aantal kerngeheugens en geheugen dat moet worden gebruikt voor uitvoerders die zijn toegewezen in de opgegeven Spark-pool voor de taak.

Type:	String
geaccepteerde waarden:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

-Language

De taal van de taak die moet worden verzonden.

Type:	String
geaccepteerde waarden:	Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

-MainClassName

De volledig gekwalificeerde id of de hoofdklasse die zich in het hoofddefinitiebestand bevindt. Vereist voor Spark- en .NET Spark-taak. bijvoorbeeld org.apache.spark.examples.SparkPi

Type:	String
Aliases:	MainExecutableFile
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-MainDefinitionFile

Het primaire bestand dat wordt gebruikt voor de taak. bijvoorbeeld "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Type:	String
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

-Name

Naam van Spark-taak.

Type:	String
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

-ReferenceFile

Aanvullende bestanden die worden gebruikt voor verwijzingen in het hoofddefinitiebestand. Lijst met door komma's gescheiden opslag-URI's. bijvoorbeeld "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Type:	String[]
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-SparkPoolName

Naam van Synapse Spark-pool.

Type:	String
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

-SparkPoolObject

Invoerobject van Spark-pool, meestal doorgegeven via de pijplijn.

Type:	PSSynapseSparkPool
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	True
Accept wildcard characters:	False

-WhatIf

Hiermee wordt weergegeven wat er zou gebeuren als u de cmdlet uitvoert. De cmdlet wordt niet uitgevoerd.

Type:	SwitchParameter
Aliases:	wi
Position:	Named
standaardwaarde:	None
Vereist:	False
Accept pipeline input:	False
Accept wildcard characters:	False

-WorkspaceName

Naam van Synapse-werkruimte.

Type:	String
Position:	Named
standaardwaarde:	None
Vereist:	True
Accept pipeline input:	False
Accept wildcard characters:	False

Invoerwaarden

PSSynapseSparkPool

Uitvoerwaarden

PSSynapseSparkJob

Delen via