Submit-AzSynapseSparkJob

Başvuru

Modül:: Az.Synapse

Synapse Analytics Spark işi gönderir.

Sözdizimi

Submit-AzSynapseSparkJob
      -WorkspaceName <String>
      -SparkPoolName <String>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Submit-AzSynapseSparkJob
      -SparkPoolObject <PSSynapseSparkPool>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Submit-AzSynapseSparkJob cmdlet'i bir Synapse Analytics Spark işi gönderir.

Örnekler

Örnek 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Bu komut bir Synapse Analytics Spark işi gönderir.

Örnek 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

Bu komut bir Synapse Analytics Spark .NET işi gönderir.

Örnek 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Bu komut bir Synapse Analytics PySpark işi gönderir.

Parametreler

-CommandLineArgument

İşin isteğe bağlı bağımsız değişkenleri. Örneğin, "--yineleme 10000 --zaman aşımı 20s"

Tür:	String[]
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-Configuration

Spark yapılandırma özellikleri.

Tür:	Hashtable
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-Confirm

Cmdlet'i çalıştırmadan önce sizden onay ister.

Tür:	SwitchParameter
Diğer adlar:	cf
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-DefaultProfile

Azure ile iletişim için kullanılan kimlik bilgileri, hesap, kiracı ve abonelik.

Tür:	IAzureContextContainer
Diğer adlar:	AzContext, AzureRmContext, AzureCredential
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-ExecutorCount

İş için belirtilen Spark havuzunda ayrılacak yürütücü sayısı.

Tür:	Int32
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-ExecutorSize

İş için belirtilen Spark havuzunda ayrılan yürütücüler için kullanılacak çekirdek ve bellek sayısı.

Tür:	String
Kabul edilen değerler:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-Language

Gönderecek işin dili.

Tür:	String
Kabul edilen değerler:	Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-MainClassName

Tam tanımlayıcı veya ana tanım dosyasındaki ana sınıf. Spark ve .NET Spark işi için gereklidir. Örneğin, "org.apache.spark.examples.SparkPi"

Tür:	String
Diğer adlar:	MainExecutableFile
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-MainDefinitionFile

İş için kullanılan ana dosya. örneğin, "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Tür:	String
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-Name

Spark işinin adı.

Tür:	String
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-ReferenceFile

Ana tanım dosyasında başvuru için kullanılan ek dosyalar. Virgülle ayrılmış depolama URI listesi. Örneğin, "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Tür:	String[]
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-SparkPoolName

Synapse Spark havuzunun adı.

Tür:	String
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-SparkPoolObject

Spark havuzu giriş nesnesi, genellikle işlem hattından geçirilir.

Tür:	PSSynapseSparkPool
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	True
Joker karakterleri kabul et:	False

-WhatIf

Cmdlet çalıştırılıyorsa ne olacağını gösterir. Cmdlet çalıştırılmaz.

Tür:	SwitchParameter
Diğer adlar:	wi
Position:	Named
Default value:	None
Gerekli:	False
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

-WorkspaceName

Synapse çalışma alanının adı.

Tür:	String
Position:	Named
Default value:	None
Gerekli:	True
İşlem hattı girişini kabul et:	False
Joker karakterleri kabul et:	False

Girişler

PSSynapseSparkPool

Çıkışlar

PSSynapseSparkJob

Aracılığıyla paylaş