Submit-AzSynapseSparkJob
Synapse Analytics Spark ジョブを送信します。
構文
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
説明
Submit-AzSynapseSparkJob コマンドレットは、Synapse Analytics Spark ジョブを送信します。
例
例 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small
このコマンドは、Synapse Analytics Spark ジョブを送信します。
例 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small
このコマンドは、Synapse Analytics Spark .NET ジョブを送信します。
例 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small
このコマンドは、Synapse Analytics PySpark ジョブを送信します。
パラメーター
-CommandLineArgument
ジョブに対する省略可能な引数。 例: "--iteration 10000 --timeout 20s"
型: | String[] |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Configuration
Spark 構成のプロパティ。
型: | Hashtable |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Confirm
コマンドレットの実行前に確認を求めるメッセージが表示されます。
型: | SwitchParameter |
Aliases: | cf |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-DefaultProfile
Azure との通信のために使用される資格情報、アカウント、テナント、サブスクリプションです。
型: | IAzureContextContainer |
Aliases: | AzContext, AzureRmContext, AzureCredential |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ExecutorCount
ジョブの指定された Spark プールに割り当てられる Executor の数。
型: | Int32 |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ExecutorSize
ジョブの指定された Spark プールに割り当てられた Executor に使用されるコアとメモリの数。
型: | String |
承認された値: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Language
送信するジョブの言語。
型: | String |
承認された値: | Spark, Scala, PySpark, Python, SparkDotNet, CSharp |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-MainClassName
メイン定義ファイル内の完全修飾識別子またはメイン クラス。 Spark ジョブと .NET Spark ジョブに必要です。 例: "org.apache.spark.examples.SparkPi"
型: | String |
Aliases: | MainExecutableFile |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-MainDefinitionFile
ジョブに使用されるメイン ファイルです。 例: "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"
型: | String |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Name
Spark ジョブの名前。
型: | String |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ReferenceFile
メイン定義ファイル内で参照に使用される追加ファイル。 コンマ区切りのストレージ URI リスト。 例: "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss:///filesystem@account.dfs.core.windows.netresult/"
型: | String[] |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SparkPoolName
Synapse Spark プールの名前。
型: | String |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SparkPoolObject
Spark プールの入力オブジェクト。通常はパイプラインを介して渡されます。
型: | PSSynapseSparkPool |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | True |
Accept wildcard characters: | False |
-WhatIf
コマンドレットの実行時に発生する内容を示します。 このコマンドレットは実行されません。
型: | SwitchParameter |
Aliases: | wi |
Position: | Named |
既定値: | None |
必須: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-WorkspaceName
Synapse ワークスペースの名前。
型: | String |
Position: | Named |
既定値: | None |
必須: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
入力
出力
Azure PowerShell
フィードバック
https://aka.ms/ContentUserFeedback」を参照してください。
以下は間もなく提供いたします。2024 年を通じて、コンテンツのフィードバック メカニズムとして GitHub の issue を段階的に廃止し、新しいフィードバック システムに置き換えます。 詳細については、「フィードバックの送信と表示