Submit-AzSynapseSparkJob
Synapse Analytics Spark 작업을 제출합니다.
구문
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Description
Submit-AzSynapseSparkJob cmdlet은 Synapse Analytics Spark 작업을 제출합니다.
예제
예 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small이 명령은 Synapse Analytics Spark 작업을 제출합니다.
예제 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small이 명령은 Synapse Analytics Spark .NET 작업을 제출합니다.
예제 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small이 명령은 Synapse Analytics PySpark 작업을 제출합니다.
매개 변수
-CommandLineArgument
작업에 대한 선택적 인수입니다. 예: "--반복 10000 --timeout 20s"
| 형식: | String[] |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-Configuration
Spark 구성 속성입니다.
| 형식: | Hashtable |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-Confirm
cmdlet을 실행하기 전에 확인 메시지가 표시됩니다.
| 형식: | SwitchParameter |
| 별칭: | cf |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-DefaultProfile
Azure와의 통신에 사용되는 자격 증명, 계정, 테넌트 및 구독입니다.
| 형식: | IAzureContextContainer |
| 별칭: | AzContext, AzureRmContext, AzureCredential |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-ExecutorCount
작업에 대해 지정된 Spark 풀에 할당할 실행기 수입니다.
| 형식: | Int32 |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-ExecutorSize
작업에 대해 지정된 Spark 풀에 할당된 실행기에 사용할 코어 및 메모리 수입니다.
| 형식: | String |
| 허용되는 값: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-Language
제출할 작업의 언어입니다.
| 형식: | String |
| 허용되는 값: | Spark, Scala, PySpark, Python, SparkDotNet, CSharp |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-MainClassName
정규화된 식별자 또는 주 정의 파일에 있는 기본 클래스입니다. Spark 및 .NET Spark 작업에 필요합니다. 예: "org.apache.spark.examples.SparkPi"
| 형식: | String |
| 별칭: | MainExecutableFile |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-MainDefinitionFile
작업에 사용되는 주 파일입니다. 예: "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"
| 형식: | String |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-Name
Spark 작업의 이름입니다.
| 형식: | String |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-ReferenceFile
주 정의 파일에서 참조용으로 사용되는 추가 파일입니다. 쉼표로 구분된 스토리지 URI 목록입니다. 예: "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"
| 형식: | String[] |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-SparkPoolName
Synapse Spark 풀의 이름입니다.
| 형식: | String |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-SparkPoolObject
일반적으로 파이프라인을 통해 전달되는 Spark 풀 입력 개체입니다.
| 형식: | PSSynapseSparkPool |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | True |
| 와일드카드 문자 허용: | False |
-WhatIf
cmdlet이 실행될 경우 결과 동작을 표시합니다. cmdlet이 실행되지 않습니다.
| 형식: | SwitchParameter |
| 별칭: | wi |
| Position: | Named |
| Default value: | None |
| 필수: | False |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |
-WorkspaceName
Synapse 작업 영역의 이름입니다.
| 형식: | String |
| Position: | Named |
| Default value: | None |
| 필수: | True |
| 파이프라인 입력 허용: | False |
| 와일드카드 문자 허용: | False |