Submit-AzSynapseSparkJob
Отправляет задание Synapse Analytics Spark.
Синтаксис
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Описание
Командлет Submit-AzSynapseSparkJob отправляет задание Synapse Analytics Spark.
Примеры
Пример 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize SmallЭта команда отправляет задание Synapse Analytics Spark.
Пример 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize SmallЭта команда отправляет задание Synapse Analytics Spark .NET.
Пример 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize SmallЭта команда отправляет задание Synapse Analytics PySpark.
Параметры
-CommandLineArgument
Дополнительные аргументы для задания. Например, "--итерация 10000 --timeout 20s"
| Тип: | String[] |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Configuration
Свойства конфигурации Spark.
| Тип: | Hashtable |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Confirm
Запрос подтверждения перед выполнением командлета.
| Тип: | SwitchParameter |
| Aliases: | cf |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-DefaultProfile
Учетные данные, учетная запись, клиент и подписка, используемые для взаимодействия с Azure.
| Тип: | IAzureContextContainer |
| Aliases: | AzContext, AzureRmContext, AzureCredential |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-ExecutorCount
Количество исполнителей, выделенных в указанном пуле Spark для задания.
| Тип: | Int32 |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-ExecutorSize
Количество ядер и памяти, которые будут использоваться для исполнителей, выделенных в указанном пуле Spark для задания.
| Тип: | String |
| Допустимые значения: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Language
Язык задания для отправки.
| Тип: | String |
| Допустимые значения: | Spark, Scala, PySpark, Python, SparkDotNet, CSharp |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-MainClassName
Полный идентификатор или основной класс, который находится в файле основного определения. Требуется для задания Spark и .NET Spark. Например, "org.apache.spark.examples.SparkPi"
| Тип: | String |
| Aliases: | MainExecutableFile |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-MainDefinitionFile
Основной файл, используемый для задания. Например, "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Name
Имя задания Spark.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-ReferenceFile
Дополнительные файлы, используемые для ссылки в основном файле определения. Список URI хранилища с разделим запятыми. Например, "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"
| Тип: | String[] |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-SparkPoolName
Имя пула Synapse Spark.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-SparkPoolObject
Входной объект пула Spark, обычно передаваемый через конвейер.
| Тип: | PSSynapseSparkPool |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | True |
| Принять подстановочные знаки: | False |
-WhatIf
Показывает, что произойдет при запуске командлета. Командлет не выполняется.
| Тип: | SwitchParameter |
| Aliases: | wi |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-WorkspaceName
Имя рабочей области Synapse.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | True |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
Входные данные
Выходные данные
Azure PowerShell