Submit-AzSynapseSparkJob

Модуль:

Az.Synapse Module

Отправляет задание Synapse Analytics Spark.

Синтаксис

RunSparkJobParameterSetName (По умолчанию)

Submit-AzSynapseSparkJob
    -WorkspaceName <String>
    -SparkPoolName <String>
    -Language <String>
    -Name <String>
    -MainDefinitionFile <String>
    -ExecutorCount <Int32>
    -ExecutorSize <String>
    [-MainClassName <String>]
    [-CommandLineArgument <String[]>]
    [-ReferenceFile <String[]>]
    [-Configuration <Hashtable>]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

RunSparkJobByParentObjectParameterSet

Submit-AzSynapseSparkJob
    -SparkPoolObject <PSSynapseSparkPool>
    -Language <String>
    -Name <String>
    -MainDefinitionFile <String>
    -ExecutorCount <Int32>
    -ExecutorSize <String>
    [-MainClassName <String>]
    [-CommandLineArgument <String[]>]
    [-ReferenceFile <String[]>]
    [-Configuration <Hashtable>]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

Описание

Командлет Submit-AzSynapseSparkJob отправляет задание Synapse Analytics Spark.

Примеры

Пример 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Эта команда отправляет задание Synapse Analytics Spark.

Пример 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

Эта команда отправляет задание Synapse Analytics Spark .NET.

Пример 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Эта команда отправляет задание Synapse Analytics PySpark.

Параметры

-CommandLineArgument

Необязательные аргументы для задания. Например, "--итерация 10000 --timeout 20s"

Свойства параметров

Тип:	String[]
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-Configuration

Свойства конфигурации Spark.

Свойства параметров

Тип:	Hashtable
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-Confirm

Запрашивает подтверждение перед запуском cmdlet.

Свойства параметров

Тип:	SwitchParameter
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False
Aliases:	Cf

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-DefaultProfile

Учетные данные, учетная запись, клиент и подписка, используемые для обмена данными с Azure.

Свойства параметров

Тип:	IAzureContextContainer
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False
Aliases:	AzContext, AzureRmContext, AzureCredential

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-ExecutorCount

Количество исполнителей, выделенных в указанном пуле Spark для задания.

Свойства параметров

Тип:	Int32
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-ExecutorSize

Количество ядер и памяти, которые будут использоваться для исполнителей, выделенных в указанном пуле Spark для задания.

Свойства параметров

Тип:	String
Default value:	None
Допустимые значения:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-Language

Язык задания для отправки.

Свойства параметров

Тип:	String
Default value:	None
Допустимые значения:	Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-MainClassName

Полный идентификатор или основной класс, который находится в файле основного определения. Требуется для задания Spark и .NET Spark. Например, "org.apache.spark.examples.SparkPi"

Свойства параметров

Тип:	String
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False
Aliases:	MainExecutableFile

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-MainDefinitionFile

Основной файл, используемый для задания. Например, "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Свойства параметров

Тип:	String
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-Name

Имя задания Spark.

Свойства параметров

Тип:	String
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-ReferenceFile

Дополнительные файлы, используемые для ссылки в основном файле определения. Список URI хранилища с разделим запятыми. Например, "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Свойства параметров

Тип:	String[]
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-SparkPoolName

Имя пула Synapse Spark.

Свойства параметров

Тип:	String
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

RunSparkJobParameterSetName

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-SparkPoolObject

Входной объект пула Spark, обычно передаваемый через конвейер.

Свойства параметров

Тип:	PSSynapseSparkPool
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

RunSparkJobByParentObjectParameterSet

Position:	Named
Обязательно:	True
Значение из конвейера:	True
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-WhatIf

Показывает, что произойдет, если командлет будет запущен. Командлет не запускается.

Свойства параметров

Тип:	SwitchParameter
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False
Aliases:	Wi

Наборы параметров

(All)

Position:	Named
Обязательно:	False
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

-WorkspaceName

Имя рабочей области Synapse.

Свойства параметров

Тип:	String
Default value:	None
Поддерживаются подстановочные знаки:	False
DontShow:	False

Наборы параметров

RunSparkJobParameterSetName

Position:	Named
Обязательно:	True
Значение из конвейера:	False
Значение из конвейера по имени свойства:	False
Значение из оставшихся аргументов:	False

CommonParameters

Этот командлет поддерживает общие параметры: -Debug, -ErrorAction, -ErrorVariable, -InformationAction, -InformationVariable, -OutBuffer, -OutVariable, -PipelineVariable, -ProgressAction, -Verbose, -WarningAction и -WarningVariable. Дополнительные сведения см. в разделе about_CommonParameters.

Входные данные

PSSynapseSparkPool

Выходные данные

PSSynapseSparkJob