Поделиться через

az synapse spark job

Управление пакетными заданиями Synapse Spark.

Команды

Имя Описание Тип Состояние
az synapse spark job cancel

Отмена задания Spark.

 Core GA
az synapse spark job list

Вывод списка всех заданий Spark.

 Core GA
az synapse spark job show

Получение задания Spark.

 Core GA
az synapse spark job submit

Отправка задания Spark.

 Core GA

az synapse spark job cancel

Изменить

Отмена задания Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Примеры

Отмена задания Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Обязательные параметры

--livy-id

Идентификатор задания Spark.

Свойство Значение
Parameter group: Spark job Arguments
--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--yes -y

Не запрашивать подтверждение.

Свойство Значение
Default value: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Output format.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark job list

Изменить

Вывод списка всех заданий Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Примеры

Вывод списка всех заданий Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Обязательные параметры

--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--from-index

Необязательный параметр, указывающий, с какого индекса должен начинаться список.

--size

Размер возвращаемого списка. По умолчанию это 20, и это максимальное значение.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Output format.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark job show

Изменить

Получение задания Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Примеры

Получение задания Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Обязательные параметры

--livy-id

Идентификатор задания Spark.

Свойство Значение
Parameter group: Spark job Arguments
--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Output format.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark job submit

Изменить

Отправка задания Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Примеры

Отправка задания Java Spark.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Обязательные параметры

--executor-size

Размер исполнителя.

Свойство Значение
Допустимые значения: Large, Medium, Small
--executors

Количество исполнителей.

--main-definition-file

Основной файл, используемый для задания.

--name -n

Имя задания Spark.

--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--archives

Массив архивов.

--arguments

Необязательные аргументы для задания (примечание. Используйте URI хранилища для аргументов файлов).

--configuration

Конфигурация задания Spark.

--language

Язык задания Spark.

Свойство Значение
Default value: Scala
Допустимые значения: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
--main-class-name

Полный идентификатор или основной класс, который находится в файле основного определения.

--python-files

Массив файлов, используемых для повторного разрешения в основном файле определения Python. Примеры включают пользовательские WHL-файлы и пользовательские файлы Python. Может передавать несколько файлов, например az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2.

--reference-files

Дополнительные файлы, используемые для ссылки в файле основного определения.

--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Output format.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False