Поделиться через

az synapse spark pool

Управление пулами Spark.

Команды

Имя Описание Тип Состояние
az synapse spark pool create

Создание пула Spark.

 Core GA
az synapse spark pool delete

Удаление пула Spark.

 Core GA
az synapse spark pool list

Список всех пулов Spark.

 Core GA
az synapse spark pool show

Получение пула Spark.

 Core GA
az synapse spark pool update

Обновите пул Spark.

 Core GA
az synapse spark pool wait

Поместите интерфейс командной строки в состояние ожидания до тех пор, пока не будет выполнено условие пула Spark.

 Core GA

az synapse spark pool create

Изменить

Создание пула Spark.

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

Примеры

Создание пула Spark.

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

Обязательные параметры

--name -n

Имя пула Spark.

--node-count

Количество узлов.

Свойство Значение
Группа параметров: Node Arguments
--node-size

Уровень вычислительной мощности каждого узла в пуле больших данных..

Свойство Значение
Группа параметров: Node Arguments
Допустимые значения: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--spark-version

Поддерживаемая версия Spark теперь — 2.4.

Свойство Значение
Группа параметров: Component Version Arguments
--workspace-name

Имя рабочей области.

Необязательные параметры

Следующие параметры являются необязательными, но в зависимости от контекста один или несколько могут потребоваться для успешного выполнения команды.

--delay

Время задержки, единица которого составляет минуту.

Свойство Значение
Группа параметров: AutoPause Arguments
--enable-auto-pause

Флаг включения автоматической приостановки.

Свойство Значение
Группа параметров: AutoPause Arguments
Допустимые значения: false, true
--enable-auto-scale

Флаг включения автоматического масштабирования.

Свойство Значение
Группа параметров: AutoScale Arguments
Допустимые значения: false, true
--enable-dynamic-exec

Указывает, включена ли динамическое выделение исполнителя.

Свойство Значение
Группа параметров: DynamicExecutor Arguments
Допустимые значения: false, true
--max-executors

Максимальное количество исполнителей.

Свойство Значение
Группа параметров: DynamicExecutor Arguments
--max-node-count

Максимальное число узлов.

Свойство Значение
Группа параметров: AutoScale Arguments
--min-executors

Минимальное количество исполнителей.

Свойство Значение
Группа параметров: DynamicExecutor Arguments
--min-node-count

Минимальное число узлов.

Свойство Значение
Группа параметров: AutoScale Arguments
--no-wait

Не ожидать завершения длительной операции.

Свойство Значение
Default value: False
--node-size-family

Тип узлов, которые предоставляет пул больших данных.

Свойство Значение
Группа параметров: Node Arguments
Default value: MemoryOptimized
Допустимые значения: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None
--spark-config-file-path

Абсолютный путь к файлу конфигурации свойств пула Spark.

Свойство Значение
Группа параметров: Environment Configuration Arguments
--spark-events-folder

Папка событий Spark.

Свойство Значение
Группа параметров: Default Folder Arguments
Default value: /events
--spark-log-folder

Папка журнала Spark по умолчанию.

Свойство Значение
Группа параметров: Default Folder Arguments
Default value: /logs
--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool delete

Изменить

Удаление пула Spark.

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

Примеры

Удаление пула Spark.

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

Необязательные параметры

Следующие параметры являются необязательными, но в зависимости от контекста один или несколько могут потребоваться для успешного выполнения команды.

--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Группа параметров: Resource Id Arguments
--name -n

Имя пула Spark.

Свойство Значение
Группа параметров: Resource Id Arguments
--no-wait

Не ожидать завершения длительной операции.

Свойство Значение
Default value: False
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Группа параметров: Resource Id Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Группа параметров: Resource Id Arguments
--workspace-name

Имя рабочей области.

Свойство Значение
Группа параметров: Resource Id Arguments
--yes -y

Не запрашивать подтверждение.

Свойство Значение
Default value: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool list

Изменить

Список всех пулов Spark.

az synapse spark pool list --resource-group
                           --workspace-name

Примеры

Список всех пулов Spark.

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

Обязательные параметры

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool show

Изменить

Получение пула Spark.

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

Примеры

Получение пула Spark.

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

Необязательные параметры

Следующие параметры являются необязательными, но в зависимости от контекста один или несколько могут потребоваться для успешного выполнения команды.

--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Группа параметров: Resource Id Arguments
--name -n

Имя пула Spark.

Свойство Значение
Группа параметров: Resource Id Arguments
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Группа параметров: Resource Id Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Группа параметров: Resource Id Arguments
--workspace-name

Имя рабочей области.

Свойство Значение
Группа параметров: Resource Id Arguments
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool update

Изменить

Обновите пул Spark.

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

Примеры

Обновите теги пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

Обновите конфигурацию автоматического масштабирования пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

Обновите пользовательские библиотеки пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

Обновите файл конфигурации пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

Обновите конфигурацию динамического выделения пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

Необязательные параметры

Следующие параметры являются необязательными, но в зависимости от контекста один или несколько могут потребоваться для успешного выполнения команды.

--delay

Время задержки, единица которого составляет минуту.

Свойство Значение
Группа параметров: AutoPause Arguments
--enable-auto-pause

Флаг включения автоматической приостановки.

Свойство Значение
Группа параметров: AutoPause Arguments
Допустимые значения: false, true
--enable-auto-scale

Флаг включения автоматического масштабирования.

Свойство Значение
Группа параметров: AutoScale Arguments
Допустимые значения: false, true
--enable-dynamic-exec

Указывает, включена ли динамическое выделение исполнителя.

Свойство Значение
Группа параметров: DynamicExecutor Arguments
Допустимые значения: false, true
--force

Флаг принудительной операции.

Свойство Значение
Default value: False
Допустимые значения: false, true
--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Группа параметров: Resource Id Arguments
--library-requirements

Файл требований к библиотеке.

Свойство Значение
Группа параметров: Environment Configuration Arguments
--max-executors

Максимальное количество исполнителей.

Свойство Значение
Группа параметров: DynamicExecutor Arguments
--max-node-count

Максимальное число узлов.

Свойство Значение
Группа параметров: AutoScale Arguments
--min-executors

Минимальное количество исполнителей.

Свойство Значение
Группа параметров: DynamicExecutor Arguments
--min-node-count

Минимальное число узлов.

Свойство Значение
Группа параметров: AutoScale Arguments
--name -n

Имя пула Spark.

Свойство Значение
Группа параметров: Resource Id Arguments
--no-wait

Не ожидать завершения длительной операции.

Свойство Значение
Default value: False
--node-count

Количество узлов.

Свойство Значение
Группа параметров: Node Arguments
--node-size

Уровень вычислительной мощности каждого узла в пуле больших данных..

Свойство Значение
Группа параметров: Node Arguments
Допустимые значения: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--package

Список имен пакетов рабочей области.

Свойство Значение
Группа параметров: Custom Libraries Arguments
--package-action

Действие пакета необходимо указать при добавлении или удалении пакета рабочей области из пула Apache Spark.

Свойство Значение
Группа параметров: Custom Libraries Arguments
Допустимые значения: Add, Remove
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Группа параметров: Resource Id Arguments
--spark-config-file-path

Абсолютный путь к файлу конфигурации свойств пула Spark.

Свойство Значение
Группа параметров: Environment Configuration Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Группа параметров: Resource Id Arguments
--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

--workspace-name

Имя рабочей области.

Свойство Значение
Группа параметров: Resource Id Arguments
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool wait

Изменить

Поместите интерфейс командной строки в состояние ожидания до тех пор, пока не будет выполнено условие пула Spark.

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

Обязательные параметры

--big-data-pool-name

Имя пула больших данных.

Необязательные параметры

Следующие параметры являются необязательными, но в зависимости от контекста один или несколько могут потребоваться для успешного выполнения команды.

--created

Подождите, пока не будет создано с помощью provisioningState по адресу "Успешно".

Свойство Значение
Группа параметров: Wait Condition Arguments
Default value: False
--custom

Подождите, пока условие не будет удовлетворено пользовательским запросом JMESPath. Например, provisioningState!='InProgress', instanceView.statuses[?code='PowerState/running'].

Свойство Значение
Группа параметров: Wait Condition Arguments
--deleted

Дождитесь удаления.

Свойство Значение
Группа параметров: Wait Condition Arguments
Default value: False
--exists

Подождите, пока ресурс не существует.

Свойство Значение
Группа параметров: Wait Condition Arguments
Default value: False
--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Группа параметров: Resource Id Arguments
--interval

Интервал опроса в секундах.

Свойство Значение
Группа параметров: Wait Condition Arguments
Default value: 30
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Группа параметров: Resource Id Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Группа параметров: Resource Id Arguments
--timeout

Максимальное ожидание в секундах.

Свойство Значение
Группа параметров: Wait Condition Arguments
Default value: 3600
--updated

Подождите, пока не будет обновлено с помощью provisioningState по адресу "Успешно".

Свойство Значение
Группа параметров: Wait Condition Arguments
Default value: False
--workspace-name

Имя рабочей области.

Свойство Значение
Группа параметров: Resource Id Arguments
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False