Поделиться через

Update-AzSynapseSparkPool

  • Ссылка
Модуль:
Az.Synapse

Обновления пул Apache Spark в Azure Synapse Analytics.

Синтаксис

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Описание

Командлет Update-AzSynapseSparkPool обновляет пул Apache Spark в Azure Synapse Analytics.

Примечание.

-SparkVersion Если параметр используется для обновления версии среды выполнения Synapse Spark, убедитесь, что у пула Spark нет подключенных пользовательских библиотек или пакетов. Дополнительные сведения см. в разделе "Миграция между версиями Apache Spark".

Примеры

Пример 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Эта команда обновляет пул Apache Spark в Azure Synapse Analytics.

Пример 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Эта команда обновляет пул Apache Spark в Azure Synapse Analytics с помощью конвейера.

Пример 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Эта команда обновляет пул Apache Spark в Azure Synapse Analytics с помощью конвейера.

Пример 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Эта команда обновляет пул Apache Spark в Azure Synapse Analytics с идентификатором ресурса.

Пример 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Эта команда позволяет автоматически масштабировать пул Apache Spark в Azure Synapse Analytics.

Пример 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Эта команда отключает автоматическое масштабирование для пула Apache Spark в Azure Synapse Analytics.

Пример 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Эта команда включает автоматическую приостановку для пула Apache Spark в Azure Synapse Analytics.

Пример 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Эта команда отключает автоматическую приостановку для пула Apache Spark в Azure Synapse Analytics.

Пример 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Эта команда включает динамическое выделение исполнителя и указывает минимальное количество исполнителей и максимальное число исполнителей для пула Apache Spark в Azure Synapse Analytics.

Пример 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Эта команда отключает динамическое выделение исполнителя для пула Apache Spark в Azure Synapse Analytics.

Пример 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Первая команда извлекает пакеты рабочей области. Вторая команда связывает эти пакеты рабочей области с пулом Apache Spark в Azure Synapse Analytics.

Пример 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Первая команда извлекает пакеты рабочей области с именем ContosoPackage. Вторая команда удаляет пакет рабочей области из пула Apache Spark в Azure Synapse Analytics.

Пример 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Первая команда извлекает пул Apache Spark в Azure Synapse Analytics. Вторая команда удаляет все пакеты рабочей области, связанные с этим пулом Apache Spark.

Пример 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Первая команда извлекает пакеты, доступные в рабочей области. Вторая группа команд извлекает пул Spark, чтобы получить пакеты, связанные с этим пулом, и удаляет все версии пакета, начиная с new_package- полученного списка. Затем в этот список добавляется новая версия пакета. В третьей группе команд список пакетов, содержащий только имена пакетов, преобразуется в список пакетов рабочей области путем фильтрации списка доступных workspace_packages соответствующим образом и затем связывается с пулом Spark.

Пример 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Эта команда обновляет пул Apache Spark в Azure Synapse Analytics и задает конфигурацию Spark для пула Spark.

Пример 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Эта команда обновляет пул Apache Spark в Azure Synapse Analytics, установите NodeSize на небольшой размер для пула Spark и принудительно остановите все выполняемые задания в пуле Spark, чтобы применить этот новый параметр.

Пример 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Первая команда извлекает пул Apache Spark в Azure Synapse Analytics. Вторая команда удаляет все пакеты рабочей области, связанные с этим пулом Apache Spark, и принудительно остановите все выполняемые задания в пуле Spark, чтобы применить этот новый параметр.

Пример 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Эта команда включает изолированные вычисления и указывает размер узла в XXXLarge(80 vCPU / 504 ГБ) для пула Apache Spark в Azure Synapse Analytics.

Параметры

-AsJob

Запуск командлета в фоновом режиме

Тип:SwitchParameter
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Количество минут простоя. Этот параметр можно указать при включении автоматической приостановки. Значение по умолчанию будет [15], если оно не указано вручную.

Тип:Int32
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Максимальное количество узлов, выделяемых в указанном пуле Spark. Этот параметр необходимо указать при включении автоматического масштабирования.

Тип:Int32
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Минимальное количество узлов, выделяемых в указанном пуле Spark. Этот параметр необходимо указать при включении автоматического масштабирования.

Тип:Int32
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Запрос подтверждения перед выполнением командлета.

Тип:SwitchParameter
Aliases:cf
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Учетные данные, учетная запись, клиент и подписка, используемые для взаимодействия с Azure.

Тип:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Указывает, следует ли включить автоматическую приостановку.

Тип:Nullable<T>[Boolean]
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Указывает, следует ли включить автоматическое масштабирование

Тип:Nullable<T>[Boolean]
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Указывает, следует ли включить динамическое выделение исполнителя.

Тип:Nullable<T>[Boolean]
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

Параметр "Изоляция вычислений" доступен только с размером узла XXXLarge (80 vCPU / 504 ГБ). Включение этого параметра обеспечивает изоляцию вычислений Apache Spark для ненадежных служб. Изолированные затраты на вычислительные ресурсы совпадают с неизолированных виртуальных машин того же размера. Если вы планируете включить изолированные вычисления для пула Spark, убедитесь, что рабочая область Synapse создана в изолированном поддерживаемом регионе вычислений, см. в этом документе дополнительные сведения: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

Тип:Nullable<T>[Boolean]
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Следует ли остановить все выполняемые задания в пуле больших данных.

Тип:SwitchParameter
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Входной объект пула Spark, обычно передаваемый через конвейер.

Тип:PSSynapseSparkPool
Position:Named
значение по умолчанию:None
Обязательно:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Файл конфигурации среды (выходные данные "ЗАморозка PIP").

Тип:String
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Максимальное количество исполнителей, выделяемых в указанном пуле Spark. Этот параметр можно указать при включении DynamicExecutorAllocation. Значение должно находиться в диапазоне от 1 (включительно) до maximumNodeCount (исключающее). Если оно не указано вручную, значение по умолчанию будет равно 2.

Тип:Int32
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Минимальное количество исполнителей, выделяемых в указанном пуле Spark. Этот параметр можно указать при включении DynamicExecutorAllocation. Значение должно находиться в диапазоне от 1 (включительно) до maxExecutors (монопольное). Если оно не указано вручную, значение по умолчанию будет равно 1.

Тип:Int32
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Имя пула Synapse Spark.

Тип:String
Aliases:SparkPoolName
Position:Named
значение по умолчанию:None
Обязательно:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Количество узлов, выделенных в указанном пуле Spark.

Тип:Int32
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Количество ядер и памяти, используемых для узлов, выделенных в указанном пуле Spark. Этот параметр должен быть указан при отключении автоматического масштабирования

Тип:String
допустимые значения:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Пакеты рабочей области.

Тип:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Действие пакета необходимо указать при добавлении или удалении пакета рабочей области из пула Apache Spark.

Тип:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
допустимые значения:Add, Remove, Set
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Имя группы ресурсов.

Тип:String
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Идентификатор ресурса пула Synapse Spark.

Тип:String
Position:Named
значение по умолчанию:None
Обязательно:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Конфигурация Apache Spark. При отправке задания в пул будут ссылаться свойства, указанные в выбранной конфигурации.

Тип:PSSparkConfigurationResource
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Версия Apache Spark. Допустимые значения: 3.1,3.2,3.3

Тип:String
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Строковый словарь тегов, связанных с ресурсом.

Тип:Hashtable
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Показывает, что произойдет при запуске командлета. Командлет не выполняется.

Тип:SwitchParameter
Aliases:wi
Position:Named
значение по умолчанию:None
Обязательно:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Имя рабочей области Synapse.

Тип:String
Position:Named
значение по умолчанию:None
Обязательно:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

Входной объект рабочей области, обычно передаваемый через конвейер.

Тип:PSSynapseWorkspace
Position:Named
значение по умолчанию:None
Обязательно:True
Accept pipeline input:True
Accept wildcard characters:False

Входные данные

PSSynapseWorkspace

PSSynapseSparkPool

Выходные данные

PSSynapseSparkPool