다음을 통해 공유

Update-AzSynapseSparkPool

  • 참조
모듈:
Az.Synapse

Azure Synapse Analytics에서 Apache Spark 풀을 업데이트합니다.

구문

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Update-AzSynapseSparkPool cmdlet은 Azure Synapse Analytics에서 Apache Spark 풀을 업데이트합니다.

참고 항목

매개 변수를 -SparkVersion 사용하여 Synapse Spark 런타임 버전을 업그레이드하는 경우 Spark 풀에 연결된 사용자 지정 라이브러리 또는 패키지가 없는지 확인합니다. 자세한 내용은 Apache Spark 버전 간 마이그레이션을 참조하세요.

예제

예 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

이 명령은 Azure Synapse Analytics에서 Apache Spark 풀을 업데이트합니다.

예제 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

이 명령은 파이프라인을 통해 Azure Synapse Analytics의 Apache Spark 풀을 업데이트합니다.

예제 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

이 명령은 파이프라인을 통해 Azure Synapse Analytics의 Apache Spark 풀을 업데이트합니다.

예시 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

이 명령은 리소스 ID를 사용하여 Azure Synapse Analytics의 Apache Spark 풀을 업데이트합니다.

예시 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

이 명령을 사용하면 Azure Synapse Analytics에서 Apache Spark 풀에 대한 자동 크기 조정이 가능합니다.

예제 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

이 명령은 Azure Synapse Analytics에서 Apache Spark 풀에 대한 자동 크기 조정을 사용하지 않도록 설정합니다.

예제 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

이 명령을 사용하면 Azure Synapse Analytics에서 Apache Spark 풀에 대해 자동 일시 중지할 수 있습니다.

예제 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

이 명령은 Azure Synapse Analytics에서 Apache Spark 풀에 대해 자동 일시 중지를 사용하지 않도록 설정합니다.

예제 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

이 명령은 동적 실행기 할당을 사용하도록 설정하고 Azure Synapse Analytics의 Apache Spark 풀에 대한 최소 실행기 수 및 최대 실행기 수를 지정합니다.

예제 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

이 명령은 Azure Synapse Analytics에서 Apache Spark 풀에 대한 동적 실행기 할당을 사용하지 않도록 설정합니다.

예제 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

첫 번째 명령은 작업 영역 패키지를 검색합니다. 두 번째 명령은 이러한 작업 영역 패키지를 Azure Synapse Analytics의 Apache Spark 풀에 연결합니다.

예제 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

첫 번째 명령은 ContosoPackage라는 작업 영역 패키지를 검색합니다. 두 번째 명령은 Azure Synapse Analytics의 Apache Spark 풀에서 작업 영역 패키지를 제거합니다.

예제 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

첫 번째 명령은 Azure Synapse Analytics에서 Apache Spark 풀을 검색합니다. 두 번째 명령은 해당 Apache Spark 풀에 연결된 모든 작업 영역 패키지를 제거합니다.

예제 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

첫 번째 명령은 작업 영역에서 사용할 수 있는 패키지를 검색합니다. 두 번째 명령 그룹은 Spark 풀을 검색하여 현재 이 풀에 연결된 패키지를 가져와서 검색된 목록에서 시작하는 new_package- 패키지의 모든 버전을 제거합니다. 그러면 패키지의 새 버전이 이 목록에 추가됩니다. 명령의 세 번째 그룹에서 패키지 이름만 포함하는 패키지 목록은 그에 따라 사용 가능한 workspace_packages 목록을 필터링하여 작업 영역 패키지 목록으로 변환된 다음 Spark 풀에 연결됩니다.

예제 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

이 명령은 Azure Synapse Analytics에서 Apache Spark 풀을 업데이트하고 Spark 풀에 대한 Spark 구성을 지정합니다.

예제 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

이 명령은 Azure Synapse Analytics에서 Apache Spark 풀을 업데이트하고, Spark 풀에 대해 NodeSize를 작게 설정하고, Spark 풀에서 실행 중인 작업을 강제로 중지하여 이 새 설정을 적용합니다.

예제 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

첫 번째 명령은 Azure Synapse Analytics에서 Apache Spark 풀을 검색합니다. 두 번째 명령은 해당 Apache Spark 풀에 연결된 모든 작업 영역 패키지를 제거하고 Spark 풀에서 실행 중인 작업을 강제로 중지하여 이 새 설정을 적용합니다.

예제 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

이 명령은 격리된 컴퓨팅을 사용하도록 설정하고 Azure Synapse Analytics의 Apache Spark 풀에 대해 XXXLarge(80 vCPU/504GB)에 노드 크기를 지정합니다.

매개 변수

-AsJob

백그라운드에서 cmdlet 실행

형식:SwitchParameter
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-AutoPauseDelayInMinute

유휴 시간(분)입니다. 자동 일시 중지를 사용하는 경우 이 매개 변수를 지정할 수 있습니다. 수동으로 지정하지 않으면 기본값은 [15]입니다.

형식:Int32
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-AutoScaleMaxNodeCount

지정된 Spark 풀에 할당할 최대 노드 수입니다. 자동 크기 조정을 사용하는 경우 이 매개 변수를 지정해야 합니다.

형식:Int32
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-AutoScaleMinNodeCount

지정된 Spark 풀에 할당할 최소 노드 수입니다. 자동 크기 조정을 사용하는 경우 이 매개 변수를 지정해야 합니다.

형식:Int32
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-Confirm

cmdlet을 실행하기 전에 확인 메시지가 표시됩니다.

형식:SwitchParameter
별칭:cf
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-DefaultProfile

Azure와의 통신에 사용되는 자격 증명, 계정, 테넌트 및 구독입니다.

형식:IAzureContextContainer
별칭:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-EnableAutoPause

자동 일시 중지를 사용할지 여부를 나타냅니다.

형식:Nullable<T>[Boolean]
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-EnableAutoScale

자동 크기 조정을 사용하도록 설정해야 하는지 여부를 나타냅니다.

형식:Nullable<T>[Boolean]
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-EnableDynamicExecutorAllocation

동적 실행기 할당을 사용하도록 설정해야 하는지 여부를 나타냅니다.

형식:Nullable<T>[Boolean]
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-EnableIsolatedCompute

컴퓨팅 격리 옵션은 XXXLarge(80 vCPU/504GB) 노드 크기에서만 사용할 수 있습니다. 이 옵션을 사용하도록 설정하면 신뢰할 수 없는 서비스에 대해 Apache Spark 컴퓨팅에 대한 격리가 제공됩니다. 격리된 컴퓨팅 비용은 동일한 크기의 격리되지 않은 VM과 동일합니다. Spark 풀에 대해 격리된 컴퓨팅을 사용하도록 설정하려는 경우 Synapse 작업 영역이 격리된 컴퓨팅 지원 지역에 만들어졌는지 확인합니다. 자세한 내용은 https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute이 문서를 참조하세요.

형식:Nullable<T>[Boolean]
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-ForceApplySetting

빅 데이터 풀에서 실행 중인 작업을 중지할지 여부입니다.

형식:SwitchParameter
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-InputObject

일반적으로 파이프라인을 통해 전달되는 Spark 풀 입력 개체입니다.

형식:PSSynapseSparkPool
Position:Named
Default value:None
필수:True
파이프라인 입력 허용:True
와일드카드 문자 허용:False

-LibraryRequirementsFilePath

환경 구성 파일("PIP 고정" 출력).

형식:String
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-MaxExecutorCount

지정된 Spark 풀에 할당할 최대 실행기 수입니다. 이 매개 변수는 DynamicExecutorAllocation을 사용할 때 지정할 수 있습니다. 값은 1(포함)과 maximumNodeCount(배타적) 사이에 있어야 합니다. 수동으로 지정하지 않으면 기본값은 2입니다.

형식:Int32
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-MinExecutorCount

지정된 Spark 풀에 할당할 최소 실행기 수입니다. 이 매개 변수는 DynamicExecutorAllocation을 사용할 때 지정할 수 있습니다. 값은 1(포함)과 maxExecutors(배타적) 사이에 있어야 합니다. 수동으로 지정하지 않으면 기본값은 1이 됩니다.

형식:Int32
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-Name

Synapse Spark 풀의 이름입니다.

형식:String
별칭:SparkPoolName
Position:Named
Default value:None
필수:True
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-NodeCount

지정된 Spark 풀에 할당할 노드 수입니다.

형식:Int32
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-NodeSize

지정된 Spark 풀에 할당된 노드에 사용할 코어 및 메모리 수입니다. 자동 크기 조정을 사용하지 않도록 설정할 때 이 매개 변수를 지정해야 합니다.

형식:String
허용되는 값:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-Package

작업 영역 패키지입니다.

형식:List<T>[PSSynapseWorkspacePackage]
별칭:WorkspacePackage
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-PackageAction

Apache Spark 풀에서 작업 영역 패키지를 추가하거나 제거할 때 패키지 작업을 지정해야 합니다.

형식:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
허용되는 값:Add, Remove, Set
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-ResourceGroupName

리소스 그룹 이름

형식:String
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-ResourceId

Synapse Spark 풀의 리소스 식별자입니다.

형식:String
Position:Named
Default value:None
필수:True
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-SparkConfiguration

Apache Spark 구성. 작업이 풀에 제출되면 선택한 구성에 지정된 속성이 참조됩니다.

형식:PSSparkConfigurationResource
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-SparkVersion

Apache Spark 버전입니다. 허용되는 값: 3.1,3.2,3.3,3.4

형식:String
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-Tag

리소스와 연결된 태그의 문자열 사전입니다.

형식:Hashtable
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-WhatIf

cmdlet이 실행될 경우 결과 동작을 표시합니다. cmdlet이 실행되지 않습니다.

형식:SwitchParameter
별칭:wi
Position:Named
Default value:None
필수:False
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-WorkspaceName

Synapse 작업 영역의 이름입니다.

형식:String
Position:Named
Default value:None
필수:True
파이프라인 입력 허용:False
와일드카드 문자 허용:False

-WorkspaceObject

일반적으로 파이프라인을 통해 전달되는 작업 영역 입력 개체입니다.

형식:PSSynapseWorkspace
Position:Named
Default value:None
필수:True
파이프라인 입력 허용:True
와일드카드 문자 허용:False

입력

PSSynapseWorkspace

PSSynapseSparkPool

출력

PSSynapseSparkPool