Update-AzSynapseSparkPool
Azure Synapse Analytics'te bir Apache Spark havuzu Güncelleştirmeler.
Syntax
Update-AzSynapseSparkPool
[-ResourceGroupName <String>]
-WorkspaceName <String>
-Name <String>
[-Tag <Hashtable>]
[-EnableAutoScale <Boolean>]
[-AutoScaleMinNodeCount <Int32>]
[-AutoScaleMaxNodeCount <Int32>]
[-EnableAutoPause <Boolean>]
[-AutoPauseDelayInMinute <Int32>]
[-NodeCount <Int32>]
[-EnableIsolatedCompute <Boolean>]
[-NodeSize <String>]
[-EnableDynamicExecutorAllocation <Boolean>]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkVersion <String>]
[-LibraryRequirementsFilePath <String>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-PackageAction <PackageActionType>]
[-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
[-ForceApplySetting]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
Update-AzSynapseSparkPool
-Name <String>
-WorkspaceObject <PSSynapseWorkspace>
[-Tag <Hashtable>]
[-EnableAutoScale <Boolean>]
[-AutoScaleMinNodeCount <Int32>]
[-AutoScaleMaxNodeCount <Int32>]
[-EnableAutoPause <Boolean>]
[-AutoPauseDelayInMinute <Int32>]
[-NodeCount <Int32>]
[-EnableIsolatedCompute <Boolean>]
[-NodeSize <String>]
[-EnableDynamicExecutorAllocation <Boolean>]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkVersion <String>]
[-LibraryRequirementsFilePath <String>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-PackageAction <PackageActionType>]
[-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
[-ForceApplySetting]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
Update-AzSynapseSparkPool
-InputObject <PSSynapseSparkPool>
[-Tag <Hashtable>]
[-EnableAutoScale <Boolean>]
[-AutoScaleMinNodeCount <Int32>]
[-AutoScaleMaxNodeCount <Int32>]
[-EnableAutoPause <Boolean>]
[-AutoPauseDelayInMinute <Int32>]
[-NodeCount <Int32>]
[-EnableIsolatedCompute <Boolean>]
[-NodeSize <String>]
[-EnableDynamicExecutorAllocation <Boolean>]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkVersion <String>]
[-LibraryRequirementsFilePath <String>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-PackageAction <PackageActionType>]
[-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
[-ForceApplySetting]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
Update-AzSynapseSparkPool
-ResourceId <String>
[-Tag <Hashtable>]
[-EnableAutoScale <Boolean>]
[-AutoScaleMinNodeCount <Int32>]
[-AutoScaleMaxNodeCount <Int32>]
[-EnableAutoPause <Boolean>]
[-AutoPauseDelayInMinute <Int32>]
[-NodeCount <Int32>]
[-EnableIsolatedCompute <Boolean>]
[-NodeSize <String>]
[-EnableDynamicExecutorAllocation <Boolean>]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkVersion <String>]
[-LibraryRequirementsFilePath <String>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-PackageAction <PackageActionType>]
[-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
[-ForceApplySetting]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
Description
Update-AzSynapseSparkPool cmdlet'i, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.
Not
-SparkVersion
Synapse Spark çalışma zamanı sürümünü yükseltmek için parametresi kullanılıyorsa Spark havuzunda ekli özel kitaplık veya paket olmadığından emin olun. Diğer ayrıntılar için Apache Spark sürümleri arasında geçiş bölümüne bakın.
Örnekler
Örnek 1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium
Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.
Örnek 2
$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}
Bu komut, işlem hattı aracılığıyla Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.
Örnek 3
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}
Bu komut, işlem hattı aracılığıyla Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.
Örnek 4
Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}
Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu kaynak kimliğiyle güncelleştirir.
Örnek 5
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7
Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik ölçeklendirmeyi etkinleştirir.
Örnek 6
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false
Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik ölçeklendirmeyi devre dışı bırakır.
Örnek 7
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15
Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik duraklatma özelliğini etkinleştirir.
Örnek 8
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false
Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik duraklatma özelliğini devre dışı bırakır.
Örnek 9
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5
Bu komut dinamik yürütücü ayırmayı etkinleştirir ve Azure Synapse Analytics'te apache Spark havuzu için en düşük yürütücü sayısını ve en fazla yürütücü sayısını belirtir.
Örnek 10
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false
Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzu için dinamik yürütücü ayırmayı devre dışı bırakır.
Örnek 11
$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages
İlk komut çalışma alanı paketlerini alır. İkinci komut, bu çalışma alanı paketlerini Azure Synapse Analytics'teki bir Apache Spark havuzuna bağlar.
Örnek 12
$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package
İlk komut ContosoPackage adlı çalışma alanı paketlerini alır. İkinci komut, Azure Synapse Analytics'teki bir Apache Spark havuzundan çalışma alanı paketini kaldırır.
Örnek 13
$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages
İlk komut, Azure Synapse Analytics'te bir Apache Spark havuzu alır. İkinci komut, bu Apache Spark havuzuna bağlı tüm çalışma alanı paketlerini kaldırır.
Örnek 14
$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"
$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages
İlk komut, çalışma alanında kullanılabilen paketleri alır. İkinci komut grubu, şu anda bu havuza bağlı olan paketleri almak için Spark havuzunu alır ve alınan listeden başlayarak new_package-
paketin tüm sürümlerini kaldırır. Paketin yeni sürümü daha sonra bu listeye eklenir. Üçüncü komut grubunda paket listesi, yalnızca paket adlarını içeren, kullanılabilir workspace_packages listesi uygun şekilde filtrelenerek çalışma alanı paketleri listesine eklenir ve spark havuzuna bağlanır.
Örnek 15
$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs
Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir ve Spark havuzu için bir Spark yapılandırması belirtir.
Örnek 16
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting
Bu komut Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir, Spark havuzu için NodeSize'ı küçük olarak ayarlar ve spark havuzundaki çalışan işleri bu yeni ayarı uygulamaya zorlar.
Örnek 17
$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting
İlk komut, Azure Synapse Analytics'te bir Apache Spark havuzu alır. İkinci komut, bu Apache Spark havuzuna bağlı tüm çalışma alanı paketlerini kaldırır ve bu yeni ayarı uygulamak için Spark havuzundaki çalışan işleri durdurmaya zorlar.
Örnek 18
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge
Bu komut yalıtılmış işlem sağlar ve Azure Synapse Analytics'teki apache Spark havuzu için XXXLarge(80 vCPU / 504 GB) düğüm boyutunu belirtir.
Parametreler
-AsJob
Cmdlet'i arka planda çalıştırma
Tür: | SwitchParameter |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AutoPauseDelayInMinute
Boşta kalan dakika sayısı. Otomatik duraklatma etkinleştirildiğinde bu parametre belirtilebilir. El ile belirtilmezse varsayılan değer [15] olur.
Tür: | Int32 |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AutoScaleMaxNodeCount
Belirtilen Spark havuzunda ayrılacak düğüm sayısı üst sınırı. Otomatik ölçeklendirme etkinleştirildiğinde bu parametre belirtilmelidir.
Tür: | Int32 |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-AutoScaleMinNodeCount
Belirtilen Spark havuzunda ayrılacak en az düğüm sayısı. Otomatik ölçeklendirme etkinleştirildiğinde bu parametre belirtilmelidir.
Tür: | Int32 |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Confirm
Cmdlet'i çalıştırmadan önce sizden onay ister.
Tür: | SwitchParameter |
Aliases: | cf |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-DefaultProfile
Azure ile iletişim için kullanılan kimlik bilgileri, hesap, kiracı ve abonelik.
Tür: | IAzureContextContainer |
Aliases: | AzContext, AzureRmContext, AzureCredential |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EnableAutoPause
Otomatik duraklatma özelliğinin etkinleştirilmesi gerekip gerekmediğini gösterir.
Tür: | Nullable<T>[Boolean] |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EnableAutoScale
Otomatik ölçeklendirmenin etkinleştirilip etkinleştirilmeydiğini gösterir
Tür: | Nullable<T>[Boolean] |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EnableDynamicExecutorAllocation
Dinamik yürütücü ayırmanın etkinleştirilip etkinleştirilmeydiğini gösterir.
Tür: | Nullable<T>[Boolean] |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-EnableIsolatedCompute
İşlemi Yalıt seçeneği yalnızca XXXLarge (80 vCPU / 504 GB) düğüm boyutuyla kullanılabilir. Bu seçeneğin etkinleştirilmesi, güvenilmeyen hizmetler için Apache Spark işlem için yalıtım sağlar. Yalıtılmış işlem maliyetleri, aynı boyuttaki yalıtılmamış VM ile aynıdır. Spark havuzu için Yalıtılmış İşlem'i etkinleştirmeyi düşünüyorsanız Synapse çalışma alanınızın yalıtılmış işlem desteklenen bir bölgede oluşturulduğuna emin olun, daha fazla ayrıntı için lütfen bu belgeye bakın: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.
Tür: | Nullable<T>[Boolean] |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ForceApplySetting
Büyük Veri havuzunda çalışan işlerin durdurulup durdurulmayacağı.
Tür: | SwitchParameter |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-InputObject
Spark havuzu giriş nesnesi, genellikle işlem hattından geçirilir.
Tür: | PSSynapseSparkPool |
Position: | Named |
varsayılan değer: | None |
Gerekli: | True |
Accept pipeline input: | True |
Accept wildcard characters: | False |
-LibraryRequirementsFilePath
Ortam yapılandırma dosyası ("PIP dondur" çıktısı).
Tür: | String |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-MaxExecutorCount
Belirtilen Spark havuzunda ayrılacak en fazla yürütücü sayısı. DynamicExecutorAllocation etkinleştirildiğinde bu parametre belirtilebilir. Değer 1 (dahil) ile maximumNodeCount (özel) arasında olmalıdır. El ile belirtilmezse, varsayılan değer 2 olur.
Tür: | Int32 |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-MinExecutorCount
Belirtilen Spark havuzunda ayrılacak en az yürütücü sayısı. DynamicExecutorAllocation etkinleştirildiğinde bu parametre belirtilebilir. Değer 1 (dahil) ile maxExecutors (özel) arasında yer almalıdır. El ile belirtilmezse, varsayılan değer 1 olur.
Tür: | Int32 |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Name
Synapse Spark havuzunun adı.
Tür: | String |
Aliases: | SparkPoolName |
Position: | Named |
varsayılan değer: | None |
Gerekli: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-NodeCount
Belirtilen Spark havuzunda ayrılacak düğüm sayısı.
Tür: | Int32 |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-NodeSize
Belirtilen Spark havuzunda ayrılan düğümler için kullanılacak çekirdek ve bellek sayısı. Otomatik ölçeklendirme devre dışı bırakıldığında bu parametre belirtilmelidir
Tür: | String |
kabul edilen değerler: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Package
Çalışma alanı paketleri.
Tür: | List<T>[PSSynapseWorkspacePackage] |
Aliases: | WorkspacePackage |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-PackageAction
Apache Spark havuzunda çalışma alanı paketi eklediğinizde veya kaldırdığınızda paket eylemi belirtilmelidir.
Tür: | Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType |
kabul edilen değerler: | Add, Remove, Set |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ResourceGroupName
Kaynak grubu adı.
Tür: | String |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ResourceId
Synapse Spark havuzunun kaynak tanımlayıcısı.
Tür: | String |
Position: | Named |
varsayılan değer: | None |
Gerekli: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SparkConfiguration
Apache Spark yapılandırması. Havuza bir iş gönderildiğinde, seçilen yapılandırmada belirtilen özelliklere başvurulur.
Tür: | PSSparkConfigurationResource |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-SparkVersion
Apache Spark sürümü. İzin verilen değerler: 3.1,3.2,3.3
Tür: | String |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Tag
Kaynakla ilişkilendirilmiş bir dize,etiket dizesi sözlüğü.
Tür: | Hashtable |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-WhatIf
Cmdlet çalıştırılıyorsa ne olacağını gösterir. Cmdlet çalıştırılmaz.
Tür: | SwitchParameter |
Aliases: | wi |
Position: | Named |
varsayılan değer: | None |
Gerekli: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-WorkspaceName
Synapse çalışma alanının adı.
Tür: | String |
Position: | Named |
varsayılan değer: | None |
Gerekli: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-WorkspaceObject
çalışma alanı giriş nesnesi, genellikle işlem hattından geçirilir.
Tür: | PSSynapseWorkspace |
Position: | Named |
varsayılan değer: | None |
Gerekli: | True |
Accept pipeline input: | True |
Accept wildcard characters: | False |