Aracılığıyla paylaş

Update-AzSynapseSparkPool

  • Başvuru
Modül:
Az.Synapse

Azure Synapse Analytics'te Apache Spark havuzunu güncelleştirir.

Sözdizimi

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Update-AzSynapseSparkPool cmdlet'i, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Not

-SparkVersion Synapse Spark çalışma zamanı sürümünü yükseltmek için parametresi kullanılıyorsa Spark havuzunda ekli özel kitaplık veya paket olmadığından emin olun. Diğer ayrıntılar için Apache Spark sürümleri arasında geçiş bölümüne bakın.

Örnekler

Örnek 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Örnek 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Bu komut, işlem hattı aracılığıyla Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Örnek 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Bu komut, işlem hattı aracılığıyla Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Örnek 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu kaynak kimliğiyle güncelleştirir.

Örnek 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik ölçeklendirmeyi etkinleştirir.

Örnek 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik ölçeklendirmeyi devre dışı bırakır.

Örnek 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik duraklatma özelliğini etkinleştirir.

Örnek 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik duraklatma özelliğini devre dışı bırakır.

Örnek 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Bu komut dinamik yürütücü ayırmayı etkinleştirir ve Azure Synapse Analytics'te apache Spark havuzu için en düşük yürütücü sayısını ve en fazla yürütücü sayısını belirtir.

Örnek 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzu için dinamik yürütücü ayırmayı devre dışı bırakır.

Örnek 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

İlk komut çalışma alanı paketlerini alır. İkinci komut, bu çalışma alanı paketlerini Azure Synapse Analytics'teki bir Apache Spark havuzuna bağlar.

Örnek 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

İlk komut ContosoPackage adlı çalışma alanı paketlerini alır. İkinci komut, Azure Synapse Analytics'teki bir Apache Spark havuzundan çalışma alanı paketini kaldırır.

Örnek 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

İlk komut, Azure Synapse Analytics'te bir Apache Spark havuzu alır. İkinci komut, bu Apache Spark havuzuna bağlı tüm çalışma alanı paketlerini kaldırır.

Örnek 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

İlk komut, çalışma alanında kullanılabilen paketleri alır. İkinci komut grubu, şu anda bu havuza bağlı olan paketleri almak için Spark havuzunu alır ve alınan listeden başlayarak new_package- paketin tüm sürümlerini kaldırır. Paketin yeni sürümü daha sonra bu listeye eklenir. Üçüncü komut grubunda paket listesi, yalnızca paket adlarını içeren, kullanılabilir workspace_packages listesi uygun şekilde filtrelenerek çalışma alanı paketleri listesine eklenir ve spark havuzuna bağlanır.

Örnek 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir ve Spark havuzu için bir Spark yapılandırması belirtir.

Örnek 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Bu komut Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir, Spark havuzu için NodeSize'ı küçük olarak ayarlar ve spark havuzundaki çalışan işleri bu yeni ayarı uygulamaya zorlar.

Örnek 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

İlk komut, Azure Synapse Analytics'te bir Apache Spark havuzu alır. İkinci komut, bu Apache Spark havuzuna bağlı tüm çalışma alanı paketlerini kaldırır ve bu yeni ayarı uygulamak için Spark havuzundaki çalışan işleri durdurmaya zorlar.

Örnek 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Bu komut yalıtılmış işlem sağlar ve Azure Synapse Analytics'teki apache Spark havuzu için XXXLarge(80 vCPU / 504 GB) düğüm boyutunu belirtir.

Parametreler

-AsJob

Cmdlet'i arka planda çalıştırma

Tür:SwitchParameter
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-AutoPauseDelayInMinute

Boşta kalan dakika sayısı. Otomatik duraklatma etkinleştirildiğinde bu parametre belirtilebilir. El ile belirtilmezse varsayılan değer [15] olur.

Tür:Int32
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-AutoScaleMaxNodeCount

Belirtilen Spark havuzunda ayrılacak düğüm sayısı üst sınırı. Otomatik ölçeklendirme etkinleştirildiğinde bu parametre belirtilmelidir.

Tür:Int32
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-AutoScaleMinNodeCount

Belirtilen Spark havuzunda ayrılacak en az düğüm sayısı. Otomatik ölçeklendirme etkinleştirildiğinde bu parametre belirtilmelidir.

Tür:Int32
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-Confirm

Cmdlet'i çalıştırmadan önce sizden onay ister.

Tür:SwitchParameter
Diğer adlar:cf
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-DefaultProfile

Azure ile iletişim için kullanılan kimlik bilgileri, hesap, kiracı ve abonelik.

Tür:IAzureContextContainer
Diğer adlar:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-EnableAutoPause

Otomatik duraklatma özelliğinin etkinleştirilmesi gerekip gerekmediğini gösterir.

Tür:Nullable<T>[Boolean]
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-EnableAutoScale

Otomatik ölçeklendirmenin etkinleştirilip etkinleştirilmeydiğini gösterir

Tür:Nullable<T>[Boolean]
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-EnableDynamicExecutorAllocation

Dinamik yürütücü ayırmanın etkinleştirilip etkinleştirilmeydiğini gösterir.

Tür:Nullable<T>[Boolean]
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-EnableIsolatedCompute

İşlemi Yalıt seçeneği yalnızca XXXLarge (80 vCPU / 504 GB) düğüm boyutuyla kullanılabilir. Bu seçeneğin etkinleştirilmesi, güvenilmeyen hizmetler için Apache Spark işlem için yalıtım sağlar. Yalıtılmış işlem maliyetleri, aynı boyuttaki yalıtılmamış VM ile aynıdır. Spark havuzu için Yalıtılmış İşlem'i etkinleştirmeyi düşünüyorsanız Synapse çalışma alanınızın yalıtılmış işlem desteklenen bir bölgede oluşturulduğuna emin olun, daha fazla ayrıntı için lütfen bu belgeye bakın: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Tür:Nullable<T>[Boolean]
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-ForceApplySetting

Büyük Veri havuzunda çalışan işlerin durdurulup durdurulmayacağı.

Tür:SwitchParameter
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-InputObject

Spark havuzu giriş nesnesi, genellikle işlem hattından geçirilir.

Tür:PSSynapseSparkPool
Position:Named
Default value:None
Gerekli:True
İşlem hattı girişini kabul et:True
Joker karakterleri kabul et:False

-LibraryRequirementsFilePath

Ortam yapılandırma dosyası ("PIP dondur" çıktısı).

Tür:String
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-MaxExecutorCount

Belirtilen Spark havuzunda ayrılacak en fazla yürütücü sayısı. DynamicExecutorAllocation etkinleştirildiğinde bu parametre belirtilebilir. Değer 1 (dahil) ile maximumNodeCount (özel) arasında olmalıdır. El ile belirtilmezse, varsayılan değer 2 olur.

Tür:Int32
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-MinExecutorCount

Belirtilen Spark havuzunda ayrılacak en az yürütücü sayısı. DynamicExecutorAllocation etkinleştirildiğinde bu parametre belirtilebilir. Değer 1 (dahil) ile maxExecutors (özel) arasında yer almalıdır. El ile belirtilmezse, varsayılan değer 1 olur.

Tür:Int32
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-Name

Synapse Spark havuzunun adı.

Tür:String
Diğer adlar:SparkPoolName
Position:Named
Default value:None
Gerekli:True
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-NodeCount

Belirtilen Spark havuzunda ayrılacak düğüm sayısı.

Tür:Int32
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-NodeSize

Belirtilen Spark havuzunda ayrılan düğümler için kullanılacak çekirdek ve bellek sayısı. Otomatik ölçeklendirme devre dışı bırakıldığında bu parametre belirtilmelidir

Tür:String
Kabul edilen değerler:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-Package

Çalışma alanı paketleri.

Tür:List<T>[PSSynapseWorkspacePackage]
Diğer adlar:WorkspacePackage
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-PackageAction

Apache Spark havuzunda çalışma alanı paketi eklediğinizde veya kaldırdığınızda paket eylemi belirtilmelidir.

Tür:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Kabul edilen değerler:Add, Remove, Set
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-ResourceGroupName

Kaynak grubu adı.

Tür:String
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-ResourceId

Synapse Spark havuzunun kaynak tanımlayıcısı.

Tür:String
Position:Named
Default value:None
Gerekli:True
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-SparkConfiguration

Apache Spark yapılandırması. Havuza bir iş gönderildiğinde, seçilen yapılandırmada belirtilen özelliklere başvurulur.

Tür:PSSparkConfigurationResource
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-SparkVersion

Apache Spark sürümü. İzin verilen değerler: 3.1,3.2,3.3,3.4

Tür:String
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-Tag

Kaynakla ilişkilendirilmiş bir dize,etiket dizesi sözlüğü.

Tür:Hashtable
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-WhatIf

Cmdlet çalıştırılıyorsa ne olacağını gösterir. Cmdlet çalıştırılmaz.

Tür:SwitchParameter
Diğer adlar:wi
Position:Named
Default value:None
Gerekli:False
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-WorkspaceName

Synapse çalışma alanının adı.

Tür:String
Position:Named
Default value:None
Gerekli:True
İşlem hattı girişini kabul et:False
Joker karakterleri kabul et:False

-WorkspaceObject

çalışma alanı giriş nesnesi, genellikle işlem hattından geçirilir.

Tür:PSSynapseWorkspace
Position:Named
Default value:None
Gerekli:True
İşlem hattı girişini kabul et:True
Joker karakterleri kabul et:False

Girişler

PSSynapseWorkspace

PSSynapseSparkPool

Çıkışlar

PSSynapseSparkPool