Bagikan melalui

Update-AzSynapseSparkPool

  • Referensi
Modul:
Az.Synapse

Memperbarui kumpulan Apache Spark di Azure Synapse Analytics.

Sintaks

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Deskripsi

Cmdlet Update-AzSynapseSparkPool memperbarui kumpulan Apache Spark di Azure Synapse Analytics.

Catatan

-SparkVersion Jika parameter digunakan untuk meningkatkan versi runtime Synapse Spark, pastikan bahwa kumpulan Spark tidak memiliki pustaka atau paket kustom yang terpasang. Lihat Migrasi antara versi Apache Spark untuk detail selengkapnya.

Contoh

Contoh 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics melalui alur.

Contoh 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics melalui alur.

Contoh 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics dengan ID sumber daya.

Contoh 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Perintah ini memungkinkan penskalaan otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Perintah ini menonaktifkan skala otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Perintah ini memungkinkan jeda otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Perintah ini menonaktifkan jeda otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Perintah ini memungkinkan alokasi pelaksana dinamis dan menentukan jumlah eksekutor min dan jumlah pelaksana maks untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Perintah ini menonaktifkan alokasi pelaksana dinamis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Perintah pertama mengambil paket ruang kerja. Perintah kedua menautkan paket ruang kerja ini ke kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Perintah pertama mengambil paket ruang kerja bernama ContosoPackage. Perintah kedua menghapus paket ruang kerja dari kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Perintah pertama mengambil kumpulan Apache Spark di Azure Synapse Analytics. Perintah kedua menghapus semua paket ruang kerja yang ditautkan ke kumpulan Apache Spark tersebut.

Contoh 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Perintah pertama mengambil paket yang tersedia di ruang kerja. Grup perintah kedua mengambil kumpulan spark untuk mendapatkan paket yang saat ini ditautkan ke kumpulan ini dan menghapus semua versi paket yang dimulai dengan new_package- dari daftar yang diambil. Versi baru paket kemudian ditambahkan ke daftar ini. Dalam grup perintah ketiga daftar paket, yang hanya berisi nama paket, ditranformasi ke dalam daftar paket ruang kerja dengan memfilter daftar workspace_packages yang tersedia dan kemudian ditautkan ke kumpulan spark.

Contoh 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics dan menentukan konfigurasi Spark untuk kumpulan Spark.

Contoh 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics, atur NodeSize ke kecil untuk kumpulan spark dan paksa hentikan pekerjaan yang sedang berjalan di kumpulan Spark untuk menerapkan pengaturan baru ini.

Contoh 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Perintah pertama mengambil kumpulan Apache Spark di Azure Synapse Analytics. Perintah kedua menghapus semua paket ruang kerja yang ditautkan ke kumpulan Apache Spark tersebut dan memaksa menghentikan pekerjaan yang sedang berjalan di kumpulan Spark untuk menerapkan pengaturan baru ini.

Contoh 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Perintah ini memungkinkan komputasi terisolasi dan menentukan ukuran simpul ke XXXLarge(80 vCPU / 504 GB) untuk kumpulan Apache Spark di Azure Synapse Analytics.

Parameter

-AsJob

Jalankan cmdlet di latar belakang

Jenis:SwitchParameter
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-AutoPauseDelayInMinute

Jumlah menit menganggur. Parameter ini dapat ditentukan ketika Jeda otomatis diaktifkan. Nilai defaultnya adalah [15] jika tidak ditentukan secara manual.

Jenis:Int32
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-AutoScaleMaxNodeCount

Jumlah maksimum simpul yang akan dialokasikan dalam kumpulan Spark yang ditentukan. Parameter ini harus ditentukan ketika Skala otomatis diaktifkan.

Jenis:Int32
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-AutoScaleMinNodeCount

Jumlah minimum simpul yang akan dialokasikan dalam kumpulan Spark yang ditentukan. Parameter ini harus ditentukan ketika Skala otomatis diaktifkan.

Jenis:Int32
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-Confirm

Meminta Anda mengonfirmasi sebelum menjalankan cmdlet.

Jenis:SwitchParameter
Alias:cf
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-DefaultProfile

Kredensial, akun, penyewa, dan langganan yang digunakan untuk komunikasi dengan Azure.

Jenis:IAzureContextContainer
Alias:AzContext, AzureRmContext, AzureCredential
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-EnableAutoPause

Menunjukkan apakah Jeda otomatis harus diaktifkan.

Jenis:Nullable<T>[Boolean]
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-EnableAutoScale

Menunjukkan apakah Skala otomatis harus diaktifkan

Jenis:Nullable<T>[Boolean]
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-EnableDynamicExecutorAllocation

Menunjukkan apakah alokasi pelaksana dinamis harus diaktifkan.

Jenis:Nullable<T>[Boolean]
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-EnableIsolatedCompute

Opsi Komputasi Isolasi hanya tersedia dengan ukuran simpul XXXLarge (80 vCPU / 504 GB). Mengaktifkan opsi ini menawarkan isolasi untuk komputasi Apache Spark untuk layanan yang tidak tepercaya. Biaya komputasi terisolasi sama dengan VM yang tidak terisolasi dengan ukuran yang sama. Jika Anda berharap untuk mengaktifkan Komputasi Terisolasi untuk kumpulan spark, pastikan ruang kerja Synapse Anda dibuat di wilayah yang didukung komputasi terisolasi, silakan lihat dokumen ini untuk detail selengkapnya: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Jenis:Nullable<T>[Boolean]
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-ForceApplySetting

Apakah akan menghentikan pekerjaan yang sedang berjalan di kumpulan Big Data.

Jenis:SwitchParameter
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-InputObject

Objek input kumpulan Spark, biasanya melewati alur.

Jenis:PSSynapseSparkPool
Position:Named
Nilai default:None
Diperlukan:True
Terima input alur:True
Terima karakter wildcard:False

-LibraryRequirementsFilePath

File konfigurasi lingkungan (output "PEMBekuan PIP").

Jenis:String
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-MaxExecutorCount

Jumlah maksimum pelaksana yang akan dialokasikan di kumpulan Spark yang ditentukan. Parameter ini dapat ditentukan ketika DynamicExecutorAllocation diaktifkan. Nilai harus terletak antara 1 (inklusif) dan maximumNodeCount (eksklusif). Jika tidak ditentukan secara manual, nilai defaultnya adalah 2.

Jenis:Int32
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-MinExecutorCount

Jumlah minimum pelaksana yang akan dialokasikan di kumpulan Spark yang ditentukan. Parameter ini dapat ditentukan ketika DynamicExecutorAllocation diaktifkan. Nilai harus terletak antara 1 (inklusif) dan maxExecutors (eksklusif). Jika tidak ditentukan secara manual, nilai defaultnya adalah 1.

Jenis:Int32
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-Name

Nama kumpulan Synapse Spark.

Jenis:String
Alias:SparkPoolName
Position:Named
Nilai default:None
Diperlukan:True
Terima input alur:False
Terima karakter wildcard:False

-NodeCount

Jumlah simpul yang akan dialokasikan dalam kumpulan Spark yang ditentukan.

Jenis:Int32
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-NodeSize

Jumlah inti dan memori yang akan digunakan untuk simpul yang dialokasikan dalam kumpulan Spark yang ditentukan. Parameter ini harus ditentukan ketika Skala otomatis dinonaktifkan

Jenis:String
Nilai yang diterima:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-Package

Paket ruang kerja.

Jenis:List<T>[PSSynapseWorkspacePackage]
Alias:WorkspacePackage
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-PackageAction

Tindakan paket harus ditentukan saat Anda menambahkan atau menghapus paket ruang kerja dari kumpulan Apache Spark.

Jenis:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Nilai yang diterima:Add, Remove, Set
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-ResourceGroupName

Nama grup sumber daya.

Jenis:String
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-ResourceId

Pengidentifikasi sumber daya kumpulan Synapse Spark.

Jenis:String
Position:Named
Nilai default:None
Diperlukan:True
Terima input alur:False
Terima karakter wildcard:False

-SparkConfiguration

Konfigurasi Apache Spark. Ketika pekerjaan dikirimkan ke kumpulan, properti yang ditentukan dalam konfigurasi yang dipilih akan dirujuk.

Jenis:PSSparkConfigurationResource
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-SparkVersion

Versi Apache Spark. Nilai yang diizinkan: 3.1,3.2,3.3,3.4

Jenis:String
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-Tag

String, kamus string tag yang terkait dengan sumber daya.

Jenis:Hashtable
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-WhatIf

Menunjukkan apa yang akan terjadi jika cmdlet berjalan. Cmdlet tidak dijalankan.

Jenis:SwitchParameter
Alias:wi
Position:Named
Nilai default:None
Diperlukan:False
Terima input alur:False
Terima karakter wildcard:False

-WorkspaceName

Nama ruang kerja Synapse.

Jenis:String
Position:Named
Nilai default:None
Diperlukan:True
Terima input alur:False
Terima karakter wildcard:False

-WorkspaceObject

objek input ruang kerja, biasanya melewati alur.

Jenis:PSSynapseWorkspace
Position:Named
Nilai default:None
Diperlukan:True
Terima input alur:True
Terima karakter wildcard:False

Input

PSSynapseWorkspace

PSSynapseSparkPool

Output

PSSynapseSparkPool