Bagikan melalui

Kebijakan kapasitas

  • Artikel

Berlaku untuk: ✅Azure Data Explorer

Kebijakan kapasitas digunakan untuk mengontrol sumber daya komputasi terkait operasi manajemen data di kluster.

Objek kebijakan kapasitas

Kebijakan kapasitas dibuat dari komponen-komponen berikut:

Untuk melihat kapasitas kluster Anda, gunakan perintah kapasitas .show.

Kapasitas penyerapan

Properti Tipe Deskripsi
ClusterMaximumConcurrentOperations long Jumlah maksimum operasi penyerapan bersamaan yang diizinkan dalam kluster. Nilai ini membatasi total kapasitas penyerapan, seperti yang diperlihatkan dalam rumus berikut.
CoreUtilizationCoefficient real Menentukan persentase inti yang akan digunakan dalam perhitungan kapasitas penyerapan.

Rumus

Perintah kapasitas .show mengembalikan kapasitas penyerapan kluster berdasarkan rumus berikut:

Minimum(ClusterMaximumConcurrentOperations, Jumlah simpul dalam jumlah Core kluster * Maximum(1, per simpul * CoreUtilizationCoefficient))

Catatan

Dalam kluster dengan empat node atau lebih, simpul admin tidak berpartisipasi dalam operasi penyerapan, sehingga Jumlah simpul dalam kluster dikurangi satu.

Kapasitas penggabungan jangkauan

Properti Tipe Deskripsi
MinimumConcurrentOperationsPerNode long Jumlah minimal operasi penggabungan/pembangunan ulang ekstensi bersamaan pada satu simpul. Defaultnya adalah 1.
MaximumConcurrentOperationsPerNode long Jumlah maksimum ekstensi bersamaan menggabungkan/membangun kembali operasi pada satu simpul. Defaultnya adalah 5.

Rumus

Perintah kapasitas .show mengembalikan kapasitas gabungan tingkat kluster berdasarkan rumus berikut:

Jumlah simpul dalam operasi bersamaan kluster * per simpul

Nilai efektif untuk operasi Bersamaan per simpul secara otomatis disesuaikan oleh sistem dalam rentang [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], selama tingkat keberhasilan operasi penggabungan adalah 90% atau lebih tinggi.

Catatan

Dalam kluster dengan empat node atau lebih, simpul admin tidak berpartisipasi dalam operasi penggabungan, sehingga Jumlah simpul dalam kluster dikurangi satu.

Kapasitas pembangunan kembali penghapusan menyeluruh jangkauan

Properti Tipe Deskripsi
MaximumConcurrentOperationsPerNode long Jumlah maksimum tingkat pembangunan ulang bersamaan untuk operasi penghapusan menyeluruh pada satu simpul.

Rumus

Perintah kapasitas .show mengembalikan kapasitas penghapusan menyeluruh kluster berdasarkan rumus berikut:

Jumlah simpul dalam kluster x MaximumConcurrentOperationsPerNode

Catatan

Dalam kluster dengan empat node atau lebih, simpul admin tidak berpartisipasi dalam operasi pembersihan, sehingga Jumlah simpul dalam kluster dikurangi satu.

Kapasitas ekspor

Properti Tipe Deskripsi
ClusterMaximumConcurrentOperations long Jumlah maksimum operasi ekspor bersamaan dalam kluster. Nilai ini membatasi total kapasitas ekspor, seperti yang diperlihatkan dalam rumus berikut.
CoreUtilizationCoefficient long Menentukan persentase inti yang akan digunakan dalam perhitungan kapasitas ekspor.

Rumus

Perintah kapasitas .show mengembalikan kapasitas ekspor kluster berdasarkan rumus berikut:

Minimum(ClusterMaximumConcurrentOperations, Jumlah simpul dalam jumlah Core kluster * Maximum(1, per simpul * CoreUtilizationCoefficient))

Catatan

Dalam kluster dengan empat node atau lebih, simpul admin tidak berpartisipasi dalam operasi ekspor. Number of nodes in cluster dikurangi satu.

Kapasitas partisi jangkauan

Properti Tipe Deskripsi
ClusterMinimumConcurrentOperations long Jumlah minimal operasi partisi serentak dalam kluster. Defaultnya adalah 1.
ClusterMaximumConcurrentOperations long Jumlah maksimum operasi partisi tingkat bersamaan dalam kluster. Defaultnya adalah 32.

Nilai efektif untuk operasi Bersamaan secara otomatis disesuaikan oleh sistem dalam rentang [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], selama tingkat keberhasilan operasi partisi adalah 90% atau lebih tinggi.

Kebijakan kapasitas tampilan materialisasi

Kebijakan ini dapat digunakan untuk mengubah pengaturan konkurensi untuk tampilan materialisasi. Mengubah kebijakan kapasitas tampilan materialisasi dapat berguna ketika ada lebih dari satu tampilan materialisasi yang ditentukan pada kluster.

Properti Tipe Deskripsi
ClusterMinimumConcurrentOperations long Jumlah minimal operasi materialisasi bersamaan dalam kluster. Defaultnya adalah 1.
ClusterMaximumConcurrentOperations long Jumlah maksimum operasi materialisasi bersamaan dalam kluster. Defaultnya adalah 10.

Secara default, hanya satu materialisasi yang berjalan bersamaan (lihat cara kerja tampilan materialisasi). Sistem menyesuaikan konkurensi saat ini dalam rentang [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], berdasarkan jumlah tampilan materialisasi dalam kluster dan CPU kluster. Anda dapat meningkatkan/mengurangi konkurensi dengan mengubah kebijakan ini. Misalnya, jika kluster memiliki sepuluh tampilan materialisasi, mengatur ClusterMinimumConcurrentOperations ke lima memastikan bahwa setidaknya lima dari mereka dapat terwujud secara bersamaan. Anda dapat melihat nilai efektif untuk konkurensi saat ini menggunakan perintah kapasitas .show

Peringatan

ClusterMinimumConcurrentOperations Meningkatkan dapat menyebabkan kelelahan sumber daya dan menurunkan performa kluster. Pantau kesehatan kluster dengan hati-hati dan tingkatkan konkurensi secara bertahap jika Anda mengubah kebijakan ini secara manual.

Kapasitas hasil kueri yang disimpan

Properti Tipe Deskripsi
MaximumConcurrentOperationsPerDbAdmin long Jumlah maksimum operasi penyerapan serentak dalam node admin kluster.
CoreUtilizationCoefficient real Menentukan persentase inti yang akan digunakan dalam perhitungan pembuatan hasil kueri yang disimpan.

Rumus

Perintah kapasitas .show mengembalikan kapasitas pembuatan hasil kueri tersimpan kluster berdasarkan rumus berikut:

Jumlah simpul dalam jumlah Core kluster * Maximum(1, per simpul * CoreUtilizationCoefficient)

Catatan

Dalam kluster dengan empat node atau lebih, simpul admin tidak berpartisipasi dalam operasi pembuatan hasil kueri tersimpan, sehingga Jumlah simpul dalam kluster dikurangi satu.

Kapasitas pemrosesan pasca penyerapan streaming

Properti Tipe Deskripsi
MaximumConcurrentOperationsPerNode long Jumlah maksimum operasi pemrosesan pasca pemrosesan penyerapan streaming bersamaan pada setiap node kluster.

Rumus

Perintah kapasitas .show mengembalikan kapasitas pemrosesan pasca penyerapan streaming kluster berdasarkan rumus berikut:

Jumlah simpul dalam kluster x MaximumConcurrentOperationsPerNode

Catatan

Dalam kluster dengan empat node atau lebih, simpul admin tidak berpartisipasi dalam pemrosesan posting penyerapan streaming, sehingga Jumlah simpul dalam kluster dikurangi satu.

Membersihkan kapasitas pembersihan artefak penyimpanan

Properti Tipe Deskripsi
MaximumConcurrentOperationsPerCluster long Jumlah maksimum operasi pembersihan artefak penyimpanan pembersihan bersamaan pada kluster.

Rumus

Perintah kapasitas .show mengembalikan kapasitas pembersihan artefak penyimpanan pembersihan kluster berdasarkan rumus berikut:

MaximumConcurrentOperationsPerCluster

Kapasitas pembersihan artefak penyimpanan berkala

Properti Tipe Deskripsi
MaximumConcurrentOperationsPerCluster long Jumlah maksimum operasi pembersihan artefak penyimpanan berkala bersamaan pada kluster.

Rumus

Perintah kapasitas .show mengembalikan kapasitas pembersihan artefak penyimpanan berkala kluster berdasarkan rumus berikut:

MaximumConcurrentOperationsPerCluster

Default

Kebijakan kapasitas default memiliki representasi JSON berikut:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Perintah manajemen

Peringatan

Konsultasikan dengan tim dukungan sebelum mengubah kebijakan kapasitas.

Pembatasan perintah manajemen

Kusto membatasi jumlah permintaan serentak untuk perintah berikut yang dimulai pengguna:

Ketika kluster mendeteksi bahwa operasi telah melebihi batas permintaan serentak:

  • Status perintah, seperti yang disajikan oleh perintah Informasi sistem, adalah Throttled.
  • Pesan kesalahan mencakup jenis perintah, asal pembatasan, dan kapasitas yang telah terlampaui. Misalnya:
    • Misalnya: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • Kode respons HTTP adalah 429. Subkodenya adalah TooManyRequests.
  • Jenis pengecualian adalah ControlCommandThrottledException.

Catatan

Perintah manajemen juga dapat dibatasi sebagai akibat dari melebihi batas yang ditentukan oleh kebijakan Batas tingkat permintaan grup beban kerja.

Konten terkait