Mengelola skala horizontal kluster di Azure Data Explorer untuk mengakomodasi perubahan permintaan

Mengukur kluster dengan tepat sangat penting untuk performa Azure Data Explorer. Ukuran kluster statis dapat menyebabkan kurangnya penggunaan atau penggunaan berlebih, tidak satu pun yang ideal. Karena permintaan pada kluster tidak dapat diprediksi dengan akurasi absolut, lebih baik untuk menskalakan kluster, menambahkan dan menghapus kapasitas dan sumber daya CPU dengan permintaan yang berubah.

Ada dua alur kerja untuk menskalakan kluster Azure Data Explorer:

  • Penskalakan horizontal, juga disebut penskalakan masuk dan keluar.
  • Penskalakan vertikal, juga disebut penskalakan naik dan turun. Artikel ini menjelaskan alur kerja penskalakan horizontal.

Mengonfigurasi penskalakan horizontal

Dengan menggunakan penskalakan horizontal, Anda dapat menskalakan jumlah instans secara otomatis, berdasarkan aturan dan jadwal yang telah ditentukan sebelumnya. Untuk menentukan pengaturan skala otomatis untuk kluster Anda:

  1. Di portal Microsoft Azure, buka sumber daya kluster Azure Data Explorer Anda. Di bawah Pengaturan, pilih Peluasan skala.

  2. Di jendela Peluasan skala , pilih metode skala otomatis yang Anda inginkan: Skala manual, Skala otomatis yang dioptimalkan, atau Skala otomatis kustom.

Skala manual

Dalam opsi skala manual, kluster memiliki kapasitas statis yang tidak berubah secara otomatis. Pilih kapasitas statis dengan menggunakan bilah Jumlah instans . Penskalakan kluster tetap pada pengaturan yang dipilih hingga berubah.

Metode skala manual.

Skala otomatis yang dioptimalkan adalah pengaturan default selama pembuatan kluster dan metode penskalaan yang direkomendasikan. Metode ini mengoptimalkan performa dan biaya kluster, sebagai berikut:

  • Jika kluster kurang digunakan, biaya akan dikurangi tanpa memengaruhi performa yang diperlukan.
  • Jika kluster terlalu digunakan, kluster akan diskalakan untuk mempertahankan performa optimal.

Untuk mengonfigurasi skala otomatis yang dioptimalkan:

  1. Pilih Skala otomatis yang dioptimalkan.

  2. Tentukan jumlah instans minimum dan maksimum. Rentang autoscaling kluster antara nilai-nilai ini berdasarkan beban.

  3. Pilih Simpan.

    Metode skala otomatis yang dioptimalkan.

Skala otomatis yang dioptimalkan mulai berfungsi. Anda dapat melihat aktivitasnya di log aktivitas kluster di Azure.

Logika skala otomatis yang dioptimalkan

Skala otomatis yang dioptimalkan menggunakan logika prediktif atau reaktif. Logika prediktif melacak pola penggunaan kluster dan ketika mengidentifikasi musiman dengan keyakinan tinggi, ia mengelola penskalaan kluster. Jika tidak, logika reaktif yang melacak penggunaan aktual kluster digunakan untuk membuat keputusan pada operasi skala kluster berdasarkan tingkat penggunaan sumber daya saat ini.

Metrik utama untuk alur prediktif dan reaktif adalah:

  • CPU
  • Faktor pemanfaatan cache
  • Pemanfaatan penyerapan

Logika prediktif dan reaktif terikat pada batas ukuran kluster, jumlah instans minimum dan maksimum, seperti yang didefinisikan dalam konfigurasi skala otomatis yang dioptimalkan. Frekuensi operasi meningkatkan kapasitas dan mengurangi kapasitas kluster yang tinggi tidak diinginkan karena memiliki dampak terhadap sumber daya kluster serta waktu yang dibutuhkan untuk menambah atau menghapus instans, juga menyeimbangkan ulang cache yang aktif di semua simpul.

Skala otomatis prediktif

Logika prediktif memperkirakan penggunaan kluster untuk hari berikutnya berdasarkan pola penggunaannya selama beberapa minggu terakhir. Prakiraan digunakan untuk membuat jadwal operasi memperkecil skala atau memperbesar skala untuk menyesuaikan ukuran kluster sebelum waktu. Pendekatan ini memungkinkan penskalaan kluster dan penyeimbangan ulang data selesai tepat waktu saat beban berubah. Logika ini sangat efektif untuk pola musiman, seperti lonjakan penggunaan harian atau mingguan.

Namun, dalam skenario di mana lonjakan unik dalam penggunaan melebihi perkiraan, skala otomatis yang dioptimalkan kembali ke logika reaktif. Ketika situasi ini terjadi, operasi penskalaan masuk atau penskalaan keluar terjadi tidak terencana berdasarkan tingkat penggunaan sumber daya terbaru.

Skala otomatis reaktif

Peluasan skala

Ketika kluster mendekati keadaan penggunaan berlebih, operasi peningkatan kapasitas berlangsung untuk mempertahankan kinerja yang optimal. Operasi scale-out terjadi ketika setidaknya salah satu dari kondisi berikut terpenuhi:

  • Pemanfaatan cache tinggi selama lebih dari satu jam
  • CPU tinggi selama lebih dari satu jam
  • Pemanfaatan penyerapan tinggi selama lebih dari satu jam

Mengecilkan skala

Ketika kluster kurang dimanfaatkan, operasi pemadatan dilakukan untuk menurunkan biaya sambil mempertahankan performa optimal. Beberapa metrik memverifikasi bahwa aman untuk mengurangi ukuran klaster.

Untuk memastikan bahwa tidak ada kelebihan beban sumber daya, metrik berikut dievaluasi sebelum penskalaan dilakukan :

  • Pemanfaatan cache tidak tinggi
  • CPU di bawah rata-rata
  • Penggunaan penyerapan di bawah rata-rata
  • Jika penerimaan streaming digunakan, pemanfaatan penerimaan streaming tidak tinggi
  • Metrik tetap hidup di atas minimum yang ditentukan, diproses dengan benar, dan tepat waktu yang menunjukkan bahwa kluster responsif
  • Layanan tidak membatasi kueri.
  • Jumlah kueri yang gagal tetap di bawah minimum yang ditentukan.

Nota

Logika pengurangan skala membutuhkan evaluasi selama 1 hari sebelum dapat menerapkan pengurangan skala yang dioptimalkan. Evaluasi ini terjadi sekali setiap jam. Jika Anda memerlukan perubahan segera, gunakan skala manual.

Skala otomatis kustom

Meskipun skala otomatis yang dioptimalkan adalah opsi penskalakan yang direkomendasikan, skala otomatis kustom Azure juga didukung. Dengan menggunakan skala otomatis kustom, Anda dapat menskalakan kluster secara dinamis berdasarkan metrik yang Anda tentukan. Gunakan langkah-langkah berikut untuk mengonfigurasi skala otomatis kustom.

Aturan skala.

  1. Dalam kotak Nama pengaturan skala otomatis , masukkan nama, seperti Peluasan skala: pemanfaatan cache.

  2. Untuk Mode skala, pilih Skala berdasarkan metrik. Mode ini menyediakan penskalakan dinamis. Anda juga dapat memilih Skalakan ke jumlah instans tertentu.

  3. Pilih + Tambahkan aturan.

  4. Di bagian Aturan skala di sebelah kanan, masukkan nilai untuk setiap pengaturan.

    Criteria

    Setting Deskripsi dan nilai
    Agregasi waktu Pilih kriteria agregasi, seperti Rata-rata.
    Nama metrik Pilih metrik yang Anda inginkan untuk didasarkan pada operasi skala, seperti Pemanfaatan Cache.
    Statistik butir waktu Pilih antara Rata-Rata, Minimum, Maksimum, dan Jumlah.
    Operator Pilih opsi yang sesuai, seperti Lebih besar dari atau sama dengan.
    Ambang Pilih nilai yang sesuai. Misalnya, untuk pemanfaatan cache, 80 persen adalah titik awal yang baik.
    Durasi (dalam menit) Pilih jumlah waktu yang tepat bagi sistem untuk melihat ke belakang saat menghitung metrik. Mulai dengan default 10 menit.

    Action

    Setting Deskripsi dan nilai
    Operation Pilih opsi yang sesuai untuk mengurangi kapasitas atau menambah kapasitas.
    Jumlah instans Pilih jumlah simpul atau instans yang ingin Anda tambahkan atau hapus saat kondisi metrik terpenuhi.
    Mendinginkan (menit) Pilih interval waktu yang sesuai untuk menunggu di antara operasi skala. Mulai dengan default lima menit.

  5. Pilih Tambahkan.

  6. Di bagian Batas instans di sebelah kiri, masukkan nilai untuk setiap pengaturan.

    Setting Deskripsi dan nilai
    Minimum Jumlah instans minimum yang tidak dapat dikurangi dalam kluster Anda, terlepas dari tingkat pemanfaatannya.
    Maksimum Jumlah instans maksimum yang tidak boleh dilewati oleh kluster Anda, terlepas dari pemanfaatannya.
    Default Jumlah bawaan instance. Pengaturan ini digunakan jika ada masalah dengan membaca metrik sumber daya.

  7. Pilih Simpan.

Anda sekarang telah mengonfigurasi penskalaan horizontal untuk kluster Azure Data Explorer Anda. Tambahkan aturan lain untuk penskalaan vertikal. Jika Anda memerlukan bantuan terkait masalah penskalaan kluster, buka permintaan dukungan di portal Microsoft Azure.

Konten terkait

  • Last updated on