Mengoptimalkan pemanfaatan kluster alur Delta Live Tables dengan Penskalaan Otomatis yang Ditingkatkan

Penskalaan Otomatis yang Ditingkatkan Databricks mengoptimalkan pemanfaatan kluster dengan mengalokasikan sumber daya kluster secara otomatis berdasarkan volume beban kerja, dengan dampak minimal pada latensi pemrosesan data dari alur Anda.

Peningkatan Autoscaling pada fungsionalitas autoscaling kluster Azure Databricks dengan fitur berikut:

• Penskalaan Otomatis yang Disempurnakan mengimplementasikan pengoptimalan beban kerja streaming, dan menambahkan penyempurnaan untuk meningkatkan performa beban kerja batch. Peningkatan Autoscaling mengoptimalkan biaya dengan menambahkan atau menghapus mesin saat beban kerja berubah.
• Penskalaan Otomatis yang Disempurnakan secara proaktif mematikan node yang kurang dimanfaatkan sekaligus menjamin tidak ada tugas yang gagal selama penonaktifan. Fitur penskalaan otomatis kluster yang ada menurunkan skala node hanya jika node tidak digunakan.

Autoscaling yang Ditingkatkan adalah mode autoscaling default saat Anda membuat alur baru di UI Delta Live Tables. Anda dapat mengaktifkan Penskalaan Otomatis yang Ditingkatkan untuk alur yang ada dengan mengedit pengaturan alur di UI. Anda juga dapat mengaktifkan Autoscaling yang Ditingkatkan saat membuat atau mengedit alur dengan Api Tabel Langsung Delta.

Aktifkan Autoscaling yang Ditingkatkan

Catatan

Karena sumber daya komputasi secara otomatis dioptimalkan untuk alur DLT tanpa server (Pratinjau Umum), pengaturan untuk Penskalaan Otomatis Yang Ditingkatkan Databricks tidak tersedia saat Anda memilih Tanpa Server untuk alur.

Untuk mempelajari tentang mengaktifkan alur DLT tanpa server, hubungi tim akun Azure Databricks Anda.

Untuk menggunakan Penskalaan Otomatis yang Ditingkatkan, lakukan salah satu hal berikut ini:

• Atur mode Kluster ke Peningkatan penskalakan otomatis saat Anda membuat alur atau mengedit alur di UI Tabel Langsung Delta.
• autoscale Tambahkan pengaturan ke konfigurasi kluster alur dan atur mode bidang ke ENHANCED. Lihat Mengonfigurasi pengaturan komputasi Anda.

Gunakan panduan berikut saat mengonfigurasi Penskalaan Otomatis yang Ditingkatkan untuk alur produksi:

• Min workers Biarkan pengaturan di default.
• Atur Max workers pengaturan ke nilai berdasarkan anggaran dan prioritas alur.

Contoh berikut mengonfigurasi kluster Penskalaan Otomatis yang Ditingkatkan dengan minimal 5 pekerja dan maksimum 10 pekerja. max_workers harus lebih besar dari atau sama dengan min_workers.

Catatan

• Penskalaan Otomatis yang Ditingkatkan hanya tersedia untuk updates kluster. Fitur penskalaan otomatis yang ada digunakan untuk maintenance kluster.
• Konfigurasi autoscale memiliki dua mode:
  • LEGACY: Gunakan autoscaling kluster.
  • ENHANCED: Gunakan Autoscaling yang Ditingkatkan.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

Alur secara otomatis dimulai ulang setelah konfigurasi penskalaan otomatis berubah jika alur dikonfigurasi untuk eksekusi berkelanjutan. Setelah menghidupkan ulang, perkirakan peningkatan latensi dalam waktu singkat. Setelah periode singkat peningkatan latensi ini, ukuran kluster harus diperbarui berdasarkan konfigurasi autoscale Anda, dan latensi alur kembali ke karakteristik latensi sebelumnya.

Memantau alur yang diaktifkan Penskalaan Otomatis yang Ditingkatkan

Anda dapat menggunakan log peristiwa di antarmuka pengguna Delta Live Tables untuk memantau metrik Penskalakan Otomatis yang Ditingkatkan. Peristiwa Penskalaan Otomatis yang Ditingkatkan memiliki jenis peristiwa autoscale. Berikut ini adalah contoh peristiwa:

Kejadian	Pesan
Permintaan mengubah ukuran kluster dimulai	Scaling [up or down] to <y> executors from current cluster size of <x>
Permintaan mengubah ukuran kluster berhasil	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
Permintaan pengurangan ukuran kluster berhasil sebagian	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
Permintaan pengurangan ukuran kluster gagal	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

Anda juga dapat menampilkan peristiwa Penskalaan Otomatis yang Ditingkatkan dengan langsung mengkueri log peristiwa:

• Untuk mengkueri log peristiwa untuk metrik backlog, lihat Memantau backlog data dengan mengkueri log peristiwa.
• Untuk memantau permintaan dan respons pengubahan ukuran kluster selama operasi Penskalaan Otomatis yang Ditingkatkan, lihat Memantau peristiwa Penskalaan Otomatis yang Ditingkatkan dari log peristiwa.