Mengoptimalkan pemanfaatan kluster alur Delta Live Tables dengan Penskalaan Otomatis yang Ditingkatkan
Penskalaan Otomatis yang Ditingkatkan Databricks mengoptimalkan pemanfaatan kluster dengan mengalokasikan sumber daya kluster secara otomatis berdasarkan volume beban kerja, dengan dampak minimal pada latensi pemrosesan data dari alur Anda.
Peningkatan Autoscaling pada fungsionalitas autoscaling kluster Azure Databricks dengan fitur berikut:
- Penskalaan Otomatis yang Disempurnakan mengimplementasikan pengoptimalan beban kerja streaming, dan menambahkan penyempurnaan untuk meningkatkan performa beban kerja batch. Peningkatan Autoscaling mengoptimalkan biaya dengan menambahkan atau menghapus mesin saat beban kerja berubah.
- Penskalaan Otomatis yang Disempurnakan secara proaktif mematikan node yang kurang dimanfaatkan sekaligus menjamin tidak ada tugas yang gagal selama penonaktifan. Fitur penskalaan otomatis kluster yang ada menurunkan skala node hanya jika node tidak digunakan.
Autoscaling yang Ditingkatkan adalah mode autoscaling default saat Anda membuat alur baru di UI Delta Live Tables. Anda dapat mengaktifkan Penskalaan Otomatis yang Ditingkatkan untuk alur yang ada dengan mengedit pengaturan alur di UI. Anda juga dapat mengaktifkan Autoscaling yang Ditingkatkan saat membuat atau mengedit alur dengan Api Tabel Langsung Delta.
Aktifkan Autoscaling yang Ditingkatkan
Catatan
Karena sumber daya komputasi secara otomatis dioptimalkan untuk alur DLT tanpa server, pengaturan untuk Penskalaan Otomatis yang Ditingkatkan Databricks tidak tersedia saat Anda memilih Tanpa Server untuk alur.
Untuk mempelajari tentang mengaktifkan alur DLT tanpa server, hubungi tim akun Azure Databricks Anda.
Untuk menggunakan Penskalaan Otomatis yang Ditingkatkan, lakukan salah satu hal berikut ini:
- Atur mode Kluster ke Peningkatan penskalakan otomatis saat Anda membuat alur atau mengedit alur di UI Tabel Langsung Delta.
autoscale
Tambahkan pengaturan ke konfigurasi kluster alur dan aturmode
bidang keENHANCED
. Lihat Mengonfigurasi pengaturan komputasi Anda.
Gunakan panduan berikut saat mengonfigurasi Penskalaan Otomatis yang Ditingkatkan untuk alur produksi:
Min workers
Biarkan pengaturan di default.- Atur
Max workers
pengaturan ke nilai berdasarkan anggaran dan prioritas alur.
Contoh berikut mengonfigurasi kluster Penskalaan Otomatis yang Ditingkatkan dengan minimal 5 pekerja dan maksimum 10 pekerja. max_workers
harus lebih besar dari atau sama dengan min_workers
.
Catatan
- Penskalaan Otomatis yang Ditingkatkan hanya tersedia untuk
updates
kluster. Fitur penskalaan otomatis yang ada digunakan untukmaintenance
kluster. - Konfigurasi
autoscale
memiliki dua mode:LEGACY
: Gunakan autoscaling kluster.ENHANCED
: Gunakan Autoscaling yang Ditingkatkan.
{
"clusters": [
{
"autoscale": {
"min_workers": 5,
"max_workers": 10,
"mode": "ENHANCED"
}
}
]
}
Alur secara otomatis dimulai ulang setelah konfigurasi penskalaan otomatis berubah jika alur dikonfigurasi untuk eksekusi berkelanjutan. Setelah menghidupkan ulang, perkirakan peningkatan latensi dalam waktu singkat. Setelah periode singkat peningkatan latensi ini, ukuran kluster harus diperbarui berdasarkan konfigurasi autoscale
Anda, dan latensi alur kembali ke karakteristik latensi sebelumnya.
Memantau alur yang diaktifkan Penskalaan Otomatis yang Ditingkatkan
Anda dapat menggunakan log peristiwa di antarmuka pengguna Delta Live Tables untuk memantau metrik Penskalakan Otomatis yang Ditingkatkan. Peristiwa Penskalaan Otomatis yang Ditingkatkan memiliki jenis peristiwa autoscale
. Berikut ini adalah contoh peristiwa:
Kejadian | Pesan |
---|---|
Permintaan mengubah ukuran kluster dimulai | Scaling [up or down] to <y> executors from current cluster size of <x> |
Permintaan mengubah ukuran kluster berhasil | Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED |
Permintaan pengurangan ukuran kluster berhasil sebagian | Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED |
Permintaan pengurangan ukuran kluster gagal | Achieved cluster size <x> for cluster <cluster-id> with status FAILED |
Anda juga dapat menampilkan peristiwa Penskalaan Otomatis yang Ditingkatkan dengan langsung mengkueri log peristiwa:
- Untuk mengkueri log peristiwa untuk metrik backlog, lihat Memantau backlog data dengan mengkueri log peristiwa.
- Untuk memantau permintaan dan respons pengubahan ukuran kluster selama operasi Penskalaan Otomatis yang Ditingkatkan, lihat Memantau peristiwa Penskalaan Otomatis yang Ditingkatkan dari log peristiwa.
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk