Manajemen Konfigurasi Apache Flink® di HDInsight di AKS

Catatan

Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.

Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.

Penting

Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.

HDInsight di AKS menyediakan serangkaian konfigurasi default Apache Flink untuk sebagian besar properti dan beberapa berdasarkan profil aplikasi umum. Namun, jika Anda diharuskan untuk mengubah properti konfigurasi Flink untuk meningkatkan performa untuk aplikasi tertentu dengan penggunaan status, paralelisme, atau pengaturan memori, Anda dapat mengubah konfigurasi pekerjaan Flink menggunakan Bagian Pekerjaan Flink di HDInsight pada kluster AKS.

1. Buka Pengaturan > Flink Pekerjaan > Klik Pembaruan.

   

2. Klik + Tambahkan baris untuk mengedit konfigurasi.

   

   Di sini interval titik pemeriksaan diubah pada tingkat Kluster.

3. Perbarui perubahan dengan mengklik OK lalu Simpan.

4. Setelah disimpan, konfigurasi baru akan diperbarui dalam beberapa menit (~5 menit).

5. Konfigurasi, yang dapat diperbarui menggunakan Pengaturan Manajemen Konfigurasi.

   processMemory size:

6. Pengaturan default untuk ukuran memori proses atau manajer pekerjaan dan manajer tugas akan menjadi memori yang dikonfigurasi oleh pengguna selama pembuatan kluster.

7. Ukuran ini dapat dikonfigurasi dengan menggunakan properti konfigurasi di bawah ini. Untuk mengubah memori proses pengelola tugas, gunakan konfigurasi ini.

   taskmanager.memory.process.size : <value>

   Contoh: taskmanager.memory.process.size : 2000mb

8. Untuk manajer pekerjaan

   jobmanager.memory.process.size : <value>

   Catatan

   Memori proses maksimum yang dapat dikonfigurasi sama dengan memori yang dikonfigurasi untuk jobmanager/taskmanager.

Interval Titik Pemeriksaan

Interval titik pemeriksaan menentukan seberapa sering Flink memicu titik pemeriksaan. Ditentukan dalam milidetik dan dapat diatur menggunakan properti konfigurasi berikut

execution.checkpoint.interval: <value>

Pengaturan default adalah 60.000 milidetik (1 menit), nilai ini dapat diubah sesuai keinginan.

Backend Status

Backend status menentukan bagaimana Flink mengelola dan mempertahankan status aplikasi Anda. Ini berdampak pada bagaimana titik pemeriksaan disimpan. Anda dapat mengonfigurasi 'backend status menggunakan properti berikut:

state.backend: <value>

Secara default, kluster Apache Flink di HDInsight pada AKS menggunakan Rocks DB.

Jalur Penyimpanan Titik Pemeriksaan

Kami mengizinkan titik pemeriksaan persisten secara default dengan menyimpan titik pemeriksaan di penyimpanan seperti yang dikonfigurasi abfs oleh pengguna. Bahkan jika pekerjaan gagal, karena titik pemeriksaan dipertahankan, itu dapat dengan mudah dimulai dengan titik pemeriksaan terbaru.

state.checkpoints.dir: <path> Ganti <path> dengan jalur yang diinginkan tempat titik pemeriksaan disimpan.

Secara default, disimpan di akun penyimpanan (ABFS), dikonfigurasi oleh pengguna. Nilai ini dapat diubah ke jalur apa pun yang diinginkan selama pod Flink dapat mengaksesnya.

Titik Pemeriksaan Bersamaan Maksimum

Anda dapat membatasi jumlah maksimum titik pemeriksaan bersamaan dengan mengatur properti berikut: checkpoint.max-concurrent-checkpoints: <value>

Ganti <value> dengan jumlah maksimum titik pemeriksaan bersamaan yang diinginkan. Misalnya, 1 untuk hanya mengizinkan satu titik pemeriksaan pada satu waktu.

Titik pemeriksaan maksimum yang dipertahankan

Anda dapat membatasi jumlah maksimum titik pemeriksaan yang akan dipertahankan dengan mengatur properti berikut: state.checkpoints.num-retained: <value> Ganti <value> dengan angka maksimum yang diinginkan. Secara default, kami mempertahankan maksimum lima titik pemeriksaan.

Jalur Penyimpanan Titik Simpan

Kami mengizinkan titik penyimpanan persisten secara default dengan menyimpan titik penyimpanan (seperti yang dikonfigurasi abfs oleh pengguna). Jika pengguna ingin berhenti dan kemudian memulai pekerjaan dengan titik penyimpanan tertentu, mereka dapat mengonfigurasi lokasi ini. state.checkpoints.dir: <path> Ganti <path> dengan jalur yang diinginkan tempat titik penyimpanan disimpan. Secara default, disimpan di akun penyimpanan, dikonfigurasi oleh pengguna. (Kami mendukung ABFS). Nilai ini dapat diubah ke jalur apa pun yang diinginkan selama pod Flink dapat mengaksesnya.

Ketersediaan tinggi manajer pekerjaan

Dalam HDInsight pada AKS, Flink menggunakan Kubernetes sebagai backend. Bahkan jika Job Manager gagal di antaranya karena masalah yang diketahui/tidak diketahui, pod dimulai ulang dalam beberapa detik. Oleh karena itu, bahkan jika pekerjaan dimulai ulang karena masalah ini, pekerjaan dipulihkan kembali dari titik pemeriksaan terbaru.

FAQ

Mengapa kegagalan Pekerjaan di antaranya? Bahkan jika pekerjaan gagal tiba-tiba, jika titik pemeriksaan terjadi terus menerus, maka pekerjaan dimulai ulang secara default dari titik pemeriksaan terbaru.

Mengubah strategi pekerjaan di antaranya? Ada kasus penggunaan, di mana pekerjaan perlu dimodifikasi saat dalam produksi karena beberapa bug tingkat pekerjaan. Selama waktu itu, pengguna dapat menghentikan pekerjaan, yang akan secara otomatis mengambil titik penyimpanan dan menyimpannya di lokasi titik penyimpanan.

1. savepoint Klik dan tunggu savepoint hingga selesai.

   

2. Setelah penyelesaian titik penyimpanan, klik mulai dan Mulai Tab Pekerjaan akan muncul. Pilih nama titik simpan dari menu dropdown. Edit konfigurasi apa pun jika perlu. Dan klik OK.

   

Karena titik penyimpanan disediakan dalam pekerjaan, Flink tahu dari mana harus mulai memproses data.

Referensi

• Konfigurasi Apache Flink
• Apache, Apache Kafka, Kafka, Apache Flink, Flink, dan nama proyek sumber terbuka terkait adalah merek dagang dari Apache Software Foundation (ASF).