Ketersediaan tinggi data Anda dengan Apache Kafka pada HDInsight
Pelajari cara mengonfigurasikan replika partisi untuk topik Apache Kafka untuk memanfaatkan konfigurasi rak perangkat keras yang mendasarinya. Konfigurasi ini memastikan ketersediaan data yang disimpan di Apache Kafka pada HDInsight.
Domain kesalahan dan pembaruan dengan Apache Kafka
Domain kesalahan adalah pengelompokan logis perangkat keras yang mendasarinya di pusat data Azure. Setiap domain penyimpanan berbagi sumber tenaga dan sakelar jaringan yang sama. Komputer virtual dan disk terkelola yang mengimplementasikan simpul dalam kluster HDInsight didistribusikan melintasi domain kesalahan ini. Arsitektur ini membatasi dampak potensial dari kegagalan perangkat keras fisik.
Setiap region Azure memiliki jumlah domain kesalahan tertentu. Untuk daftar domain dan jumlah domain kesalahan yang ditampung, lihat dokumentasi Set ketersediaan.
Penting
Kafka tidak memahami domain kesalahan. Ketika Anda membuat topik di Kafka, ia dapat menyimpan semua replika partisi di domain kesalahan yang sama. Untuk mengatasi masalah ini, HDInsight menyediakan Alat penyeimbangan kembali partisi Kafka.
Kapan harus menyeimbangkan kembali replika partisi
Untuk memastikan ketersediaan tertinggi data Kafka Anda, Anda harus menyeimbangkan kembali replika partisi untuk topik Anda di saat-saat berikut ini:
Ketika topik atau partisi baru dibuat
Ketika Anda menaikkan skala klaster
Faktor replikasi
Penting
Kami menyarankan sebaiknya gunakan region Azure yang berisi tiga domain kesalahan dan menggunakan faktor replikasi 3.
Jika Anda harus menggunakan region yang hanya berisi dua domain kesalahan, gunakan faktor replikasi 4 untuk menyebarkan replika secara merata pada kedua domain kesalahan.
Untuk contoh pembuatan topik dan pengaturan faktor replikasi, lihat dokumen Memulai dengan Apache Kafka pada HDInsight.
Cara menyeimbangkan kembali replika partisi
Gunakan Alat penyeimbangan kembali partisi Apache Kafka untuk menyeimbangkan kembali topik yang dipilih. Alat ini harus dijalankan dari koneksi SSH ke kepala sampul kluster Kafka Anda.
Untuk informasi selengkapnya tentang terhubung ke HDInsight menggunakan SSH, lihat dokumen Menggunakan SSH dengan HDInsight.