Bagikan melalui

Penyimpanan dan skalabilitas untuk Apache Kafka pada HDInsight

  • Artikel

Pelajari cara mengonfigurasi jumlah disk terkelola yang digunakan oleh Apache Kafka pada HDInsight.

Kafka pada HDInsight menggunakan disk lokal komputer virtual di klaster HDInsight. Karena Kafka merupakan I/O yang sangat berat, Disk Terkelola Azure digunakan untuk menyediakan throughput tinggi dan menyediakan lebih banyak penyimpanan per node. Jika hard drive virtual (VHD) tradisional digunakan untuk Kafka, setiap node dibatasi hingga 1 TB. Dengan disk terkelola, Anda dapat menggunakan beberapa disk untuk mencapai 16 TB untuk setiap node dalam klaster.

Diagram berikut memberikan perbandingan antara Kafka pada HDInsight sebelum disk terkelola, dan Kafka pada HDInsight dengan disk terkelola:

kafka dengan arsitektur disk terkelola.

Mengonfigurasi disk terkelola: Portal Azure

  1. Ikuti langkah-langkah dalam Membuat klaster HDInsight untuk memahami langkah-langkah umum untuk membuat klaster menggunakan portal. Jangan selesaikan proses pembuatan portal.

  2. Dari bagian Konfigurasi & Harga, gunakan bidang Jumlah Node untuk mengonfigurasi jumlah disk.

    Catatan

    Jenis disk yang dikelola dapat berupa Standar (HDD) atau Premium (SSD). Disk premium digunakan dengan VM seri DS dan GS. Semua jenis VM lainnya menggunakan disk standar.

    bagian ukuran kluster dengan disk per simpul pekerja disorot.

Mengonfigurasi disk terkelola: Templat Resource Manager

Untuk mengontrol jumlah disk yang digunakan oleh node pekerja dalam klaster Kafka, gunakan bagian templat berikut:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Langkah berikutnya

Untuk informasi selengkapnya tentang penggunaan Apache Kafka pada HDInsight, lihat dokumen berikut ini: