Konfigurowanie magazynu i skalowalności klastra Apache Kafka w usłudze HDInsight

  • Artykuł

Dowiedz się, jak skonfigurować liczbę dysków zarządzanych używanych przez platformę Apache Kafka w usłudze HDInsight.

Platforma Kafka w usłudze HDInsight używa dysku lokalnego maszyn wirtualnych w klastrze usługi HDInsight. Ze względu na duże obciążenie we/wy platformy Kafka funkcja Dyski zarządzane platformy Azure jest używana do zapewnienia wysokiej przepływności i zwiększenia miejsca do magazynowania w każdym węźle. Jeśli platforma Kafka korzysta z tradycyjnych wirtualnych dysków twardych (VHD), rozmiar każdego węzła nie przekracza 1 TB. W przypadku dysków zarządzanych można użyć wielu dysków, aby osiągnąć 16 TB pamięci dla każdego węzła w klastrze.

Poniższy diagram przedstawia porównanie platformy Kafka w usłudze HDInsight przed użyciem dysków zarządzanych i platformy Kafka w usłudze HDInsight z dyskami zarządzanymi:

kafka with managed disks architecture.

Konfigurowanie dysków zarządzanych: witryna Azure Portal

  1. Aby zapoznać się z typowymi czynnościami tworzenia klastra przy użyciu witryny, wykonaj kroki opisane w temacie Tworzenie klastra usługi HDInsight. Nie kończ procesu tworzenia portalu.

  2. W sekcji Konfiguracja i cennik użyj pola Liczba węzłów, aby skonfigurować liczbę dysków.

    Uwaga

    Można wybrać typ dysku zarządzanego Standardowy (HDD) lub Premium (SSD). Dyski w warstwie Premium są używane przez maszyny wirtualne serii DS i GS. Wszystkie pozostałe typy maszyn wirtualnych korzystają z dysków standardowych.

    cluster size section with the disks per worker node highlighted.

Konfigurowanie dysków zarządzanych: szablon usługi Resource Manager

Aby kontrolować liczbę dysków używanych przez węzły procesu roboczego w klastrze Kafka, użyj następującej sekcji szablonu:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Następne kroki

Aby uzyskać więcej informacji na temat pracy z platformą Apache Kafka w usłudze HDInsight, zobacz następujące dokumenty: