在 HDInsight 上設定 Apache Kafka 的記憶體和延展性

瞭解如何設定 HDInsight 上的 Apache Kafka 所使用的受控磁碟數目。

HDInsight 上的 Kafka 會使用 HDInsight 叢集中虛擬機的本機磁碟。 由於 Kafka 非常 I/O 繁重，因此 Azure 受控磁碟 可用來提供高輸送量，併為每個節點提供更多的記憶體。 如果傳統虛擬硬碟 （VHD） 用於 Kafka，則每個節點限制為 1 TB。 透過受控磁碟，您可以使用多個磁碟來達到叢集中每個節點的 16 TB。

下圖提供 HDInsight 上的 Kafka 與受控磁碟在 HDInsight 上的 Kafka 與受控磁碟之間的比較：

設定受控磁碟：Azure 入口網站

1. 請遵循建立 HDInsight 叢集中的步驟，瞭解使用入口網站建立叢集的常見步驟。 請勿完成入口網站建立程式。

2. 從 [ 設定與定價 ] 區段中，使用 [ 節點 數目] 字段來設定磁碟數目。

   注意

   受控磁碟的類型可以是標準 （HDD） 或 進階版 （SSD）。 進階版 磁碟會與 DS 和 GS 系列 VM 搭配使用。 所有其他 VM 類型都使用標準。

   

設定受控磁碟：Resource Manager 範本

若要控制 Kafka 叢集中背景工作節點所使用的磁碟數目，請使用範本的下一節：

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

下一步

如需在 HDInsight 上使用 Apache Kafka 的詳細資訊，請參閱下列檔：

• 使用 MirrorMaker 在 HDInsight 上建立 Apache Kafka 的複本

• 在 HDInsight 上搭配 Apache Kafka 使用 Apache Spark

• 透過 Azure 虛擬網絡 連線 至 Apache Kafka

• 使用 Apache Kafka 在受控磁碟上的 HDInsight 部落格