Configurer le stockage et l’extensibilité pour Apache Kafka sur HDInsight

  • Article

Découvrez comment configurer le nombre de disques managés utilisés par Apache Kafka sur HDInsight.

Kafka sur HDInsight utilise le disque local des machines virtuelles dans le cluster HDInsight. Étant donné que Kafka fait une utilisation intensive des E/S, Azure Disques managés est utilisé pour fournir un haut débit et un espace de stockage plus important pour chaque nœud. Si des disques durs virtuels (VHD) traditionnels ont été utilisés pour Kafka, chaque nœud est limité à 1 To. Grâce aux disques managés, vous pouvez utiliser plusieurs disques afin d’atteindre une capacité de 16 To pour chaque nœud du cluster.

Le diagramme ci-après compare l’utilisation de Kafka sur HDInsight avant les disques managés et celle de Kafka sur HDInsight avec les disques managés :

kafka with managed disks architecture.

Configurer les disques managés : Portail Azure

  1. Pour comprendre la procédure courante de création d’un cluster à l’aide du portail, suivez les instructions de l’article Création d’un cluster HDInsight. Ne terminez pas la procédure de création du portail.

  2. Dans la section Configuration et tarification, utilisez le champ Nombre de nœuds pour configurer le nombre de disques.

    Remarque

    Le type de disque managé peut être soit Standard (HDD), soit Premium (SSD). Les disques Premium sont utilisés avec les machines virtuelles séries DS et GS. Tous les autres types de machines virtuelles utilisent des disques Standard.

    cluster size section with the disks per worker node highlighted.

Configurer les disques managés : Modèle Resource Manager

Pour contrôler le nombre de disques utilisés par les nœuds Worker dans un cluster Kafka, utilisez la section ci-après du modèle :

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Étapes suivantes

Pour plus d’informations sur l’utilisation d’Apache Kafka sur HDInsight, consultez les documents suivants :