Configurar o armazenamento e a escalabilidade para o Apache Kafka no HDInsight

  • Artigo

Saiba como configurar o número de discos gerenciados usados pelo Apache Kafka no HDInsight.

O Kafka no HDInsight usa o disco local das máquinas virtuais no cluster HDInsight. Como o Kafka tem E/S bastante pesadas, os Azure Managed Disks são usados para fornecer a alta taxa de transferência e fornecer mais armazenamento por nó. Se os discos rígidos virtuais (VHD) tradicionais tiverem sido usados para o Kafka, cada nó estará limitado a 1 TB. Com os discos gerenciados, você pode usar vários discos para alcançar 16 TB para cada nó no cluster.

O diagrama a seguir fornece uma comparação entre o Kafka no HDInsight antes dos discos gerenciados e o Kafka no HDInsight com os discos gerenciados:

kafka with managed disks architecture.

Configurar discos gerenciados: portal do Azure

  1. Siga as etapas de Criar um cluster HDInsight para compreender as etapas comuns para criar um cluster usando o portal. Não conclua o processo de criação do portal.

  2. Na seção Configuração e preço, use o campo Número de Nós para configurar o número de discos.

    Observação

    O tipo de disco gerenciado pode ser Standard (HDD) ou Premium (SSD). Os discos Premium são usados com as VMs das séries DS e GS. Todos os outros tipos VM usam o padrão.

    cluster size section with the disks per worker node highlighted.

Configurar discos gerenciados: modelo do Gerenciador de Recursos

Para controlar o número de discos usados por nós de trabalho em um cluster do Kafka, use a seção a seguir do modelo:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Próximas etapas

Para obter mais informações sobre como trabalhar com o Apache Kafka no HDInsight, consulte os seguintes documentos: