Compartilhar via

Como configurar o Apache Kafka no HDInsight para criar tópicos automaticamente

  • Artigo

Por padrão, o Apache Kafka no HDInsight não habilita a criação automática de tópicos. Você pode habilitar a criação automática de tópico para clusters existentes usando o Apache Ambari. Você também pode habilitar a criação automática de tópico ao criar um novo cluster do Kafka usando um modelo do Azure Resource Manager.

Interface do usuário do Apache Ambari web

Para habilitar a criação automática de tópico em um cluster existente por meio da interface do usuário da Web do Ambari, use as seguintes etapas:

  1. No Portal do Azure, selecione seu cluster do Kafka.

  2. Em Painéis do cluster, selecione Página inicial do Ambari.

    Image of the portal with cluster dashboard selected.

    Quando solicitado, autentique-se usando as credenciais de logon (administrador) do cluster. Em vez disso, você pode se conectar ao Ambari diretamente de https://CLUSTERNAME.azurehdinsight.net/ onde CLUSTERNAME é o nome do cluster Kafka.

  3. Selecione o serviço Kafka na lista à esquerda da página.

    Apache Ambari service list tab.

  4. Selecione Configurações no meio da página.

    Apache Ambari service configs tab.

  5. No campo Filtrar, digite um valor de auto.create.

    Apache Ambari search filter field.

    Essa configuração filtrará a lista de propriedades e exibirá a configuração auto.create.topics.enable.

  6. Altere o valor de auto.create.topics.enable para true e selecione Salvar. Adicionar uma observação e, em seguida, selecione Salvar novamente.

    Image of the auto.create.topics.enable entry.

  7. Selecione o serviço Kafka, Reiniciar e, em seguida, selecione Reiniciar todos os afetados. Quando solicitado, selecione Confirmar reiniciar tudo.

    `Apache Ambari restart all affected`.

Observação

Você também pode definir valores do Ambari por meio da API REST do Ambari. Isso geralmente é mais difícil, pois você precisa fazer várias chamadas REST para recuperar a configuração atual, modificá-la etc. Para obter mais informações, consulte o documento Gerenciar clusters HDInsight usando a API REST do Apache Ambari.

Modelos do Gerenciador de Recursos

Ao criar um cluster do Kafka usando um modelo do Azure Resource Manager, você pode definir diretamente auto.create.topics.enable adicionando-o em um kafka-broker. O snippet JSON a seguir demonstra como definir esse valor como true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Próximas etapas

Neste documento, você aprendeu como habilitar a criação automática de tópico para Apache Kafka no HDInsight. Para obter mais informações sobre como trabalhar com o Kafka, consulte os seguintes links: