Partilhar via

Como configurar o Apache Kafka no HDInsight para criar tópicos automaticamente

  • Artigo

Por padrão, o Apache Kafka no HDInsight não habilita a criação automática de tópicos. Você pode habilitar a criação automática de tópicos para clusters existentes usando o Apache Ambari. Você também pode habilitar a criação automática de tópicos ao criar um novo cluster Kafka usando um modelo do Azure Resource Manager.

Interface do usuário da Web do Apache Ambari

Para habilitar a criação automática de tópicos em um cluster existente por meio da interface do usuário da Web do Ambari, use as seguintes etapas:

  1. No portal do Azure, selecione seu cluster Kafka.

  2. Em Painéis de cluster, selecione Página inicial do Ambari.

    Image of the portal with cluster dashboard selected.

    Quando solicitado, autentique-se usando as credenciais de login (admin) para o cluster. Em vez disso, você pode se conectar ao Amabri diretamente de https://CLUSTERNAME.azurehdinsight.net/ onde CLUSTERNAME está o nome do seu cluster Kafka.

  3. Selecione o serviço Kafka na lista à esquerda da página.

    Apache Ambari service list tab.

  4. Selecione Configurações no meio da página.

    Apache Ambari service configs tab.

  5. No campo Filtro, insira um valor de auto.create.

    Apache Ambari search filter field.

    Essa configuração filtra a lista de propriedades e exibe a auto.create.topics.enable configuração.

  6. Altere o valor de auto.create.topics.enable para truee, em seguida, selecione Guardar. Adicione uma nota e, em seguida, selecione Guardar novamente.

    Image of the auto.create.topics.enable entry.

  7. Selecione o serviço Kafka, selecione Reiniciar e, em seguida, selecione Reiniciar todos os afetados. Quando solicitado, selecione Confirmar reinicialização de tudo.

    `Apache Ambari restart all affected`.

Nota

Você também pode definir valores Ambari por meio da API REST do Ambari. Isso geralmente é mais difícil, pois você precisa fazer várias chamadas REST para recuperar a configuração atual, modificá-la, etc. Para obter mais informações, consulte Gerenciar clusters HDInsight usando o documento da API REST do Apache Ambari.

Modelos do Resource Manager

Ao criar um cluster Kafka usando um modelo do Azure Resource Manager, você pode definir auto.create.topics.enable diretamente adicionando-o em um kafka-brokerarquivo . O trecho JSON a seguir demonstra como definir esse valor como true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Passos Seguintes

Neste documento, você aprendeu como habilitar a criação automática de tópicos para o Apache Kafka no HDInsight. Para saber mais sobre como trabalhar com Kafka, consulte os seguintes links: