Share via

자동으로 토픽을 작성하기 위해 HDInsight에서 Apache Kafka를 구성하는 방법

  • 아티클

기본적으로 HDInsight의 Apache Kafka는 자동 토픽 생성을 허용하지 않습니다. Apache Ambari를 사용하여 기존 클러스터에 자동 토픽 만들기를 사용할 수 있습니다. Azure Resource Manager 템플릿을 사용하여 새로운 Kafka 클러스터를 만들 때 자동 토픽 만들기도 사용할 수 있습니다.

Apache Ambari 웹 UI

Ambari 웹 UI를 통해 기존 클러스터에서 자동 토픽 생성을 사용할 수 있게 하려면 다음 단계를 사용합니다.

  1. Azure Portal에서 Kafka 클러스터를 선택합니다.

  2. 클러스터 대시보드에서 Ambari 홈을 선택합니다.

    Image of the portal with cluster dashboard selected.

    메시지가 표시되면 클러스터에 대한 로그인(관리자) 자격 증명을 사용하여 인증을 받습니다. 대신 https://CLUSTERNAME.azurehdinsight.net/에서 Amabri에 직접 연결할 수 있습니다 여기서 CLUSTERNAME(은)는 Kafka 클러스터의 이름입니다.

  3. 페이지 왼쪽 목록에서 Kafka 서비스를 선택합니다.

    Apache Ambari service list tab.

  4. 페이지 중간의 Config를 선택합니다.

    Apache Ambari service configs tab.

  5. 필터 필드에 auto.create 값을 입력합니다.

    Apache Ambari search filter field.

    이 설정은 속성 목록을 필터링하고 auto.create.topics.enable 설정을 표시합니다.

  6. auto.create.topics.enable 값을 true로 변경하고 저장을 선택합니다. 메모를 추가하고 저장을 다시 선택합니다.

    Image of the auto.create.topics.enable entry.

  7. Kafka 서비스를 선택하고 다시 시작을 선택한 후 영향을 받는 모든 서비스 다시 시작을 선택합니다. 메시지가 나타나면 모두 다시 시작 확인을 선택합니다.

    `Apache Ambari restart all affected`.

참고 항목

또한 Ambari REST API를 통해 Ambari 값을 설정할 수 있습니다. 이는 현재 구성을 검색하고 수정하기 위해 여러 REST 호출을 수행해야 하기 때문에 일반적으로 더 어렵습니다. 자세한 내용은 Apache Ambari REST API를 사용하여 HDInsight 클러스터 관리 문서를 참조하세요.

리소스 관리자 템플릿

Azure Resource Manager 템플릿을 사용하여 Kafka 클러스터를 만들 때 kafka-broker에 추가하여 직접 auto.create.topics.enable을 설정할 수 있습니다. 다음 JSON 코드 조각은 이 값을 true로 설정하는 방법을 보여줍니다.

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

다음 단계

이 문서에서는 HDInsight에서 Apache Kafka에 대한 자동 화제 생성을 활성화하는 방법을 배웠습니다. Kafka 작업에 대해 자세히 알아보려면 다음 링크를 참조하세요.