Event Hubs에 대한 Apache Kafka 문제 해결 가이드

2025-06-05

이 문서에서는 Apache Kafka용 Event Hubs를 사용할 때 발생할 수 있는 문제에 대한 문제 해결 팁을 제공합니다.

서버 작업 중 예외

ThrottledRequests 메트릭이 Kafka 제한으로 인해 표시될 수 있습니다. AMQP 클라이언트를 사용하면 서비스 제한 시 Event Hubs가 즉시 서버 작업 중 예외를 반환합니다. “나중에 다시 시도” 메시지와 같습니다. Kafka에서 들어오는 메시지는 승인되기 전에 지연되고 나가는 메시지는 배달이 지연됩니다. 지연 길이는 생성/가져오기 응답에서 throttle_time_ms(밀리초)로 반환됩니다. 대부분의 경우 이러한 지연된 요청은 Event Hubs 대시보드에서 ThrottledRequests 메트릭으로 기록되지 않습니다. 대신, 응답의 throttle_time_ms 값을 처리량이 프로비저닝된 할당량을 초과했음을 나타내는 지표로 사용해야 합니다.

트래픽이 과도하면 서비스에서 다음 동작을 수행합니다.

생성 요청의 지연이 요청 시간 제한(request.timeout.ms)을 초과하면 Event Hubs 는 정책 위반 오류 코드를 반환합니다.
페치 요청의 지연이 요청 시간 제한을 초과하면 Event Hubs는 요청을 제한된 것으로 기록하고 빈 레코드 집합과 오류 코드 없이 응답합니다.

레코드가 수신되지 않음

소비자가 레코드를 가져오지 않고 지속적으로 균형을 조정하는 것을 볼 수 있습니다. 이 시나리오에서는 소비자가 레코드를 가져와 계속해서 리밸런싱하지 않습니다. 이 경우 예외나 오류가 발생하지는 않지만 Kafka 로그에 소비자가 그룹에 다시 참가하여 파티션을 할당하려고 시도하다가 중단되었다고 표시됩니다. 몇 가지 가능한 원인은 다음과 같습니다.

request.timeout.ms가 권장 값인 60000 이상이고 session.timeout.ms가 권장 값인 30000 이상인지 확인합니다. 이러한 설정을 너무 낮게 설정하면 소비자 타임아웃이 발생할 수 있으며, 이는 리밸런싱을 유발할 수 있습니다(이로 인해 더 많은 타임아웃이 발생하고, 더 많은 리밸런싱이 발생하는 등의 악순환이 이어질 수 있습니다).
구성이 권장 값과 일치하고 일정한 리밸런싱이 계속 표시되는 경우 문제를 자유롭게 열어 보세요(디버그에 도움이 되도록 문제에 전체 구성을 포함해야 합니다).

압축/메시지 형식 버전 이슈

Kafka용 Event Hubs는 현재 압축 알고리즘만 gzip 지원합니다. 다른 알고리즘을 사용하는 경우 클라이언트 애플리케이션에 메시지 형식 버전 오류(예: The message format version on the broker does not support the request.)가 표시됩니다.

지원되지 않는 압축 알고리즘을 사용해야 하는 경우 데이터를 브로커로 보내기 전에 특정 알고리즘으로 데이터를 압축하고 수신 후 압축을 푸는 것이 유효한 해결 방법입니다. 메시지 본문은 단순히 서비스에 대한 바이트 배열이므로 클라이언트 쪽 압축/압축 풀기로 인한 이슈는 발생하지 않습니다.

UnknownServerException (알 수 없는 서버 예외)

다음 예제와 유사한 Kafka 클라이언트 라이브러리에서 UnknownServerException을 받을 수 있습니다.

org.apache.kafka.common.errors.UnknownServerException: The server experienced an unexpected error when processing the request

Microsoft 지원에서 티켓을 엽니다. UTC의 디버그 수준 로깅과 예외 타임스탬프는 이슈를 디버그하는 데 도움이 됩니다.

기타 문제

Event Hubs에서 Kafka를 사용할 때 이슈가 발생하는 경우 다음 항목을 확인합니다.

트래픽 차단 방화벽 - 포트 9093이 방화벽에서 차단되지 않았는지 확인합니다.
TopicAuthorizationException - 이 예외의 가장 일반적인 원인은 다음과 같습니다.
- 구성 파일의 연결 문자열에 오타가 있음 또는
- 기본 계층 네임스페이스에서 Kafka용 Event Hubs를 사용하려고 함. Kafka용 Event Hubs 기능은 기본 계층에서 지원되지 않습니다.
Kafka 버전 불일치 - Kafka용 Event Hubs 에코시스템은 Kafka 버전 1.0 이상을 지원합니다. Kafka 버전 0.10 이상을 사용하는 일부 애플리케이션도 Kafka 프로토콜이 지원하는 이전 버전과의 호환성으로 인해 가끔 작동할 수 있지만 이전 API 버전을 사용하지 않는 것이 좋습니다. Kafka 버전 0.9 및 이전 버전은 필요한 SASL 프로토콜을 지원하지 않으며 Event Hubs에 연결할 수 없습니다.
Kafka에서 사용하는 경우 AMQP 헤더의 이상한 인코딩 - AMQP를 통해 이벤트 허브에 이벤트를 보내는 경우 모든 AMQP 페이로드 헤더는 AMQP 인코딩으로 직렬화됩니다. Kafka 소비자는 AMQP 헤더를 역직렬화하지 않습니다. 헤더 값을 읽으려면 AMQP 헤더를 수동으로 디코드합니다. 또는 Kafka 프로토콜을 통해 사용한다는 것을 알고 있는 경우 AMQP 헤더를 사용하지 않도록 할 수 있습니다. 자세한 내용은 이 GitHub 이슈를 참조하세요.
SASL 인증 - Event Hubs에서 요구하는 SASL 인증 프로토콜과 프레임워크를 연동시키는 것은 보이는 것보다 더 어려울 수 있습니다. SASL 인증에 대한 프레임워크 리소스를 사용하여 구성 문제를 해결할 수 있는지 확인합니다.

제한

Apache Kafka 대 Event Hubs Kafka. 대부분의 경우 Azure Event Hubs의 Kafka 인터페이스는 Apache Kafka와 동일한 기본값, 속성, 오류 코드, 일반 동작을 사용합니다. 이러한 두 인스턴스가 명시적으로 다른 인스턴스(또는 Event Hubs가 Kafka에서 제한하지 않는 경우)는 여기에 나열됩니다.

group.id 속성의 최대 길이는 256자입니다.
최대 크기 offset.metadata.max.bytes 는 1,024바이트입니다.
오프셋 커밋은 파티션당 4회 호출/초로 제한되고 최대 내부 로그 크기는 1MB입니다.

다음 단계

Event Hubs 및 Kafka용 Event Hubs에 대해 자세한 내용은 다음 문서를 참조하세요.