이벤트 스트림 처리의 Azure Kubernetes

AKS(Azure Kubernetes Service)
Azure IoT Hub
Azure Event Hubs
Azure 기능
Azure Cosmos DB

솔루션 아이디어

이 문서는 솔루션 아이디어입니다. 잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보로 콘텐츠를 확장하려면 GitHub 피드백을 제공하여 알려주세요.

이 문서에서는 KEDA 스케일러를 사용하여 AKS(Azure Kubernetes Service)에서 실행되는 서버리스 이벤트 기반 아키텍처의 변형에 대해 설명합니다. 이 솔루션은 데이터 스트림을 수집하고, 데이터를 처리한 다음, 결과를 백 엔드 데이터베이스에 씁니다.

아키텍처

이 문서에 설명된 데이터 흐름을 보여 주는 아키텍처 다이어그램

이 아키텍처의 Visio 파일을 다운로드합니다.

데이터 흐름

  1. KEDA 스케일러를 사용하는 AKS는 처리해야 하는 이벤트 수에 따라 Azure Functions 컨테이너를 자동 크기 조정하는 데 사용됩니다.
  2. 이벤트가 입력 이벤트 허브에 도착합니다.
  3. 이벤트 처리를 위해 Azure Function에 대한 일괄 처리 제거 및 필터링이 트리거됩니다. 이 단계에서는 출력 이벤트 허브에 제출하기 전 원치 않는 이벤트를 필터링하고 수신된 이벤트에서 일괄 처리를 제거합니다.
  4. Azure Function 일괄 처리 제거 및 필터링으로 이벤트를 성공적으로 저장하지 못하면 이벤트가 Deadletter Event Hub 1에 제출됩니다.
  5. 출력 이벤트 허브에 도착하는 이벤트가 Transforming Azure Function을 트리거합니다. 이 Azure Function은 이벤트를 Azure Cosmos DB 인스턴스에 대한 메시지로 변환합니다.
  6. 이벤트가 Azure Cosmos DB 데이터베이스에 저장됩니다.

구성 요소

  • AKS(Azure Kubernetes Service)는 운영 오버헤드를 Azure로 오프로드하여 Azure에서 관리되는 Kubernetes 클러스터 배포를 단순화합니다. 호스팅되는 Kubernetes 서비스인 Azure는 상태 모니터링 및 유지 관리 같은 중요 작업을 처리합니다.
  • KEDA는 처리해야 하는 이벤트 수에 따라 Kubernetes 클러스터의 컨테이너 크기를 조정하는 데 사용되는 이벤트 기반 자동 크기 조정기입니다.
  • Event Hubs에서 데이터 스트림을 수집합니다. Event Hubs는 높은 처리량 데이터 스트리밍 시나리오를 위해 설계되었습니다.
  • Azure Functions는 서버리스 컴퓨팅 옵션입니다. 트리거를 통해 코드(함수)가 호출되는 이벤트 구동 모델을 사용합니다.
  • Azure Cosmos DB는 서버리스 소비 기반 모드에서 사용할 수 있는 다중 모델 데이터베이스 서비스입니다. 이 시나리오의 경우 이벤트 처리 함수가 Azure Cosmos DB for NoSQL을 사용하여 JSON 레코드를 저장합니다.

참고

IoT(사물 인터넷) 시나리오의 경우 Azure IoT Hub를 권장합니다. IoT Hub에는 Azure Event Hubs API와 호환되는 기본 제공 엔드포인트가 있으므로 이 아키텍처에서는 백 엔드 처리를 크게 변경하지 않고도 두 가지 서비스 중 하나를 사용할 수 있습니다. 자세한 내용은 IoT 디바이스를 Azure에 연결: IoT Hub 및 Event Hubs를 참조하세요.

시나리오 정보

이 문서에서는 KEDA 스케일러를 사용하여 AKS에서 실행되는 서버리스 이벤트 기반 아키텍처를 설명합니다. 이 솔루션은 데이터 스트림을 수집하고, 데이터를 처리한 다음, 결과를 백 엔드 데이터베이스에 씁니다.

서버리스 이벤트 처리의 기본 개념, 고려 사항 및 접근 방법에 대한 자세한 내용은 서버리스 이벤트 처리 참조 아키텍처를 참조하세요.

잠재적인 사용 사례

엔드투엔드 이벤트 스트림 처리 패턴을 구현하기 위한 인기 있는 사용 사례에는 확장성이 높고, 이벤트 허브 트리거 기능으로 구현된 일괄 처리 제거 및 변환 논리를 사용하여 초당 이벤트를 수신하고 처리하는 Event Hubs 스트리밍 수집 서비스가 포함됩니다.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.

다음 단계