Azure에서 스트림 처리 기술 선택

  • 아티클

이 문서에서는 Azure의 실시간 스트림 처리에 대한 기술 선택 사항을 비교합니다.

실시간 스트림 처리는 큐 또는 파일 기반 스토리지의 메시지를 사용하고 메시지를 처리한 다음 결과를 다른 메시지 큐, 파일 스토리지 또는 데이터베이스로 전달합니다. 처리에는 메시지의 쿼리, 필터링 및 집계가 포함될 수 있습니다. 스트림 처리 엔진은 데이터의 무한 스트림을 사용하고 최소 대기 시간으로 결과를 생성할 수 있어야 합니다. 자세한 내용은 실시간 처리를 참조하세요.

실시간 처리를 위한 기술을 선택할 때 사용할 수 있는 옵션은 무엇인가요?

Azure에서 다음의 모든 데이터 저장소는 핵심 요구 사항을 충족하여 실시간 처리를 지원합니다.

주요 선택 조건

실시간 처리 시나리오에 대해 먼저 다음 질문에 응답하여 사용자 요구에 적합한 서비스를 선택합니다.

  • 스트림 처리 논리 제작에 대해 선언적 방식과 명령적 방법 중에서 어떤 방식을 선호하나요?

  • 임시 처리 또는 기간 지정 기능이 기본적으로 지원될 필요가 있나요?

  • Avro, JSON 또는 CSV 형식 외의 형식으로 데이터가 들어오나요? 그렇다면 사용자 지정 코드를 사용하는 형식을 지원하는 옵션을 고려합니다.

  • 1GB/s 이상으로 처리 크기를 조정해야 하나요? 그렇다면 클러스터 크기에 따라 확장되는 옵션을 고려합니다.

기능 매트릭스

다음 표에서는 주요 기능 차이점을 요약해서 보여 줍니다.

일반 기능

기능 Azure Stream Analytics HDInsight(Spark Streaming 포함) Azure Databricks의 Apache Spark HDInsight(Storm 포함) Azure Functions Azure App Service 웹 작업
프로그래밍 기능 SQL, JavaScript C#/F#, Java, Python, Scala C#/F#, Java, Python, R, Scala C#, Java C#, F#, Java, Node.js, Python C#, Java, Node.js, PHP, Python
프로그래밍 패러다임 선언적 선언적 및 명령적 방식 혼합 선언적 및 명령적 방식 혼합 명령적 명령적 명령적
가격 책정 모델 스트리밍 단위 클러스터 시간당 Databricks 단위 클러스터 시간당 함수 실행 및 리소스 사용량 기준 App Service 계획 시간 기준

통합 기능

기능 Azure Stream Analytics HDInsight(Spark Streaming 포함) Azure Databricks의 Apache Spark HDInsight(Storm 포함) Azure Functions Azure App Service 웹 작업
입력 Azure Event Hubs, Azure IoT Hub, Azure Blob storage/ADLS Gen2 Event Hubs, IoT Hub, Kafka, HDFS, Storage Blobs, Azure Data Lake Store Event Hubs, IoT Hub, Kafka, HDFS, Storage Blobs, Azure Data Lake Store Event Hubs, IoT Hub, Storage Blob, Azure Data Lake Store 지원되는 바인딩 Service Bus, Storage Queues, Storage Blobs, Event Hubs, WebHooks, Azure Cosmos DB, Files
Sinks Azure Data Lake Storage Gen 1, Azure Data Explorer, Azure Database for PostgreSQL, Azure SQL Database, Azure Synapse Analytics, Blob Storage 및 Azure Data Lake Gen 2, Azure Event Hubs, Power BI, Azure Table Storage, Azure Service Bus 큐, Azure Service Bus 토픽, Azure Cosmos DB, Azure Functions HDFS, Kafka, Storage Blobs, Azure Data Lake Store, Azure Cosmos DB HDFS, Kafka, Storage Blobs, Azure Data Lake Store, Azure Cosmos DB Event Hubs, Service Bus, Kafka 지원되는 바인딩 Service Bus, Storage Queues, Storage Blobs, Event Hubs, WebHooks, Azure Cosmos DB, Files

처리 기능

기능 Azure Stream Analytics HDInsight(Spark Streaming 포함) Azure Databricks의 Apache Spark HDInsight(Storm 포함) Azure Functions Azure App Service 웹 작업
기본 제공 임시/창 지원 예 네 네 네 없음 예
입력 데이터 형식 Avro, JSON 또는 CSV, UTF-8로 인코딩 사용자 지정 코드를 사용하는 모든 형식 사용자 지정 코드를 사용하는 모든 형식 사용자 지정 코드를 사용하는 모든 형식 사용자 지정 코드를 사용하는 모든 형식 사용자 지정 코드를 사용하는 모든 형식
확장성 쿼리 파티션 클러스터 크기에 따라 제한 Databricks 클러스터 크기 조정 구성에 따라 제한 클러스터 크기에 따라 제한 최대 200개의 함수 앱 인스턴스를 병렬로 처리 App Service 계획 용량에 따라 제한
지연 도착 및 순서가 벗어난 이벤트 처리 지원 예 네 네 네 없음 예

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

다음 단계