Azure Data Explorer에 대한 Event Hubs 데이터 연결 만들기

Azure Data Explorer는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스인 Event Hubs에서 수집을 제공합니다. Event Hubs에서는 초당 수백만 개의 이벤트를 거의 실시간으로 처리할 수 있습니다.

이 문서에서는 이벤트 허브에 연결하고 Azure Data Explorer에 데이터를 수집합니다. Event Hubs에서 수집에 대한 개요는 Azure Event Hubs 데이터 연결을 참조 하세요.

Kusto SDK를 사용하여 연결을 만드는 방법을 알아보려면 SDK를 사용하여 Event Hubs 데이터 연결 만들기를 참조 하세요.

이전 SDK 버전을 기반으로 하는 코드 샘플은 보관된 문서를 참조하세요.

이벤트 허브 데이터 연결 만들기

이 섹션에서는 이벤트 허브와 Azure Data Explorer 테이블 간에 연결을 설정합니다. 이 연결이 있는 한, 데이터는 이벤트 허브에서 대상 테이블로 전송됩니다. 이벤트 허브가 다른 리소스 또는 구독으로 이동된 경우 연결을 업데이트하거나 다시 만들어야 합니다.

데이터 가져오기

필수 조건

• Microsoft 계정 또는 Microsoft Entra 사용자 ID입니다. Azure 구독이 필요하지 않습니다.
• Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
• 스트리밍 수집은 Azure Data Explorer 클러스터에서 구성해야 합니다.

데이터 가져오기

1. 왼쪽 메뉴에서 쿼리를 선택합니다.

2. 데이터를 수집할 데이터베이스를 마우스 오른쪽 단추로 클릭합니다. 데이터 가져오기를 선택합니다.

   

Source

데이터 가져오기 창에서 소스탭을 선택해 주세요.

사용 가능한 목록에서 데이터 원본을 선택합니다. 이 예제에서는 이벤트 허브에서 데이터를 수집하고 있습니다.

구성

1. 대상 데이터베이스 및 테이블을 선택합니다. 새로운 테이블로 데이터를 수집하고 싶으신 경우에 + 새로운 테이블 을 선택해 주시고 테이블 이름을 입력해 주세요.

   참고 항목

   테이블 이름은 공백, 영숫자, 하이픈 및 밑줄을 포함하여 최대 1,024자 까지 사용하실 수 있습니다. 특수 문자는 지원되지 않습니다.

   

2. 다음 필드를 작성합니다.

   설정	필드 설명
   Subscription	이벤트 허브 리소스가 있는 구독 ID입니다.
   이벤트 허브 네임스페이스	네임스페이스를 식별하는 이름입니다.
   이벤트 허브	원하는 이벤트 허브
   소비자 그룹	이벤트에 정의된 소비자 그룹
   데이터 연결 이름	데이터 연결을 식별하는 이름입니다.
   고급 필터
   압축	이벤트 허브 메시지 페이로드의 압축 형식입니다.
   이벤트 시스템 속성	이벤트 허브 시스템 속성. 이벤트 메시지마다 여러 가지의 기록을 가지고 있는 경우에 시스템 속성은 첫 번째 속성에 추가해 주세요. 시스템 속성을 추가할 때 선택한 속성을 포함하도록 테이블 스키마를 생성하거나 업데이트하고 매핑합니다.
   이벤트 검색 시작 날짜	데이터 연결은 이벤트 검색 시작 날짜 이후에 만들어진 기존 Event Hubs 이벤트를 검색합니다. Event Hubs의 보존 기간 동안 보존된 이벤트만 검색할 수 있습니다. 이벤트 검색 시작 날짜가 지정되지 않은 경우 기본 시간은 데이터 연결이 만들어진 시간입니다.

3. 다음을 선택합니다.

검사

검사 탭이 열려서 데이터는 미리 표시되는 것입니다.

수집 처리를 완료하기 위해서는 종료를 선택해 주세요.

필요할 경우 다음을 선택합니다.

• 미리 보기 창에 표시되는 데이터가 완전하지 않으신 경우에 필요하신 모든 데이터 필드가 있는 테이블을 만들기 위해서 데이터가 더 많이 필요할 수 있습니다. 다음 명령을 사용하여 이벤트 허브에서 새 데이터를 가져옵니다.

  • 새 데이터 삭제 및 가져오기: 제공된 데이터를 삭제하고 새 이벤트를 검색합니다.

  • 추가 데이터 가져오기: 이미 찾은 이벤트 외에 더 많은 이벤트를 검색합니다.

    참고

    데이터 미리 보기를 보려면 이벤트 허브에서 이벤트를 전송해야 합니다.

• 입력에서 생성된 자동 명령을 보시고 복사하시기 위해서 명령 보기를 선택해 주세요.

• 스키마 정의 파일 드롭다운을 사용하셔서 스키마가 추론된 파일을 변경해 보세요.

• 드롭다운에서 원하시는 형식을 선택하셔서 자동으로 추론된 데이터 형식을 변경해 보세요. 수집을 위해 Azure Data Explorer에서 지원하는 데이터 형식을 참조 하세요.

• 열을 편집해 보세요.

• 데이터 형식에 따른 고급 옵션을 탐색합니다.

열을 편집해 보세요

참고 항목

• 테이블 형식 (CSV, TSV, PSV) 의 경우에 열을 두 번은 매핑하실 수 없습니다. 기존 열에 매핑하려면 먼저 새 열을 삭제합니다.
• 기존 열 유형은 변경할 수 없습니다. 다른 형식의 열에 매핑하려고 하면 빈 열이 생길 수 있습니다.

테이블에서 변경할 수 있는 사항은 다음 매개 변수에 따라 다릅니다.

• 테이블 유형은 신규 또는 기존입니다.
• 매핑 유형은 신규 또는 기존입니다.

테이블 유형입니다.	매핑 유형	사용 가능한 조정
새 테이블	새 매핑	열 이름 바꾸기, 데이터 형식 변경, 데이터 원본 변경, 매핑 변환, 열 추가, 열 삭제
기존 테이블	새 매핑	열 추가 (데이터 형식 변경, 이름 바꾸기 및 업데이트를 할 수 있음)
기존 테이블	기존 매핑	없음

매핑 변환

일부 데이터 형식 매핑(Parquet, JSON 및 Avro)은 간단한 수집 시간 변환을 지원합니다. 매핑 변환을 적용하기 위해서는 열을 편집해 보세요창에서 열을 만들어 보시거나 업데이트 해보세요.

매핑 변환은 형식 문자열 혹은 날짜/시간 형식의 열에서 실행해 보실 수 있으며 소스의 데이터 형식이 int 혹은 long입니다. 지원되는 매핑 변환은 다음과 같습니다.

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

데이터 형식을 기반으로 한 고급 옵션

테이블 형식 (CSV, TSV, PSV):

• 기존 테이블에서 테이블 형식을 수집하는 경우 고급>유지 현재 테이블 스키마를 선택할 수 있습니다. 테이블 형식 데이터에는 원본 데이터를 기존 열에 매핑하는 데 사용되는 열 이름이 반드시 포함되지는 않습니다. 이 옵션을 선택하실 때 매핑은 순서대로 실행이 되며 테이블 스키마는 동일하게 유지됩니다. 이 옵션을 선택하지 않으시는 경우에 데이터 구조와는 상관없이 수신 데이터에 대한 새로운 열이 만들어 지게 됩니다.

• 첫 번째 행을 열 이름으로 사용하기 위해서는 고급>첫 번째 행을 열 머리글로 선택해 주세요.

  

JSON:

• JSON 데이터의 열 분할을 확인하기 위해서는 1에서 100까지의 고급>중첩된 수준을 선택해 주세요.

• 고급>데이터 무시 데이터 형식 오류를 선택하면 데이터가 JSON 형식으로 수집됩니다. 이 확인란을 선택하지 않으신 상태로 두게 되시는 경우에 데이터가 multijson 형식으로 수집되어 집니다.

  

요약

데이터 준비 창에서 데이터 수집이 성공적으로 완료되셨을 때 세 단계 모두 녹색 확인 표시가 나타납니다. 각 단계에 사용된 명령을 보거나 수집된 데이터를 쿼리, 시각화 또는 삭제할 카드를 선택할 수 있습니다.

포털 - Azure Data Explorer 페이지

필수 구성 요소

• Azure 구독 평가판 Azure 계정을 만듭니다.
• Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
• 대상 테이블입니다. 테이블을 만들거나 기존 테이블을 사용합니다.
• 테이블에 대한 수집 매핑입니다.
• 수집할 데이터가 있는 이벤트 허브입니다.

데이터 가져오기

1. Azure Portal에서 클러스터로 이동하여 데이터베이스를 선택합니다. 그런 다음 대상 테이블이 포함된 데이터베이스를 선택합니다.

   

2. 왼쪽 메뉴에서 데이터 수집을 선택합니다. 그런 다음 위쪽 막대에서 데이터 연결 추가를 선택합니다.

3. 다음 정보로 양식을 작성한 다음, 만들기를 선택합니다.

   설정	제안 값	필드 설명
   데이터 연결 이름	test-hub-connection	Azure 데이터 탐색기에서 만들 연결의 이름입니다.
   Subscription		이벤트 허브 리소스가 있는 구독 ID입니다.
   이벤트 허브 네임스페이스	고유한 네임스페이스 이름	앞에서 선택한 네임스페이스를 식별하는 이름입니다.
   이벤트 허브	test-hub	앞에서 만든 이벤트 허브입니다.
   소비자 그룹	test-group	앞에서 만든 이벤트 허브에 정의된 소비자 그룹입니다.
   이벤트 시스템 속성	관련 속성 선택	이벤트 허브 시스템 속성. 이벤트 메시지당 레코드가 여러 개인 경우 시스템 속성이 첫 번째 레코드에 추가됩니다. 시스템 속성을 추가할 때 선택한 속성을 포함하도록 테이블 스키마를 생성하거나 업데이트하고 매핑합니다.
   압축	없음	이벤트 허브 메시지 페이로드의 압축 형식입니다. 지원되는 압축 형식: 없음, gzip.
   관리 ID(권장)	시스템 할당	Data Explorer 클러스터에서 이벤트 허브를 읽기 위한 액세스에 사용하는 관리 ID입니다. 관리 ID를 사용하여 이벤트 허브에 대한 액세스를 제어하는 것이 좋습니다. 참고: 데이터 연결이 생성될 때: * 시스템 할당 ID가 없으면 자동으로 만들어집니다. * 관리 ID는 Azure Event Hubs 데이터 수신기 역할이 자동으로 할당되며 Data Explorer 클러스터에 추가됩니다. 역할이 할당되었고 ID가 클러스터에 추가되었는지 확인하는 것이 좋습니다.

   참고 항목

   관리 ID를 사용하지 않는 기존 데이터 연결이 있는 경우 관리 ID를 사용하도록 업데이트하는 것이 좋습니다.

포털 - Azure Event Hubs 페이지

필수 구성 요소

• Azure 구독 평가판 Azure 계정을 만듭니다.
• Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
• 대상 테이블입니다. 테이블을 만들거나 기존 테이블을 사용합니다.
• 테이블에 대한 수집 매핑입니다.
• 수집할 데이터가 있는 이벤트 허브입니다.

데이터 가져오기

1. Azure Portal에서 Event Hubs 인스턴스로 이동합니다.

2. 기능 쪽 메뉴에서 Kusto를 사용하여 데이터 분석을 선택합니다.

3. 시작을 선택하여 Azure Data Explorer에 대한 수집 마법사를 엽니다.

   

   참고 항목

   • 데이터베이스 사용자 권한 이상이 있어야 합니다.
   • 공용 액세스 없이 클러스터와 스토리지 계정 간에 액세스를 사용하도록 설정하려면 관리형 프라이빗 엔드포인트 만들기를 참조하세요.
   • 클러스터 및 이벤트 허브는 동일한 테넌트와 연결되어야 합니다. 그렇지 않은 경우 C# 또는 Python과 같은 SDK 옵션 중 하나를 사용합니다.

4. 대상 탭이 선택된 상태에서 데이터 수집 쪽 창이 열립니 다. 드롭다운에서 클러스터 및 데이터베이스 필드를 선택합니다. 실행 중인 클러스터를 선택해야 합니다. 그렇지 않으면 데이터베이스를 선택하고 수집 프로세스를 진행할 수 없습니다.

5. 테이블에서 새 테이블을 선택하고 새 테이블의 이름을 입력합니다. 또는 기존 테이블을 사용합니다.

6. 다음: 원본을 선택합니다.

7. 원본 유형에서 이벤트 허브 유형 및 세부 정보는 시작한 Event Hubs 인스턴스에 따라 자동으로 채워집니다.

8. 데이터 연결에서 다음 필드를 입력하고 다음: 스키마를 선택합니다.

   설정	제안 값	필드 설명
   Subscription		이벤트 허브 리소스가 있는 구독 ID입니다.
   이벤트 허브 네임스페이스		네임스페이스를 식별하는 이름입니다.
   이벤트 허브		사용하려는 이벤트 허브입니다.
   데이터 연결 이름	TestDataConnection	데이터 연결을 식별하는 이름입니다.
   소비자 그룹		이벤트 허브에 정의된 소비자 그룹입니다.
   압축		이벤트 허브 메시지 페이로드의 압축 형식입니다.
   이벤트 시스템 속성	관련 속성 선택	이벤트 허브 시스템 속성. 이벤트 메시지마다 여러 가지의 기록을 가지고 있는 경우에 시스템 속성은 첫 번째 속성에 추가해 주세요. 시스템 속성을 추가할 때 선택한 속성을 포함하도록 테이블 스키마를 생성하거나 업데이트하고 매핑합니다.
   이벤트 검색 시작 날짜	UTC(협정 세계시)	데이터 연결은 이벤트 검색 시작 날짜 이후에 만들어진 기존 Event Hubs 이벤트를 검색합니다. Event Hubs의 보존 기간 동안 보존된 이벤트만 검색할 수 있습니다. 이벤트 검색 시작 날짜가 지정되지 않은 경우 기본 시간은 데이터 연결이 만들어진 시간입니다.

9. 클러스터에 대해 스트리밍을 사용하는 경우 스트리밍 수집을 선택할 수 있습니다. 클러스터에 대해 스트리밍을 사용하도록 설정하지 않은 경우 데이터 일괄 처리 대기 시간을 설정합니다. Event Hubs의 경우 권장 되는 일괄 처리 시간은 30초입니다.

   

10. 데이터 형식을 선택합니다. CSV 형식 데이터의 경우 첫 번째 레코드 를 무시하여 파일의 제목 행을 무시합니다. JSON 형식 데이터의 경우 데이터 형식 오류 무시를 선택하여 JSON 형식으로 데이터를 수집하거나 선택되지 않은 상태로 유지하여 데이터를 multijson 형식으로 수집합니다. 중첩 수준을 선택하여 테이블 열 데이터 나누기를 결정합니다.

11. 미리 보기 창에 표시되는 데이터가 완전하지 않으신 경우에 필요하신 모든 데이터 필드가 있는 테이블을 만들기 위해서 데이터가 더 많이 필요할 수 있습니다. 다음 명령을 사용하여 이벤트 허브에서 새 데이터를 가져옵니다.

    • 새 데이터 삭제 및 가져오기: 제공된 데이터를 삭제하고 새 이벤트를 검색합니다.
    • 추가 데이터 가져오기: 이미 찾은 이벤트 외에 더 많은 이벤트를 검색합니다.

    참고

    데이터 미리 보기를 보려면 이벤트 허브에서 이벤트를 전송해야 합니다.

12. 다음: 요약을 선택합니다.

13. Event Hub에서 설정된 연속 수집 창에서 설정이 성공적으로 완료되면 모든 단계가 녹색 확인 표시로 표시됩니다.

ARM 템플릿

필수 구성 요소

• Azure 구독 평가판 Azure 계정을 만듭니다.
• Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
• 대상 테이블입니다. 테이블을 만들거나 기존 테이블을 사용합니다.
• 테이블에 대한 수집 매핑입니다.
• 수집할 데이터가 있는 이벤트 허브입니다.

ARM 템플릿

다음 예에서는 Event Hubs 데이터 연결을 추가하기 위한 Azure Resource Manager 템플릿을 보여 줍니다. 양식을 사용하여 Azure Portal에서 템플릿을 편집 및 배포할 수 있습니다.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

이벤트 허브 데이터 연결 제거

데이터 가져오기

포털 탭에 설명된 대로 Azure Portal을 통해 데이터 연결을 제거합니다.

포털

Azure Portal에서 이벤트 허브 연결을 제거하려면 다음을 수행합니다.

1. 클러스터로 이동합니다. 왼쪽 메뉴에서 데이터베이스를 선택합니다. 그런 다음 대상 테이블이 포함된 데이터베이스를 선택합니다.
2. 왼쪽 메뉴에서 데이터 연결을 선택합니다. 그런 다음 관련 이벤트 허브 데이터 연결 옆에 있는 확인란을 선택합니다.
3. 위쪽 메뉴 모음에서 삭제를 선택합니다.

관련 콘텐츠

• 이벤트 허브 샘플 메시지 앱과의 연결 확인
• 웹 UI에서 데이터 쿼리