Azure Stream Analytics에서 Azure Data Explorer로 데이터 수집

Important

이 커넥터는 Microsoft Fabric의 실시간 인텔리전스 에서 사용할 수 있습니다. 다음 예외를 제외하고 이 문서의 지침을 사용합니다.

• 필요한 경우 KQL 데이터베이스 만들기의 지침을 사용하여 데이터베이스를 만듭니다.
• 필요한 경우 빈 테이블 만들기의 지침을 사용하여 테이블을 만듭니다.
• 복사 URI의 지침을 사용하여 쿼리 또는 수집 URI를 가져옵니다.
• KQL 쿼리 세트에서 쿼리를 실행합니다.

Azure Data Explorer는 Azure Stream Analytics에서 데이터 수집을 지원합니다. Azure Stream Analytics는 여러 원본에서 대량의 빠른 스트리밍 데이터를 동시에 처리하도록 설계된 실시간 분석 및 복잡한 이벤트 처리 엔진입니다.

Azure Stream Analytics 작업은 입력 원본, 변환 쿼리 및 출력 연결로 구성됩니다. Azure Portal, ARM(Azure Resource Manager) 템플릿, Azure PowerShell, .NET API, REST API, Visual Studio 및 Stream Analytics 코드 편집기를 사용하여 Stream Analytics 작업을 만들고 편집하고 테스트할 수 있습니다.

이 문서에서는 Stream Analytics 작업을 사용하여 이벤트 허브에서 데이터를 수집하고 Azure Portal 또는 ARM 템플릿을 사용하여 Azure Data Explorer 클러스터로 보내는 방법을 알아봅니다.

필수 조건

• 클러스터 및 데이터베이스와 테이블을 만듭니다.

• Azure Stream Analytics 자습서의 다음 섹션을 사용하여 이벤트 허브를 만듭니다.

  • 이벤트 허브 만들기
  • 이벤트 허브에 대한 액세스 부여 및 연결 문자열 가져오기

  팁

  테스트를 위해 Microsoft 다운로드 센터에서 전화 통화 이벤트 생성기 앱을 다운로드하거나 GitHub에서 소스 코드를 가져오는 것이 좋습니다. Azure Stream Analytics 작업을 설정할 때는 이벤트 허브에서 데이터를 가져와서 Azure Data Explorer 출력 커넥터에 전달하도록 구성합니다.

Azure Data Explorer 출력 연결 만들기

다음 단계에 따라 Azure Portal을 사용하거나 ARM 템플릿을 사용하여 Stream Analytics 작업에 대한 Azure Data Explorer 출력을 만듭니다. 연결은 Stream Analytics 작업에서 지정된 Azure Data Explorer 테이블로 데이터를 보내는 데 사용됩니다. 작업이 만들어지고 실행되면 작업으로 흐르는 데이터가 지정된 대상 테이블로 수집됩니다.

중요

• Azure Data Explorer 출력 커넥터는 관리 ID 인증만 지원합니다. 커넥터를 만드는 과정에서 데이터베이스 모니터 및 데이터베이스 수집기 권한이 Azure Stream Analytics 작업 관리 ID에 부여됩니다.
• Azure Data Explorer 출력 커넥터를 설정할 때 대상 클러스터, 데이터베이스 및 테이블 이름을 지정합니다. 수집이 성공하려면 Azure Stream Analytics 쿼리에 정의된 모든 열이 Azure Data Explorer 테이블의 열 이름 및 형식과 일치해야 합니다. 열 이름은 대/소문자를 구분하며 어떤 순서로도 가능합니다. Azure Data Explorer 테이블의 열에 매핑되지 않는 Azure Stream Analytics 쿼리의 열이 있으면 오류가 발생합니다.

참고

• 모든 Azure Stream Analytics 입력이 지원됩니다. 커넥터는 입력을 CSV 형식으로 변환한 다음, 지정된 Azure Data Explorer 테이블로 데이터를 가져옵니다.
• Azure Data Explorer에는 데이터 수집을 위한 집계(일괄 처리) 정책이 있으며, 이는 수집 프로세스를 최적화하도록 설계되었습니다. 이 정책은 기본적으로 5분, 1000개 항목 또는 1GB 데이터로 구성되어 있으므로 대기 시간이 발생할 수 있습니다. 집계 옵션을 구성하는 방법에 대한 자세한 내용은 일괄 처리 정책을 참조하세요.

Azure Portal

시작하기 전에 기존 Stream Analytics 작업이 있는지 확인하거나 새 작업을 생성한 후 다음 단계에 따라 Azure Data Explorer 연결을 만듭니다.

1. Azure Portal에 로그인합니다.

2. Azure Portal에서 모든 리소스를 열고 Stream Analytics 작업을 선택합니다.

3. 작업 토폴로지에서 출력을 선택합니다.

4. 추가>Azure Data Explorer를 선택합니다.

   

5. 다음 정보를 사용하여 출력 양식을 작성한 다음, 저장을 선택합니다.

   참고

   다음 옵션을 사용하여 클러스터 및 데이터베이스를 지정할 수 있습니다.

   • 구독: 구독에서 Azure Data Explorer 선택을 선택하고, 구독을 선택한 다음, 클러스터 및 데이터베이스를 선택합니다.
   • 수동으로: 수동으로 Azure Data Explorer 설정 제공을 선택하고 클러스터 URI 및 데이터베이스를 지정합니다.

   속성 이름	Description
   출력 별칭	쿼리 출력을 이 데이터베이스로 보내기 위해 쿼리에서 사용되는 식별 이름입니다.
   Subscription	클러스터가 있는 Azure 구독을 선택합니다.
   클러스터	클러스터를 식별하는 고유한 이름입니다. 입력한 클러스터 이름에 도메인 이름 [region].kusto.windows.net이 추가됩니다. 이름에는 소문자와 숫자만 포함할 수 있습니다. 4-22자를 포함해야 합니다.
   클러스터 URI	클러스터의 데이터 수집 URI입니다. Azure Data Explorer 또는 Azure Synapse Data Explorer 데이터 수집 엔드포인트에 대한 URI를 지정할 수 있습니다.
   데이터베이스	출력을 보내는 데이터베이스의 이름입니다. 데이터베이스 이름은 클러스터 내에서 고유해야 합니다.
   인증	클러스터가 다른 Microsoft Entra로 보호된 리소스에 쉽게 액세스할 수 있도록 하는 Microsoft Entra 관리 ID입니다. ID는 Azure 플랫폼에서 관리되며, 비밀을 프로비저닝하거나 회전하지 않아도 됩니다. 관리 ID 구성을 사용하면 클러스터에 고객 관리형 키를 사용할 수 있습니다.
   테이블	출력을 보내는 테이블의 이름입니다. Azure Stream Analytics 출력의 열 이름 및 데이터 형식은 Azure Data Explorer 테이블의 스키마와 일치해야 합니다.

   

Azure Resource Manager 템플릿

다음 예에서는 Azure Data Explorer 출력 커넥터를 추가하기 위한 Azure Resource Manager 템플릿을 보여줍니다. Azure Portal에서 템플릿을 편집 및 배포하여 커넥터를 만들 수 있습니다.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

참고

ARM 템플릿을 사용하여 Azure Data Explorer 출력 연결을 만들 때 Azure Data Explorer 데이터베이스에 대한 Streaming Analytics 작업 관리 ID 권한을 수동으로 부여해야 합니다.

관련 콘텐츠

• Azure Data Explorer에서 데이터 쿼리
• Azure Stream Analytics 작업에서 Azure Functions 실행