데이터 프로세서 파이프라인에서 Azure Data Explorer로 데이터 보내기

아티클
11/15/2023

Important

Azure Arc에서 사용하도록 설정된 Azure IoT Operations 미리 보기는 현재 미리 보기로 제공됩니다. 프로덕션 환경에서는 이 미리 보기 소프트웨어를 사용하면 안 됩니다.

베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.

Azure Data Explorer 대상을 사용하여 Azure IoT 데이터 프로세서(미리 보기) 파이프라인에서 Azure Data Explorer의 테이블에 데이터를 씁니다. 대상 단계는 메시지를 Azure Data Explorer로 보내기 전에 일괄 처리합니다.

필수 조건

Azure Data Explorer 대상 파이프라인 단계를 구성하고 사용하려면 다음이 필요합니다.

데이터 프로세서의 배포된 인스턴스입니다.
Azure Data Explorer 클러스터.
Azure Data Explorer 클러스터의 데이터베이스입니다.

Azure Data Explorer 설정

데이터 파이프라인에서 Azure Data Explorer에 쓰기 전에 데이터베이스에서 서비스 주체 인증을 사용하도록 설정합니다. 클라이언트 암호를 사용하여 서비스 주체를 만들려면 다음을 수행합니다.

다음 Azure CLI 명령을 사용하여 서비스 주체를 만듭니다.
```
az ad sp create-for-rbac --name <YOUR_SP_NAME> 
```
이 명령의 출력에는 appId, displayName, password및 tenant. Microsoft Fabric과 같은 클라우드 리소스에 대한 액세스를 구성하고, 비밀을 만들고, 파이프라인 대상을 구성할 때 사용할 값을 기록해 둡니다.
```
{
    "appId": "<app-id>",
    "displayName": "<name>",
    "password": "<client-secret>",
    "tenant": "<tenant-id>"
}
```

관리자에게 Azure Data Explorer 데이터베이스에 대한 액세스 권한을 부여하려면 데이터베이스 쿼리 탭에서 다음 명령을 실행합니다.

.add database <DatabaseName> admins (<ApplicationId>) <Notes>

데이터 프로세서는 일괄 처리로 Azure Data Explorer에 씁니다. 데이터를 보내기 전에 데이터 프로세서에서 데이터를 일괄 처리하는 동안 Azure Data Explorer에는 자체 기본 수집 일괄 처리 정책이 있습니다. 따라서 데이터 프로세서가 Azure Data Explorer 대상에 데이터를 쓴 직후 Azure Data Explorer에 데이터가 표시되지 않을 수 있습니다.

파이프라인이 데이터를 보내는 즉시 Azure Data Explorer에서 데이터를 보려면 수집 일괄 처리 정책을 Count 1로 설정할 수 있습니다. 수집 일괄 처리 정책을 편집하려면 데이터베이스 쿼리 탭에서 다음 명령을 실행합니다.

.alter table <DatabaseName>.<TableName> policy ingestionbatching
{
    "MaximumBatchingTimeSpan" : "00:00:30",
    "MaximumNumberOfItems" : 1,
    "MaximumRawDataSizeMB": 1024
}

비밀 구성

대상 단계에서 Azure Data Explorer에 연결하려면 인증 세부 정보가 포함된 비밀에 액세스해야 합니다. 비밀을 만들려면:

다음 명령을 사용하여 서비스 주체를 만들 때 적어 두는 클라이언트 비밀이 포함된 비밀을 Azure Key Vault에 추가합니다.
```
az keyvault secret set --vault-name <your-key-vault-name> --name AccessADXSecret --value <client-secret>
```
Azure IoT Operations 배포에 대한 비밀 관리의 단계에 따라 Kubernetes 클러스터에 비밀 참조를 추가합니다.

대상 단계 구성

Azure Data Explorer 대상 단계 JSON 구성은 단계의 세부 정보를 정의합니다. 스테이지를 작성하려면 양식 기반 UI와 상호 작용하거나 고급 탭에서 JSON 구성을 제공할 수 있습니다.

필드	Type	설명	필수 항목	기본값	예시
표시 이름	문자열	데이터 프로세서 UI에 표시할 이름입니다.	예	-	`Azure IoT MQ output`
설명	문자열	스테이지가 수행하는 일에 대한 사용자 친화적인 설명입니다.	아니요		`Write to topic default/topic1`
클러스터 URL	문자열	URI(이 값은 데이터 수집 URI가 아님).	예	-
Database	문자열	데이터베이스 이름입니다.	예	-
테이블	문자열	쓸 테이블의 이름입니다.	예	-
Batch	Batch	데이터를 일괄 처리하는 방법입니다.	아니요	`60s`	`10s`
인증¹	Azure Data Explorer에 연결할 인증 세부 정보입니다.	서비스 사용자	예	-
> 열 이름	string	열의 이름입니다.	예		`temperature`
> 열 경로	Path	열 값을 읽어야 하는 데이터의 각 레코드 내 위치입니다.	아니요	`.{{name}}`	`.temperature`

인증¹: 현재 대상 단계는 Azure Data Explorer에 연결할 때 서비스 주체 기반 인증을 지원합니다. Azure Data Explorer 대상에서 인증할 다음 값을 제공합니다. 서비스 주체를 만들고 클러스터에 비밀 참조를 추가한 경우 이러한 값을 기록해 둡니다.

필드	설명	필수
TenantId	테넌트 ID입니다.	예
ClientId	데이터베이스에 액세스할 수 있는 서비스 주체를 만들 때 기록해 두는 앱 ID입니다.	예
암호	클러스터에서 만든 비밀 참조입니다.	예

샘플 구성

다음 JSON 예제에서는 전체 메시지를 quickstart 데이터베이스의 테이블에 쓰는 전체 Azure Data Explorer 대상 단계 구성을 보여 줍니다.

{
    "displayName": "Azure data explorer - 71c308",
    "type": "output/dataexplorer@v1",
    "viewOptions": {
        "position": {
            "x": 0,
            "y": 784
        }
    },
    "clusterUrl": "https://clusterurl.region.kusto.windows.net",
    "database": "databaseName",
    "table": "quickstart",
    "authentication": {
        "type": "servicePrincipal",
        "tenantId": "tenantId",
        "clientId": "clientId",
        "clientSecret": "secretReference"
    },
    "batch": {
        "time": "5s",
        "path": ".payload"
    },
    "columns": [
        {
            "name": "Timestamp",
            "path": ".Timestamp"
        },
        {
            "name": "AssetName",
            "path": ".assetName"
        },
        {
            "name": "Customer",
            "path": ".Customer"
        },
        {
            "name": "Batch",
            "path": ".Batch"
        },
        {
            "name": "CurrentTemperature",
            "path": ".CurrentTemperature"
        },
        {
            "name": "LastKnownTemperature",
            "path": ".LastKnownTemperature"
        },
        {
            "name": "Pressure",
            "path": ".Pressure"
        },
        {
            "name": "IsSpare",
            "path": ".IsSpare"
        }
    ]
}

구성은 다음을 정의합니다.

메시지는 5초 동안 일괄 처리됩니다.
일괄 처리 경로를 .payload 사용하여 열에 대한 데이터를 찾습니다.

예시

다음 예제에서는 Azure Data Explorer 대상 단계에 대한 샘플 입력 메시지를 보여줍니다.

{
  "payload": {
    "Batch": 102,
    "CurrentTemperature": 7109,
    "Customer": "Contoso",
    "Equipment": "Boiler",
    "IsSpare": true,
    "LastKnownTemperature": 7109,
    "Location": "Seattle",
    "Pressure": 7109,
    "Timestamp": "2023-08-10T00:54:58.6572007Z",
    "assetName": "oven"
  },
  "qos": 0,
  "systemProperties": {
    "partitionId": 0,
    "partitionKey": "quickstart",
    "timestamp": "2023-11-06T23:42:51.004Z"
  },
  "topic": "quickstart"
}

데이터 프로세서 파이프라인에서 Azure Data Explorer로 데이터 보내기

필수 조건

Azure Data Explorer 설정

비밀 구성

대상 단계 구성

샘플 구성

예시

추가 리소스

추가 리소스

데이터 프로세서 파이프라인에서 Azure Data Explorer로 데이터 보내기

필수 조건

Azure Data Explorer 설정

비밀 구성

대상 단계 구성

샘플 구성

예시

관련 콘텐츠

추가 리소스

추가 리소스