Azure Stream Analytics 모니터링 데이터 참조
이 문서에는 이 서비스에 대한 모든 모니터링 참조 정보가 포함되어 있습니다.
Azure Stream Analytics에 대해 수집할 수 있는 데이터 및 사용 방법에 대한 자세한 내용은 Azure Stream Analytics 모니터링을 참조하세요.
메트릭
이 섹션에는 이 서비스에 대해 자동으로 모은 플랫폼 메트릭이 모두 나열되어 있습니다. 이러한 메트릭은 Azure Monitor에서 지원되는 모든 플랫폼 메트릭의 전역 목록의 일부이기도 합니다.
메트릭 보존에 관한 자세한 내용은 Azure Monitor 메트릭 개요를 참조하세요.
Azure Stream Analytics는 쿼리 및 작업 성능을 모니터링하고 문제를 해결하는 데 사용할 수 있는 많은 메트릭을 제공합니다. 이러한 메트릭의 데이터는 Azure Portal의 개요 페이지, 모니터링 섹션에서 볼 수 있습니다.
특정 메트릭을 확인하려면 모니터링 섹션에서 메트릭을 선택합니다. 표시되는 페이지에서 메트릭을 선택합니다.
Microsoft.StreamAnalytics/streamingjobs에 대해 지원되는 메트릭
다음 표에서는 Microsoft.StreamAnalytics/streamingjobs 리소스 종류에 사용할 수 있는 메트릭을 나열합니다.
- 모든 테이블에 모든 열이 있는 것은 아닙니다.
- 일부 열은 페이지의 보기 영역 밖에 있을 수 있습니다. 사용 가능한 모든 열을 보려면 테이블 확장을 선택합니다.
테이블 제목
- 범주 - 메트릭 그룹 또는 분류입니다.
- 메트릭 - Azure Portal에 표시되는 메트릭 표시 이름입니다.
- REST API의 이름 - REST API에서 참조되는 메트릭 이름입니다.
- 단위 - 측정 단위입니다.
- 집계 - 기본 집계 형식입니다. 유효한 값은 평균(Avg), 최소(Min), 최대(Max), 합계(Sum), 개수입니다.
- 차원 - 메트릭에 사용할 수 있는 차원입니다.
- 시간 조직 - 메트릭이 샘플링되는 간격입니다. 예를 들어,
PT1M은 메트릭이 1분마다,PT30M은 30분마다,PT1H는 1시간마다 샘플링됨을 나타냅니다. - DS 내보내기- 진단 설정을 통해 메트릭을 Azure Monitor 로그로 내보낼 수 있는지 여부를 나타냅니다. 메트릭 내보내기에 대한 자세한 내용은 Azure Monitor의 진단 설정 생성을 참조하세요.
| 범주 | 메트릭 | REST API의 이름 | 단위 | 집계 | 차원 | 시간 조직 | DS 내보내기 |
|---|---|---|---|---|---|---|---|
| 실패한 함수 요청 실패한 함수 요청 |
AMLCalloutFailedRequests |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 함수 이벤트 함수 이벤트 |
AMLCalloutInputEvents |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 함수 요청 함수 요청 |
AMLCalloutRequests |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 데이터 변환 오류 데이터 변환 오류 |
ConversionErrors |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 입력 역직렬화 오류 입력 역직렬화 오류 |
DeserializationError |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 순서가 지난 이벤트 잘못된 이벤트 |
DroppedOrAdjustedEvents |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 조기 입력 이벤트 조기 입력 이벤트 |
EarlyInputEvents |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 런타임 오류 런타임 오류 |
Errors |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 입력 이벤트 바이트 입력 이벤트 바이트 |
InputEventBytes |
바이트 | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 입력 이벤트 입력 이벤트 |
InputEvents |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 백로그된 입력 이벤트 백로그된 입력 이벤트 |
InputEventsSourcesBacklogged |
Count | 평균, 최대, 최소 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 수신된 입력 원본 수신된 입력 원본 |
InputEventsSourcesPerSecond |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 지연 입력 이벤트 지연 입력 이벤트 |
LateInputEvents |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 출력 이벤트 출력 이벤트 |
OutputEvents |
Count | 합계 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| 워터마크 지연 워터마크 지연 |
OutputWatermarkDelaySeconds |
초 | 평균, 최대, 최소 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| CPU 사용률(%) CPU 사용률(%) |
ProcessCPUUsagePercentage |
퍼센트 | 평균, 최대, 최소 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 | |
| SU(메모리) 사용률 SU(메모리) 사용률 |
ResourceUtilization |
퍼센트 | 평균, 최대, 최소 | LogicalName, PartitionId, ProcessorInstanceNodeName |
PT1M | 예 |
메트릭 설명
Azure Stream Analytics는 작업 상태를 모니터링할 수 있도록 다음 메트릭을 제공합니다.
| 메트릭 | 정의 |
|---|---|
| 백로그된 입력 이벤트 | 백로그된 입력 이벤트의 수입니다. 이 메트릭의 값이 0이 아니면 작업이 수신 이벤트 수를 따라갈 수 없음을 의미합니다. 이 값이 천천히 증가하거나 지속적으로 0이 아니면 작업을 확장해야 합니다. 자세한 내용은 스트리밍 단위 이해 및 조정을 참조하세요. |
| 데이터 변환 오류 | 예상되는 출력 스키마로 변환할 수 없는 출력 이벤트의 수입니다. 이 시나리오가 발생하는 이벤트를 삭제하려면 오류 정책을 삭제로 변경할 수 있습니다. |
| CPU 사용률(%)(미리 보기) | 작업에서 사용하는 CPU의 백분율입니다. 이 값이 매우 높더라도(90% 이상) 이 메트릭만을 기준으로 SU 수를 늘리면 안 됩니다. 백로그된 입력 이벤트 수 또는 워터마크 지연이 증가하면 이 메트릭을 사용하여 CPU가 병목 상태인지 여부를 확인할 수 있습니다. 이 메트릭은 간헐적으로 급증할 수 있습니다. CPU 병목 현상으로 인해 입력이 백로그되거나 워터마크 지연이 증가한 후 작업의 상한을 확인하기 위해 크기 조정 테스트를 수행하는 것이 좋습니다. |
| 조기 입력 이벤트 | 애플리케이션 타임스탬프가 도착 시간보다 5분 넘게 이른 이벤트입니다. |
| 실패한 함수 요청 | 실패한 Azure Machine Learning 함수 호출(있는 경우) 수입니다. |
| 함수 이벤트 | Azure Machine Learning 함수(있는 경우)에 전송된 이벤트 수입니다. |
| 함수 요청 | Azure Machine Learning 함수(있는 경우)에 대한 호출 수입니다. |
| 입력 역직렬화 오류 | 역직렬화할 수 없는 입력 이벤트의 수입니다. |
| 입력 이벤트 바이트 | Stream Analytics 작업이 받은 데이터의 양(바이트)입니다. 이 메트릭을 사용하여 이벤트가 입력 소스로 전송되고 있는지 확인할 수 있습니다. |
| 입력 이벤트 | 입력 이벤트에서 역직렬화된 레코드 수입니다. 이 수에는 역직렬화 오류를 발생시키는 수신 이벤트가 포함되지 않습니다. Stream Analytics는 내부 복구 및 셀프 조인과 같은 시나리오에서 동일한 이벤트를 여러 번 수집할 수 있습니다. 작업에 간단한 통과 쿼리가 있는 경우 입력 이벤트와 출력 이벤트 메트릭이 일치할 것으로 기대하지 마십시오. |
| 수신된 입력 원본 | 작업이 수신하는 메시지 수입니다. Azure Event Hubs의 경우 메시지는 단일 EventData 항목입니다. Azure Blob Storage의 경우 메시지는 단일 Blob입니다. 역직렬화 전에 입력 원본이 계산됩니다. 역직렬화 오류가 발생하면 입력 원본이 입력 이벤트보다 클 수 있습니다. 그렇지 않으면 입력 원본이 입력 이벤트보다 작거나 같을 수 있습니다. 각 메시지에 여러 이벤트가 포함될 수 있기 때문입니다. |
| 지연 입력 이벤트 | 지연 도착에 대해 구성된 허용 시간보다 늦게 도착한 이벤트입니다. Azure Stream Analytics 이벤트 순서 고려 사항에 대해 자세히 알아보세요.. |
| 잘못된 순서 이벤트 | 이벤트 순서 지정 정책에 기반하여 조정된 타임스탬프를 받거나 삭제된 순서가 정해지지 않은 수신 이벤트의 수입니다. 이 메트릭은 잘못된 순서 허용 시간 설정 구성의 영향을 받을 수 있습니다. |
| 출력 이벤트 | Stream Analytics 작업이 출력 대상에 보낸 데이터의 양입니다(이벤트 수). |
| 런타임 오류 | 쿼리 처리와 관련된 총 오류 수입니다. 이벤트를 수집하거나 결과를 출력하는 동안 발견된 오류는 제외됩니다. |
| SU(메모리) 사용률 | 작업에서 사용하는 메모리의 백분율입니다. 이 메트릭이 지속적으로 80%를 초과하고 워터마크 지연이 증가하고 백로그된 이벤트 수가 증가하는 경우 SU(스트리밍 단위)를 증가시키는 것이 좋습니다. 사용률이 높으면 작업에서 할당된 최대 리소스에 가까운 용량을 사용하고 있음을 나타냅니다. |
| 워터마크 지연 | 작업에 있는 모든 출력의 모든 파티션에서 발생하는 최대 워터마크 지연입니다. |
메트릭 차원
메트릭 차원에 대한 자세한 내용은 다차원 메트릭을 참조하세요.
이 서비스에는 메트릭과 연결된 다음과 같은 차원이 있습니다.
| 차원 | 정의 |
|---|---|
| 논리적 이름 | Stream Analytics 작업의 입력 또는 출력 이름입니다. |
| 파티션 ID | 입력 원본의 입력 데이터 파티션 ID입니다. 예를 들어 입력 원본이 이벤트 허브인 경우 파티션 ID는 이벤트 허브의 파티션 ID입니다. 처리하기가 처치 곤란 병렬 작업의 경우 출력의 파티션 ID는 입력 파티션 ID와 동일합니다. |
| 노드 이름 | 작업이 실행될 때 프로비저닝되는 스트리밍 노드의 식별자입니다. 스트리밍 노드는 작업에 할당된 컴퓨팅 및 메모리 리소스의 양을 나타냅니다. |
논리적 이름 차원
논리적 이름은 Stream Analytics 작업의 입력 또는 출력 이름입니다. 예를 들어 Stream Analytics 작업에 4개의 입력과 5개의 출력이 있다고 가정합니다. 이 차원을 기준으로 입력 관련 메트릭과 출력 관련 메트릭을 분할하면 4개의 개별 논리적 입력과 5개의 개별 논리적 출력이 표시됩니다.
논리적 이름 차원은 다음 메트릭을 필터링하고 분할하는 데 사용할 수 있습니다.
- 백로그된 입력 이벤트
- 데이터 변환 오류
- 조기 입력 이벤트
- 입력 역직렬화 오류
- 입력 이벤트 바이트
- 입력 이벤트
- 수신된 입력 원본
- 지연 입력 이벤트
- 잘못된 순서 이벤트
- 출력 이벤트
- 워터마크 지연
노드 이름 차원
스트리밍 노드는 입력 데이터를 처리하는 데 사용되는 컴퓨팅 리소스 세트를 나타냅니다. 6개 SU(스트리밍 단위)마다 하나의 노드로 변환되며, 서비스에서 사용자를 대신하여 자동으로 관리합니다. 스트리밍 단위와 스트리밍 노드 간의 관계에 대한 자세한 내용은 스트리밍 단위 이해 및 조정을 참조하세요.
노드 이름은 스트리밍 노드 수준의 차원입니다. 특정 메트릭을 특정 스트리밍 노드 수준으로 드릴다운하는 데 도움이 될 수 있습니다. 예를 들어 스트리밍 노드 수준별로 CPU 사용률(%) 메트릭을 분할하여 개별 스트리밍 노드의 CPU 사용률을 확인할 수 있습니다.
노드 이름 차원은 다음 메트릭을 필터링하고 분할하는 데 사용할 수 있습니다.
- 백로그된 입력 이벤트
- CPU 사용률(%)(미리 보기)
- 입력 이벤트
- 출력 이벤트
- SU(메모리) 사용률
- 워터마크 지연
파티션 ID 차원
스트리밍 데이터가 처리를 위해 Azure Stream Analytics 서비스로 수집되면 입력 데이터가 입력 원본의 파티션에 따라 스트리밍 노드에 배포됩니다. 파티션 ID 차원은 입력 원본의 입력 데이터 파티션 ID입니다.
예를 들어 입력 원본이 이벤트 허브인 경우 파티션 ID는 이벤트 허브의 파티션 ID입니다. 입력의 파티션 ID는 출력의 파티션 ID와 동일합니다.
파티션 ID 차원은 다음 메트릭을 필터링하고 분할하는 데 사용할 수 있습니다.
- 백로그된 입력 이벤트
- 데이터 변환 오류
- 조기 입력 이벤트
- 입력 역직렬화 오류
- 입력 이벤트 바이트
- 입력 이벤트
- 수신된 입력 원본
- 지연 입력 이벤트
- 출력 이벤트
- 워터마크 지연
리소스 로그
이 섹션에는 이 서비스에 대해 모을 수 있는 리소스 로그 유형이 나열되어 있습니다. 이 섹션은 Azure Monitor에서 지원되는 모든 리소스 로그 범주 유형 목록에서 가져옵니다.
Microsoft.StreamAnalytics/streamingjobs에 대해 지원되는 리소스 로그
| 범주 | 범주 표시 이름 | 로그 테이블 | 기본 로그 플랜 지원 | 수집 시간 변환 지원 | 예시 쿼리 | 내보낼 비용 |
|---|---|---|---|---|---|---|
Authoring |
작성 | AzureDiagnostics 여러 Azure 리소스의 로그. |
아니요 | 아니요 | 쿼리 | 아니요 |
Execution |
실행 | AzureDiagnostics 여러 Azure 리소스의 로그. |
아니요 | 아니요 | 쿼리 | 아니요 |
리소스 로그 스키마
모든 로그는 JSON 형식으로 저장됩니다. 각 항목에는 다음과 같은 일반적인 문자열 필드가 있습니다.
| 이름 | 설명 |
|---|---|
| time | 로그의 타임스탬프(UTC)입니다. |
| resourceId | 작업이 수행되는 리소스의 ID(대문자)입니다. 여기에는 구독 ID, 리소스 그룹 및 작업 이름이 포함됩니다. 예: /SUBSCRIPTIONS/6503D296-DAC1-4449-9B03-609A1F4A1C87/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT.STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| category | 로그 범주로, 실행 또는 작성 중 하나입니다. |
| operationName | 기록된 작업의 이름 예: 이벤트 전송: mysqloutput에 대한 SQL 출력 쓰기 실패. |
| status | 작업의 상태입니다. 예: 실패 또는 성공. |
| level | 로그 수준. 예: 오류, 경고 또는 정보. |
| 속성 | 로그 항목별 세부 정보로, JSON 문자열로 직렬화됩니다. 자세한 내용은 이 문서의 다음 섹션을 참조하세요. |
실행 로그 속성 스키마
실행 로그에는 Stream Analytics 작업 실행 중에 발생한 이벤트에 대한 정보가 포함됩니다. 속성의 스키마는 이벤트가 데이터 오류 또는 일반 이벤트인지 여부에 따라 다릅니다.
데이터 오류
작업이 데이터를 처리하는 동안 발생한 오류는 이 로그 범주에 속합니다. 이러한 로그는 데이터 읽기, serialization 및 쓰기 작업 도중에 가장 자주 생성됩니다. 이러한 로그는 연결 오류를 포함하지 않습니다. 연결 오류는 일반 이벤트로 처리됩니다. 다양한 입력 및 출력 데이터 오류의 원인에 대해 자세히 알아볼 수 있습니다.
| 이름 | 설명 |
|---|---|
| 원본 | 오류가 발생한 작업 입력 또는 출력의 이름입니다. |
| 메시지 | 오류와 연결된 메시지 |
| Type | 오류 유형입니다. 예: DataConversionError, CsvParserError 또는 ServiceBusPropertyColumnMissingError. |
| 데이터 | 오류 출처를 정확히 찾는 데 도움이 되는 데이터를 포함합니다. 크기에 따라 잘릴 수 있습니다. |
operationName 값에 따라 데이터 오류의 스키마는 다음과 같습니다.
직렬화 이벤트는 이벤트 읽기 작업 중에 발생합니다. 이는 데이터 입력 시 쿼리 스키마를 충족하지 않을 때 다음과 같은 이유 중 하나로 발생합니다.
이벤트 serialization/deserialization 도중 형식 불일치: 오류를 발생시키는 필드를 식별합니다.
이벤트를 읽을 수 없음, 잘못된 serialization: 입력 데이터에서 오류가 발생하는 위치에 대한 정보를 나열합니다. Blob 입력에 대한 Blob 이름, 오프셋 및 데이터 샘플이 포함됩니다.
전송 이벤트는 쓰기 작업 중에 발생합니다. 오류를 발생시키는 스트리밍 이벤트를 식별합니다.
일반 이벤트
일반 이벤트는 다른 모든 항목을 처리합니다.
| 이름 | 설명 |
|---|---|
| 오류 | (선택 사항) 오류 정보입니다. 일반적으로 예외 정보입니다(사용 가능한 경우). |
| 메시지 | 로그 메시지 |
| Type | 메시지 형식입니다. 내부 오류 분류에 매핑합니다. 예: JobValidationError 또는 BlobOutputAdapterInitializationFailure. |
| 상관 관계 ID | 작업 실행을 고유하게 식별하는 GUID. 작업 시작 시간부터 작업이 중지될 때까지 모든 실행 로그 항목에는 동일한 상관 관계 ID 값이 있습니다. |
자세한 내용은 Azure Monitor에서 지원되는 모든 리소스 로그 범주 형식 또는 Azure Stream Analytics용으로 수집된 모든 리소스 로그 범주 형식 목록을 참조하세요.
Azure Monitor 로그 테이블
이 섹션은 이 서비스와 관련이 있고 Kusto 쿼리를 사용하는 Log Analytics의 쿼리에 사용할 수 있는 Azure Monitor 로그 테이블을 나열합니다. 테이블에는 리소스 로그 데이터가 포함되며 수집 및 라우팅되는 항목에 따라 더 많은 데이터가 포함될 수 있습니다.
Stream Analytics 작업
| 범주 | 범주 표시 이름 | 로그 테이블 | 기본 로그 플랜 지원 | 수집 시간 변환 지원 | 예시 쿼리 | 내보낼 비용 |
|---|---|---|---|---|---|---|
Authoring |
작성 | AzureDiagnostics 여러 Azure 리소스의 로그. |
아니요 | 아니요 | 쿼리 | 아니요 |
Execution |
실행 | AzureDiagnostics 여러 Azure 리소스의 로그. |
아니요 | 아니요 | 쿼리 | 아니요 |
활동 로그
연결된 테이블에는 이 서비스의 활동 로그에 기록할 수 있는 작업이 나열되어 있습니다. 이 작업은 활동 로그에서 가능한 모든 리소스 공급자 작업의 하위 집합입니다.
활동 로그 항목의 스키마에 대한 자세한 내용은 활동 로그 스키마를 참조하세요.
관련 콘텐츠
피드백
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요. https://aka.ms/ContentUserFeedback
다음에 대한 사용자 의견 제출 및 보기