Azure Batch 모니터링

  • 아티클

이 문서에서는 다음을 설명합니다.

  • 이 서비스에 대해 수집할 수 있는 모니터링 데이터의 유형.
  • 해당 데이터를 분석하는 방법.

참고 항목

이 서비스 및/또는 Azure Monitor에 이미 익숙하고 모니터링 데이터를 분석하는 방법만 알고 싶은 경우 이 문서의 끝부분에 있는 분석 섹션을 참조하세요.

Azure 리소스를 사용하는 중요한 애플리케이션 및 비즈니스 프로세스가 있는 경우 시스템을 모니터링하고 시스템에 대한 경고를 받아야 합니다. Azure Monitor 서비스는 시스템의 모든 구성 요소에서 메트릭과 로그를 수집하고 집계합니다. Azure Monitor는 가용성, 성능, 복원력에 대한 보기를 제공하고 문제를 알려 줍니다. Azure Portal, PowerShell, Azure CLI, REST API 또는 클라이언트 라이브러리를 사용하여 모니터링 데이터를 설정하고 볼 수 있습니다.

리소스 유형

Azure는 리소스 유형 및 ID의 개념을 사용하여 구독의 모든 항목을 식별합니다. 마찬가지로 Azure Monitor는 네임스페이스라고도 하는 리소스 유형에 따라 핵심 모니터링 데이터를 메트릭 및 로그로 구성합니다. 리소스 유형에 따라 다른 메트릭 및 로그를 사용할 수 있습니다. 서비스는 둘 이상의 리소스 유형과 연결될 수 있습니다.

리소스 유형은 Azure에서 실행되는 모든 리소스에 대한 리소스 ID의 일부이기도 합니다. 예를 들어 가상 머신의 리소스 유형 중 하나는 Microsoft.Compute/virtualMachines입니다. 서비스 및 관련 리소스 유형 목록은 리소스 공급자를 참조하세요.

Batch 리소스 종류에 대한 자세한 내용은 Batch 모니터링 데이터 참조를 참조하세요.

데이터 저장소

Azure Monitor의 경우:

  • 메트릭 데이터는 Azure Monitor 메트릭 데이터베이스에 저장됩니다.
  • 로그 데이터는 Azure Monitor 로그 저장소에 저장됩니다. 로그 분석은 이 저장소를 쿼리할 수 있는 Azure Portal의 도구입니다.
  • Azure 활동 로그는 Azure Portal에 자체 인터페이스가 있는 별도의 저장소입니다.

선택적으로 메트릭 및 활동 로그 데이터를 Azure Monitor 로그 저장소로 라우팅할 수 있습니다. 그런 다음 Log Analytics를 사용하여 데이터를 쿼리하고 다른 로그 데이터와 상호 연결할 수 있습니다.

많은 서비스에서는 진단 설정을 사용하여 메트릭 및 로그 데이터를 Azure Monitor 외부의 다른 스토리지 위치로 보낼 수 있습니다. 예를 들면 Azure Storage, 호스트된 파트너 시스템 및 Event Hubs를 사용하는 비 Azuree 파트너 시스템이 있습니다.

Azure Monitor가 데이터를 저장하는 방법에 대한 자세한 내용은 Azure Monitor 데이터 플랫폼을 참조하세요.

스토리지에서 진단 로그에 액세스

일괄 처리 진단 로그를 스토리지 계정에 보관하는 경우, 관련된 이벤트가 발생하자마자 스토리지 계정에 스토리지 컨테이너가 만들어집니다. Blob은 다음과 같은 명명 패턴에 따라 생성됩니다.

insights-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/
RESOURCEGROUPS/{resource group name}/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/{Batch account name}/y={four-digit numeric year}/
m={two-digit numeric month}/d={two-digit numeric day}/
h={two-digit 24-hour clock hour}/m=00/PT1H.json

예시:

insights-metrics-pt1m/resourceId=/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/
RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/MYBATCHACCOUNT/y=2018/m=03/d=05/h=22/m=00/PT1H.json

각 PT1H.json Blob 파일에는 Blob URL에 지정된 시간 내에서 발생한 JSON 형식의 이벤트가 포함됩니다(예: h=12). 현재 시간 동안 이벤트는 발생하는 순서대로 PT1H.json 파일에 추가됩니다. 진단 로그 이벤트는 시간당 개별 Blob으로 나뉘므로 분 값(m=00)은 항상 00입니다. 모든 시간은 UTC입니다.

다음 예에서는 PT1H.json 로그 파일의 PoolResizeCompleteEvent 항목을 보여 줍니다. 항목에는 전용 노드와 우선 순위가 낮은 노드의 현재 및 대상 수, 작업 시작 및 종료 시간에 대한 정보가 포함됩니다.

{ "Tenant": "65298bc2729a4c93b11c00ad7e660501", "time": "2019-08-22T20:59:13.5698778Z", "resourceId": "/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/BATCHACCOUNTS/MYBATCHACCOUNT/", "category": "ServiceLog", "operationName": "PoolResizeCompleteEvent", "operationVersion": "2017-06-01", "properties": {"id":"MYPOOLID","nodeDeallocationOption":"Requeue","currentDedicatedNodes":10,"targetDedicatedNodes":100,"currentLowPriorityNodes":0,"targetLowPriorityNodes":0,"enableAutoScale":false,"isAutoPool":false,"startTime":"2019-08-22 20:50:59.522","endTime":"2019-08-22 20:59:12.489","resultCode":"Success","resultMessage":"The operation succeeded"}}

스토리지 계정에서 로그를 프로그래밍 방식으로 액세스하려면 Storage API를 사용합니다.

Azure Monitor 플랫폼 메트릭

Azure Monitor는 대부분의 서비스에 대한 플랫폼 메트릭을 제공합니다. 이러한 메트릭은 다음과 같습니다.

  • 각 네임스페이스에 대해 개별적으로 정의됩니다.
  • Azure Monitor 시계열 메트릭 데이터베이스에 저장됩니다.
  • 간단하며 실시간에 가까운 경고를 지원할 수 있습니다.
  • 시간 경과에 따른 리소스의 성능을 추적하는 데 사용됩니다.

수집: Azure Monitor는 플랫폼 메트릭을 자동으로 수집합니다. 구성이 필요하지 않습니다.

라우팅: 일반적으로 플랫폼 메트릭을 Azure Monitor 로그/Log Analytics로 라우팅하여 다른 로그 데이터로 쿼리할 수도 있습니다. 자세한 내용은 메트릭 진단 설정을 참조하세요. 서비스에 대한 진단 설정을 구성하는 방법은 Azure Monitor에서 진단 설정 만들기를 참조하세요.

Azure Monitor의 모든 리소스에 대해 수집할 수 있는 모든 메트릭 목록은 Azure Monitor에서 지원되는 메트릭을 참조하세요.

배치 계정에 대한 예제 메트릭에는 풀 만들기 이벤트, 낮은 우선 순위 노드 수 및 작업 완료 이벤트가 있습니다. 해당 메트릭은 추세를 식별하는 데 도움이 되며 데이터 분석에 사용할 수 있습니다.

참고 항목

지난 3분 동안 내보낸 메트릭은 계속 집계할 수 있으므로 이 시간 프레임 동안 값이 보고될 수 있습니다. 메트릭 배달은 보장되지 않으며 배달 오류, 데이터 손실 또는 중복이 발생할 수 있습니다.

Batch에 사용할 수 있는 메트릭의 전체 목록은 Batch 모니터링 데이터 참조를 참조하세요.

Azure Monitor 리소스 로그

리소스 로그는 Azure 리소스에서 수행한 작업에 대한 인사이트를 제공합니다. 로그는 자동으로 생성되지만 저장하거나 쿼리하려면 로그를 Azure Monitor 로그로 라우팅해야 합니다. 로그는 범주별로 구성됩니다. 지정된 네임스페이스에는 여러 리소스 로그 범주가 있을 수 있습니다.

수집: 리소스 로그는 진단 설정을 만들고 하나 이상의 위치로 라우팅할 때까지 수집 및 저장되지 않습니다. 진단 설정을 만들 때 수집할 로그 범주를 지정합니다. 진단 설정을 만들고 유지 관리하는 방법에는 Azure Portal, 프로그래밍 방식, Azure Policy 사용 등을 포함한 여러 가지 방법이 있습니다.

라우팅: 제안되는 기본값은 리소스 로그를 Azure Monitor 로그로 라우팅하여 다른 로그 데이터로 쿼리할 수 있도록 하는 것입니다. Azure Storage, Azure Event Hubs, 특정 Microsoft 모니터링 파트너와 같은 다른 위치도 사용할 수 있습니다. 자세한 내용은 Azure 리소스 로그 및 리소스 로그 대상을 참조하세요.

리소스 로그 수집, 저장 및 라우팅에 대한 자세한 내용은 Azure Monitor의 진단 설정을 참조하세요.

Azure Monitor에서 사용 가능한 모든 리소스 로그 범주 목록은 Azure Monitor에서 지원되는 리소스 로그를 참조하세요.

Azure Monitor의 모든 리소스 로그에는 동일한 헤더 필드와 서비스별 필드가 있습니다. 공용 스키마는 Azure Monitor 리소스 로그 스키마에서 설명합니다.

사용 가능한 리소스 로그 범주, 관련 Log Analytics 테이블 및 Batch용 로그 스키마는 Batch 모니터링 데이터 참조를 참조하세요.

모니터링할 각 배치 계정에 대해 진단 로그를 명시적으로 사용하도록 설정해야 합니다.

Batch 서비스의 경우 다음 로그를 수집할 수 있습니다.

다음 allLogs 및 AllMetrics를 Log Analytics 작업 영역으로 보내는 진단 설정의 예를 보여 주는 스크린샷.

예를 보여 주는 진단 설정 페이지의 스크린샷.

Azure Batch 풀을 만들 때 컴퓨팅 노드에 다음 모니터링 관련 확장 중 하나를 설치하여 데이터를 수집하고 분석할 수 있습니다.

다양한 확장 및 에이전트와 이들이 수집하는 데이터를 비교하려면 에이전트 비교를 참조하세요.

Azure 활동 로그

활동 로그에는 해당 리소스의 외부에서 볼 때 각 Azure 리소스에 대한 작업을 추적하는 구독 수준 이벤트(예: 새 리소스 만들기 또는 가상 머신 시작)가 포함되어 있습니다.

수집: 활동 로그 이벤트는 자동으로 생성되고 별도의 저장소에 수집되어 Azure Portal에서 볼 수 있습니다.

라우팅: 다른 로그 데이터와 함께 분석할 수 있도록 활동 로그 데이터를 Azure Monitor 로그로 보낼 수 있습니다. Azure Storage, Azure Event Hubs, 특정 Microsoft 모니터링 파트너와 같은 다른 위치도 사용할 수 있습니다. 활동 로그를 라우팅하는 방법에 대한 자세한 내용은 Azure 활동 로그 개요를 참조하세요.

특히 Batch 계정의 경우 활동 로그는 계정 생성/삭제 및 키 관리와 관련된 이벤트를 수집합니다.

모니터링 데이터 분석

모니터링 데이터를 분석하기 위한 많은 도구가 있습니다.

Azure Monitor 도구

Azure Monitor는 다음과 같은 기본 도구를 지원합니다.

더 복잡한 시각화를 허용하는 도구는 다음과 같습니다.

  • 대시보드: 다양한 종류의 데이터를 Azure Portal에서 하나의 창에 결합할 수 있습니다.
  • 통합 문서: Azure Portal에서 만들 수 있는 사용자 지정 가능한 보고서입니다. 통합 문서에는 텍스트, 메트릭, 로그 쿼리가 포함될 수 있습니다.
  • Grafana: 뛰어난 운영 대시보드를 제공하는 개방형 플랫폼 도구입니다. Grafana를 사용하여 Azure Monitor 외의 여러 소스에서 온 데이터를 포함하는 대시보드를 만들 수 있습니다.
  • Power BI: 다양한 데이터 소스에서 대화형 시각화를 제공하는 비즈니스 분석 서비스입니다. Azure Monitor에서 자동으로 로그 데이터를 가져오도록 Power BI를 구성하여 이러한 시각화를 활용할 수 있습니다.

전용 Core 수 또는 우선 순위가 낮은 노드 수와 같은 수 기반 Batch 메트릭을 분석하는 경우 Avg 집계를 사용합니다. 이벤트 기반 메트릭(예: "풀 크기 조정 완료 이벤트”)에는 Count 집계를 사용합니다. 차트의 기간 동안 받은 모든 데이터 요소의 값을 더하는 Sum 집계는 사용하지 않습니다.

Azure Monitor 내보내기 도구

다음 방법을 사용하여 Azure Monitor에서 다른 도구로 데이터를 내보낼 수 있습니다.

Azure Monitor용 REST API를 시작하려면 Azure 모니터링 REST API 연습을 참조하세요.

Kusto 쿼리

KQL(Kusto 쿼리 언어)을 사용하여 Azure Monitor 로그/로그 분석 저장소에서 모니터링 데이터를 분석할 수 있습니다.

Important

포털의 서비스 메뉴에서 로그를 선택하면 쿼리 범위가 현재 서비스로 설정된 상태로 로그 분석이 열립니다. 이 범위는 로그 쿼리에 해당 유형의 리소스의 데이터만 포함된다는 의미입니다. 다른 Azure 서비스의 데이터를 포함하는 쿼리를 실행하려면 Azure Monitor 메뉴에서 로그를 선택합니다. 자세한 내용은 Azure Monitor Log Analytics의 로그 쿼리 범위 및 시간 범위를 참조하세요.

모든 서비스에 대한 일반적인 쿼리 목록은 로그 분석 쿼리 인터페이스를 참조하세요.

샘플 쿼리

다음은 Batch에 대한 몇 가지 샘플 로그 쿼리입니다.

풀 크기 조정: 풀 및 결과 코드(성공 또는 실패)별로 크기 조정 시간을 나열합니다.

AzureDiagnostics
| where OperationName=="PoolResizeCompleteEvent"
| summarize operationTimes=make_list(startTime_s) by poolName=id_s, resultCode=resultCode_s

작업 기간: 작업 시작부터 작업 완료까지 작업 경과 시간을 초 단위로 제공합니다.

AzureDiagnostics
| where OperationName=="TaskCompleteEvent"
| extend taskId=id_s, ElapsedTime=datetime_diff('second', executionInfo_endTime_t, executionInfo_startTime_t) // For longer running tasks, consider changing 'second' to 'minute' or 'hour'
| summarize taskList=make_list(taskId) by ElapsedTime

작업당 실패한 작업: 부모 작업별로 실패한 작업을 나열합니다.

AzureDiagnostics
| where OperationName=="TaskFailEvent"
| summarize failedTaskList=make_list(id_s) by jobId=jobId_s, ResourceId

경고

Azure Monitor 경고는 모니터링 데이터에서 특정한 조건이 발견될 때 사용자에게 사전에 알립니다. 경고를 통해 사용자에게 알리기 전에 시스템 문제를 식별하고 해결할 수 있습니다. 자세한 내용은 Azure Monitor 경고을 참조하세요.

Azure 리소스에 대한 일반적인 경고의 소스에는 여러 가지가 있습니다. Azure 리소스에 대한 일반적인 경고의 예는 샘플 로그 경고 쿼리를 참조하세요. AMBA(Azure Monitor 기준 경고) 사이트는 중요한 플랫폼 메트릭 경고, 대시보드 및 지침을 구현하는 반자동 방법을 제공합니다. 이 사이트는 ALZ(Azure 랜딩 존)의 일부인 전체 서비스를 포함하여 지속적으로 확장되는 Azure 서비스 하위 집합에 적용됩니다.

공통 경고 스키마는 Azure Monitor 경고 알림의 사용을 표준화합니다. 자세한 내용은 일반 경고 스키마를 참조하세요.

경고 유형

Azure Monitor 데이터 플랫폼의 모든 메트릭 또는 로그 데이터 원본에 대해 경고할 수 있습니다. 모니터링하는 서비스 및 수집하는 모니터링 데이터에 따라 다양한 유형의 경고가 있습니다. 서로 다른 형식의 경고에는 다양한 장점과 단점이 있습니다. 자세한 내용은 올바른 모니터링 경고 유형 선택을 참조하세요.

다음 목록에서는 만들 수 있는 Azure Monitor 경고의 유형에 대해 설명합니다.

  • 메트릭 경고는 정기적으로 리소스 메트릭을 평가합니다. 메트릭은 플랫폼 메트릭, 사용자 지정 메트릭, 메트릭으로 변환된 Azure Monitor의 로그 또는 Application Insights 메트릭일 수 있습니다. 메트릭 경고는 여러 조건과 동적 임계값을 적용할 수도 있습니다.
  • 로그 경고를 사용하면 사용자가 로그 분석 쿼리를 사용하여 미리 정의된 빈도로 리소스 로그를 평가할 수 있습니다.
  • 활동 로그 경고는 정의된 조건과 일치하는 새 활동 로그 이벤트가 발생할 때 트리거됩니다. Resource Health 경고 및 Service Health 경고는 서비스 및 Resource Health를 보고하는 활동 로그 경고입니다.

일부 Azure 서비스는 스마트 검색 경고, Prometheus 경고 또는 권장 경고 규칙도 지원합니다.

일부 서비스의 경우 동일한 Azure 지역에 존재하는 동일한 형식의 여러 리소스에 동일한 메트릭 경고 규칙을 적용하여 대규모로 모니터링할 수 있습니다. 모니터링되는 각 리소스에 대해 개별 알림이 전송됩니다. 지원되는 Azure 서비스 및 클라우드에 대한 내용은 하나의 경고 규칙을 사용하여 여러 리소스 모니터링을 참조하세요.

참고 항목

서비스에서 실행되는 애플리케이션을 만들거나 실행하는 경우 Azure Monitor 애플리케이션 정보는 더 많은 형식의 경고를 제공할 수 있습니다.

Batch 경고 규칙

메트릭 전달 시 전달 오류, 데이터 손실 또는 중복과 같은 불일치 문제가 발생할 수 있으므로 단일 데이터 요소에 대해 트리거되는 경고를 방지해야 합니다. 대신 임계값을 사용하여 일정 기간 동안의 이러한 불일치를 설명합니다.

예를 들어 우선 순위가 낮은 코어 수가 특정 수준으로 낮아질 경우 메트릭 경고를 구성할 수 있습니다. 그런 다음, 이 경고를 사용하여 풀의 구성을 조정할 수 있습니다. 최상의 결과를 얻으려면 우선 순위가 낮은 평균 코어 수가 전체 기간에 대한 임계값보다 낮은 경우 경고가 트리거되는 기간을 10분 이상 설정합니다. 이 기간을 통해 보다 정확한 결과를 얻을 수 있도록 메트릭을 집계할 수 있습니다.

다음 표에는 Batch에 대한 일부 경고 규칙 트리거가 나열되어 있습니다. 이러한 경고 규칙은 단지 예일 뿐입니다. Batch 모니터링 데이터 참조에 나열된 메트릭, 로그 항목 또는 활동 로그 항목에 대해 경고를 설정할 수 있습니다.

경고 유형 조건 설명
메트릭 사용 불가 노드 수 사용할 수 없는 노드 수가 0보다 클 때마다
메트릭 작업 실패 이벤트 총 작업 실패 이벤트가 동적 임계값보다 클 때마다

Advisor 권장 사항

일부 서비스의 경우 리소스 작업 중에 위험한 상태 또는 임박한 변경 사항이 발생하는 경우 해당 서비스에서 포털의 개요 페이지에 경고가 표시됩니다. 왼쪽 메뉴의 모니터링 아래 Advisor 권장 사항에서 해당 경고에 대한 자세한 정보와 권장 수정 사항을 찾을 수 있습니다. 정상적으로 작동하는 중에는 Advisor 권장 사항이 표시되지 않습니다.

Azure Advisor에 대한 자세한 내용은 Azure Advisor 개요를 참조하세요.

기타 Batch 모니터링 옵션

Batch Explorer는 Azure Batch 애플리케이션을 만들고, 디버그하고, 모니터링할 수 있도록 하는 무료의 풍부한 기능을 가진 독립 실행형 클라이언트 도구입니다. Batch Explorer와 함께 Azure Batch Insights를 사용하여 VM(가상 머신) 성능 카운터와 같은 Batch 노드에 대한 시스템 인사이트를 가져올 수 있습니다.

Batch 애플리케이션에서 Batch .NET 라이브러리를 사용하여 작업, 작업, 노드 및 풀을 포함한 리소스의 상태를 모니터링하거나 쿼리할 수 있습니다. 예시:

Batch API를 사용하여 Batch 작업, 작업, 컴퓨팅 노드 및 기타 리소스에 대한 목록 쿼리를 만들 수 있습니다. 목록 쿼리를 필터링하는 방법에 대한 자세한 내용은 Batch 리소스를 효율적으로 나열하는 쿼리 만들기를 참조하세요.

또는 대규모 작업 또는 노드 컬렉션에 대한 자세한 정보를 반환하는 시간이 많이 걸릴 수 있는 목록 쿼리 대신 작업 수 가져오기 및 풀 노드 수 나열 작업을 사용하여 Batch 작업 및 컴퓨팅 노드의 수를 가져올 수 있습니다. 자세한 내용은 상태별로 작업 및 노드 수를 계산하여 Batch 솔루션 모니터링을 참조하세요.

Application Insights를 Azure Batch 애플리케이션과 통합하여 사용자 지정 메트릭 및 추적으로 코드를 계측할 수 있습니다. Application Insights를 Batch .NET 솔루션에 추가하고, 애플리케이션 코드를 계측하고, Azure Portal에서 애플리케이션을 모니터링하고, 사용자 지정 대시보드를 빌드하는 방법에 대한 자세한 안내는 Application Insights를 사용하여 Azure Batch .NET 애플리케이션 모니터링 및 디버깅 및 함께 제공되는 코드 샘플을 참조하세요.

관련 콘텐츠