Copilot Studio에서 에이전트 성능 모니터링

Note

이 글에서는 표준 하네스로 구동되는 에이전트 또는 에이전트 플로우에서 사용되는 기능에 대해 설명합니다.

분석을 사용하여 에이전트가 얼마나 잘 수행되고 있는지 이해하고 개선이 필요한 영역을 식별합니다.

Copilot Studio의 모니터 페이지는 주요 지표를 요약하고 에이전트 구성 요소의 사용 분석을 제공합니다. 개별 지표를 열어 기본 데이터를 탐색하세요.

모니터 경험은 대화형 에이전트 와 자율 에이전트를 위해 맞춤 설계되었습니다.

모니터링은 모든 지역에서 가능합니다. 모니터 데이터는 최대 360일 동안 이용 가능합니다. 세션 세부 정보 및 성적 증명서 정보는 지난 28일 동안 사용할 수 있습니다. 분석에서 시간과 날짜 스탬프는 조정 세계시(UTC)로 표시됩니다. 시간과 날짜 스탬프에는 요일 시작과 종료 시간, 세션 시간, 그리고 에이전트 데이터에 포함된 기타 시간 표시가 포함됩니다.

Note

모니터 페이지에는 테스트 패널을 사용해 Copilot Studio에서 에이전트를 테스트할 때 완료한 활동에 대한 분석이 표시되지 않습니다.

분석에 제한된 보기 전용 액세스 권한 부여

에이전트 소유자라면, Analytics Viewer 공유 역할로 에이전트를 공유하여 모니터 페이지에만 접근 권한을 부여하세요. 대화 스크립트 정보에 액세스하려면 해당 사용자에게도 Bot Transcript Viewer 보안 역할이 있어야 합니다.

자세한 내용은 에이전트의 분석 공유에서 확인하세요.

Important

에이전트 소유자는 분석 뷰어 역할을 사용자 그룹이 아닌 개인과만 공유할 수 있습니다.

에이전트의 모니터 페이지에 접근하려면:

1. Copilot Studio에서 에이전트를 엽니다.
2. 상단 메뉴 바에서 모니터 를 선택하세요.

Summary

요약 영역에서는 Copilot를 사용하여 에이전트에 대한 주요 분석 인사이트에 대한 AI 요약을 생성합니다. 자세히 보기를 선택하여 요약된 전체 인사이트 목록을 확인합니다.

이를 통해 일반적인 테마 및 메트릭을 빠르게 이해하고 선택한 보고 기간의 글머리 기호 목록에 요약하여 에이전트의 개선 영역을 식별할 수 있습니다. 이 목록에는 참여 지표, 고객 감정 및 피드백, 그리고 지난 보고 기간 이후의 추세가 포함될 수 있습니다.

고객 의견 요약 (미리보기)

[이 섹션은 사전 출시 설명서이며 변경될 수 있습니다.]

고객 의견 요약은 피드백과 댓글을 통해 상담원에 대한 고객 전반의 반응을 이해하는 데 도움을 줍니다. 인사이트는 관련 주석의 양과 전반적인 중요성을 기반으로 우선 순위가 지정됩니다. 요약은 가치 낮은 댓글이나 관련 없는 댓글을 걸러내고, 관련 피드백을 한데 묶어줍니다.

Important

이 문서에는 Microsoft Copilot Studio 미리 보기 설명서가 포함되어 있으며 변경될 수 있습니다.

미리 보기 기능은 프로덕션용이 아니며 기능이 제한되었을 수 있습니다. 이러한 기능은 공식 릴리스 이전에 제공되므로 사용자가 조기에 액세스하고 피드백을 제공할 수 있습니다.

프로덕션이 가능한 에이전트를 빌드하는 경우 Microsoft Copilot Studio 개요를 참조하세요.

이 섹션에 대해 Microsoft에 피드백을 제공하려면 좋아요 또는 싫어요를 선택하세요. Microsoft에 피드백 제출 패널을 사용해 댓글을 추가하고 관련 파일을 공유할지 선택하세요.

1. Microsoft에 피드백 제출 패널에서 패널을 열기 위해 선택한 아이콘에 따라 좋아하는 것 또는 싫어하는 것을 자연어로 설명합니다.
2. 프롬프트, 생성된 응답, 관련 콘텐츠 샘플, 추가 로그 파일을 공유할지 선택하세요.
3. 제출을 선택합니다.

Overview

개요 영역에서 고수준 성과 요약을 확인한 후 개별 지표를 더 자세히 탐색하세요.

활성 사용자

활성 사용자 지표는 대화형 에이전트의 채택과 시간이 지남에 따라 어떻게 변하는지를 보여줍니다. 활성 사용자는 보고서 기간 동안 대화형 에이전트와 한 번 이상 상호 작용하는 고유한 사용자입니다. 모니터 페이지에는 일일 활성 사용자(DAU)와 월간 활성 사용자(MAU)가 표시됩니다. 일일 집계는 UTC 기준으로 하루 24시간 전체를 포함합니다. 월별 카운트는 UTC의 달력 월을 기준으로 합니다.

Important

활성 사용자 메트릭 기능은 설정>보안>인증에서 인증을 요구하도록 에이전트를 설정한 경우에만 지원됩니다.

선택한 기간의 평균 DAU와 이전 기간의 백분율 변경은 개요 섹션에서 KPI(핵심 성과 지표)로 표시됩니다.

Note

평균 DAU 계산 메트릭의 수식은 다음과 (sum of all full-day active user counts in the period) / (count of full days in the period)같습니다.

시간 경과에 따른 일별 및 월간 활성 사용자 수에 대한 자세한 내용을 보려면 개요 패널의 오른쪽 위 모서리에 있는 활성 사용자 보기 단추를 선택합니다.

대화형 세션만

Copilot Studio의 대화형 에이전트에 대한 분석 에이전트와의 사용자 참여를 추적하고 에이전트가 사용자 작업을 얼마나 잘 처리하는지 캡처하려고 합니다.

대화형 분석은 다음과 같은 개념과 용어를 사용합니다.

• 대화는 채널 내 특정 사용자 또는 사용자 그룹과 에이전트 간의 지속적인 상호작용입니다.

• 대화를 일시 중지하고 나중에 다시 시작하거나 고객 지원 담당자에게 연결해 드릴 수 있습니다. 대화는 고객과 상담원, 또는 상담원에서 고객으로의 일방향일 수 있지만, 보통은 고객과 상담원 간의 상호작용입니다.

• 30분 동안 비활성 상태이면 대화가 종료됩니다.

• 전화 채널에 게시된 상담원의 경우, 대화 종료 이벤트 후 3분 후에 타임아웃됩니다.

• 단일 대화에는 하나 이상의 분석 세션이 포함될 수 있습니다.

• Standard 하네스로 구동되는 분석 세션은 사용자가 마지막으로 트리거한 맞춤형 주제와 연관되어 있습니다. 세션에 커스텀 주제가 포함되어 있지 않으면, 사용자가 직접 트리거하는 마지막 시스템 주제가 됩니다.

이벤트 트리거 세션만

자율 에이전트는 이벤트 트리거가 있는 에이전트입니다. 이러한 에이전트는 트리거가 있는 에이전트에 대한 분석만 지원합니다.

트리거가 있는 에이전트의 분석 세션은 에이전트가 트리거로부터 페이로드를 수신하는 시점부터 에이전트가 응답으로 실행하는 모든 작업을 추적합니다. 이러한 분석 세션은 에이전트가 무엇에 응답하고 있는지, 에이전트가 얼마나 잘 수행하는지 캡처합니다.

Note

트리거가 실패하고 에이전트가 트리거 페이로드를 수신하지 않으면 분석 세션을 시작할 수 없습니다. 분석에서 성공적으로 트리거된 실행만 추적합니다.

하이브리드 뷰 - 대화형 및 이벤트 트리거 세션 모두

상담원의 데이터에 보고서 기간 내에 최소 한 번의 대화와 최소 한 번의 트리거 기반 실행에 대한 세션이 포함되어 있을 경우, 모니터 페이지는 대화 세션과 자율 세션 모두에 대한 관련 지표를 혼합 뷰로 보여줍니다. 이 뷰에서는 개요 와 효과 성 섹션이 대화형 세션과 이벤트 트리거 세션 모두의 지표를 나란히 보여줍니다. 사용 섹션에서는 관련 데이터만 표시하는 대화 또는 실행 중에서 선택할 수 있습니다. 모두 선택 시 모든 사용 관련 데이터가 표시됩니다. 만족도 섹션에는 대화형 세션에 대한 만족도 메트릭이 표시됩니다.

자세한 내용은 다음을 참조하세요.

• 대화 세션 지표에 대한 대화형 에이전트의 효과성을 모니터링하세요

• 이벤트 트리거 세션 지표에 대한 자율 에이전트의 건강 상태를 모니터링하세요

대화록 다운로드

최근 28일 이내의 세션 대본은 Copilot Studio에서 다운로드할 수 있습니다. 분석 세션이 끝난 후 관련 데이터가 분석 대시보드에 나타나기까지 최대 한 시간이 걸릴 수 있습니다. 이용 가능성, 권한 및 다운로드 단계에 대해 더 알아보세요. Copilot Studio에서 대화 내용 기록 다운로드.

Dataverse 대화 기록 보존은 Copilot Studio의 28일 세션 데이터 창과 별개로 이루어집니다. 자세한 내용은 Power Apps에서 대화 내용 기록 다운로드를 참조하세요.

토픽 사용 현황 분석

Copilot Studio 항목은 에이전트 대화가 진행되는 방식을 정의하고 사용자와 에이전트 간의 대화 부분을 나타냅니다. 주제 모니터링 창은 개별 주제가 얼마나 자주 트리거되는지, 해당 주제가 포함된 세션에서 어떻게 해결되는지, 그리고 사용자가 세션에 얼마나 만족하는지 등을 보여줍니다. 이러한 인사이트를 활용해 자주 에스컬레이션되거나 포기되는 주제를 파악하고, 이를 우선순위로 개선하세요. 항목 만들기 및 편집에 대해 자세히 알아보세요.

Note

Topic Monitor는 Standard Harness로 구동되는 에이전트와 세션과 관련된 주제에만 제공됩니다. 에이전트가 생성형 오케스트레이션을 사용하는 경우에는 Monitor 페이지에서 대화 결과와 테마를 대신 사용하세요.

주제를 보시려면 모니터 패널을 참조하세요:

1. Copilot Studio에서 에이전트의 주제 페이지로 가세요.

2. 분석하려는 항목을 선택합니다. 사용할 수 있는 항목이 없으면 항목 만들기 및 편집을 참조하세요.

3. 주제 페이지 오른쪽 상단에서 '더 보기'를 선택하세요 (...) >모니터.

모니터 패널의 주제는 다음과 같습니다:

• 토픽 결과: 이 항목이 트리거된 세션에 대한 세션 결과EscalatedResolved, 및 Abandoned세션의 차트입니다. 이 차트를 사용하여 항목 상태를 빠르게 평가합니다. 높은 비율 Escalated 또는 Abandoned 결과가 토픽에 개선이 필요하다는 것을 의미할 수 있습니다.
• 총 항목 사용: 시간에 따른 토픽 결과 추세의 차트입니다. 예를 들어 토픽을 편집한 후 중단된 세션이 급증하여 회귀를 감지하거나 최근 변경 내용으로 해결 속도가 향상되었는지 확인할 수 있습니다.
• 고객 만족도 점수: 이 항목과 연결된 세션의 사용자 설문 조사 응답을 기반으로 하는 점수입니다.
• 만족도 점수 추세: 시간에 따라 만족도 점수 가 어떻게 변하는지 보여 주는 차트입니다. 이 추세를 사용하여 사용자 감정이 감소하거나 개선된 기간을 식별합니다.

시간 범위를 변경하려면 주제 모니터 패널 상단의 시간 범위 드롭다운을 선택하세요.

관련 정보

AI 에이전트의 ROI(투자 수익률) 및 비즈니스 가치 측정