Monitorowanie wydajności agenta w Copilot Studio

Note

Ten artykuł opisuje cechy stosowane w przepływach agentów lub przepływach agentów zasilanych standardową wiązką.

Korzystaj z analiz, aby zrozumieć, jak dobrze działa Twój agent i zidentyfikować obszary wymagające poprawy.

Strona Monitor w Copilot Studio podsumowuje kluczowe wskaźniki i dostarcza analitykę wykorzystania komponentów Twojego agenta. Otwórz indywidualne metryki, aby zbadać dane źródłowe.

Doświadczenie Monitora jest dostosowane do agentów konwersacyjnych oraz autonomicznych.

Monitoring jest dostępny we wszystkich regionach geograficznych. Dane monitorujące są dostępne do 360 dni. Szczegóły sesji i informacje o transkrypcji są dostępne przez ostatnie 28 dni. Znaczniki czasu i daty w analityce są w skoordynowanym czasie uniwersalnym (UTC). Znaczniki czasu i daty obejmują godziny rozpoczęcia i zakończenia dnia, godziny sesji oraz inne znaczniki czasu w danych Twojego agenta.

Note

Strona Monitor nie pokazuje analityki dla aktywności, którą wykonałeś podczas testowania agenta w Copilot Studio za pomocą panelu testowego.

Udzielanie ograniczonego dostępu tylko do widoku do analizy

Jeśli jesteś właścicielem agenta, udostępnij agenta użytkownikom z rolą Analytics Viewer, aby przyznać dostęp tylko do jego strony Monitor. Aby uzyskać dostęp do informacji z transkrypcji rozmów, osoba musi również posiadać rolę zabezpieczeń Bot Transcript Viewer.

Dowiedz się więcej w Udostępnianie analityki agenta.

Important

Jako właściciel agenta możesz udostępniać rolę osoby przeglądającego analizy tylko osobom, a nie grupom użytkowników.

Aby uzyskać dostęp do strony Monitor swojego agenta:

1. Otwórz agenta w programie Copilot Studio.
2. Wybierz Monitor na górnym pasku menu.

Summary

Obszar Summary wykorzystuje Copilot do generowania sztuczną inteligencją podsumowania kluczowych kwestii analitycznych dotyczących agenta. Wybierz pozycję Wyświetl więcej , aby wyświetlić pełną podsumowaną listę szczegółowych informacji.

Pomaga to szybko zrozumieć typowe motywy i metryki oraz zidentyfikować obszary poprawy dla agenta, podsumowując je na liście punktowanej dla wybranego okresu raportowania. Lista ta może obejmować metryki zaangażowania, nastroje klientów i ich opinie oraz trendy od ostatniego okresu sprawozdawczego.

Podsumowanie komentarzy klientów (podgląd)

[Ta sekcja to dokumentacja wstępna, która może ulec zmianie].

Podsumowanie komentarzy klientów pomaga zrozumieć ogólne nastroje klientów wobec agenta na podstawie opinii i komentarzy. Wnioski są priorytetowo traktowane na podstawie liczby powiązanych komentarzy i ich ogólnego znaczenia. Podsumowanie filtruje komentarze niskiej wartości lub nieistotne i łączy powiązane opinie.

Important

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku w środowiskach produkcyjnych i mogą mieć ograniczoną funkcjonalność. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli tworzysz agenta gotowego do użycia w środowisku produkcyjnym, zobacz Omówienie usługi Microsoft Copilot Studio.

Aby przekazać opinię Microsoft na temat tej sekcji, wybierz Kciuk w górę lub Kciuk w dół. Użyj panelu Prześlij opinię do firmy Microsoft, aby dodać komentarz i wybrać, czy chcesz udostępnić powiązane pliki.

1. W panelu Prześlij opinię do Microsoft opisz w naturalnym języku, co lubisz a czego nie lubisz, w zależności od ikony wybranej w celu otwarcia panelu.
2. Zdecyduj, czy udostępnić prompt, wygenerowaną odpowiedź, odpowiednie przykłady treści oraz dodatkowe pliki dziennika.
3. Wybierz Prześlij.

Overview

Sprawdź podsumowanie wyników na wysokim poziomie w sekcji Przegląd , a następnie szczegółowo przyjrzyj się poszczególnym wskaźnikom.

Aktywni użytkownicy

Wskaźniki aktywnych użytkowników pokazują przyjęcie agenta konwersacyjnego i to, jak zmienia się ono w czasie. Aktywny użytkownik to unikatowy użytkownik, który wchodził w interakcję z agentem konwersacji co najmniej raz w okresie raportu. Strona Monitor wyświetla dziennych aktywnych użytkowników (DAU) oraz miesięcznych aktywnych użytkowników (MAU). Dzienne liczenie obejmuje pełny, 24-godzinny dzień w UTC. Miesięczne liczenie jest zgodne z miesiącem kalendarzowym w UTC.

Important

Funkcja metryki aktywnych użytkowników działa tylko, jeśli ustawi się agenta, aby konieczne było uwierzytelnianie w obszarze Ustawienia>Zabezpieczeń>Uwierzytelnianie.

Średnia wartość DAU dla wybranego okresu oraz jej procentowa zmiana z poprzedniego okresu jest wyświetlana jako kluczowy wskaźnik wydajności (KPI) w sekcji Przegląd .

Note

Formuła średniej metryki obliczeniowej daU to: (sum of all full-day active user counts in the period) / (count of full days in the period).

Aby wyświetlić więcej szczegółów na temat liczby dziennych i miesięcznych aktywnych użytkowników w miarę upływu czasu, wybierz przycisk Zobacz aktywnych użytkowników w prawym górnym rogu panelu przeglądu.

Tylko sesje konwersacyjne

Analytics dla agentów konwersacyjnych w programie Copilot Studio śledź zaangażowanie użytkowników z agentem i spróbuj uchwycić, jak dobrze agent obsługuje zadania użytkownika.

Analiza konwersacyjna używa następujących pojęć i terminów:

• Rozmowy to ciągła interakcja między konkretnym użytkownikiem lub grupą użytkowników na kanale a Twoim agentem.

• Konwersacje można wstrzymywać i wznawiać później lub przekazywać do przedstawiciela działu obsługi klienta. Rozmowa może być jednostronna, zarówno od klienta do agenta, albo od agenta do klienta, ale częściej jest to wymiana zdań między klientem a agentem.

• Czas konwersacji upływa po 30 minutach braku aktywności.

• Dla agentów publikowanych na kanale Telephony rozmowy wygasają 3 minuty po zakończeniu wydarzenia .

• Jedna konwersacja może zawierać jedną lub więcej sesji analitycznych.

• Sesja analityczna oparta na Standard Harness jest powiązana z ostatnim niestandardowym tematem wywołanym przez użytkownika. Jeśli sesja nie zawiera tematów niestandardowych, to jest to ostatni temat systemowy wywołany bezpośrednio przez użytkownika.

Tylko sesje wyzwalacza zdarzeń

Agent autonomiczny to agent z wyzwalaczem zdarzenia. Ci agenci obsługują tylko analizę agentów z wyzwalaczami.

Sesja analityki dla agentów z wyzwalaczami obejmuje cały przebieg od momentu, gdy agent otrzymuje ładunek danych z wyzwalacza, aż po wszelkie działania wykonywane przez agenta w odpowiedzi. Te sesje analityczne rejestrują, na co reaguje Twój agent i jak dobrze działa.

Note

Jeśli wyzwalacz zakończy się niepowodzeniem, a agent nie otrzyma ładunku wyzwalacza, sesja analizy nie będzie mogła się rozpocząć. Analiza śledzi tylko pomyślnie wyzwolone przebiegi.

Widok hybrydowy — zarówno sesje konwersacyjne, jak i wyzwalane zdarzeniami

Gdy dane agenta obejmują sesje dla co najmniej jednej konwersacji oraz co najmniej jedno uruchomienie wyzwalane przez regułę w okresie objętym raportem, strona Monitor wyświetla hybrydowy widok odpowiednich metryk zarówno dla sesji konwersacyjnych, jak i autonomicznych. W tym ujęciu sekcje Przegląd i Efektywność pokazują metryki obok siebie zarówno dla sesji konwersacyjnych, jak i wywołanych wydarzeniami. Sekcja Użytkowania pozwala wybrać między Konwersacjami a Uruchomieniami, wyświetlając tylko odpowiednie dane. Wybranie pozycji Wszystkie spowoduje wyświetlenie wszystkich danych związanych z użyciem. W sekcji Satysfakcja są wyświetlane metryki satysfakcji dla sesji konwersacyjnych.

Dowiedz się więcej w:

• Monitoruj skuteczność agentów konwersacyjnych pod kątem metryk sesji konwersacyjnych

• Monitoruj stan autonomicznego agenta pod kątem metryk sesji wywołanych przez zdarzenia

Pobierz transkrypcje rozmów

Możesz pobrać transkrypcje sesji w Copilot Studio za okresy z ostatnich 28 dni. Może minąć nawet godzinę po zakończeniu sesji analitycznej, zanim powiązane dane pojawią się na panelu analityki. Dowiedz się więcej o dostępności, uprawnieniach i krokach pobierania w Pobieranie transkrypcji rozmów w Copilot Studio.

Przechowywanie transkrypcji w Dataverse jest oddzielne od 28-dniowego okna danych sesji w Copilot Studio. Dowiedz się więcej w artykule Pobieranie transkrypcji rozmów w Power Apps.

Analiza użycia tematu

W Copilot Studio temat definiuje sposób postępu konwersacji agenta i reprezentuje część konwersacji między użytkownikiem a agentem. Panel „Monitor tematu” pokazuje, jak radzi sobie dany temat, w tym jak często jest uruchamiany, jak są rozwiązywane sesje, które go obejmują, oraz na ile użytkownicy są zadowoleni z tych sesji. Wykorzystaj te spostrzeżenia, aby zidentyfikować tematy, które często eskalują lub są porzucane, a następnie priorytetyzuj je pod kątem poprawy. Dowiedz się więcej w temacie Tworzenie i edytowanie tematów.

Note

Topic Monitor jest dostępny tylko dla agentów obsługiwanych przez Standard harness oraz dla tematów związanych z sesją. Jeśli Twój agent korzysta z orkiestracji generatywnej, zamiast tego używaj wyników rozmów i tematów na stronie Monitor.

Aby zobaczyć temat Panel monitoru:

1. Wejdź na stronę Tematy swojego agenta w Copilot Studio.

2. Wybierz temat, który chcesz przeanalizować. Jeśli tematy nie są dostępne, zobacz Tworzenie i edytowanie tematów.

3. W prawym górnym rogu strony Tematy wybierz Więcej (...) >Monitoruj.

Panel tematyczny Monitor przedstawia:

• Wyniki tematu: wykres wyników sesji, , Escalatedi Resolved, dla sesji, Abandonedw których ten temat został wyzwolony. Użyj tego wykresu, aby szybko ocenić kondycję tematu. Wysoki odsetek Escalated wyników lub Abandoned może oznaczać, że temat wymaga poprawy.
• Łączne użycie tematu: wykres trendu wyników tematu w czasie. Służy do wykrywania regresji, na przykład skok liczby porzuconych sesji po edycji tematu lub potwierdzenia, że ostatnie zmiany poprawiły współczynniki rozwiązywania.
• Wynik zadowolenia klientów: wynik oparty na odpowiedziach ankiet użytkowników z sesji skojarzonych z tym tematem.
• Trend oceny zadowolenia: wykres pokazujący, jak zmienia się wskaźnik zadowolenia w czasie. Użyj tego trendu, aby zidentyfikować okresy, w których nastroje użytkowników pogorszyły się lub poprawiły.

Aby zmienić zakres czasu, wybierz listę rozwijaną zakresu czasu u góry panelu Monitora tematu.

Informacje pokrewne

Mierzenie zwrotu z inwestycji (ROI) i wartości biznesowej agentów sztucznej inteligencji