Monitoruj skuteczność agentów konwersacyjnych

Note

Ten artykuł opisuje cechy stosowane w przepływach agentów lub przepływach agentów zasilanych standardową wiązką.

Użyj strony Monitor w Copilot Studio, aby sprawdzić skuteczność swojego agenta konwersacyjnego podczas sesji analitycznych. Zidentyfikuj, gdzie rozmowy kończą się sukcesem lub napotykają problemy, przeglądaj opinie użytkowników i szukaj okazji do ulepszenia odpowiedzi i wykorzystania narzędzi.

Zapoznaj się z następującymi obszarami:

• Sekcje Podsumowanie, Przegląd i Oszczędności pokazują kluczowe wnioski, kluczowe wskaźniki efektywności (KPI) oraz szacowane oszczędności czasu i kosztów.
• Sekcja Niestandardowe metryki (podgląd) pozwala zdefiniować metryki specyficzne dla biznesu dla przypadków użycia Twojego agenta.
• Sekcja Efektywność pomaga ocenić jakość środowisk użytkownika, pokazując, gdzie konwersacje kończą się powodzeniem, gdzie się rozpadają i jak użytkownicy czują się w wyniku.
• Sekcja Użycie pomaga poprawić wydajność operacyjną, pokazując, jak dobrze agent odpowiada na pytania, jak niezawodne narzędzia i źródła wiedzy obsługują te odpowiedzi oraz gdzie ukierunkowane aktualizacje mogą zwiększyć pokrycie i spójność.

Możesz wyświetlić analizę zdarzeń, które wystąpiły w ciągu ostatnich 360 dni.

Metryki niestandardowe (wersja zapoznawcza)

[Ta sekcja to dokumentacja wstępna, która może ulec zmianie].

Sekcja Metryki niestandardowe umożliwia zdefiniowanie maksymalnie trzech metryk specyficznych dla firmy w języku naturalnym i śledzenie częstotliwości wyświetlania poszczególnych wyników w sesjach próbkowanych. Użyj tych metryk, aby uzupełnić standardowe szczegółowe informacje analityczne wskaźnikami, które odzwierciedlają cele i wykorzystanie biznesowe agenta.

Important

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku w środowiskach produkcyjnych i mogą mieć ograniczoną funkcjonalność. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli tworzysz agenta gotowego do użycia w środowisku produkcyjnym, zobacz Omówienie usługi Microsoft Copilot Studio.

Użytkownicy posiadający przywilej Bot Transcript Viewer mogą przejść do widoku szczegółów listy sesji klientów filtrowanej na podstawie wybranego segmentu wykresu pierścieniowego. Wybierz pojedynczą sesję, aby zobaczyć uzasadnienie stojące za metryką i uzyskać dostęp do jej transkrypcji.

Dowiedz się więcej o tworzeniu, testowaniu i dopracowywaniu metryk w Monitoruj swojego agenta za pomocą niestandardowych metryk (podgląd).

Skuteczność

Sekcja Skuteczność przedstawia opinie użytkowników zebrane z reakcji, odpowiedzi agenta, wyników ankiety i analizy sentymentu dla sesji. Skuteczność jest podzielona na wiele podsekcji:

• Rezultaty rozmowy: znajomość końcowego rezultatu rozmowy pomaga zacząć określać, w czym agent radzi sobie dobrze i gdzie wymaga poprawy.
• Reakcje: Reakcje użytkowników, w tym oceny pozytywne/negatywne oraz komentarze użytkowników dotyczące określonych odpowiedzi agenta.
• Zadowolenie klientów: wyświetlanie oceny zadowolenia klientów (CSAT).
• Sentyment (wersja zapoznawcza): analiza sentymentu oparta na sztucznej inteligencji, obejmująca całą sesję.
• Agenty: Zobacz metryki dotyczące liczby połączeń, wskaźniki skuteczności i bieżący stan agentów podrzędnych i połączonych.

System przechowuje dane informacji zwrotnej w tabeli transkrypcji rozmów w Dataverse.

Wyniki konwersacji

W sekcji Wyniki konwersacji jest wyświetlany wykres, który śledzi typ wyniku dla każdej sesji pomiędzy agentem a użytkownikami.

Wykres pokazuje skumulowany histogram lub skumulowany wykres obszarowy z wynikami sesji. Rozwiązane, Eskalowane, Porzucone i Bez interakcji mają odpowiadający im kolor w legendzie. Oś y wskazuje liczbę sesji.

Aby zobaczyć metryki dla konkretnego wyniku w danym dniu, użyj legendy wykresu, aby zidentyfikować wynik, a następnie najedź kursorem na jego segment dla danego dnia.

Aby pobrać dane o wynikach rozmowy, otwórz menu wykresów i wybierz "Pobierz CSV".

Note

Jeśli przy pobieraniu usuniesz jakiekolwiek wyniki z wykresu, ich dane nie pojawią się w pliku CSV.

Aby otworzyć panel boczny ze szczegółowymi informacjami na temat wyników konwersacji, wybierz pozycję Zobacz szczegóły na wykresie. Panel boczny Wyniki konwersacji obejmuje:

• Podział wykresu kołowego wyników sesji z względną wagą (wyrażoną jako procent) wyników Rozwiązane, Eskalowane i Porzucone.
• Skumulowany wykres słupkowy przedstawiający względne ważenie (wyrażone jako procent) przyczyn wyników Rozwiązane i potwierdzone oraz Rozwiązane w sposób domniemany, które opisują wszystkie wyniki rozwiązanych sesji.
• Skumulowany wykres słupkowy przedstawiający względną wagę (wyrażoną jako procent) przyczyny wyniku Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika opisujący wszystkie wyniki eskalowanych sesji.
• Najważniejsze tematy, które doprowadziły do każdego wyniku.

Note

Aby wyświetlić podpowiedź z informacjami o liczbach w stanie surowym, umieść kursor na dowolnym z segmentów wykresu kołowego lub wykresu słupkowego skumulowanego.

Sesja należy do jednego z następujących dwóch stanów:

• Nieaktywna: Sesja rozpoczyna się, gdy użytkownik wchodzi w interakcję z agentem lub gdy agent wysyła proaktywny komunikat do użytkownika. Sesja rozpoczyna się w stanie nieaktywnym.

• Zaangażowany: użytkownik aktywnie angażuje się w interakcję z agentem. Istnieje różnica w zachowaniu na podstawie trybu orkiestracji agenta.

  • Klasyczna orkiestracja: sesja jest aktywowana, gdy zostanie uruchomione jedno z następujących zagadnień:

    • Temat niestandardowy wyzwalany bezpośrednio przez użytkownika
    • Eskalacja tematu
    • Temat rezerwowy
    • Temat zwiększający konwersację

  • Orkiestracja generatywnej sztucznej inteligencji: sesja zostaje aktywowana, gdy użytkownik bezpośrednio wyzwala plan i zawiera jeden z następujących elementów:

    • Temat niesystemowy
    • Eskalacja tematu
    • Temat rezerwowy
    • Źródło wiedzy
    • Narzędzie

Sesja zaangażowana ma jeden z następujących rezultatów:

Kategoria wyniku	Outcome	Description
Rozstrzygnięte		Sesja kończy się pomyślnie. Istnieją dwa typy rozwiązanych sesji: rozwiązane potwierdzone i rozwiązane dorozumiane.
	Rozwiązane potwierdzone	Sesja ma kategorię Rozwiązane potwierdzone, gdy wątek Koniec konwersacji został wyzwolony, a użytkownik potwierdza, że interakcja zakończyła się powodzeniem.
	Rozwiązane (w sposób dorozumiany)	Sesja jest Rozwiązana w sposób dorozumiany, gdy jest uznawana za ukończoną bez potwierdzenia użytkownika, a w oparciu o logikę agenta. Stan 'rozstrzygnięty pośrednio' zależy od tego, czy agent używa orkiestracji klasycznej czy AI generatywnej. - Orkiestracja klasyczna: sesja jest uważana za rozwiązaną w sposób dorozumiany, gdy po wyzwoleniu tematu Koniec konwersacji użytkownik pozwala na wygaśnięcie sesji bez udzielenia potwierdzenia. - Orkiestracja generatywnej AI: sesja jest uznawana za zakończoną domyślnie, gdy limit czasu sesji upływa i nie ma już żadnych aktywnych planów. Aktywny plan to plan, który oczekuje na dane wejściowe użytkownika.
Zeskalowano		Sesja kończy się, ale jest uznawana za eskalowaną, gdy wyzwolony zostanie temat Eskalacja lub uruchomiony węzeł Przekazanie do agenta (bieżąca sesja analizy kończy się, niezależnie od tego, czy konwersacja zostaje przeniesiona do agenta na żywo). Istnieją trzy typy eskalowanych sesji: Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika.
	System przeznaczony	Sesja jest eskalowana automatycznie w wyniku automatycznego zestawu reguł biznesowych ustalonych przez twórcę. Eskalacja jest oczekiwanym rezultatem rozmowy i nie wymaga badania ani zmiany. Przykład: użytkownik chce przenieść ponad 25 000 USD do innego podmiotu. Ta kwota przekracza próg w regule biznesowej i sesja jest automatycznie eskalowana w wyniku tego.
	Nieumyślne działanie systemu	Eskalacja następuje automatycznie w wyniku sesji przekraczającej jeden lub więcej progów ustawionych przez twórcę. Zazwyczaj taki wynik oznacza, że użytkownik utknął w rozmowie i potrzebuje pomocy. Przykład: sesja jest eskalowana po trzech niepowodzeniach wykonywania jakiegoś zadania.
	Na żądanie użytkownika	Sesja jest eskalowana, ponieważ podczas konwersacji wystąpiło wyraźne żądanie użytkownika. Przykład: użytkownik wprowadza wartość Transfer me to an agent.
Opuszczony		Sesja jest uznawana za porzuconą, gdy aktywna sesja zostaje przerwana po 30 minutach i nie osiąga stanu „rozwiązane” lub „eskalowane”.

Wynik dla narzędzi można również ustawić za pomocą parametru conversationOutcome przy użyciu edytora kodu narzędzia. Na przykład conversationOutcome: ResolvedConfirmed dla potwierdzonego powodzenia lub conversationOutcome: ResolvedImplied dla sugerowanego powodzenia.

Reakcje

Sekcja Reakcje przedstawia opinie użytkowników zebrane z reakcji na odpowiedzi agenta. Wykres zlicza liczbę razy, gdy użytkownicy nacisnęli przyciski kciuk w górę (pozytywny) lub kciuk w dół (negatywny) dostępne przy każdej odpowiedzi otrzymanej od agenta.

Note

• Agenci publikowani na kanale Microsoft Copilot wymagają zgody administratora w Centrum administracyjne platformy Microsoft 365, aby dzielić się opiniami użytkowników, w tym reakcjami i komentarzami. Te opinie możesz zobaczyć na stronie Monitor. Dowiedz się więcej w ustawieniach agenta w Centrum administracyjne platformy Microsoft 365.
• Reakcje z kanału Microsoft Copilot nie są agregowane ani liczone w kolumnie Reakcje w sekcjach Tematy i Wiedza dotyczące wykorzystania źródeł.
• Aby wyświetlić komentarze, musisz mieć rolę bezpieczeństwa Przeglądającego transkrypcje botów.

Funkcja Reakcje jest domyślnie włączona dla wszystkich kanałów oprócz kanału Microsoft Copilot. Możesz wyłączyć tę funkcję, jeśli jest to konieczne. Możesz również dodać lub edytować zastrzeżenie dotyczące sposobu korzystania z opinii użytkowników:

1. Otwórz agenta, przejdź do Ustawień i znajdź sekcję opinii użytkowników .

2. Włącz lubwyłączopcję Zbierz reakcje użytkownika na komunikaty agenta.

3. Dodaj lub edytuj zastrzeżenie, aby użytkownicy wiedzieli, jak są używane opinie. Można również podać informacje o ochronie prywatności i wskazówki.

Użytkownicy z uprawnieniami podglądu transkrypcji botów mogą przechodzić do szczegółów odpowiedzi agenta w przypadku poszczególnych reakcji i filtrować według komentarzy użytkowników.

Zobacz trendy reakcji w czasie

Wybierz pozycję Zobacz szczegóły na kafelku Reakcje , aby otworzyć panel boczny Reakcje . Panel pokazuje, jaki jest trend pozytywnych i negatywnych reakcji (z kciuki w górę i kciuki w dół) w czasie.

Zadowolenie klienta

Sekcja Satysfakcja klienta zawiera informacje o zadowoleniu użytkowników na podstawie wyników ankiety użytkownika:

• Wynik zadowolenia: wynik na poziomie 5 obliczony na podstawie średnich wyników zadowolenia klientów (CSAT) dla sesji, w których użytkownicy odpowiedzieli na żądania zakończenia sesji w celu przeprowadzenia ankiety.

  Note

  Wyniki 1 i 2 są przypisywane do Niezadowolenie, wynik 3 jest uważany za Neutralny, a wyniki 4 i 5 są przypisywane do Zadowolenie.

• Satysfakcja według sesji: Ułożony wykres słupkowy, który wizualizuje względne ważenie dla każdej z kategorii wyników ankiety, czyli Dissatisfied, Neutral, oraz Satisfied. Najedź kursorem na każdy segment wykresu, aby zobaczyć rozmiar próby oraz wartość liczbową wagi każdej kategorii wyników. W przypadku użytkowników z uprawnieniami do podglądu transkrypcji botów możesz przejść do listy sesji klientów przefiltrowanych na podstawie wybranej części segmentu paska.

Wybierz pozycję Zobacz szczegóły , aby wyświetlić trend oceny zadowolenia w wybranym okresie.

Sentyment (wersja zapoznawcza)

[Ta sekcja to dokumentacja wstępna, która może ulec zmianie].

Analiza sentymentu używa sztucznej inteligencji do analizowania wiadomości użytkowników z próbki sesji w celu oceny ogólnego sentymentu użytkownika dla agenta. Wartość liczbowa oznacza procent sesji z negatywnymi nastrojami użytkowników.

Important

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku w środowiskach produkcyjnych i mogą mieć ograniczoną funkcjonalność. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli tworzysz agenta gotowego do użycia w środowisku produkcyjnym, zobacz Omówienie usługi Microsoft Copilot Studio.

Wybierz pozycję Zobacz szczegóły, aby wyświetlić dane dotyczące sentymentu dla względnej wagi poszczególnych kategorii sentymentu (Positive, Neutral i Negative).

Możesz włączyć i wyłączyć analizę sentymentu dla agenta w obszarze Ustawienia. Gdy analiza tonacji jest wyłączona, tonacja użytkownika nie jest analizowana podczas sesji.

1. Przejdź do pozycji Ustawienia i wybierz pozycję Zaawansowane.

2. Włącz lub wyłącz Analizę sentymentu.

   

Agents

Na liście Agenci wyświetla się ogólne metryki wolumenu, wydajności i stanu dla połączonych i podrzędnych agentów głównego agenta. Lista identyfikuje typ relacji między agentem na liście a głównym agentem wskazanym w kolumnie Typ. Jeśli agent jest agentem podrzędnym, ma typ Child. Agenci połączeni mają typ listy, który odzwierciedla miejsce ich utworzenia (na przykład Copilot Studio, Azure AI Foundry). Metryka Wywołania dla każdego wymienionego agenta opisuje liczbę wywołań od głównego agenta do połączonego lub podrzędnego agenta. Współczynnik sukcesów odzwierciedla odsetek wywołań (jako % wszystkich wywołań), które zakończyły się pomyślnie. Stan wskazuje stan administracyjny poszczególnych połączonych i podrzędnych agentów.

Domyślnie lista agentów wyświetla pięciu najlepszych połączonych agentów i agentów podrzędnych twojego głównego agenta, uszeregowanych od najwyższej do najniższej liczby pytań. Jeśli istnieje więcej niż pięciu agentów, wybierz pozycję Zobacz wszystko, aby wyświetlić wszystkich agentów.

Note

Przycisk Zobacz wszystko jest widoczny tylko wtedy, gdy główny agent ma więcej niż pięciu połączonych lub podrzędnych agentów.

Używanie

Sekcja Użycie ułatwia zrozumienie sposobu interakcji użytkowników z agentem i miejsca, w którym można poprawić niezawodność odpowiedzi. Użycie jest dzielone między wiele podsekcji:

• Motywy: Motywy ułatwiają uzyskiwanie szczegółowych informacji analitycznych dzięki klastrowaniu pytań użytkowników do sugerowanych kategorii sztucznej inteligencji.
• Wskaźnik i jakość generowanych odpowiedzi: Zidentyfikowaj, kiedy Twój agent ma trudności z odpowiadaniem na pytania i jak wykorzystuje źródła wiedzy do poprawy wskaźnika i jakości odpowiedzi.
• Użycie narzędzia: informacje o tym, jak często są używane narzędzia i jak często kończą się powodzeniem, mogą pomóc zrozumieć, czy te narzędzia są przydatne i skuteczne dla użytkowników.
• Użycie źródła wiedzy: Poznanie tego, jak często używane są poszczególne źródła wiedzy i jak często zwracają one błędy, pomaga poprawić jakość i zakres odpowiedzi agenta.

Wskaźnik generowanych odpowiedzi i ich jakość.

Dzięki generatywnym odpowiedziom Twój agent może wykorzystać AI do generowania odpowiedzi na zapytania użytkowników, korzystając ze źródeł wiedzy i podanych przez Ciebie instrukcji. Jednak agent może nie być w stanie odpowiedzieć na wszystkie zapytania użytkowników. Sekcja Współczynnik i jakość generowanych odpowiedzi śledzi, organizuje i analizuje zapytania bez odpowiedzi oraz jakość odpowiedzi, aby dostarczyć wskazówki dotyczące poprawy wydajności odpowiadania agenta.

Wskaźnik odpowiedzi pokazuje liczbę odpowiedzianych i nieodpowiedzianych pytań w wybranym przedziale czasu oraz zmianę procentową w czasie.

Jakość odpowiedzi mierzy jakość odpowiedzi przy użyciu sztucznej inteligencji. Copilot Studio analizuje próbkę pytań, na które udzielono odpowiedzi, pod kątem kompletności, trafności i ugruntowania. Jeśli odpowiedź spełnia określone standardy, Copilot Studio oznacza ją jakością Dobra. Odpowiedzi, które nie spełniają tego standardu, są oznaczone jako Niska jakość. W przypadku słabych odpowiedzi Copilot Studio przypisuje powód oceny jakości i pokazuje procent odpowiedzi przypisanych do każdej kategorii.

Umieść kursor na dowolnym segmencie słupka na wykresie, aby zobaczyć względną wagę pojedynczego powodu etykiety jakości Dobra lub Zła. Etykietka narzędzia wskazuje również liczbę prób odpowiedzi, które wzięto pod uwagę, żeby uzyskać obliczoną wartość procentową.

W legendzie poniżej wykresu najedź kursorem na dowolny powód etykiety jakości, aby wyróżnić go na wykresie.

Wybierz segment wykresu słupkowego, aby otworzyć stronę pytań użytkowników filtrowanych w tej jakości odpowiedzi. Wybierz Zobacz pytania , aby zobaczyć niefiltrowaną listę wszystkich pytań w wyznaczonym czasie.

Użycie narzędzi

Sekcja Używanie narzędzi pokazuje wykres i metryki śledzące, jak często narzędzia są uruchamiane z upływem czasu oraz jak często agent skutecznie z nich korzysta. Pokazuje także wskaźniki trendu przedstawiające, jak często agent używa każdego narzędzia, oraz procent narzędzi, które zostały użyte z powodzeniem.

Wykres pokazuje pięć najczęściej używanych narzędzi w okresie dat określonym na górze strony Monitor.

W legendzie pod wykresem najedź kursorem na dowolne narzędzie, aby je podświetlić.

Aby otworzyć panel boczny z listą wszystkich narzędzi używanych w określonym przedziale czasu wraz ze wskaźnikami trendu, na wykresie wybierz pozycję Zobacz szczegóły. W panelu Użycie narzędzi można wyświetlić obliczenia procentowe pytań użyte dla każdego narzędzia. Jeśli agent ma agentów podrzędnych, można wybrać wyświetlanie obliczeń dla agenta głównego i podrzędnych (Wszystko), tylko głównego agenta (Główny agent) lub tylko podrzędnego agenta (Agent podrzędny).

Wykorzystanie źródła wiedzy

Sekcja Użycie źródła wiedzy zawiera wgląd w sposób, w jaki agent używa swoich źródeł wiedzy i jak często te źródła zwracają błędy. Dowiedz się więcej w Użycie źródeł wiedzy.