Przegląd wydajności agenta monitorującego.

Zakładka Monitor daje twórcom kontekstowy obraz kondycji produkcji agenta. Wykorzystaj go, aby zrozumieć zużycie, efekty, opinie użytkowników, wiarygodność oraz zużycie kredytów Copilot, aby zidentyfikować trendy i zdecydować, gdzie poprawić agenta.

Note

Funkcje opisane w tym artykule są wykorzystywane przez agentów lub przepływy pracy oparte na układzie GitHub Copilot.

Rozliczanie według użycia dotyczy korzystania z agentów, ich tworzenia, testowania i oceniania. Te działania mogą pochłaniać kredyty Copilot. Dowiedz się więcej w artykule Zarządzanie kosztami agentów obsługiwanych przez GitHub Copilot harness.

Note

Możesz otworzyć zakładkę Monitor przed publikacją agenta. Dane o użyciu w środowisku produkcyjnym, opiniach i kredytach pojawiają się po opublikowaniu agenta i gdy użytkownicy zaczną z niego korzystać.

Co można monitorować?

Monitor zapewnia ogólny widok pojedynczego agenta. Zawartość:

  • Przegląd: łączna liczba sesji, użytkowników, autonomicznych uruchomień, średni czas trwania, wskaźnik sukcesu i wskaźnik niepowodzeń.
  • Reakcje: Pozytywne i negatywne opinie na temat odpowiedzi agentów.
  • Łączna liczba szacunkowanych wykorzystanych kredytów: Kredyty wykorzystane przez agenta w wybranym okresie.
  • Sesje: Indywidualne interakcje, miejsca, w których miały miejsce, oraz liczba wykorzystanych kredytów.

Użyj filtra dat, aby skupić się na konkretnym okresie sprawozdawczym. Wskaźniki procentowe porównują każdą z tych wskaźników z poprzednim okresem.

Operacje monitorujące i agentowe

Monitor jest przeznaczony dla twórców, którzy potrzebują szybkiego wglądu w pojedynczego agenta podczas jego tworzenia i udoskonalania. Do monitorowania całej floty, zarządzania, szczegółowych badań oraz optymalizacji operacyjnej między agentami i środowiskami korzystaj z doświadczenia operacyjnego agentów.

Metryki przeglądowe

Sekcja Przegląd pokazuje:

  • Łączna liczba sesji: Liczba sesji konwersacyjnych w wybranym okresie.
  • Łączna liczba użytkowników: Liczba użytkowników, którzy wchodzili w interakcję z agentem w wybranym okresie.
  • Średni czas trwania: Średni czas trwania sesji i przebiegów.
  • Wskaźnik sukcesu: Jak skutecznie agent ukończył sesje i przebiegi.

Łączna szacowana liczba wykorzystanych kredytów

Karta kredytowa pokazuje łączną liczbę kredytów Copilot, które agent wykorzystał w wybranym okresie, oraz zmianę względem poprzedniego okresu. W przeciwieństwie do szacunków niemal w czasie rzeczywistym, które widzisz w Podglądzie i Ewaluacji, wartość wyświetlana w Monitor odzwierciedla wszystkie zdarzenia przetworzone do tego czasu i jest ostateczną wartością stanowiącą podstawę rozliczeń.

Gdy szczegółowy podział jest dostępny, pokazuje szacunkowy podział zużycia według środowiska, w tym użycie produkcyjne, testy w wersji zapoznawczej, ewaluacje i inne obsługiwane obszary. Użyj go, aby zrozumieć, które działania lub wyniki pochłonęły kredyty.

Dowiedz się więcej w Zrozum szacowane zużycie kredytu oraz Przegląd rozliczeń opartych na użytkowaniu.

Reakcje

Sekcja Reakcje pokazuje opinie użytkowników dotyczące odpowiedzi agentów. Wykres zlicza, jak często użytkownicy wybierają ikonę kciuka w górę (pozytywna ocena) lub kciuka w dół (negatywna ocena) przy każdej odpowiedzi otrzymanej od Twojego agenta.

Możliwości agenta

Sekcja Możliwości pomaga zrozumieć, jak użytkownicy wchodzą w interakcje z Twoim agentem i gdzie można poprawić wiarygodność odpowiedzi. Zawartość:

  • Użycie narzędzi: Które narzędzia agent wywołał podczas sesji.

Śledzenie sesji

Lista sesji pokazuje indywidualne sesje rozmowy z agentem. Każda sesja obejmuje:

  • Status: Czy sesja została zakończona, nieudana lub w trakcie.
  • Czas trwania: Jak długo trwała sesja.
  • Wiadomości użytkownika: Liczba wymienionych wiadomości.
  • Używane narzędzia: Które narzędzia agent wywołał podczas sesji.

Filtruj sesje według statusu, takich jak nieudane, zakończone lub w trakcie, aby szybko znaleźć sesje wymagające uwagi.

Wybierz sesję, aby zobaczyć jej pełną transkrypcję, w tym wiadomości użytkownika, odpowiedzi agenta oraz szczegóły dotyczące wywołań narzędzi i wykorzystania źródeł wiedzy.

Monitorowanie błędów

Zakładka Monitor pomaga zidentyfikować i zdiagnozować problemy:

  • Filtruj sesje według statusu Nieudane lub Odrzucone , aby znaleźć problematyczne interakcje.
  • Przejrzyj transkrypcje sesji, aby zrozumieć, co poszło nie tak.
  • Sprawdź status połączenia narzędzi i błędy uwierzytelniania.
  • Szukaj wzorców w nieudanych sesjach, które mogą wskazywać na problem konfiguracyjny.

Aby uzyskać szczegółowe wskazówki dotyczące korzystania z zakładki Monitoruj , zobacz Monitoruj agenta.

Pobierz transkrypcje sesji

Transkrypcje sesji możesz pobrać kilka minut po zakończeniu sesji. Możesz pobrać dowolny okres z ostatnich 29 dni. Można je pobrać w Dataverse za pomocą portalu Power Apps oraz jako transkrypty czatów sesji za pomocą aplikacji Copilot Studio. Może minąć nawet godzinę po zakończeniu sesji analitycznej, zanim powiązane dane pojawią się na zakładce Monitor.

Sesje powtórkowe

Lista sesji pokazuje ostatnie interakcje z Twoim agentem.

Note

Lista sesji pokazuje sesje z ostatnich 28 dni.

W zależności od interakcji, lista może pokazać:

  • Imię: Użytkownik powiązany z tą interakcją.
  • Data: Kiedy doszło do interakcji.
  • Kanał: Kanał lub powierzchnia Copilot Studio, gdzie doszło do interakcji.
  • Liczba wiadomości: Liczba wiadomości w interakcji.
  • Czas trwania: Długość interakcji.
  • Wykorzystane kredyty: Kredyty Copilot pochłonięte przez interakcję.

Otwórz stronę szczegółów sesji, aby przejrzeć zagregowane metryki sesji, przefiltrować listę, wyszukać sesje i pobrać dane sesji.

Aby uzyskać inne opcje eksportu transkrypcji, dowiedz się więcej w sekcji Download agent session transcripts.

Aby uzyskać wskazówki krok po kroku, dowiedz się więcej w sekcji Monitoruj i analizuj wydajność agenta.

  • Last updated on