Ocena agenta (wersja zapoznawcza)

[Ten artykuł to dokumentacja wstępna, która może ulec zmianie].

Karta Evaluate w nowym interfejsie agenta umożliwia uporządkowane, powtarzalne testowanie agenta. Używaj ewaluacji do mierzenia jakości agentów w różnych przypadkach testowych, śledzenia postępów w czasie i weryfikacji zachowań agenta przed publikacją.

Important

Czym jest ocena agenta?

Ocena agenta umożliwia systematyczne testowanie odpowiedzi agenta zgodnie ze standardami jakości. Zamiast testować każdy scenariusz ręcznie w zakładce Podgląd , stwórz oceny na podstawie rozmów testowych, zdefiniuj, jak mierzyć odpowiedzi i wykonuj oceny, aby uzyskać wyniki ilościowe.

Ewaluacja pomaga odpowiedzieć na takie pytania:

  • Czy agent odpowiada poprawnie w różnych oczekiwanych scenariuszach?
  • Czy zmiana konfiguracji poprawiła lub pogorszyła jakość odpowiedzi?
  • Czy agent dzwoni do narzędzi, kiedy powinien?

Kluczowe pojęcia

Następujące pojęcia są kluczowe podczas przeprowadzania ewaluacji w Copilot Studio:

Rozmowy

Rozmowa to przypadek testowy, który reprezentuje scenariusz, którym chcesz, aby Twój agent się zajął. Każda rozmowa zawiera wiadomości użytkownika oraz opcjonalnie oczekiwane odpowiedzi agenta. Organizuj rozmowy w ewaluacje. Twórz rozmowy ręcznie, generuj je za pomocą AI lub przesyłaj z pliku CSV.

Evaluations

Ewaluacja to nazwany zestaw testowy, który łączy rozmowy z metodą testową. Tworzysz ewaluacje z zakładki Ewaluuj, dodajesz do nich rozmowy, a następnie uruchamiasz je, aby uzyskać wyniki punktowane.

Metody testowania

Metody testowe określają sposób oceniania odpowiedzi agenta. Obecnie jedyną dostępną metodą testową jest Ogólna jakość, czyli ocena oparta na sztucznej inteligencji dotycząca tego, czy odpowiedzi spełniają standardy jakości, takie jak trafność i kompletność.

Note

Metoda testu jakości General nie porównuje odpowiedzi z oczekiwanymi odpowiedziami.

Profil użytkownika

Oceny przeprowadzane są w ramach profilu użytkownika. Zarządzaj, który uwierzytelniony profil wykonuje ocenę, aby narzędzia i połączenia agenta były w pełni testowalne.

Workflow ewaluacji

Postępuj zgodnie z tymi krokami, aby ocenić agenta:

  1. Utwórz ewaluację: Na zakładce Ewaluacja rozpocznij nową ewaluację. Dowiedz się więcej w Stwórz zestaw testowy dla agenta.
  2. Dodaj rozmowy testowe: dodaj rozmowy testowe, pisząc je ręcznie, generując przy użyciu AI lub przesyłając plik CSV.
  3. Skonfiguruj: Nazwij ocenę, wybierz metodę testową, wybierz wersję agenta i ustaw profil użytkownika.
  4. Uruchom ocenę: Wybierz Oceniaj , aby uruchomić test i poczekaj na wyniki. Dowiedz się więcej w Przeprowadz ocenę dla agenta.
  5. Przejrzyj wyniki: Przeanalizuj punktację i określ obszary do udoskonalenia. Dowiedz się więcej w Zobacz wyniki oceny agenta.
  6. Iteruj: Dostosuj instrukcje, wiedzę lub narzędzia swojego agenta, a następnie ponownie przeprowadź ocenę, aby zmierzyć wpływ.
  • Last updated on