Przeprowadzanie testów przy użyciu konwersacji wieloetapowych

Ocena konwersacyjna umożliwia ocenę ogólnego zachowania agenta w dłuższej interakcji. Odzwierciedla to sposób interakcji rzeczywistych użytkowników z agentami, gdzie każda odpowiedź zależy od poprzedniego kontekstu w ramach trwającej konwersacji. Możesz użyć tych ocen, aby określić, czy agent może zachować kontekst, poprosić o wyjaśnienia i wykonać zadania wieloetapowe.

Możesz również uruchamiać oceny pojedynczej odpowiedzi, które są dobre dla tego, kiedy chcesz przetestować agenta na temat sposobu odpowiadania na konkretne pytania, możliwości wywoływania i dokładnego sformułowania używanego w odpowiedziach.

Oceny używają zestawów testów. Zestaw testowy do oceny konwersacyjnej składa się z grupy do 20 przypadków testowych. Podczas uruchamiania oceny agenta wybierasz zestaw testowy, a Copilot Studio uruchamia każdy przypadek testowy z tego zestawu w odniesieniu do twojego agenta.

Przypadki testowe można tworzyć w zestawie testowym, importując je przy użyciu arkusza kalkulacyjnego lub używając sztucznej inteligencji do generowania komunikatów na podstawie projektu i zasobów agenta. Następnie możesz wybrać, jak chcesz mierzyć jakość odpowiedzi swojego agenta dla każdego przypadku testowego w ramach zbioru testowego.

Aby uzyskać więcej informacji o tym, jak działa ocena agenta, zobacz O ocenie agenta.

Aby dowiedzieć się, jak edytować istniejący zestaw testowy, zobacz Zmień szczegóły zestawu testowego.

Ważna

Wyniki testów są dostępne w programie Copilot Studio przez 89 dni. Aby zapisać wyniki testów na dłuższy czas, wyeksportuj je do pliku CSV.

Tworzenie zestawu testów konwersacji

1. Wejdź na stronę Ocena swojego agenta.

1. Wybierz pozycję Nowa ocena, a następnie wybierz pozycję Konwersacja.

   

2. Przypadki testowe obejmujące wiele kolei można utworzyć przy użyciu dowolnej z następujących metod:

   • Zestaw szybkich konwersacji: automatycznie wygeneruj 10 krótkich konwersacji na podstawie opisu, instrukcji i możliwości agenta.

   • Kompletny zestaw konwersacji: Generuj konwersacje z użyciem wiedzy agenta lub według zdefiniowanych tematów. W tej opcji możesz wybrać tworzenie krótkich lub długich konwersacji.

   • Użyj czatu testowego: przekonwertuj najnowszy czat testowy na przypadek testowy.

Uwaga / Notatka

Zestawy testów konwersacji obsługują maksymalnie 20 przypadków testowych. Każdy przypadek testowy obsługuje maksymalnie 12 komunikatów, czyli 6 par pytań i odpowiedzi.

1. W obszarze Nazwa wpisz nazwę zestawu testowego.

2. Zmień lub dodaj metody testowe , których chcesz użyć. W przypadku zestawów testów konwersacji można dodać ogólną jakość, dopasowanie słowa kluczowego, dopasowanie funkcji lub niestandardowe metody testowania klasyfikacji .

   • Dodaj nową metodę:
     1. Wybierz Dodaj metodę testu.
     2. Wybierz wszystkie metody, które chcesz przetestować, a następnie wybierz OK. Możesz dodać wiele metod.
     3. Dla niektórych metod ustaw próg zaliczenia, a następnie wybierz OK. Wynik zdawalności decyduje, który wynik skutkuje zaliczeniem lub niepowodzeniem.
     4. Niektóre metody wymagają dodania oczekiwanych odpowiedzi lub słów kluczowych dla każdego przypadku testowego. Więcej informacji można znaleźć w artykule Wybierz metody oceny.
   • Wybierz istniejącą metodę testową do edycji lub usunięcia.

   Metoda testowa	Środki	Typ zestawu testów	Ocenianie	Konfiguracje
   Ogólna jakość	Jak dobra jest odpowiedź przypadku testowego na podstawie określonych cech	Pojedyncza odpowiedź lub konwersacja	Ocena z 100%	Żadne
   Porównaj znaczenie	Na ile znaczenie odpowiedzi testowego przypadku odpowiada oczekiwanej odpowiedzi	Pojedyncza odpowiedź	Ocena z 100%	Wynik zdawalności, oczekiwana odpowiedź
   Wykorzystanie zdolności	Czy przypadek testowy używał wszystkich lub jakichkolwiek oczekiwanych zasobów	Pojedyncza odpowiedź	Zaliczenie/niezaliczenie	Oczekiwane możliwości
   Dopasowanie słów kluczowych	Niezależnie od tego, czy przypadek testowy używał wszystkich lub dowolnych oczekiwanych słów kluczowych lub fraz	Pojedyncza odpowiedź lub konwersacja	Zaliczenie/niezaliczenie	Oczekiwane słowa kluczowe lub frazy
   Podobieństwo tekstu	Na ile tekst odpowiedzi w scenariuszu testowym zgadza się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Ocena z 100%	Wynik zdawalności, oczekiwana odpowiedź
   Dokładne dopasowanie	Czy odpowiedź w przypadku testowym dokładnie pokrywa się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Zaliczenie/niezaliczenie	Oczekiwana odpowiedź

3. Edytuj szczegóły przypadków testowych. Wszystkie metody testowania, z wyjątkiem ogólnej jakości, wymagają oczekiwanych odpowiedzi lub słów kluczowych. Aby uzyskać więcej informacji na temat edytowania przypadków testowych, zobacz Modyfikowanie zestawu testów.

4. Wybierz profil użytkownika, następnie wybierz lub dodaj konto, którego chcesz używać w tym zestawie testowym, albo kontynuuj bez uwierzytelniania. Ocena wykorzystuje to konto do łączenia się ze źródłami wiedzy i narzędziami podczas testowania. Aby uzyskać informacje o dodawaniu i zarządzaniu profilami użytkowników, zobacz Zarządzaj profilami użytkowników i połączeniami.

Uwaga / Notatka

Testowanie automatyczne wykorzystuje uwierzytelnianie wybranego konta testowego. Jeśli Twój agent posiada źródła wiedzy lub kontakty wymagające konkretnej autoryzacji, wybierz odpowiednie konto do testowania.

1. Edytuj lub utwórz więcej przypadków testowych. Dowiedz się więcej w temacie Edytowanie przypadków testowych w zestawie testów.

2. Wybierz Zapisz, aby zaktualizować zestaw testów bez uruchamiania przypadków testowych lub Ewaluować , aby natychmiast uruchomić zbiór testowy.