Tworzenie zestawu testów konwersacyjnych

Note

W tym artykule opisano funkcje używane w agentach lub przepływach agentów obsługiwanych przez standardowe środowisko uruchomieniowe.

Ocena konwersacyjna umożliwia ocenę ogólnego zachowania agenta w dłuższej interakcji. Odzwierciedla to sposób interakcji rzeczywistych użytkowników z agentami, gdzie każda odpowiedź zależy od poprzedniego kontekstu w ramach trwającej konwersacji. Możesz użyć tych ocen, aby określić, czy agent może zachować kontekst, poprosić o wyjaśnienia i wykonać zadania wieloetapowe.

Możesz również uruchomić oceny dotyczące pojedynczej odpowiedzi, które są dobre, gdy chcesz przetestować agenta, w jaki sposób odpowiada na konkretne pytania, jakie możliwości wywołuje, oraz jakiego dokładnie sformułowania używa w odpowiedziach.

Oceny używają zestawów testów. Zestaw testowy do oceny konwersacyjnej składa się z grupy do 20 przypadków testowych. Podczas uruchamiania oceny agenta wybierasz zestaw testowy, a Copilot Studio uruchamia każdy przypadek testowy z tego zestawu w odniesieniu do twojego agenta.

Przypadki testowe można tworzyć w zestawie testowym, importując je przy użyciu arkusza kalkulacyjnego lub używając sztucznej inteligencji do generowania komunikatów na podstawie projektu i zasobów agenta. Następnie możesz wybrać, jak chcesz mierzyć jakość odpowiedzi swojego agenta dla każdego przypadku testowego w ramach zbioru testowego.

Dowiedz się więcej o tym, jak działa ocena agenta, w artykule O ocenie agenta.

Aby dowiedzieć się, jak edytować istniejący zestaw testowy, zobacz Zmień szczegóły zestawu testowego.

Important

Wyniki testów są dostępne w programie Copilot Studio przez 89 dni. Aby zapisać wyniki testów na dłuższy czas, wyeksportuj je do pliku CSV.

Tworzenie zestawu testów konwersacji

1. Wejdź na stronę Ocena swojego agenta.

   

2. Wybierz pozycję Nowa ocena, a następnie wybierz pozycję Konwersacja.

   

3. Przypadki testowe obejmujące wiele etapów można utworzyć przy użyciu dowolnej z następujących metod:

   • Zestaw szybkich konwersacji: automatycznie wygeneruj 10 krótkich konwersacji na podstawie opisu, instrukcji i możliwości agenta.

   • Kompletny zestaw konwersacji: Generuj konwersacje z użyciem wiedzy agenta lub według zdefiniowanych tematów. W tej opcji możesz wybrać tworzenie krótkich lub długich konwersacji.

   • Użyj czatu testowego: przekonwertuj najnowszy czat testowy na przypadek testowy.

   Note

   Zestawy testów konwersacji obsługują maksymalnie 20 przypadków testowych. Każdy przypadek testowy obsługuje maksymalnie 12 komunikatów, czyli 6 par pytań i odpowiedzi.

4. W obszarze Nazwa wpisz nazwę zestawu testowego.

5. Zmień lub dodaj metody testowe , których chcesz użyć. W przypadku zestawów testów konwersacji można dodać niestandardowe metody testowania, takie jak Ogólna jakość, Dopasowanie słowa kluczowego, Użycie narzędzi lub Niestandardowe.

   • Dodaj nową metodę:
     1. Wybierz Dodaj metodę testu.
     2. Wybierz wszystkie metody, które chcesz przetestować, a następnie wybierz OK. Możesz dodać wiele metod.
     3. Dla niektórych metod ustaw próg zaliczenia, a następnie wybierz OK. Wynik przejścia testu decyduje, czy wynik skutkuje zaliczeniem lub niepowodzeniem.
     4. Niektóre metody wymagają dodania oczekiwanych odpowiedzi lub słów kluczowych dla każdego przypadku testowego. Dowiedz się więcej w Wybierz metody oceny.
   • Wybierz istniejącą metodę testową do edycji lub usunięcia.

   Metoda testowa	Miary	Typ zestawu testów	Ocenianie	Konfiguracje
   Ogólna jakość	Jak dobre są odpowiedzi przypadku testowego na podstawie określonych cech	Pojedyncza odpowiedź lub konwersacja	Ocena z 100%	None
   Bezpieczeństwo zawartości	Czy odpowiedź przypadku testowego zawiera szkodliwe treści, takie jak nienawiść, przemoc, samookaleczenie lub treści seksualne	Pojedyncza odpowiedź lub konwersacja	Zaliczenie/niezaliczenie	Typ treści, dozwolony poziom bezpieczeństwa treści
   Porównaj znaczenie	Na ile znaczenie odpowiedzi testowego przypadku odpowiada oczekiwanej odpowiedzi	Pojedyncza odpowiedź	Ocena z 100%	Wynik zdawalności, oczekiwana odpowiedź
   Użycie narzędzia	Czy przypadek testowy używał wszystkich lub jakichkolwiek oczekiwanych zasobów	Pojedyncza odpowiedź	Zaliczenie/niezaliczenie	Oczekiwane możliwości
   Dopasowanie słów kluczowych	Niezależnie od tego, czy przypadek testowy używał wszystkich lub dowolnych oczekiwanych słów kluczowych lub fraz	Pojedyncza odpowiedź lub konwersacja	Zaliczenie/niezaliczenie	Oczekiwane słowa kluczowe lub frazy
   Podobieństwo tekstu	Na ile tekst odpowiedzi w scenariuszu testowym zgadza się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Ocena z 100%	Wynik zdawalności, oczekiwana odpowiedź
   Dokładne dopasowanie	Czy odpowiedź w przypadku testowym dokładnie pokrywa się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Zaliczenie/niezaliczenie	Oczekiwana odpowiedź
   Custom	Określa, czy odpowiedź przypadku testowego spełnia zdefiniowane kryteria lub oczekiwania.	Pojedyncza odpowiedź lub konwersacja	Zaliczenie/niezaliczenie (spełnia zdefiniowane kryteria etykiety)	Nazwa, instrukcje oceny, etykiety

6. Edytuj szczegóły przypadków testowych. Wszystkie metody testowania, z wyjątkiem ogólnej jakości, wymagają oczekiwanych odpowiedzi lub słów kluczowych. Dowiedz się więcej o edycji przypadków testowych w Modyfikowanie zestawu testów.

7. Wybierz profil użytkownika, sprawdź połączenia aktualnie zalogowanego użytkownika lub kontynuuj bez uwierzytelniania. Ocena używa konta aktualnie zalogowanego użytkownika, aby połączyć się ze źródłami wiedzy i narzędziami podczas testowania. Aby przeprowadzić ocenę jako inny użytkownik, wyloguj się, zaloguj się za pomocą konta tego użytkownika, a następnie rozpocznij ocenę. Dowiedz się więcej w Zarządzaj profilami użytkowników i połączeniami.

   Note

   Testowanie automatyczne wykorzystuje uwierzytelnianie aktualnie zalogowanego użytkownika. Upewnij się, że użytkownik ma dostęp do wszelkich źródeł wiedzy lub połączeń wymagających uwierzytelnienia.

8. Edytuj lub utwórz więcej przypadków testowych. Dowiedz się więcej w temacie Edytowanie przypadków testowych w zestawie testów.

9. Wybierz Zapisz, aby zaktualizować zestaw testów bez uruchamiania przypadków testowych lub Ewaluować , aby natychmiast uruchomić zbiór testowy.