Tworzenie zestawów testowych do ewaluacji

[Ten artykuł stanowi wstępne wydanie dokumentacji i może ulec zmianie.]

W Copilot Studio możesz stworzyć zestaw testowych przypadków do oceny wydajności swoich agentów. Przypadki testowe pozwalają na symulowanie rzeczywistych scenariuszy dla agenta, dzięki czemu można mierzyć dokładność, trafność i jakość odpowiedzi na pytania, które są zadawane agentowi, na podstawie informacji, do których może uzyskiwać dostęp. Korzystając z wyników zestawu testowego, możesz zoptymalizować zachowanie swojego agenta i zweryfikować, czy spełnia wymagania biznesowe i jakościowe.

Ważne

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku produkcyjnego i mogą mieć ograniczone funkcje. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli kompilowany jest agent gotowy do użycia w środowiskach produkcyjnych, zobacz temat Omówienie usługi Microsoft Copilot Studio (produkcja).

Oceny działają poprzez wysyłanie agentowi wiadomości, rejestrowanie odpowiedzi i porównywanie ich z oczekiwanymi odpowiedziami lub standardem jakości. Więcej wiadomości, wykorzystywanych jako przypadki testowe, może dać ci lepsze wyobrażenie o tym, jak twój agent radzi sobie z różnymi przypadkami użycia.

Możesz tworzyć przypadki testowe ręcznie, importować je za pomocą arkusza kalkulacyjnego lub używać AI do generowania komunikatów opartych na projekcie i wiedzy agenta. Następnie możesz wybrać, jak chcesz mierzyć jakość odpowiedzi swojego agenta dla każdego przypadku testowego w ramach zbioru testowego. Więcej informacji o tworzeniu przypadków testowych można znaleźć w artykule Utwórz zestaw testowy.

Ważne

Wyniki testów są dostępne w Copilot Studio przez 89 dni. Aby zapisać wyniki testów na dłuższy czas, wyeksportuj je do pliku CSV.

Tworzenie nowego zestawu testów

1. Wejdź na stronę Ocena swojego agenta.

2. Wybierz Nowy zestaw testowy.

   

3. Na stronie Nowy zestaw testów wybierz metodę, której chcesz użyć do utworzenia zestawu testów:

   • Szybkie pytanie, aby Copilot Studio automatycznie tworzyło przypadki testowe na podstawie opisu, instrukcji i możliwości agenta. Ta opcja generuje 10 pytań do przeprowadzenia małych, szybkich ocen lub rozpoczęcia budowania większego zestawu testowego.
   • Pełny zestaw pytań , aby Copilot Studio generowało przypadki testowe z wykorzystaniem źródeł wiedzy lub tematów twojego agenta.
   • Użyj rozmowy na czacie testowym , aby automatycznie wypełnić zestaw pytań podanych w czacie testowym. Ta metoda wykorzystuje pytania z najnowszego czatu testowego. Możesz także rozpocząć ocenę z czatu testowego, używając przycisku oceny .
   • Importuj przypadki testowe z pliku , przeciągając go do wyznaczonego obszaru, wybierając Przeglądaj , aby przesłać plik, lub wybierając jedną z innych opcji przesyłania.
   • Albo napisz kilka pytań samodzielnie , aby ręcznie stworzyć zestaw testów. Postępuj zgodnie z instrukcjami , aby edytować zestaw testów , aby dodać i edytować przypadki testowe.

4. Edytuj szczegóły przypadków testowych. Wszystkie przypadki testowe wykorzystujące metody z wyjątkiem ogólnej jakości wymagają oczekiwanych odpowiedzi. Więcej informacji o edycji można znaleźć w artykule Zmodyfikuj zestaw testowy.

5. W obszarze Nazwa wprowadź nazwę zestawu testów.

6. Wybierz profil użytkownika, następnie wybierz lub dodaj konto, którego chcesz używać w tym zestawie testowym, albo kontynuuj bez uwierzytelniania. Ocena wykorzystuje to konto do łączenia się ze źródłami wiedzy i narzędziami podczas testowania. Aby uzyskać informacje o dodawaniu i zarządzaniu profilami użytkowników, zobacz Zarządzaj profilami użytkowników i połączeniami.

Uwaga / Notatka

Testowanie automatyczne wykorzystuje uwierzytelnianie wybranego konta testowego. Jeśli Twój agent posiada źródła wiedzy lub kontakty wymagające konkretnej autoryzacji, wybierz odpowiednie konto do testowania.

1. Wybierz Zapisz, aby zaktualizować zestaw testów bez uruchamiania przypadków testowych lub Ewaluować , aby natychmiast uruchomić zbiór testowy.

Ograniczenie generowania przypadków testowych

Gdy generujesz grupę przypadków testowych, generowanie może się nie powieść, ponieważ jedno lub więcej pytań narusza ustawienia moderacji treści Twojego agenta. Przyczyny:

• Instrukcje lub tematy agenta prowadzą model do generowania oznaczonych treści
• Powiązane źródło wiedzy obejmuje treści wrażliwe lub ograniczone
• Ustawienia moderacji treści agenta są zbyt rygorystyczne

Możesz potrzebować różnych działań, aby rozwiązać problem, takich jak dostosowanie źródeł wiedzy, aktualizacja instrukcji czy modyfikacja ustawień moderacji.

Wygeneruj zestaw testów z wiedzy lub tematów

Możesz przetestować swojego agenta, generując pytania na podstawie informacji i źródeł konwersacyjnych, które już posiada. Ta metoda testowania jest dobra do sprawdzania, jak agent wykorzystuje już posiadaną wiedzę i tematy, ale nie sprawdza się w wykrywaniu luk informacyjnych.

Możesz generować przypadki testowe korzystając z następujących źródeł wiedzy:

• Tekst
• Microsoft Word
• Microsoft Excel

Możesz użyć plików o rozmiarze do 293 KB do generowania pytań testowych.

Aby wygenerować zbiór testowy:

1. Na stronie Nowy zestaw testów wybierz Pełny zestaw pytań.

2. Wybierz Wiedzę lub Tematy.

   • Wiedza najlepiej sprawdza się dla agentów korzystających z generatywnej orkiestracji. Ta metoda rodzi pytania, korzystając z wybranych źródeł wiedzy Twojego agenta.
   • Topics najlepiej sprawdza się dla agentów korzystających z klasycznej orkiestracji. Ta metoda rodzi pytania, korzystając z tematów agenta.

3. W przypadku wiedzy wybierz źródła wiedzy, które chcesz uwzględnić w generowaniu pytań.

1. W przypadku wiedzy i tematów wybierz i przeciągnij suwak, aby wybrać liczbę pytań do wygenerowania.

1. Wybierz Generuj.

2. Edytuj szczegóły przypadków testowych. Wszystkie przypadki testowe wykorzystujące metody z wyjątkiem ogólnej jakości wymagają oczekiwanych odpowiedzi. Więcej informacji o edycji można znaleźć w artykule Zmodyfikuj zestaw testowy.

3. Wybierz Zarządzaj profilem , aby wybrać lub połączyć konto, którego chcesz używać w tym zestawie testowym. Możesz też kontynuować bez dodawania konta do uwierzytelniania.

Uwaga / Notatka

Testowanie automatyczne wykorzystuje uwierzytelnianie wybranego konta testowego. Jeśli Twój agent posiada źródła wiedzy lub kontakty wymagające konkretnej autoryzacji, wybierz odpowiednie konto do testowania.

Gdy Copilot Studio generuje przypadki testowe, wykorzystuje dane uwierzytelniające powiązanego konta, aby uzyskać dostęp do źródeł wiedzy i narzędzi Twojego agenta. Wygenerowane przypadki testowe lub wyniki mogą zawierać wrażliwe informacje, do których dostęp ma powiązane konto, a te informacje są widoczne dla wszystkich producentów, którzy mają dostęp do zestawu testowego.

1. Wybierz Zapisz, aby zaktualizować zestaw testów bez uruchamiania przypadków testowych lub Ewaluować , aby natychmiast uruchomić zbiór testowy.

Stwórz plik zestawu testowego do importu

Zamiast kompilować przypadki testowe bezpośrednio w programie Copilot Studio, możesz utworzyć plik arkusza kalkulacyjnego ze wszystkimi przypadkami testowymi i zaimportować je w celu utworzenia zestawu testów. Każde pytanie testowe można utworzyć, określić metodę testową, której chcesz użyć, i określić oczekiwane odpowiedzi dla każdego pytania. Po zakończeniu tworzenia pliku zapisz go jako plik .csv lub .txt i zaimportuj go do programu Copilot Studio.

Ważne

• Plik może zawierać maksymalnie 100 pytań.
• Każde pytanie może zawierać maksymalnie 1000 znaków, w tym spacje.
• Plik musi być w formacie wartości rozdzielanych przecinkami (CSV) lub tekstowym.

Tworzenie pliku do zaimportowania:

1. Otwórz aplikację arkusza kalkulacyjnego (na przykład program Microsoft Excel).

2. Dodaj następujące nagłówki w tej kolejności w pierwszym wierszu:

   • Question
   • Oczekiwana odpowiedź
   • Metoda testowania

3. Wprowadź pytania testowe w kolumnie Pytanie. Każde pytanie może zawierać 1000 znaków lub mniej, w tym spacje.

4. Wprowadź jedną z następujących metod testowania dla każdego pytania w kolumnie Metoda testowa :

   • Ogólna jakość
   • Porównanie znaczenia
   • Podobieństwo
   • Dokładne dopasowanie
   • Częściowe dopasowanie

5. Wprowadź oczekiwane odpowiedzi dla każdego pytania w kolumnie Oczekiwana odpowiedź . Oczekiwane odpowiedzi są opcjonalne do importowania zestawu testów. Jednak potrzebujesz oczekiwanych odpowiedzi, aby uruchamiać dopasowania, podobieństwa i porównywać przypadki testowe znaczenia.

6. Zapisz plik jako plik .csv lub .txt.

7. Importuj plik, wykonując kroki w sekcji Utwórz nowy zestaw testowy.