Tworzenie pojedynczego zestawu testów odpowiedzi

Note

Ten artykuł opisuje cechy stosowane w przepływach agentów lub przepływach agentów zasilanych standardową wiązką.

Pojedyncza ocena reakcji testuje agenta na jednym niezależnym pytaniu, zamiast pełnej konwersacji. Na przykład pojedyncza ocena odpowiedzi dla agenta obsługi klienta pyta Co to są godziny pracy?, rejestruje odpowiedź agenta na to pytanie, a następnie rozpoczyna się od nowego pytania , Jak mogę znaleźć historię zamówień?

Oceny pojedynczej odpowiedzi są przydatne, gdy chcesz przetestować, jak agent odpowiada na konkretne pytania, jakie funkcje wywołuje, oraz jak dokładnie formułuje swoje odpowiedzi. Możesz również uruchomić ocenę konwersacyjną, która umożliwia ocenę zachowania agenta w dłuższej interakcji.

Oceny używają zestawów testów. Zestaw testów dla ocen pojedynczej odpowiedzi składa się z grupy do 100 przypadków testowych. Podczas uruchamiania oceny agenta wybierasz zestaw testowy, a Copilot Studio uruchamia każdy przypadek testowy z tego zestawu w odniesieniu do twojego agenta.

Możesz tworzyć przypadki testowe w ramach zestawu testowego ręcznie, importować je za pomocą arkusza kalkulacyjnego lub używać AI do generowania komunikatów na podstawie projektu i zasobów agenta. Następnie możesz wybrać, jak chcesz mierzyć jakość odpowiedzi swojego agenta dla każdego przypadku testowego w ramach zbioru testowego.

Dowiedz się więcej o tym, jak działa ocena agenta, w artykule O ocenie agenta.

Aby dowiedzieć się, jak edytować istniejący zestaw testowy, zobacz Zmień szczegóły zestawu testowego.

Important

Wyniki testów są dostępne w programie Copilot Studio przez 89 dni. Aby zapisać wyniki testów na dłuższy czas, wyeksportuj je do pliku CSV.

Tworzenie nowego zestawu testów

1. Wejdź na stronę Ocena swojego agenta.

   

2. Wybierz Nową ocenę, a następnie wybierz Pojedyncze odpowiedzi.

   

3. Wybierz metodę, której chcesz użyć do utworzenia zestawu testów. Zestaw testowy może zawierać do 100 przypadków testowych.

   • Szybki zestaw pytań umożliwiający Copilot Studio automatyczne tworzenie przypadków testowych na podstawie opisu, instrukcji i możliwości Twojego agenta. Ta opcja generuje 10 pytań do przeprowadzenia małych, szybkich ocen lub rozpoczęcia budowania większego zestawu testowego.
   • Pełne pytanie dotyczące generowania przypadków testowych przez program Copilot Studio przy użyciu źródła wiedzy lub tematów i wybierania liczby pytań do wygenerowania.
   • Użyj rozmowy na czacie testowym , aby automatycznie wypełnić zestaw pytań podanych w czacie testowym. Ta metoda wykorzystuje pytania z najnowszego czatu testowego. Możesz również rozpocząć ocenę na czacie testowym, używając ikony oceny .
     
   • Importuj przypadki testowe z pliku , przeciągając go do wyznaczonego obszaru, wybierając Przeglądaj , aby przesłać plik, lub wybierając jedną z innych opcji przesyłania.
   • Albo napisz kilka pytań samodzielnie , aby ręcznie stworzyć zestaw testów. Postępuj zgodnie z instrukcjami , aby edytować zestaw testów , aby dodać i edytować przypadki testowe.
   • Korzystaj z danych produkcyjnych opartych na motywach z analityki agenta.

4. W obszarze Nazwa wprowadź nazwę zestawu testów.

5. W sekcji Wybierz metody testowe zmień lub dodaj metody testowe , których chcesz użyć:

   • Dodaj nową metodę:
     1. Wybierz Dodaj metodę testu.
     2. Wybierz wszystkie metody, które chcesz przetestować, a następnie wybierz OK.
     3. Niektóre metody wymagają oceny zdawalności. Wynik zdawalności decyduje, który wynik skutkuje zaliczeniem lub niepowodzeniem. Ustaw wynik, a potem wybierz OK.
     4. Niektóre metody wymagają dodania oczekiwanych odpowiedzi lub słów kluczowych dla każdego przypadku testowego. Dowiedz się więcej w Wybierz metody oceny
   • Wybierz istniejącą metodę testową do edycji lub usunięcia.

   Metoda testowa	Miary	Typ zestawu testów	Ocenianie	Konfiguracje
   Ogólna jakość	Jak dobre są odpowiedzi przypadku testowego na podstawie określonych cech	Pojedyncza odpowiedź lub konwersacja	Ocena z 100%	Żadne
   Porównaj znaczenie	Na ile znaczenie odpowiedzi testowego przypadku odpowiada oczekiwanej odpowiedzi	Pojedyncza odpowiedź	Ocena z 100%	Wynik zdawalności, oczekiwana odpowiedź
   Użycie narzędzia	Czy przypadek testowy używał wszystkich lub jakichkolwiek oczekiwanych zasobów	Pojedyncza odpowiedź	Zaliczenie/niezaliczenie	Oczekiwane możliwości
   Dopasowanie słów kluczowych	Niezależnie od tego, czy przypadek testowy używał wszystkich lub dowolnych oczekiwanych słów kluczowych lub fraz	Pojedyncza odpowiedź lub konwersacja	Zaliczenie/niezaliczenie	Oczekiwane słowa kluczowe lub frazy
   Podobieństwo tekstu	Na ile tekst odpowiedzi w scenariuszu testowym zgadza się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Ocena z 100%	Wynik zdawalności, oczekiwana odpowiedź
   Dokładne dopasowanie	Czy odpowiedź w przypadku testowym dokładnie pokrywa się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Zaliczenie/niezaliczenie	Oczekiwana odpowiedź
   Niestandardowe Rozwiązanie	Określa, czy odpowiedź przypadku testowego spełnia zdefiniowane kryteria lub oczekiwania.	Pojedyncza odpowiedź lub konwersacja	Zaliczanie/niezaliczanie (spełnia zdefiniowane kryteria etykiety)	Nazwa, instrukcje oceny, etykiety

6. Edytuj szczegóły przypadków testowych. Wszystkie metody testowania, z wyjątkiem ogólnej jakości, wymagają oczekiwanych odpowiedzi lub słów kluczowych. Dowiedz się więcej o edycji przypadków testowych w sekcji Zmodyfikuj zestaw testowy.

7. W sekcji Dodatkowa konfiguracja wybierz Zarządzaj.

   

8. W sekcji Zarządzanie profilem i połączeniami, w sekcji Użytkownik, wybierz lub dodaj konto, którego chcesz używać dla tego zbioru danych. Ocena wykorzystuje to konto do łączenia się ze źródłami wiedzy i narzędziami podczas testowania. Dowiedz się więcej w Zarządzaj profilami użytkowników i połączeniami.

   Note

   Testowanie automatyczne wykorzystuje uwierzytelnianie wybranego konta testowego. Jeśli Twój agent posiada źródła wiedzy lub kontakty wymagające konkretnej autoryzacji, wybierz odpowiednie konto do testowania. Gdy Copilot Studio generuje przypadki testowe, wykorzystuje dane uwierzytelniające powiązanego konta, aby uzyskać dostęp do źródeł wiedzy i narzędzi Twojego agenta. Wygenerowane przypadki testowe mogą obejmować poufne dane, do których może uzyskiwać dostęp połączone konto. Każdy twórca z dostępem do agenta może również wyświetlić zestawy testów powiązane z tym agentem.

9. Wybierz Zapisz, aby zaktualizować zbiór danych bez przeprowadzania oceny lub Uruchom, aby natychmiast uruchomić zbiór danych.

Wygeneruj pojedynczy zestaw danych odpowiedzi na podstawie wiedzy lub tematów

Możesz przetestować swojego agenta, generując pytania na podstawie informacji i źródeł konwersacyjnych, które agent już posiada. Ta metoda testowania jest dobra do sprawdzania, jak Twój agent korzysta ze źródła wiedzy lub tematów, które już posiada, ale nie sprawdza się w badaniu luk informacyjnych.

Generuj przypadki danych, korzystając z następujących źródeł wiedzy:

• Tekst

• Microsoft Word

• Microsoft Excel

• Pliki PDF

• Pliki SharePoint

Note

Używaj wyłącznie pojedynczych plików SharePoint jako źródła wiedzy do generowania zestawu testowego. Foldery SharePoint nie są obsługiwane.

Do generowania pytań testowych można użyć plików do 5 MB.

Aby wygenerować zbiór danych:

1. Wejdź na stronę Ocena swojego agenta.

2. Wybierz Nową ocenę.

3. Wybierz opcję Generuj w przełączniku:

   

4. W sekcji Wybierz typ danych wybierz pojedyncze odpowiedzi.

   • Wybierz Pokaż opcje generowania, aby skonfigurować następujące ustawienia:

     

     1. W sekcji Liczba pytań do wygenerowania, wybierz i przeciągnij suwak, aby wybrać liczbę pytań do wygenerowania w twoim zbiorze testowym.
     2. W sekcji Czego powinniśmy użyć jako referencji? wybierz obszar, do którego chcesz, aby Twój agent się odwołał podczas generowania pytań do nowej oceny. Dostępne są dwie opcje:
        • Źródła wiedzy: Skanuje wiedzę agenta, aby stworzyć odpowiedni zestaw pytań. Wiedza najlepiej sprawdza się dla agentów korzystających z generatywnej orkiestracji.
        • Tematy: Sprawdza tematy agenta i zadaje pytania na te tematy. Najlepsze dla agentów korzystających z trybu klasycznego. Topics najlepiej sprawdza się dla agentów, którzy korzystają z klasycznej orkiestracji.

   

5. Wybierz Wygeneruj zbiór danych.

6. W sekcji Przegląd danych wprowadź szczegóły przypadków testowych. Wszystkie metody testowania, z wyjątkiem ogólnej jakości, wymagają oczekiwanych odpowiedzi lub słów kluczowych. Dowiedz się więcej o edycji przypadków testowych w Modyfikowanie zestawu testów.

   

7. W sekcji Wybierz metody testowe wybierz lub zmień metody testowe , których chcesz użyć:

   • Aby dodać nową metodę:
     1. Wybierz Dodaj metodę testu.
     2. Wybierz wszystkie metody, które chcesz przetestować, a następnie wybierz OK. Możesz dodać wiele metod.
     3. Dla niektórych metod ustaw próg zaliczenia, a następnie wybierz OK. Wynik zdawalności decyduje, który wynik skutkuje zaliczeniem lub niepowodzeniem.
     4. Niektóre metody wymagają dodania oczekiwanych odpowiedzi lub słów kluczowych dla każdego przypadku testowego. Dowiedz się więcej w Wybierz metody oceny.
   • Wybierz istniejącą metodę testową do edycji lub usunięcia.

8. W sekcji Dodatkowa konfiguracja wybierz Zarządzaj.

   

9. W sekcji Zarządzanie profilem i połączeniami, w sekcji Użytkownik, wybierz lub dodaj konto, którego chcesz używać dla tego zbioru danych. Ocena wykorzystuje to konto do łączenia się ze źródłami wiedzy i narzędziami podczas testowania. Dowiedz się więcej w Zarządzaj profilami użytkowników i połączeniami.

   Note

   Testowanie automatyczne wykorzystuje uwierzytelnianie wybranego konta testowego. Jeśli Twój agent posiada źródła wiedzy lub kontakty wymagające konkretnej autoryzacji, wybierz odpowiednie konto do testowania. Gdy Copilot Studio generuje przypadki testowe, wykorzystuje dane uwierzytelniające powiązanego konta, aby uzyskać dostęp do źródeł wiedzy i narzędzi Twojego agenta. Wygenerowane przypadki testowe mogą obejmować poufne dane, do których może uzyskiwać dostęp połączone konto. Każdy twórca z dostępem do agenta może również wyświetlić zestawy testów powiązane z tym agentem.

10. Wybierz Zapisz, aby zaktualizować zbiór danych bez przeprowadzania oceny lub Uruchom, aby natychmiast uruchomić zbiór danych.

Ograniczenie generowania przypadków testowych

Generowanie przypadków testowych nie udaje się, jeśli jedno lub więcej pytań narusza ustawienia moderacji treści Twojego agenta. Oto możliwe przyczyny:

• Instrukcje lub tematy agenta sprawiają, że model generuje treści, które system następnie oznacza.
• Powiązane źródło wiedzy obejmuje treści wrażliwe lub ograniczone.
• Ustawienia moderacji treści agenta są zbyt rygorystyczne.

Aby rozwiązać problem, spróbuj różnych działań, takich jak zmiana źródeł wiedzy, aktualizacja instrukcji czy modyfikacja ustawień moderacji.

Zestaw testowy może zawierać do 100 przypadków testowych.

Stwórz plik zestawu testowego do importu

Zamiast budować swoje przypadki testowe bezpośrednio w Copilot Studio, możesz stworzyć plik kalkulacyjny ze wszystkimi swoimi przypadkami testowymi i zaimportować go, aby stworzyć swój zestaw testowy. Możesz skomponować każde pytanie testowe i podać oczekiwane odpowiedzi na każde pytanie. Po zakończeniu tworzenia pliku zapisz go jako plik .csv lub .txt i zaimportuj go do programu Copilot Studio.

Important

• Plik może zawierać maksymalnie 100 pytań.
• Każde pytanie może zawierać maksymalnie 1000 znaków, w tym spacje.
• Plik musi być w formacie wartości rozdzielanych przecinkami (CSV) lub tekstowym.

Tworzenie pliku do zaimportowania:

1. Otwórz aplikację arkusza kalkulacyjnego (na przykład Microsoft Excel). Możesz pobrać szablon CSV w sekcji Lub przesłać plik po wybraniu Import nowej oceny>. Możesz także pobrać sesje klientów z analityki do edycji w Excelu.

2. Dodaj następujące nagłówki w tej kolejności w pierwszym wierszu:

   • Question
   • Oczekiwana odpowiedź

3. Wprowadź pytania testowe w kolumnie Pytanie. Każde pytanie może zawierać 1000 znaków lub mniej, w tym spacje.

4. Wprowadź oczekiwane odpowiedzi dla każdego pytania w kolumnie Oczekiwana odpowiedź . Oczekiwane odpowiedzi są opcjonalne do importowania zestawu testów. Potrzebujesz jednak oczekiwanych odpowiedzi, aby uruchomić przypadki testowe dopasowania, podobieństwa i porównywania znaczenia.

5. Zapisz plik jako csv lub txt.

6. Importuj plik, wykonując kroki w sekcji Utwórz nowy zestaw testowy.

Stwórz pojedynczy zestaw danych odpowiedzi, importując plik zbioru

1. Wejdź na stronę Ocena swojego agenta.

2. Wybierz Nową ocenę.

3. W sekcji Wybierz typ danych wybierz pojedyncze odpowiedzi.

4. Wybierz opcję Import w przełączniku.

   

5. Importuj dane, wybierając czat podglądowy, aby wykorzystać dane z jednej z twoich aktualnych sesji czatu podglądowego, lub importując przypadki testowe z pliku CSV, przeciągając plik do wyznaczonego obszaru lub przesyłając je po wybraniu opcji Przeciągnij plik lub kliknij, aby przesłać (CSV).

   

6. W sekcji Przegląd danych edytuj szczegóły przypadków testowych. Wszystkie metody testowania, z wyjątkiem ogólnej jakości, wymagają oczekiwanych odpowiedzi lub słów kluczowych. Dowiedz się więcej w sekcji Zmodyfikuj zestaw testowy.

7. W sekcji Wybierz metody testowe wybierz lub zmień metody testowe , których chcesz użyć:

   • Aby dodać nową metodę:
     1. Wybierz Dodaj metodę testu.
     2. Wybierz wszystkie metody, które chcesz przetestować, a następnie wybierz OK. Możesz dodać wiele metod.
     3. Dla niektórych metod ustaw próg zaliczenia, a następnie wybierz OK. Wynik zdawalności decyduje, który wynik skutkuje zaliczeniem lub niepowodzeniem.
     4. Niektóre metody wymagają dodania oczekiwanych odpowiedzi lub słów kluczowych dla każdego przypadku testowego. Dowiedz się więcej w Wybierz metody oceny.
   • Wybierz istniejącą metodę testową do edycji lub usunięcia.

8. W sekcji Dodatkowa konfiguracja wybierz Zarządzaj.

9. W sekcji Zarządzanie profilem i połączeniami w sekcji Użytkownik wybierz lub dodaj konto, którego chcesz używać dla tego zbioru danych. Ocena wykorzystuje to konto do łączenia się ze źródłami wiedzy i narzędziami podczas testowania. Dowiedz się więcej w Zarządzaj profilami użytkowników i połączeniami.

10. Wybierz Zapisz, aby zaktualizować zbiór danych bez przeprowadzania oceny lub Uruchom, aby natychmiast uruchomić zbiór danych.

Stwórz zestaw testowy oparty na motywie

Stwórz zestaw testowy z pytaniami z rozmów z prawdziwymi użytkownikami. Ta metoda wykorzystuje motywy (podgląd), które znajdują się w analizach Twojego agenta.

Motywy to grupy pytań pobranych z puli pytań użytkowników, które wyzwalają generowanie odpowiedzi. Gdy tworzysz zestaw testowy z motywem, generujesz przypadki testowe na podstawie pytań zadawanych przez użytkowników związanych z tym tematem.

Wykorzystaj te zestawy testowe do przeprowadzania ocen skupionych na jednym obszarze lub temacie z zakresu działania agenta. Na przykład, jeśli masz agenta obsługi klienta, możesz śledzić jakość odpowiedzi na pytania dotyczące rozliczeń i płatności niezależnie od innych przypadków użycia, takich jak rozwiązywanie problemów.

Note

Przed tworzeniem zestawów testowych z motywów potrzebujesz dostępu do motywów w analityce. Przejrzyj wymagania wstępne dotyczące tematów (zapowiedź).

1. Na stronie Monitor swojego agenta przejdź do listy Motywy.

2. Najedź kursorem na temat, a następnie wybierz Oceniaj.

   

   Możesz także wybrać Zobacz wszystko , aby zobaczyć więcej motywów, a następnie wybrać Oceniaj.

3. Wybierz pozycję Utwórz i otwórz.

4. Edytuj szczegóły zestawów testowych i przypadków. Wszystkie przypadki testowe wykorzystujące metody, z wyjątkiem ogólnej jakości, wymagają oczekiwanych odpowiedzi. Dowiedz się więcej o edytowaniu w Modyfikowanie zestawu testowego.

5. Wybierz Zapisz, aby zaktualizować zestaw testów bez uruchamiania przypadków testowych lub Ewaluować , aby natychmiast uruchomić zbiór testowy.