Zmień szczegóły zestawu testów

Wykorzystaj zestawy testowe, aby ocenić i dopracować sposób, w jaki Twój agent radzi sobie z rzeczywistymi scenariuszami odpowiedzi. Ten artykuł wyjaśnia, jak modyfikować nazwę i ustawienia zestawu testowego, zarządzać profilem użytkownika i połączeniami używanymi do uwierzytelniania, edytować lub usuwać poszczególne przypadki testowe oraz usuwać całe zestawy testowe lub wyniki. Te kroki pomagają zapewnić, że oceny odzwierciedlają właściwe konteksty użytkownika i utrzymują bezpieczny dostęp do źródeł wiedzy i narzędzi.

Istnieją trzy metody testowe do oceny odpowiedzi agenta: jakość, podobieństwo, dopasowanie tekstu. Aby uzyskać więcej informacji na temat różnych metod testowania, zobacz Metody testowe.

Edytuj szczegóły zestawu testowego

Możesz zmienić szczegóły zestawu testowego, takie jak konto używane do uwierzytelniania oraz stosowane metody testowe.

1. Przejdź do strony Ocena swojego agenta.

   

2. Wybierz zestaw testowy.

3. W zestawie testów wybierz przypadek testowy, który chcesz edytować.

4. Opcjonalnie zmień nazwę zestawu testowego.

5. Dodaj lub zmodyfikuj metody testowe. Każda metoda testowa mierzy różne wartości i wymaga różnych konfiguracji. Aby dowiedzieć się, jak skonfigurować każdą metodę testową, zobacz Wybór metod testowych.

   Sposób testowania	Miary	Typ zestawu testów	Ocenianie	Konfiguracje
   Ogólna jakość	Jak dobre są odpowiedzi przypadku testowego na podstawie określonych cech	Pojedyncza odpowiedź lub konwersacja	Ocena w skali do 100%	Brak
   Porównanie znaczenia	Na ile znaczenie odpowiedzi testowej zgadza się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Ocena w skali do 100%	Próg zaliczenia, oczekiwana odpowiedź
   Użycie narzędzi	Niezależnie od tego, czy przypadek testowy wykorzystał wszystkie lub jakiekolwiek oczekiwane zasoby	Pojedyncza odpowiedź	Zaliczone/niezaliczone	Oczekiwane funkcjonalności
   Dopasowanie słowa kluczowego	Czy przypadek testowy użył wszystkich lub którekolwiek z oczekiwanych słów kluczowych lub fraz	Pojedyncza odpowiedź lub konwersacja	Zaliczone/niezaliczone	Oczekiwane słowa kluczowe lub frazy
   Podobieństwo tekstu	Jak bardzo tekst odpowiedzi w przypadku testowym jest zgodny z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Ocena w skali do 100%	Próg zaliczenia, oczekiwana odpowiedź
   Dokładne dopasowanie	Czy odpowiedź w przypadku testowym dokładnie pokrywa się z oczekiwaną odpowiedzią	Pojedyncza odpowiedź	Zaliczone/niezaliczone	Oczekiwana odpowiedź
   Niestandardowe	Czy odpowiedź w przypadku testowym spełnia określone kryteria lub oczekiwania.	Pojedyncza odpowiedź lub konwersacja	Zaliczenie/niezaliczenie (spełnia zdefiniowane kryteria etykiety)	Nazwa, instrukcje oceny, etykiety

6. Wybierz Zarządzaj profilem, aby dodać konto, lub wybierz aktualny profil, aby zarządzać połączeniami lub wybrać inny profil. Testy automatyczne wykorzystują uwierzytelnianie wybranego konta testowego. Wieloprofilowa ocena jest obsługiwana tylko dla agentów bez zależności od konektorów. Jeśli Twój agent posiada źródła wiedzy lub narzędzia wymagające specyficznego uwierzytelniania, możesz wybrać odpowiednie konto do testowania. Aby uzyskać więcej informacji, zobacz Zarządzanie profilami użytkowników i połączeniami.

Notatka

Gdy Copilot Studio generuje przypadki testowe lub używa oceny, używa poświadczeń uwierzytelniania połączonego konta w celu uzyskania dostępu do źródeł wiedzy i narzędzi agenta. Wygenerowane przypadki testowe mogą zawierać dane poufne, do których połączone konto ma dostęp. Każdy twórca z dostępem do agenta może również wyświetlić zestawy testów powiązane z tym agentem.

Zarządzanie profilami użytkowników i połączeniami

Możesz uruchamiać zestawy testowe, korzystając z uwierzytelniania konta użytkownika. Ta metoda uwierzytelniania pozwala agentowi uzyskać dostęp do źródeł wiedzy i narzędzi niezbędnych do realizacji swoich celów.

Możesz używać profili do symulacji konkretnych doświadczeń użytkowników. Na przykład profil użytkownika dyrektora może mieć dostęp do innych źródeł wiedzy niż profil użytkownika stażysty, a agent zwraca różne wyniki. Wieloprofilowa ocena jest obsługiwana tylko dla agentów bez zależności od konektorów.

Ważne

Profile użytkowników w zestawach testowych nie mogą zapewnić uwierzytelniania dla narzędzi. Podczas przeprowadzania oceny Twój agent musi użyć konta, na które jesteś zalogowany, aby uwierzytelnić połączenia z narzędziami. Jeśli wybierzesz inny profil użytkownika lub połączenia narzędzi Twojego agenta nie korzystają z Twojego konta do uwierzytelniania, ocena kończy się niepowodzeniem z komunikatem „To konto nie może połączyć się z narzędziami”. Aby rozwiązać ten problem, zaloguj się przy użyciu konta skonfigurowanego z użyciem łączników narzędzi, a następnie przeprowadź ocenę.

Wyniki testów pokazują, który profil użytkownika został użyty.

Notatka

Gdy Copilot Studio generuje przypadki testowe lub używa oceny, używa poświadczeń uwierzytelniania połączonego konta w celu uzyskania dostępu do źródeł wiedzy i narzędzi agenta. Wygenerowane przypadki testowe mogą zawierać dane poufne, do których połączone konto ma dostęp. Każdy twórca z dostępem do agenta może również wyświetlić zestawy testów powiązane z tym agentem.

Oceny agentów wykorzystujące uwierzytelnianie użytkownika wymagają dostępu przez konektor Microsoft Copilot Studio. Jeśli administrator wyłączy to połączenie, nie możesz uruchamiać testów za pomocą narzędzia testowego. Aby uzyskać więcej informacji, zobacz Łączniki i grupy danych programu Copilot Studio.

Aby dodać lub zmienić profil użytkownika w zestawie testowym:

1. Otwórz zestaw testowy, a następnie wybierz Zarządzaj profilem.

   

2. Wybierz listę rozwijaną użytkownika, a następnie:

   • Wybierz konto użytkownika, z którego chcesz skorzystać, lub
   • Wybierz Dodaj konto, a następnie zaloguj się na konto.

   

3. W przypadku połączeń z ostrzeżeniem wybierz połączenie. Zmień istniejące połączenie na poprawne połączenie, wybierz Połącz ponownie aby spróbować przywrócić istniejące połączenie, lub wybierz Utwórz nowe połączenie aby spróbować nowego połączenia.

4. Aby uzyskać nowe połączenia, wprowadź wymagane szczegóły połączenia, a następnie wybierz Połącz.

5. Gdy wszystkie połączenia działają, wybierz Zapisz.

Usuń zestaw testowy lub wynik testu

Możesz usunąć przypadek testowy lub zestaw testowy, którego już nie potrzebujesz.

1. Przejdź do strony Ocena swojego agenta.
2. W sekcji Zestawy testowe usuń zestaw testowy, wykonując jeden z następujących kroków:
   • Wybierz trzy kropki (…) na karcie zestawu testowego, a następnie wybierz „Usuń”.
   • Wybierz wynik zestawu testów, aby go otworzyć, następnie wybierz trzy kropki (…) w Konfiguracja zestawu testów, a potem wybierz „Usuń”.
3. Aby usunąć wynik testu w sekcji Ostatnie wyniki, wykonaj jeden z poniższych kroków:
   • Najedź kursorem na wynik testu, który chcesz usunąć, kliknij trzy kropki (…), a następnie wybierz Usuń test.
   • Wybierz wynik testu, aby go otworzyć, następnie wybierz trzy kropki (…) w panelu podsumowania ewaluacji, a potem wybierz „Usuń”.