Vytvoření konverzační testovací sady

Note

Tento článek popisuje funkce používané v agentech nebo tocích agentů, které využívají standardní harness.

Konverzační vyhodnocení umožňuje posoudit obecné chování agenta při delší interakci. Odráží způsob interakce skutečných uživatelů s agenty, kde každá odpověď závisí na předchozím kontextu v probíhající konverzaci. Pomocí těchto vyhodnocení můžete určit, jestli může agent udržovat kontext, požádat o objasnění a dokončit vícekrokové úlohy.

Můžete také spustit vyhodnocení s jednou odpovědí, která jsou vhodná, když chcete otestovat svého agenta v tom, jak odpovídá na konkrétní otázky, jaké schopnosti používá, a jaké přesné znění používá ve svých odpovědích.

Vyhodnocení používají testovací sady. Testovací sada pro konverzační vyhodnocení se skládá ze skupiny až 20 testovacích případů. Když spouštíte hodnocení agenta, vyberete testovací sadu a Copilot Studio spustí všechny testovací případy v této sadě proti vašemu agentovi.

Testovací případy můžete vytvořit v testovací sadě tak, že je naimportujete pomocí tabulky nebo pomocí AI vygenerujete zprávy na základě návrhu a prostředků vašeho agenta. Poté si můžete zvolit, jak chcete měřit kvalitu odpovědí svého agenta pro každý testovací případ v rámci testovací sady.

Pro více informací o tom, jak funguje hodnocení agenta, viz O hodnocení agenta.

Chcete-li se naučit, jak upravovat existující testovací sadu, viz Změnit detaily testovací sady.

Important

Výsledky testů jsou k dispozici v Copilot Studiu po dobu 89 dnů. Pro delší uložení výsledků testů je exportujte do CSV souboru.

Vytvoření testovací sady konverzací

1. Přejděte na stránku Hodnocení vašeho agenta.

   

2. Vyberte Nové vyhodnocení a pak vyberte Konverzace.

   

3. Testovací případy s více kroky můžete vytvořit pomocí některé z následujících metod:

   • Sada rychlých konverzací: Automaticky vygeneruje 10 krátkých konverzací na základě popisu, pokynů a možností vašeho agenta.

   • Úplná sada konverzací: Generujte konverzace pomocí znalostí nebo definovaných témat vašeho agenta. V této možnosti můžete vybrat vytváření krátkých nebo dlouhých konverzací.

   • Použijte testovací chat: Převeďte nejnovější testovací chat na testovací případ.

   Note

   Sady testů konverzací podporují až 20 testovacích případů. Každý testovací případ podporuje až 12 celkového počtu zpráv, což je 6 dvojic otázek a odpovědí.

4. V části Název zadejte název testovací sady.

5. Změňte nebo přidejte testovací metody , které chcete použít. U konverzačních testovacích sad můžete přidat Obecnou kvalitu, Shodu klíčových slov, Použití nástrojů nebo Vlastní testovací metody.

   • Přidejte novou metodu:
     1. Vyberte Přidat testovací metodu.
     2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK. Můžete přidat více metod.
     3. U některých metod nastavte úspěšnost a pak vyberte OK. Průchozí skóre určuje, které skóre vede k úspěchu nebo neúspěchu.
     4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Pro více informací viz Výběr metod hodnocení.
   • Vyberte existující testovací metodu pro úpravu nebo smazání.

   Testovací metoda	Vyhodnocení	Typ testovací sady	Vyhodnocování	Konfigurace
   Obecná kvalita	Jak dobré jsou reakce testovacích případů na základě specifických vlastností	Jedna odpověď nebo konverzace	Ohodnoceno ze 100 %	None
   Porovnejte význam	Jak dobře význam odpovědi testovacího případu odpovídá očekávané odpovědi	Jedna odpověď	Ohodnoceno ze 100 %	Úspěšné hodnocení, očekávaná odpověď
   Použití nástroje	Bez ohledu na to, jestli testovací případ použil všechny nebo jakékoli očekávané prostředky	Jedna odpověď	Úspěšné/neúspěšné	Očekávané schopnosti
   Shoda klíčových slov	Zda testovací případ použil všechna nebo některá očekávaná klíčová slova či fráze	Jedna odpověď nebo konverzace	Úspěšné/neúspěšné	Očekávaná klíčová slova nebo fráze
   Podobnost textu	Jak dobře text odpovědi testovacího případu odpovídá očekávané odpovědi	Jedna odpověď	Ohodnoceno ze 100 %	Úspěšné hodnocení, očekávaná odpověď
   Přesná shoda	Zda odpověď testovacího případu přesně odpovídá očekávané odpovědi	Jedna odpověď	Úspěšné/neúspěšné	Očekávaná odpověď
   na míru	Jestli odpověď testovacího případu splňuje vaše definovaná kritéria nebo očekávání.	Jedna odpověď nebo konverzace	Prospěch/neprospěch (splňuje definovaná kritéria štítku)	Název, pokyny k vyhodnocení, popisky

6. Upravte detaily testovacích případů. Všechny testovací metody kromě obecné kvality vyžadují očekávané odpovědi nebo klíčová slova. Další informace o úpravách testovacích případů naleznete v tématu Úprava testovací sady.

7. Vyberte uživatelský profil, poté vyberte nebo přidejte účet, který chcete pro tuto testovací sadu používat, nebo pokračujte bez ověření. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Pro informace o přidávání a správě uživatelských profilů viz Správa uživatelských profilů a připojení.

   Note

   Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování.

8. Upravte nebo vytvořte více testovacích případů. Další informace najdete v části Upravit testovací případy v testovací sadě.

9. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.