Vytvoření jedné testovací sady odpovědí

Jedno vyhodnocení odpovědi testuje vašeho agenta na jednu nesouvisející otázku najednou, a ne na celou konverzaci. Například jedno vyhodnocení odpovědi pro agenta zákaznických služeb se zeptá, co je vaše pracovní doba?, zaznamená odpověď agenta na tuto otázku a pak začne novou otázkou, jak najdu historii objednávek?

Vyhodnocení jednotlivých odpovědí je vhodné, když chcete otestovat agenta, jak odpovídá na specifické otázky, které schopnosti vyvolává, a jaký přesný jazyk používá ve svých odpovědích. Můžete také spustit konverzační vyhodnocení, které vám umožní vyhodnotit chování agenta po delší interakci.

Vyhodnocení používají testovací sady. Testovací sada pro vyhodnocení jedné odpovědi se skládá ze skupiny až 100 testovacích případů. Při spuštění vyhodnocení agenta vyberete testovací sadu a Copilot Studio spustí každý testovací případ v dané sadě proti vašemu agentovi.

Můžete vytvářet testovací případy v rámci testovací sady, importovat je pomocí tabulky nebo použít AI k generování zpráv na základě návrhu a zdrojů vašeho agenta. Poté si můžete zvolit, jak chcete měřit kvalitu odpovědí svého agenta pro každý testovací případ v rámci testovací sady.

Pro více informací o tom, jak funguje hodnocení agenta, viz O hodnocení agenta.

Chcete-li se naučit, jak upravovat existující testovací sadu, viz Změnit detaily testovací sady.

Důležité

Výsledky testů jsou k dispozici v Copilot Studio po dobu 89 dnů. Pro delší uložení výsledků testů je exportujte do CSV souboru.

Vytvoření nové testovací sady

1. Přejděte na stránku Hodnocení vašeho agenta.

   

2. Vyberte Nové vyhodnocení a pak vyberte Jednoduchá odpověď.

   

3. Zvolte metodu, kterou chcete použít k vytvoření testovací sady. Testovací sada může obsahovat až 100 testovacích případů.

   • Rychlý soubor otázek, aby mohl Copilot Studio automaticky vytvářet testovací případy na základě popisu, pokynů a schopností vašeho agenta. Tato možnost generuje 10 otázek pro spuštění malých, rychlých hodnocení nebo pro zahájení sestavování větší testovací sady.
   • Úplná sada otázek pro generování testovacích případů v Copilot Studio pomocí zdroje znalostí nebo témat s možností zvolit počet generovaných otázek.
   • Použijte konverzaci v testovacím chatu k automatickému naplnění testovací sady otázkami, které jste zadali v chatu. Tato metoda využívá otázky z posledního testovacího chatu. Hodnocení můžete také začít z testovacího chatu pomocí tlačítka hodnocení .
   • Importujte testovací případy ze souboru tak, že svůj soubor přetáhnete do určené oblasti, vyberete možnost Prohlížet pro nahrání souboru nebo zvolíte jednu z dalších možností nahrávání.
   • Nebo si napište pár otázek sami, abyste si ručně vytvořili testovací sadu. Postupujte podle kroků k úpravě testovací sady pro přidání a úpravu testovacích případů.
   • Používejte produkční data založená na tématech z analytiky vašeho agenta.

4. V části Název zadejte název testovací sady.

5. Změňte nebo přidejte testovací metody , které chcete použít:

   • Přidejte novou metodu:
     1. Vyberte Přidat testovací metodu.
     2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK.
     3. Některé metody vyžadují úspěšné skóre. Skóre úspěchu určuje, které skóre vede k úspěchu nebo neúspěchu. Nastavte skóre a pak vyberte OK.
     4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Pro více informací viz Výběr metod hodnocení
   • Vyberte existující testovací metodu pro úpravu nebo smazání.

   Testovací metoda	Opatření	Typ testovací sady	Vyhodnocování	Konfigurace
   Obecná kvalita	Jak dobré jsou reakce testovacích případů na základě specifických vlastností	Jedna odpověď nebo konverzace	Hodnoceno ze 100%	None
   Porovnejte význam	Jak dobře význam odpovědi testovacího případu odpovídá očekávané odpovědi	Jedna odpověď	Hodnoceno ze 100%	Úspěšné hodnocení, očekávaná odpověď
   Využití schopností	Bez ohledu na to, jestli testovací případ použil všechny nebo jakékoli očekávané prostředky	Jedna odpověď	Úspěšné/neúspěšné	Očekávané schopnosti
   Shoda klíčových slov	Zda testovací případ použil všechna nebo některá očekávaná klíčová slova či fráze	Jedna odpověď nebo konverzace	Úspěšné/neúspěšné	Očekávaná klíčová slova nebo fráze
   Podobnost textu	Jak dobře text odpovědi testovacího případu odpovídá očekávané odpovědi	Jedna odpověď	Hodnoceno ze 100%	Úspěšné hodnocení, očekávaná odpověď
   Přesná shoda	Zda odpověď testovacího případu přesně odpovídá očekávané odpovědi	Jedna odpověď	Úspěšné/neúspěšné	Očekávaná odpověď

6. Upravte detaily testovacích případů. Všechny testovací metody kromě obecné kvality vyžadují očekávané odpovědi nebo klíčová slova. Další informace o úpravách testovacích případů naleznete v tématu Úprava testovací sady.

7. Vyberte uživatelský profil, poté vyberte nebo přidejte účet, který chcete pro tuto testovací sadu používat, nebo pokračujte bez ověření. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Pokud je pro vyhodnocení vybraný jiný účet než účet s ověřováním konektoru, agenti, kteří používají konektory nebo nástroje, selžou. Pro informace o přidávání a správě uživatelských profilů viz Správa uživatelských profilů a připojení.

   Poznámka:

   Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování. Když Copilot Studio vygeneruje testovací případy, použije přihlašovací údaje pro ověřování připojeného účtu pro přístup ke zdrojům a nástrojům vašeho agenta. Vygenerované testovací případy můžou obsahovat citlivá data, ke kterým má připojený účet přístup. Každý tvůrce s přístupem k agentu může také zobrazit testovací sady propojené s tímto agentem.

8. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

Omezení generování testovacích případů

Generování testovacích případů selže, pokud jedna nebo více otázek poruší nastavení moderování obsahu vašeho agenta. Mezi možné důvody patří:

• Instrukce nebo témata agenta vedou model k generování obsahu, který systém označí.
• Propojený zdroj znalostí zahrnuje citlivý nebo omezený obsah.
• Nastavení moderování obsahu agenta je příliš přísné.

K vyřešení problému zkuste různé kroky, například úpravu zdrojů znalostí, aktualizaci instrukcí nebo úpravu nastavení moderování.

Testovací sada může obsahovat až 100 testovacích případů.

Vytvořte testovací sadu z znalostí nebo témat

Můžete svého agenta otestovat tím, že budete generovat otázky na základě informací a zdrojů konverzace, které už má váš agent. Tato metoda testování je vhodná pro testování, jak váš agent používá zdroj znalostí nebo témata, která už má, ale není vhodná pro testování mezer v informacích.

Testovací případy můžete generovat pomocí těchto zdrojů znalostí:

• Text

• Microsoft Word

• Microsoft Excel

K vygenerování testovacích otázek můžete použít soubory o velikosti až 5 MB.

Pro vytvoření testovací množiny:

1. V Nové hodnocení vyberte Celá sada otázek.

2. Vyberte buď Znalosti , nebo Témata.

   • Znalosti nejlépe fungují u agentů, kteří používají generativní orchestraci. Tato metoda vytváří otázky pomocí jednoho ze zdrojů znalostí vašeho agenta.
   • Topics nejlépe funguje u agentů, kteří používají klasickou orchestraci. Tato metoda vytváří otázky na základě témat vašeho makléře.

3. Pro znalostní bázi vyberte zdroj znalostí, který chcete použít ke generování otázek.

   

4. Pro Znalosti a témata vyberte a táhněte posuvník, abyste zvolili počet otázek pro generování.

   

5. Vyberte Generovat.

6. V části Název zadejte název testovací sady.

7. 1. Změňte nebo přidejte testovací metody , které chcete použít:
   • Přidejte novou metodu:
     1. Vyberte Přidat testovací metodu.
     2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK. Můžete přidat více metod.
     3. U některých metod nastavte úspěšnost a pak vyberte OK. Skóre úspěchu určuje, které skóre vede k úspěchu nebo neúspěchu.
     4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Pro více informací viz Výběr metod hodnocení
   • Vyberte existující testovací metodu pro úpravu nebo smazání.

8. Upravte detaily testovacích případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

9. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

Vytvořte testovací soubor pro import

Místo sestavení testovacích případů přímo v Copilot Studio můžete vytvořit soubor tabulky se všemi testovacími případy a importovat je a vytvořit testovací sadu. Můžete vytvořit každou testovací otázku, určit metodu testu, kterou chcete použít, a uvést očekávané odpovědi pro každou otázku. Po vytvoření souboru ho uložte jako .csv nebo .txt soubor a naimportujte ho do Copilot Studio.

Důležité

• Soubor může obsahovat až 100 otázek.
• Každá otázka může mít maximálně 1 000 znaků včetně mezer.
• Soubor musí být ve formátu CSV (hodnoty oddělené čárkami) nebo textovém formátu.

Vytvoření souboru importu:

1. Otevřete aplikaci tabulky (například Microsoft Excel). Šablonu CSV si můžete stáhnout v části Zdroj dat po výběru Nové vyhodnocení.

2. Do prvního řádku přidejte následující nadpisy v tomto pořadí:

   • Question
   • Očekávaná odpověď
   • Testovací metoda

3. Do sloupce Otázka zadejte své testovací otázky. Každá otázka může mít 1 000 znaků nebo méně, včetně mezer.

4. Zadejte jednu z následujících testovacích metod pro každou otázku do sloupce Testovací metoda :

   • Obecná kvalita
   • Porovnejte význam
   • Podobnost
   • Přesná shoda
   • Shoda klíčových slov

5. Do sloupce Očekávaná odpověď zadejte očekávané odpovědi pro každou otázku. Očekávané odpovědi jsou volitelné pro import testovací sady. Ke spuštění shody, podobnosti a porovnání testovacích případů však potřebujete očekávané odpovědi.

6. Soubor uložte jako soubor .csv nebo .txt.

7. Soubor importujte podle kroků v Vytvořit novou testovací sadu.

Vytvořte testovací sadu na základě tématu

Vytvořte testovací sadu s otázkami z konverzací s reálnými uživateli. Tato metoda využívá témata (náhled), která najdete v analytice vašeho agenta.

Motivy jsou seskupení otázek převzatých z fondu uživatelských otázek, které vyvolávají generované odpovědi. Když vytvoříte testovací sadu pomocí tématu, generujete testovací případy z otázek položených uživateli souvisejícími s tímto tématem.

Použijte tyto testovací sady k provádění hodnocení zaměřených na jednu oblast nebo téma v oblasti vašeho makléře. Například pokud máte pracovníka zákaznického servisu, můžete sledovat kvalitu odpovědí na otázky ohledně fakturace a plateb odděleně od jiných případů použití, jako je řešení problémů.

Poznámka:

Před vytvářením testovacích sad z témat potřebujete přístup k tématům v analytice. Projděte si předpoklady pro témata (náhled).

1. Na stránce Analytics vašeho agenta přejděte na seznam Témat.

2. Najeďte myší na téma a vyberte Vyhodnotit.

   

   Můžete také zvolit Zobrazit vše, abyste viděli více témat, a pak zvolit Vyhodnotit.

3. Vyberte Vytvořte a otevřete.

4. Upravte detaily testovacích sad a případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

5. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.