Vytvořte nebo upravte testovací sadu pro hodnocení vašeho agenta

[Tento článek představuje předběžnou dokumentaci a může se změnit.]

Testovací sada se skládá ze skupiny až 100 testovacích případů. Když spouštíte hodnocení agenta, vyberete testovací sadu a Copilot Studio spustí všechny testovací případy v této sadě proti vašemu agentovi.

Můžete vytvářet testovací případy v rámci testovací sady, importovat je pomocí tabulky nebo použít AI k generování zpráv na základě návrhu a zdrojů vašeho agenta. Poté si můžete zvolit, jak chcete měřit kvalitu odpovědí svého agenta pro každý testovací případ v rámci testovací sady.

Pro více informací o tom, jak funguje hodnocení agenta, viz O hodnocení agenta.

Důležité

Výsledky testů jsou dostupné ve studiu Copilot po dobu 89 dnů. Pro delší uložení výsledků testů je exportujte do CSV souboru.

Vytvoření nové testovací sady

1. Přejděte na stránku Hodnocení vašeho agenta.

2. Vyberte Novou testovací sadu.

   

3. Na stránce Nová testovací sada si vyberte metodu, kterou chcete použít k vytvoření testovací sady. Testovací sada může obsahovat až 100 testovacích případů.

   • Rychlé nastavení otázek , aby Copilot Studio automaticky vytvářelo testovací případy na základě popisu, instrukcí a schopností vašeho agenta. Tato možnost generuje 10 otázek pro spuštění malých, rychlých hodnocení nebo pro zahájení sestavování větší testovací sady.
   • Kompletní sada otázek , aby Copilot Studio generovalo testovací případy s využitím znalostí nebo témat vašeho agenta.
   • Použijte konverzaci v testovacím chatu k automatickému naplnění testovací sady otázkami, které jste zadali v chatu. Tato metoda využívá otázky z posledního testovacího chatu. Hodnocení můžete také začít z testovacího chatu pomocí tlačítka hodnocení .
   • Importujte testovací případy ze souboru tak, že svůj soubor přetáhnete do určené oblasti, vyberete možnost Prohlížet pro nahrání souboru nebo zvolíte jednu z dalších možností nahrávání.
   • Nebo si napište pár otázek sami, abyste si ručně vytvořili testovací sadu. Postupujte podle kroků k úpravě testovací sady pro přidání a úpravu testovacích případů.

4. Upravte detaily testovacích případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

5. V části Název zadejte název testovací sady.

6. Vyberte uživatelský profil, poté vyberte nebo přidejte účet, který chcete pro tuto testovací sadu používat, nebo pokračujte bez ověření. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Pro informace o přidávání a správě uživatelských profilů viz Správa uživatelských profilů a připojení.

Poznámka:

Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování.

1. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

Omezení generování testovacích případů

Generování testovacích případů může selhat, pokud jedna nebo více otázek poruší nastavení moderování obsahu vašeho agenta. Mezi důvody patří:

• Pokyny nebo témata agenta vedou model k generování obsahu, který je označen.
• Propojený zdroj znalostí zahrnuje citlivý nebo omezený obsah.
• Nastavení moderování obsahu agenta je příliš přísné.

K vyřešení problému zkuste různé kroky, například úpravu zdrojů znalostí, aktualizaci instrukcí nebo úpravu nastavení moderování.

Testovací sada může obsahovat až 100 testovacích případů.

Vytvořte testovací sadu z znalostí nebo témat

Můžete svého agenta otestovat tím, že budete generovat otázky na základě informací a zdrojů konverzace, které už má váš agent. Tato testovací metoda je dobrá pro testování, jak váš agent využívá znalosti a témata, která již má, ale není vhodná pro testování informačních mezer.

Testovací případy můžete generovat pomocí těchto zdrojů znalostí:

• Text
• Microsoft Word
• Microsoft Excel

Můžete použít soubory až do 293 KB k generování testových otázek.

Pro vytvoření testovací množiny:

1. V Nové testovací sadě vyberte Celá sada otázek.

2. Vyberte buď Znalosti , nebo Témata.

   • Znalosti nejlépe fungují u agentů, kteří používají generativní orchestraci. Tato metoda vytváří otázky využitím vybraných znalostí vašeho makléře.
   • Topics nejlépe funguje u agentů, kteří používají klasickou orchestraci. Tato metoda vytváří otázky na základě témat vašeho makléře.

3. Pro znalosti vyberte zdroje znalostí, které chcete zahrnout do generování otázek.

1. Pro Znalosti a témata vyberte a táhněte posuvník, abyste zvolili počet otázek pro generování.

1. Vyberte Generovat.

2. Upravte detaily testovacích případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

3. Vyberte Spravovat profil, abyste vybrali nebo spojili účet, který chcete pro tuto testovací sadu použít. Můžete také pokračovat bez přidání účtu pro autentizaci.

Poznámka:

Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování.

Když Copilot Studio generuje testovací případy, využívá autentizační údaje připojeného účtu k přístupu ke zdrojům znalostí a nástrojům vašeho agenta. Generované testovací případy nebo výsledky mohou obsahovat citlivé informace, ke kterým má připojený účet přístup, a tyto informace jsou viditelné všem výrobcům, kteří mají přístup k testovací sadě.

1. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

Vytvořte testovací soubor pro import

Místo sestavení testovacích případů přímo v Copilot Studio můžete vytvořit soubor tabulky se všemi testovacími případy a importovat je a vytvořit testovací sadu. Můžete vytvořit každou testovací otázku, určit metodu testu, kterou chcete použít, a uvést očekávané odpovědi pro každou otázku. Po vytvoření souboru ho uložte jako .csv nebo .txt soubor a naimportujte ho do aplikace Copilot Studio.

Důležité

• Soubor může obsahovat až 100 otázek.
• Každá otázka může mít maximálně 1 000 znaků včetně mezer.
• Soubor musí být ve formátu CSV (hodnoty oddělené čárkami) nebo textovém formátu.

Vytvoření souboru importu:

1. Otevřete tabulkovou aplikaci (například Microsoft Excel).

2. Do prvního řádku přidejte následující nadpisy v tomto pořadí:

   • Question
   • Očekávaná odpověď
   • Testovací metoda

3. Do sloupce Otázka zadejte své testovací otázky. Každá otázka může mít 1 000 znaků nebo méně, včetně mezer.

4. Zadejte jednu z následujících testovacích metod pro každou otázku do sloupce Testovací metoda :

   • Obecná kvalita
   • Význam porovnání
   • Podobnost
   • Přesná shoda
   • Shoda klíčových slov

5. Do sloupce Očekávaná odpověď zadejte očekávané odpovědi pro každou otázku. Očekávané odpovědi jsou volitelné pro import testovací sady. Ke spuštění shody, podobnosti a porovnání testovacích případů však potřebujete očekávané odpovědi.

6. Soubor uložte jako soubor .csv nebo .txt.

7. Soubor importujte podle kroků v Vytvořit novou testovací sadu.