Vytvoření jedné testovací sady odpovědí

Note

Tento článek popisuje funkce používané v agentech nebo tocích agentů, které využívají standardní harness.

Jedno vyhodnocení odpovědi testuje vašeho agenta na jednu nesouvisející otázku najednou, a ne na celou konverzaci. Například jedno vyhodnocení odpovědi pro agenta zákaznických služeb se zeptá, co je vaše pracovní doba?, zaznamená odpověď agenta na tuto otázku a pak začne novou otázkou, jak najdu historii objednávek?

Hodnocení jednotlivých odpovědí je vhodné, když chcete otestovat svého agenta na to, jak odpovídá na konkrétní otázky, jaké funkce volá a jaké přesné formulace používá ve svých odpovědích. Můžete také spustit konverzační vyhodnocení, které vám umožní vyhodnotit chování agenta po delší interakci.

Vyhodnocení používají testovací sady. Testovací sada pro vyhodnocení jedné odpovědi se skládá ze skupiny až 100 testovacích případů. Když spouštíte hodnocení agenta, vyberete testovací sadu a Copilot Studio spustí všechny testovací případy v této sadě proti vašemu agentovi.

Můžete vytvářet testovací případy v rámci testovací sady, importovat je pomocí tabulky nebo použít AI k generování zpráv na základě návrhu a zdrojů vašeho agenta. Poté si můžete zvolit, jak chcete měřit kvalitu odpovědí svého agenta pro každý testovací případ v rámci testovací sady.

Zjistěte více o tom, jak funguje hodnocení agenta, v článku O hodnocení agenta.

Chcete-li se naučit, jak upravovat existující testovací sadu, viz Změnit detaily testovací sady.

Important

Výsledky testů jsou k dispozici v Copilot Studiu po dobu 89 dnů. Pro delší uložení výsledků testů je exportujte do CSV souboru.

Vytvoření nové testovací sady

1. Přejděte na stránku Hodnocení vašeho agenta.

   

2. Vyberte Nové hodnocení a poté vyberte Jednotlivé odpovědi.

   

3. Zvolte metodu, kterou chcete použít k vytvoření testovací sady. Testovací sada může obsahovat až 100 testovacích případů.

   • Rychlý soubor otázek, aby mohl Copilot Studio automaticky vytvářet testovací případy na základě popisu, pokynů a schopností vašeho agenta. Tato možnost generuje 10 otázek pro spuštění malých, rychlých hodnocení nebo pro zahájení sestavování větší testovací sady.
   • Úplná sada otázek tak, aby aplikace Copilot Studio generovala testovací případy pomocí zdroje znalostí nebo témat a zvolila počet otázek, které chcete vygenerovat.
   • Použijte konverzaci v testovacím chatu k automatickému naplnění testovací sady otázkami, které jste zadali v chatu. Tato metoda využívá otázky z posledního testovacího chatu. Vyhodnocení můžete zahájit také z testovacího chatu pomocí ikony vyhodnocení .
     
   • Importujte testovací případy ze souboru tak, že svůj soubor přetáhnete do určené oblasti, vyberete možnost Prohlížet pro nahrání souboru nebo zvolíte jednu z dalších možností nahrávání.
   • Nebo si napište pár otázek sami, abyste si ručně vytvořili testovací sadu. Postupujte podle kroků k úpravě testovací sady pro přidání a úpravu testovacích případů.
   • Používejte produkční data založená na tématech z analytiky vašeho agenta.

4. V části Název zadejte název testovací sady.

5. V sekci Vybrat testovací metody změňte nebo přidejte testovací metody , které chcete použít:

   • Přidejte novou metodu:
     1. Vyberte Přidat testovací metodu.
     2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK.
     3. Některé metody vyžadují úspěšné hodnocení. Průchozí skóre určuje, které skóre vede k úspěchu nebo neúspěchu. Nastavte skóre a pak vyberte OK.
     4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Více informací v Výběr metod hodnocení
   • Vyberte existující testovací metodu pro úpravu nebo smazání.

   Testovací metoda	Vyhodnocení	Typ testovací sady	Vyhodnocování	Konfigurace
   Obecná kvalita	Jak dobré jsou reakce testovacích případů na základě specifických vlastností	Jedna odpověď nebo konverzace	Ohodnoceno ze 100 %	None
   Porovnejte význam	Jak dobře význam odpovědi testovacího případu odpovídá očekávané odpovědi	Jedna odpověď	Ohodnoceno ze 100 %	Úspěšné hodnocení, očekávaná odpověď
   Použití nástroje	Bez ohledu na to, jestli testovací případ použil všechny nebo jakékoli očekávané prostředky	Jedna odpověď	Úspěšné/neúspěšné	Očekávané schopnosti
   Shoda klíčových slov	Zda testovací případ použil všechna nebo některá očekávaná klíčová slova či fráze	Jedna odpověď nebo konverzace	Úspěšné/neúspěšné	Očekávaná klíčová slova nebo fráze
   Podobnost textu	Jak dobře text odpovědi testovacího případu odpovídá očekávané odpovědi	Jedna odpověď	Ohodnoceno ze 100 %	Úspěšné hodnocení, očekávaná odpověď
   Přesná shoda	Zda odpověď testovacího případu přesně odpovídá očekávané odpovědi	Jedna odpověď	Úspěšné/neúspěšné	Očekávaná odpověď
   na míru	Jestli odpověď testovacího případu splňuje vaše definovaná kritéria nebo očekávání.	Jedna odpověď nebo konverzace	Prospěch/neprospěch (splňuje definovaná kritéria štítku)	Název, pokyny k vyhodnocení, popisky

6. Upravte detaily testovacích případů. Všechny testovací metody kromě obecné kvality vyžadují očekávané odpovědi nebo klíčová slova. Více o úpravě testovacích případů se dozvíte v Modify a Test Set.

7. V sekci Další konfigurace vyberte Spravovat.

   

8. V sekci Spravovat profil a připojení v sekci Uživatel vyberte nebo přidejte účet, který chcete pro tuto datovou sadu použít. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Více informací v Spravování uživatelských profilů a kontaktů.

   Note

   Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování. Když Copilot Studio generuje testovací případy, využívá autentizační údaje připojeného účtu k přístupu ke zdrojům znalostí a nástrojům vašeho agenta. Vygenerované testovací případy můžou obsahovat citlivá data, ke kterým má připojený účet přístup. Každý tvůrce s přístupem k agentu může také zobrazit testovací sady propojené s tímto agentem.

9. Vyberte Uložit pro aktualizaci datové sady bez spuštění vyhodnocení nebo Spustit pro okamžité spuštění datové sady.

Vytvořte jednotnou datovou sadu odpovědí z znalostí nebo témat

Můžete svého agenta otestovat tím, že budete generovat otázky z informací a konverzačních zdrojů, které už má váš agent. Tato testovací metoda je dobrá pro testování, jak váš agent využívá zdroj znalostí nebo témata, která již má, ale není vhodná pro testování informačních mezer.

Generujte datové případy pomocí následujících zdrojů znalostí:

• Text

• Microsoft Word

• Microsoft Excel

• Soubory PDF

• SharePoint soubory

Note

Používejte pouze jednotlivé soubory SharePoint jako zdroj znalostí pro generování testovací sady. SharePoint složky nejsou podporovány.

K vygenerování testovacích otázek můžete použít soubory o velikosti až 5 MB.

Pro vytvoření datové sady:

1. Přejděte na stránku Hodnocení vašeho agenta.

2. Vyberte Nové hodnocení.

3. Vyberte možnost Generovat v přepínací možnosti:

   

4. V sekci Vybrat typ dat vyberte jednotlivé odpovědi.

   • Vyberte Zobrazit možnosti generování a nakonfigurujte následující nastavení:

     

     1. V sekci Počet otázek pro vygenerování vyberte a přetáhněte posuvník pro výběr počtu otázek, které se vygenerují ve vaší testovací sadě.
     2. V sekci Co bychom měli použít jako referenci? Vyberte oblast, na kterou chcete, aby se váš agent odvolával při generování otázek pro nové hodnocení. Máte dvě možnosti:
        • Zdroje znalostí: Skenuje znalosti agenta, aby vytvořil relevantní sadu otázek. Znalosti nejlépe fungují u agentů, kteří používají generativní orchestraci.
        • Témata: Kontroluje témata agenta a vytváří otázky k těmto tématům. Nejlepší pro agenty, kteří používají klasický režim. Topics nejlépe funguje u agentů, kteří používají klasickou orchestraci.

   

5. Vyberte Generovat datovou sadu.

6. V sekci Review datová sada zadejte podrobnosti o testovacích případech. Všechny testovací metody kromě obecné kvality vyžadují očekávané odpovědi nebo klíčová slova. Více o úpravě testovacích případů se dozvíte v sekci Upravit testovací sadu.

   

7. V sekci Vybrat testovací metody vyberte nebo změňte testovací metody , které chcete použít:

   • Přidám novou metodu:
     1. Vyberte Přidat testovací metodu.
     2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK. Můžete přidat více metod.
     3. U některých metod nastavte úspěšnost a pak vyberte OK. Průchozí skóre určuje, které skóre vede k úspěchu nebo neúspěchu.
     4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Více informací v Výběr metod hodnocení.
   • Vyberte existující testovací metodu pro úpravu nebo smazání.

8. V sekci Další konfigurace vyberte Spravovat.

   

9. V sekci Spravovat profil a připojení v sekci Uživatel vyberte nebo přidejte účet, který chcete pro tuto datovou sadu použít. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Více informací v Spravování uživatelských profilů a kontaktů.

   Note

   Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování. Když Copilot Studio generuje testovací případy, využívá autentizační údaje připojeného účtu k přístupu ke zdrojům znalostí a nástrojům vašeho agenta. Vygenerované testovací případy můžou obsahovat citlivá data, ke kterým má připojený účet přístup. Každý tvůrce s přístupem k agentu může také zobrazit testovací sady propojené s tímto agentem.

10. Vyberte Uložit pro aktualizaci datové sady bez spuštění vyhodnocení nebo Spustit pro okamžité spuštění datové sady.

Omezení generování testovacích případů

Generování testovacích případů selže, pokud jedna nebo více otázek poruší nastavení moderování obsahu vašeho agenta. Mezi možné důvody patří:

• Instrukce nebo témata agenta vedou model k generování obsahu, který systém označí.
• Propojený zdroj znalostí zahrnuje citlivý nebo omezený obsah.
• Nastavení moderování obsahu u agenta je příliš přísné.

K vyřešení problému zkuste různé kroky, například úpravu zdrojů znalostí, aktualizaci instrukcí nebo úpravu nastavení moderování.

Testovací sada může obsahovat až 100 testovacích případů.

Vytvořte testovací soubor pro import

Místo toho, abyste své testovací případy vytvářeli přímo v Copilot Studio, můžete vytvořit tabulkový soubor se všemi svými testovými případy a importovat ho pro vytvoření testovací sady. Můžete sestavit každou testovací otázku a uvést očekávané odpovědi na každou otázku. Po vytvoření souboru ho uložte jako .csv nebo .txt soubor a naimportujte ho do aplikace Copilot Studio.

Important

• Soubor může obsahovat až 100 otázek.
• Každá otázka může mít maximálně 1 000 znaků včetně mezer.
• Soubor musí být ve formátu CSV (hodnoty oddělené čárkami) nebo textovém formátu.

Vytvoření souboru importu:

1. Otevřete aplikaci tabulky (například Microsoft Excel). Šablonu CSV si můžete stáhnout pod Nebo nahrát soubor po výběruImportnového hodnocení>. Můžete si také stáhnout zákaznické relace z analytiky a upravit je v Excelu.

2. Do prvního řádku přidejte následující nadpisy v tomto pořadí:

   • Question
   • Očekávaná odpověď

3. Do sloupce Otázka zadejte své testovací otázky. Každá otázka může mít 1 000 znaků nebo méně, včetně mezer.

4. Do sloupce Očekávaná odpověď zadejte očekávané odpovědi pro každou otázku. Očekávané odpovědi jsou volitelné pro import testovací sady. K provedení testovacích případů pro shodu, podobnost a porovnání významu však potřebujete očekávané odpovědi.

5. Soubor uložte jako soubor .csv nebo .txt.

6. Soubor importujte podle kroků v Vytvořit novou testovací sadu.

Vytvořte jednotnou datovou sadu odpovědí importem souboru setu

1. Přejděte na stránku Hodnocení vašeho agenta.

2. Vyberte Nové hodnocení.

3. V sekci Vybrat typ dat vyberte jednotlivé odpovědi.

4. Vyberte možnost Import v přepínací straně.

   

5. Import dat můžete výběrem Preview chatu pro použití dat z jedné z vašich aktuálních preview chat relací, nebo importem testovacích případů z CSV souboru přetažením souboru do určené oblasti nebo nahráváním po výběru Táhnout soubor nebo kliknutím pro nahrání (CSV).

   

6. V sekci Review datová sada upravte podrobnosti testovacích případů. Všechny testovací metody kromě obecné kvality vyžadují očekávané odpovědi nebo klíčová slova. Více informací v Modifikaci testovací sady.

7. V sekci Vybrat testovací metody vyberte nebo změňte testovací metody , které chcete použít:

   • Přidám novou metodu:
     1. Vyberte Přidat testovací metodu.
     2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK. Můžete přidat více metod.
     3. U některých metod nastavte úspěšnost a pak vyberte OK. Průchozí skóre určuje, které skóre vede k úspěchu nebo neúspěchu.
     4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Více informací v Výběr metod hodnocení.
   • Vyberte existující testovací metodu pro úpravu nebo smazání.

8. V sekci Další konfigurace vyberte Spravovat.

9. V Správě profilu a připojení v sekci Uživatel vyberte nebo přidejte účet, který chcete pro tuto datovou sadu používat. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Více informací v Spravování uživatelských profilů a kontaktů.

10. Vyberte Uložit pro aktualizaci datové sady bez spuštění vyhodnocení nebo Spustit pro okamžité spuštění datové sady.

Vytvořte testovací sadu na základě tématu

Vytvořte testovací sadu s otázkami z konverzací s reálnými uživateli. Tato metoda využívá témata (náhled), která najdete v analytice vašeho agenta.

Motivy jsou seskupení otázek převzatých z fondu uživatelských otázek, které vyvolávají generované odpovědi. Když vytvoříte testovací sadu pomocí tématu, generujete testovací případy z otázek položených uživateli souvisejícími s tímto tématem.

Použijte tyto testovací sady k provádění hodnocení zaměřených na jednu oblast nebo téma v oblasti vašeho makléře. Například pokud máte pracovníka zákaznického servisu, můžete sledovat kvalitu odpovědí na otázky ohledně fakturace a plateb odděleně od jiných případů použití, jako je řešení problémů.

Note

Před vytvářením testovacích sad z témat potřebujete přístup k tématům v analytice. Projděte si předpoklady pro témata (náhled).

1. Na stránce Monitor vašeho agenta přejděte na seznam Témat.

2. Najeďte myší na téma a vyberte Vyhodnotit.

   

   Můžete také zvolit Zobrazit vše, abyste viděli více témat, a pak zvolit Vyhodnotit.

3. Vyberte Vytvořte a otevřete.

4. Upravte detaily testovacích sad a případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Více o úpravách se dozvíte v Upravit testovací sadu.

5. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.