Sdílet prostřednictvím

Vytvořte nebo upravte testovací sadu pro hodnocení vašeho agenta

[Tento článek představuje předběžnou dokumentaci a může se změnit.]

Testovací sada se skládá ze skupiny až 100 testovacích případů. Když spouštíte hodnocení agenta, vyberete testovací sadu a Copilot Studio spustí všechny testovací případy v této sadě proti vašemu agentovi.

Můžete vytvářet testovací případy v rámci testovací sady, importovat je pomocí tabulky nebo použít AI k generování zpráv na základě návrhu a zdrojů vašeho agenta. Poté si můžete zvolit, jak chcete měřit kvalitu odpovědí svého agenta pro každý testovací případ v rámci testovací sady.

Pro více informací o tom, jak funguje hodnocení agenta, viz O hodnocení agenta.

Chcete-li se naučit, jak upravovat existující testovací sadu, viz Změnit detaily testovací sady.

Důležité

Výsledky testů jsou dostupné ve studiu Copilot po dobu 89 dnů. Pro delší uložení výsledků testů je exportujte do CSV souboru.

Vytvoření nové testovací sady

  1. Přejděte na stránku Hodnocení vašeho agenta.

Screenshot ukazující, jak vybrat záložku Hodnocení, když je výběr záložek komprimován kvůli velikosti obrazovky.

  1. Vyberte Nové hodnocení.

    Screenshot ukazující tlačítko Vytvořit nový test na stránce Hodnocení.

  2. Na stránce Nové hodnocení si vyberte metodu, kterou chcete použít k vytvoření testovací sady. Testovací sada může obsahovat až 100 testovacích případů.

    • Rychlé nastavení otázek , aby Copilot Studio automaticky vytvářelo testovací případy na základě popisu, instrukcí a schopností vašeho agenta. Tato možnost generuje 10 otázek pro spuštění malých, rychlých hodnocení nebo pro zahájení sestavování větší testovací sady.
    • Kompletní sada otázek – Copilot Studio generuje testovací případy s využitím znalostí nebo témat vašeho agenta a vybírá počet otázek, které vygeneruje.
    • Použijte konverzaci v testovacím chatu k automatickému naplnění testovací sady otázkami, které jste zadali v chatu. Tato metoda využívá otázky z posledního testovacího chatu. Hodnocení můžete také začít z testovacího chatu pomocí tlačítka hodnocení . Screenshot ukazující tlačítko Vytvořit nový test v testovacím chatu.
    • Importujte testovací případy ze souboru tak, že svůj soubor přetáhnete do určené oblasti, vyberete možnost Prohlížet pro nahrání souboru nebo zvolíte jednu z dalších možností nahrávání.
    • Nebo si napište pár otázek sami, abyste si ručně vytvořili testovací sadu. Postupujte podle kroků k úpravě testovací sady pro přidání a úpravu testovacích případů.
    • Používejte produkční data založená na tématech z analytiky vašeho agenta. Screenshot zobrazující možnost Vyhodnotit téma v seznamu témat pro jedno téma.

  3. Upravte detaily testovacích případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

  4. V části Název zadejte název testovací sady.

  5. Změňte nebo přidejte testovací metody , které chcete použít:

    • Přidejte novou metodu:
      1. Vyberte Přidat testovací metodu.
      2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK. Můžete přidat více metod.
      3. U některých metod nastavte úspěšnost a pak vyberte OK. Úspěšné skóre určuje, které skóre vede k úspěšnému nebo neúspěšnému.
      4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Pro více informací viz Výběr metod hodnocení.
    • Vyberte existující testovací metodu pro úpravu nebo smazání.
    Testovací metoda Opatření Vyhodnocování Konfigurace
    Obecná kvalita Jak dobrá je odpověď testového případu založená na konkrétních vlastnostech Skórováno ze 100% None
    Porovnejte význam Jak dobře význam odpovědi testovacího případu odpovídá očekávané odpovědi Skórováno ze 100% Úspěšné hodnocení, očekávaná odpověď
    Využití schopností Zda testovací případ použil očekávané zdroje Úspěšné/neúspěšné Očekávané schopnosti
    Shoda klíčových slov Zda testovací případ použil všechna nebo některá očekávaná klíčová slova či fráze Úspěšné/neúspěšné Očekávaná klíčová slova nebo fráze
    Podobnost textu Jak dobře text odpovědi testovacího případu odpovídá očekávané odpovědi Skórováno ze 100% Úspěšné hodnocení, očekávaná odpověď
    Přesná shoda Zda odpověď testovacího případu přesně odpovídá očekávané odpovědi Úspěšné/neúspěšné Očekávaná odpověď

  6. Vyberte uživatelský profil a poté vyberte nebo přidejte účet, který chcete pro tuto testovací sadu použít, nebo pokračujte bez ověření. Hodnocení využívá tento účet k propojení se zdroji znalostí a nástroji během testování. Pro informace o přidávání a správě uživatelských profilů viz Správa uživatelských profilů a připojení.

    Poznámka:

    Automatizované testování využívá autentizaci vybraného testovacího účtu. Pokud má váš agent zdroje znalostí nebo kontakty, které vyžadují specifickou autentizaci, vyberte vhodný účet pro své testování. Když Copilot Studio generuje testovací případy, využívá autentizační údaje připojeného účtu k přístupu ke zdrojům znalostí a nástrojům vašeho agenta. Generované testovací případy nebo výsledky mohou obsahovat citlivé informace, ke kterým má připojený účet přístup, a tyto informace jsou viditelné všem výrobcům, kteří mají přístup k testovací sadě.

  7. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

Omezení generování testovacích případů

Generování testovacích případů selže, pokud jedna nebo více otázek poruší nastavení moderování obsahu vašeho agenta. Mezi možné důvody patří:

  • Instrukce nebo témata agenta vedou model k generování obsahu, který systém označí.
  • Propojený zdroj znalostí zahrnuje citlivý nebo omezený obsah.
  • Nastavení moderování obsahu agenta je příliš přísné.

K vyřešení problému zkuste různé kroky, například úpravu zdrojů znalostí, aktualizaci instrukcí nebo úpravu nastavení moderování.

Testovací sada může obsahovat až 100 testovacích případů.

Vytvořte testovací sadu z znalostí nebo témat

Můžete svého agenta otestovat tím, že budete generovat otázky na základě informací a zdrojů konverzace, které už má váš agent. Tato testovací metoda je dobrá pro testování, jak váš agent využívá znalosti a témata, která již má, ale není vhodná pro testování informačních mezer.

Testovací případy můžete generovat pomocí těchto zdrojů znalostí:

  • Text

  • Microsoft Word

  • Microsoft Excel

Můžete použít soubory až do 293 KB k generování testových otázek.

Pro vytvoření testovací množiny:

  1. V Nové hodnocení vyberte Celá sada otázek.

  2. Vyberte buď Znalosti , nebo Témata.

    • Znalosti nejlépe fungují u agentů, kteří používají generativní orchestraci. Tato metoda vytváří otázky využitím vybraných znalostí vašeho makléře.
    • Topics nejlépe funguje u agentů, kteří používají klasickou orchestraci. Tato metoda vytváří otázky na základě témat vašeho makléře.

  3. Pro znalosti vyberte zdroje znalostí, které chcete zahrnout do generování otázek.

Screenshot ukazující výběr zdrojů znalostí pro zahrnutí do generování testovacích případů.

  1. Pro Znalosti a témata vyberte a táhněte posuvník, abyste zvolili počet otázek pro generování.

Screenshot ukazující posuvník pro výběr, kolik otázek vygenerovat.

  1. Vyberte Generovat.

  2. V části Název zadejte název testovací sady.

    1. Změňte nebo přidejte testovací metody , které chcete použít:
    • Přidejte novou metodu:
      1. Vyberte Přidat testovací metodu.
      2. Vyberte všechny metody, které chcete testovat, a pak zvolte OK. Můžete přidat více metod.
      3. U některých metod nastavte úspěšnost a pak vyberte OK. Úspěšné skóre určuje, které skóre vede k úspěšnému nebo neúspěšnému.
      4. Některé metody vyžadují přidání očekávaných odpovědí nebo klíčových slov pro každý váš testovací případ. Pro více informací viz Výběr metod hodnocení
    • Vyberte existující testovací metodu pro úpravu nebo smazání.

  4. Upravte detaily testovacích případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

  5. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

Vytvořte testovací soubor pro import

Místo sestavení testovacích případů přímo v Copilot Studio můžete vytvořit soubor tabulky se všemi testovacími případy a importovat je a vytvořit testovací sadu. Můžete vytvořit každou testovací otázku, určit metodu testu, kterou chcete použít, a uvést očekávané odpovědi pro každou otázku. Po vytvoření souboru ho uložte jako .csv nebo .txt soubor a naimportujte ho do aplikace Copilot Studio.

Důležité

  • Soubor může obsahovat až 100 otázek.
  • Každá otázka může mít maximálně 1 000 znaků včetně mezer.
  • Soubor musí být ve formátu CSV (hodnoty oddělené čárkami) nebo textovém formátu.

Vytvoření souboru importu:

  1. Otevřete tabulkovou aplikaci (například Microsoft Excel).

  2. Do prvního řádku přidejte následující nadpisy v tomto pořadí:

    • Question
    • Očekávaná odpověď
    • Testovací metoda

  3. Do sloupce Otázka zadejte své testovací otázky. Každá otázka může mít 1 000 znaků nebo méně, včetně mezer.

  4. Zadejte jednu z následujících testovacích metod pro každou otázku do sloupce Testovací metoda :

    • Obecná kvalita
    • Význam porovnání
    • Podobnost
    • Přesná shoda
    • Shoda klíčových slov

  5. Do sloupce Očekávaná odpověď zadejte očekávané odpovědi pro každou otázku. Očekávané odpovědi jsou volitelné pro import testovací sady. Ke spuštění shody, podobnosti a porovnání testovacích případů však potřebujete očekávané odpovědi.

  6. Soubor uložte jako soubor .csv nebo .txt.

  7. Soubor importujte podle kroků v Vytvořit novou testovací sadu.

Vytvořte testovací sadu na základě tématu

Vytvořte testovací sadu s otázkami z konverzací s reálnými uživateli. Tato metoda využívá témata (náhled), která najdete v analytice vašeho agenta.

Motivy jsou seskupení otázek převzatých z fondu uživatelských otázek, které vyvolávají generované odpovědi. Když vytvoříte testovací sadu pomocí tématu, generujete testovací případy z otázek položených uživateli souvisejícími s tímto tématem.

Použijte tyto testovací sady k provádění hodnocení zaměřených na jednu oblast nebo téma v oblasti vašeho makléře. Například pokud máte pracovníka zákaznického servisu, můžete sledovat kvalitu odpovědí na otázky ohledně fakturace a plateb odděleně od jiných případů použití, jako je řešení problémů.

Poznámka:

Před vytvářením testovacích sad z témat potřebujete přístup k tématům v analytice. Projděte si předpoklady pro témata (náhled).

  1. Na stránce Analytics vašeho agenta přejděte na seznam Témat.

  2. Najeďte myší na téma a vyberte Vyhodnotit.

    Screenshot zobrazující možnost Vyhodnotit téma v seznamu témat.

    Můžete také zvolit Zobrazit vše, abyste viděli více témat, a pak zvolit Vyhodnotit.

  3. Vyberte Vytvořte a otevřete.

  4. Upravte detaily testovacích sad a případů. Všechny testovací případy využívající metody, kromě obecné kvality, vyžadují očekávané odpovědi. Pro více informací o úpravách viz Upravit testovací sadu.

  5. Vyberte Uložit pro aktualizaci testovací sady bez spuštění testovacích případů nebo Vyhodnotit pro okamžité spuštění testovací sady.

  • Last updated on