Spuštění vyhodnocení a zobrazení výsledků

Note

Tento článek popisuje funkce používané v agentech nebo tocích agentů využívajících standardní harness.

Provádějte hodnocení a analyzujte výsledky, abyste optimalizovali chování svého makléře a ověřili, že agent splňuje požadavky na vaše podnikání a kvalitu. Můžete také opakovaně spustit testovací sadu, abyste viděli změny v průběhu času, jak svého agenta vylepšujete.

Tento článek vysvětluje, jak spustit vyhodnocení a zobrazit výsledky pomocí rozhraní Copilot Studio. Vyhodnocení můžete spustit také pomocí rozhraní API Power Platform nebo connectors přidané jako nástroje nebo jako součást toků automatizace v Copilot Studio nebo Power Automate.

Výsledky testů jsou k dispozici v Copilot Studiu po dobu 89 dnů. Pro delší uložení výsledků testů je exportujte do CSV souboru.

Spusť test s testovací sadou

Po vytvoření testovací sady spusťte test pomocí této sady. Nebo opakovaně spouštět testy pomocí stejné sady pro porovnání výsledků v čase a iteracích. Test může trvat až několik minut. Můžete spustit vždy jen jeden test.

Important

Vyhodnocení agentů, která používají ověřování uživatelů, vyžadují přístup přes konektor Microsoft Copilot Studio. Pokud administrátor toto připojení vypne, nemůžete testy spouštět pomocí hodnotícího nástroje. Další informace najdete v tématu Copilot Studio konektory a skupiny dat.

1. Přejděte na stránku Hodnocení vašeho agenta.

   

2. Spusť test jedním z následujících kroků:

   • Na konci vytváření nebo úpravy testovací sady vyberte Vyhodnocovat.
   • V sekci Nedávné výsledky spusťte test jedním z následujících kroků:
     • Najeďte myší na výsledek testu, který chcete vyhodnotit, a pak vyberte ▶ Vyhodnotit (vyhodnotit testovací sadu znovu) vedle Vyhodnotit agenta.
     • Výběrem výsledku testu ho otevřete a pak v podokně souhrnu vyhodnocení vyberte ikonu Spustit ▶.

   Pokud profil uživatele pro testovací sadu má přerušená připojení nebo testovací sada nemá profil uživatele, zobrazí se dialogové okno Spravovat profil a připojení . Nemusíte používat uživatelský profil pro testování. Pokud ale používáte profil, všechna spojení musí fungovat. Více informací v Spravování uživatelských profilů a kontaktů.

   Important

   Když vyberete uživatelský profil, můžete zkontrolovat a ověřit všechny konektory, které váš agent používá. Pokud vyberete jiný účet než ten, který používáte k přihlášení do Copilot Studio, například testovací účet, Copilot Studio ověří tento uživatelský profil a načte stávající připojení uživatele. Tyto připojení můžete nastavit, zkontrolovat a uložit před provedením hodnocení. Více informací v Spravování uživatelských profilů a kontaktů.

Vyhodnocení trvá několik minut. Výsledky testů se zpracovávají v reálném čase po řádku. Zobrazí se výsledek každého testovacího případu vyhodnocení postupně při jejich generování. Živé zpracování testovacích případů poskytuje okamžitý přehled o trendech kvality a možných chybách během probíhajícího hodnocení. Pokud dojde k problémům, můžete spuštění kdykoli zastavit. Výstraha se zobrazí v Copilot Studio po dokončení úplného vyhodnocení a souhrnné výsledky jsou připravené k zobrazení.

Note

Zkušební sadu testů můžete spustit pouze najednou. Před spuštěním jiného vyhodnocení počkejte na dokončení aktuálního vyhodnocení.

Ponořte se do výsledků testů

Pokaždé, když spustíte vyhodnocení pomocí testovací sady, Copilot Studio:

1. Používá připojený uživatelský účet k simulaci konverzací s agentem a posílá každou otázku v testovacím případu agentům.

2. Shromažďuje odpovědi agenta.

3. Měří a analyzuje úspěšnost každé odpovědi. Každý testovací případ obdrží hodnocení Pass, Fail, Invalid nebo Error na základě kritérií testovacího případu.

4. Přiřadí míru úspěšnosti na základě míry Úspěch/Selhání testovací sady.

Úspěšnost každé testovací sady můžete vidět na stránce Hodnocení vašeho agenta, v sekci Nedávné výsledky. Pokud chcete zobrazit více spuštění testovací sady, vyberte Zobrazit vše.

Podívejte se a ohodnoťte podrobnou analýzu testovacího případu

Když otevřete výsledek testu, vidíte podrobnosti o průběhu testu, seznam dotazů použitých v testu, jak agent reagoval, a skóre Pass or Fail .

Vyberte testovací případ ze seznamu a zobrazte podrobné hodnocení každé odpovědi. Vyberte Vše,Pass nebo Fail pro filtrování případů podle výsledku.

Hodnocení zahrnuje očekávané i skutečné odpovědi, důvody za výsledkem testu a znalosti, témata a nástroje, které agent použil k odpovědi.

1. Výsledky hodnocení. Tento příklad ukazuje výsledky hodnocení kvality.

2. Vyberte Zobrazit mapu aktivit, abyste viděli sekvenci vstupů, rozhodnutí a výstupů vašeho agenta v testovacím případu. Další informace najdete v tématu Zobrazení aktivity relace.

3. Přepis testovací otázky a odpovědi agenta.

4. Zdroje, které agent použil při testu. Vyberte si jeden a otevřete ho.

Můžete poskytnout zpětnou vazbu Microsoftu o tom, jak dobře bylo hodnocení u každého testovacího případu provedeno. Tato zpětná vazba se konkrétně týká toho, jak efektivně zvolená metoda hodnocení hodnotila odpověď, nikoli zda byla odpověď správná. Vaše zpětná vazba pomáhá postupně zlepšovat kvalitu a přesnost hodnocení.

K ohodnocení vyberte palec nahoru nebo palec dolů v panelu podrobností testovacího případu. Když se otevře formulář pro zpětnou vazbu, uveďte více informací o svém hodnocení a poté vyberte Odeslat.

Zkušební testovací sadu může spustit vícekrát několik "tvůrců" stejného agenta. Tvůrci můžou spouštět hodnocení pomocí testovacích sad vytvořených jinými tvůrci. Tvůrci můžou zobrazit stav spuštění a metriky výsledků jakéhokoli testovacího spuštění, ale jenom tvůrce, který spustil testovací běh, může zobrazit odpovědi agenta a vysvětlení výsledků.

Doba odezvy na recenze

Copilot Studio automaticky měří dobu odezvy pro každou interakci během hodnocení. Interakce je požadavek jednoho uživatele a odpovídající odpověď agenta. Doba odezvy je doba od začátku do konce, v sekundách, od chvíle, kdy agent obdrží požadavek, až do vrácení odpovědi. Zahrnuje veškeré uvažování, volání nástrojů, volání konektorů, dotazy nebo kroky workflow, které agent dokončí před odpovědí.

Pro zobrazení doby odpovědi vyberte otázku testovacího případu v okně Výsledky . Hodnota doby odezvy se objeví v několika sekundách v panelu odpovědi agenta po odpovědi.

Pro testovací případ s jednou odpovědí tvoří otázka a odpověď agenta jednu interakci. Testovací případ konverzace může mít více interakcí a Copilot Studio každou z nich měří zvlášť.

Využijte čas odezvy k identifikaci pomalejších interakcí a porovnání výkonu po změně agenta. Doba odezvy je pouze údaj. Nepřiřazuje výsledek Pass nebo Fail ani neovlivňuje úspěšnost testovací sady.

Porovnejte výsledky testů

Chcete otestovat jednu verzi svého agenta a vidět změny ve výkonu před i po provedení změn. Můžete porovnat dva běhy stejné testovací sady pomocí nástroje Porovnání s (Comparison with ).

Pro srovnání musíte spustit stejnou testovací sadu alespoň dvakrát.

1. Na stránce Hodnocení vašeho agenta, v sekci Nedávné výsledky testů, otevřete testovací sérii, kterou chcete použít jako základ pro porovnání.

2. Vyberte rozbalovací nabídku Porovnání s testem a poté čas a datum testovacího spuštění, které chcete porovnat s aktuálně otevřenými výsledky testu.

V seznamu testovacích případů šipky ukazují, které výsledky testovacích případů se zlepšily změnou z neúspěšného na úspěšný , nebo si pohoršily změnou z úspěšného na neúspěšný .

Vyberte testovací případ pro více podrobností. V panelu souhrnu hodnocení můžete vidět přímé srovnání výsledků testu, přičemž je na vrchu výsledek aktuálního testu.

Export výsledků testu

Výsledky testů můžete exportovat do CSV souboru. Soubor uvádí otázku, očekávanou odpověď (pokud je to relevantní), metodu testu, úspěšné skóre (pokud je to relevantní), odpověď agenta, výsledek testu a analýzu pro každý testovací případ.

1. Přejděte na stránku Hodnocení vašeho agenta.
2. V sekci Nedávné výsledky exportujte výsledek testu jedním z následujících kroků:
   • Najeďte myší na testovací případ, který chcete exportovat, vyberte tři tečky (...) a pak vyberte Exportovat výsledky testu.
   • Vyberte testovací případ pro jeho otevření, vyberte tři tečky (...) v panelu Hodnocení a poté vyberte Exportovat výsledky testu.

Výsledky testu se stahují jako název vaší testovací sady.csv.

Sdílejte hodnocení s rolí prohlížejícího agenta

Pokud jste vlastníkem agenta a chcete udělit přístup pouze na stránku Hodnocení svého agenta, sdílejte agenta a povolte roli sdílení prohlížeč agenta . Uživatelé s touto rolí mohou spravovat hodnocení pro konkrétního agenta bez přístupu k samotnému agentovi.

Note

Role prohlížeč agenta neuděluje oprávnění v rámci celého prostředí ani celého tenanta.

Uživatelé, kterým byla přiřazena role prohlížejícího agenta pro hodnocení:

• Prohlížejte a spouštějte hodnotící testovací sady od jiných výrobců.
• Přejmenování, rušení a mazání hodnocení.
• Nelze vytvořit ani aktualizovat hodnotící testovací sady, které s nimi sdílí.

Note

Uživatelé, kterým byla přiřazena role prohlížeč agenta, nemohou vytvářet, aktualizovat ani odstraňovat agenta ani obsah mimo hodnocení, ve kterých jsou prohlížeči agenta. Uživatelé nemohou agenta publikovat ani spravovat jeho sdílení a přístupová nastavení.

Přiřadit roli:

1. Otevřete agenta a vyberte tři tečky (...) >Sdílet.
2. V sekci Noví uživatelé a identity aplikací přidejte uživatele nebo skupinu. Nebo vyberte existujícího uživatele ze seznamu.
3. V sekci Má oprávnění pro tohoto agenta jako vyberte Prohlížeč agenta ze seznamu rolí.
4. Vyberte Sdílet, chcete-li agenta sdílet.

Uživatel pak může otevřít agenta a zobrazit záložky Hodnocení a Monitor. Pak mohou spravovat hodnocení na záložce Hodnocení .

Zjistěte více o sdílení hodnocení agenta s ostatními uživateli.