Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Das Power CAT Copilot Studio Kit ist eine benutzerfreundliche Anwendung, mit der Sie die Agentantworten überprüfen können. Sie enthält auch systemeigene Funktionen wie Excel-Export und -Import für Massenerstellung und -updates.
Konfigurieren, Ausführen und Analysieren
Konfigurieren und ausführen Sie Tests mit den Copilot Studio-APIs (Direct Line API), um Agentantworten anhand erwarteter Ergebnisse auszuwerten.
Um die Ergebnisse zu erweitern, rufen Sie zusätzliche Datenpunkte aus Azure Application Insights und Dataverse ab, indem Sie Gesprächsprotokolle analysieren (z. B. den exakt ausgelösten Themennamen und die Erkennungswerte der Absicht).
Verwenden Sie für KI-generierte Antworten, die von Natur aus nicht deterministisch sind, Eingabeaufforderungen, um die generierte Antwort mit einer Beispielantwort oder Validierungsanweisungen zu vergleichen.
Testtypen
Das Tool unterstützt diese Arten von Tests:
- Antwortübereinstimmung
- Anhänge wie adaptive Karten
- Themenabgleich (erfordert Dataverse)
- Generative Antworten (erfordert AI Builder für Antwortanalyse und Application Insights für Details dazu, warum eine Antwort nicht generiert wurde)
- Der Mehrfachdrehungs-Testtyp ist ein spezieller Testtyp. Sie besteht aus einer Reihe regulärer Testfälle, die in einer bestimmten Reihenfolge im gleichen Konversationskontext ausgeführt werden. Verwenden Sie Multi-Turn-Tests, um Szenarien von Anfang bis Ende zu testen und benutzerdefinierte Agenten mit generativer Orchestrierung zu prüfen.
- Mit der Planüberprüfung können Entwickler überprüfen, ob ihre benutzerdefinierten Agents, die generative Orchestrierung verwenden, die erwarteten Tools enthalten. Anstatt zu bewerten, was der Agent sagt, überprüft dieser Testtyp, ob der dynamische Plan des Agents die erwarteten Tools (Tools, Aktionen und verbundene Agents) zu einem vordefinierten Schwellenwert enthält.
Erfahren Sie mehr über Testtypen in "Konfigurieren von Tests" im Copilot Studio Kit.
