Tests durchführen und Ergebnisse ansehen

[Dieser Artikel ist Teil der Dokumentation zur Vorabversion und kann geändert werden.]

Mit den Ergebnissen aus dem Testset können Sie das Verhalten Ihres Maklers optimieren und bestätigen, dass Ihr Makler Ihre Geschäfts- und Qualitätsanforderungen erfüllt. Du kannst auch Testsätze mehrfach durchführen, um die Ergebnisse zu vergleichen, während du deinen Agenten verbesserst.

Testergebnisse sind für 89 Tage im Copilot Studio verfügbar. Um Ihre Testergebnisse länger zu speichern, exportieren Sie die Ergebnisse in eine CSV-Datei.

Von Bedeutung

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufeatures sind nicht für die Produktionsverwendung vorgesehen und verfügen möglicherweise über eingeschränkte Funktionen. Diese Features sind vor einer offiziellen Version verfügbar, damit Sie frühzeitig Zugriff erhalten und Feedback geben können.

Wenn Sie einen produktionsfähigen Agent erstellen, lesen Sie die Übersicht über Microsoft Copilot Studio.

Einen Testsatz ausführen

Nachdem du ein Testset erstellt hast, kannst du es ausführen oder erneut ausführen, um Ergebnisse über Zeit und Iterationen zu vergleichen . Ein Test kann bis zu wenige Minuten dauern. Du kannst jeweils einen Test durchführen.

Von Bedeutung

Agentenbewertungen, die Benutzerauthentifizierung verwenden, benötigen Zugriff über den Microsoft Copilot Studio Connector. Wenn dein Administrator diese Verbindung abschaltet, kannst du keine Tests mit dem Bewertungstool durchführen. Weitere Informationen finden Sie unter Copilot Studio Connectors and Data Groups.

1. Gehe auf die Bewertungsseite deines Agenten .

2. Führen Sie einen Test durch, indem Sie eine der folgenden Aktionen ausführen:

   • Am Ende des Erstellens oder Bearbeitens eines Testsatzes wählen Sie Evaluieren.
   • Im Abschnitt "Aktuelle Ergebnisse " können Sie die Testergebnisse bewerten, indem Sie Folgendes tun:
     • Fahre mit der Maus über das Testergebnis, das du bewerten möchtest, wähle die drei Punkte (...) aus und wähle dann erneut Testsatz bewerten.
     • Wählen Sie das Testergebnis aus, um es zu öffnen, dann die drei Punkte (...) im Bewertungszusammenfassungsfenster und wählen Sie erneut Testsatz bewerten.

   Wenn das Benutzerprofil des Testsets defekte Verbindungen aufweist oder das Testset kein Benutzerprofil hat, erscheint der Dialog "Verbindungen verwalten ". Du musst kein Benutzerprofil zum Testen verwenden. Wenn du jedoch ein Profil benutzt, müssen alle Verbindungen funktionieren. Informationen zum Herstellen von Verbindungen finden Sie unter Benutzerprofile und Verbindungen verwalten.

Eine Untersuchung kann einige Minuten dauern. Eine Warnung erscheint in Copilot Studio, wenn die Testergebnisse einsichtsbereit sind.

Tauchen Sie ein in die Testergebnisse

Jedes Mal, wenn Sie eine Auswertung mit einem Testsatz ausführen, Copilot Studio:

1. Verwendet das verbundene Benutzerkonto, um Unterhaltungen mit dem Agent zu simulieren und jede Frage im Testfall an den Agent zu senden.

2. Sammelt die Antworten des Agents.

3. Misst und analysiert den Erfolg jeder Antwort. Jeder Testfall empfängt Bestanden oder Fehlgeschlagen, basierend auf den Kriterien des Testfalls.

4. Weist eine Bewertung der Passrate basierend auf der Pass/Fehlerrate des Testsatzes zu.

Sie können die Bestehensquote jedes durchgeführten Testsets auf der Bewertungsseite Ihres Agenten unter Aktuelle Ergebnisse sehen. Um weitere Testausführungen zu sehen, wählen Sie Alle anzeigen aus.

Siehe eine detaillierte Analyse für einen Testfall

Wenn Sie ein Testergebnis öffnen, sehen Sie die Details des Testlaufs, eine Liste der im Test verwendeten Abfragen, wie der Mitarbeiter reagiert hat und die Bestehens- oder Nicht-Bestehen-Punktzahl .

Wählen Sie einen Testfall in der Liste aus, um eine detaillierte Bewertung jeder Antwort zu sehen.

Die Bewertung umfasst die erwarteten und tatsächlichen Antworten, die Begründung für das Testergebnis sowie das Wissen, die Themen und Werkzeuge, die der Agent zur Antwort verwendet hat.

Wählen Sie ein zitiertes Wissen oder Thema aus, um es zu öffnen.

Testergebnisse vergleichen

Du solltest eine Version deines Agenten testen und Veränderungen in der Performance vor und nach der Änderung sehen. Man kann zwei Durchläufe desselben Testsatzes mit dem Werkzeug Vergleich mit vergleichen vergleichen.

Um einen Vergleich zu sehen, muss man denselben Testsatz mindestens zweimal durchführen.

1. Öffnen Sie auf der Bewertungsseite Ihres Agentenden Testlauf , den Sie als Grundlage für den Vergleich verwenden möchten, unter "Aktuelle Testergebnisse".

2. Wählen Sie das Dropdown-Menü "Vergleichen mit " und dann die Zeit und das Datum des Testlaufs, den Sie mit den aktuell offenen Testergebnissen vergleichen möchten.

In der Testfallliste zeigen Pfeile, welche Testfallergebnisse sich verbesserten, wenn sie von nicht bestanden zu bestehen wechselten, oder ablehnten, indem sie von bestanden auf durchgefallen wechselten.

Wählen Sie einen Testfall aus, um mehr Details zu sehen. Im Bewertungsübersichtsfenster sehen Sie einen direkten Vergleich der Testergebnisse, wobei das Ergebnis des aktuellen Testlaufs oben steht.

Exportieren von Testergebnissen

Du kannst Testergebnisse in eine CSV-Datei exportieren. Die Datei listet die Frage, die erwartete Antwort (falls zutreffend), die Testmethode, die Bestehenspunktzahl (falls zutreffend), die Antwort des Agenten, das Testergebnis und die Analyse für jeden Testfall auf.

1. Gehe auf die Bewertungsseite deines Agenten .
2. Im Abschnitt "Aktuelle Ergebnisse " können Sie ein Testergebnis exportieren, indem Sie eines von Folgenden tun:
   • Fahre mit der Maus über den Testfall, den du exportieren möchtest, wähle die drei Punkte (...) aus und wähle dann Testergebnisse exportieren.
   • Wählen Sie den Testfall, um ihn zu öffnen, dann die drei Punkte (...) im Bewertungsübersichtsfenster und wählen Sie anschließend Testergebnisse exportieren.

Die Testergebnisse werden als Name Ihres Testsatzes.csvheruntergeladen.