Freigeben über

Erstellen oder verändern Sie ein Testset, um Ihren Agenten zu bewerten

[Dieser Artikel ist Teil der Dokumentation zur Vorabversion und kann geändert werden.]

Ein Testsatz besteht aus einer Gruppe von bis zu 100 Testfällen. Wenn Sie eine Agentenbewertung durchführen, wählen Sie einen Testsatz aus, und Copilot Studio führt jeden Testfall in diesem Set gegen Ihren Agenten aus.

Sie können Testfälle innerhalb eines Testsets manuell erstellen, sie über eine Tabelle importieren oder KI nutzen, um Nachrichten basierend auf dem Design und den Ressourcen Ihres Agenten zu generieren. Sie können dann wählen, wie Sie die Qualität der Antworten Ihres Agenten für jeden Testfall innerhalb eines Testsets messen möchten.

Für weitere Informationen darüber, wie die Agentenbewertung funktioniert, siehe Über die Agentenbewertung.

Von Bedeutung

Testergebnisse sind für 89 Tage im Copilot Studio verfügbar. Um Ihre Testergebnisse länger zu speichern, exportieren Sie die Ergebnisse in eine CSV-Datei.

Erstellen eines neuen Testsatzes

  1. Gehe auf die Bewertungsseite deines Agenten .

  2. Wählen Sie Neues Testset.

    Screenshot zeigt den Button

  3. Wähle auf der Seite Neues Testset die Methode aus, mit der du deinen Testsatz erstellen möchtest. Ein Testset kann bis zu 100 Testfälle enthalten.

    • Kurze Fragestellung , damit Copilot Studio automatisch Testfälle basierend auf der Beschreibung, den Anweisungen und den Fähigkeiten deines Agenten erstellt. Diese Option generiert 10 Fragen für kleine, schnelle Bewertungen oder zum Aufbau eines größeren Testsets.
    • Vollständige Fragestellung, damit Copilot Studio Testfälle mit den Wissensquellen oder Themen deines Agenten generiert.
    • Nutzen Sie Ihre Testchat-Konstruktation , um das Testset automatisch mit den Fragen zu füllen, die Sie im Testchat gestellt haben. Diese Methode verwendet Fragen aus dem neuesten Testchat. Sie können auch eine Bewertung im Testchat starten, indem Sie den Bewerten-Button verwenden. Screenshot, der den Button
    • Importiere Testfälle aus einer Datei , indem du deine Datei in den vorgesehenen Bereich ziehst, Browsen auswählst, um eine Datei hochzuladen, oder eine der anderen Upload-Optionen auswählst.
    • Oder schreibe selbst ein paar Fragen , um manuell ein Testset zu erstellen. Befolgen Sie die Schritte, um ein Testset zu bearbeiten , um Testfälle hinzuzufügen und zu bearbeiten.

  4. Bearbeite die Details der Testfälle. Alle Testfälle, die Methoden verwenden, außer der allgemeinen Qualität, erfordern erwartete Antworten. Weitere Informationen zum Bearbeiten finden Sie unter Modifizieren eines Testsets.

  5. Geben Sie unter Name einen Namen für den Testsatz ein.

  6. Wählen Sie Benutzerprofil aus, dann wählen oder fügen Sie das Konto hinzu, das Sie für diese Testgruppe verwenden möchten, oder fahren Sie ohne Authentifizierung fort. Die Bewertung nutzt dieses Konto, um während des Tests mit Wissensquellen und Werkzeugen zu verbinden. Informationen zum Hinzufügen und Verwalten von Benutzerprofilen finden Sie unter Benutzerprofile und Verbindungen verwalten.

Hinweis

Automatisiertes Testen verwendet die Authentifizierung des ausgewählten Testkontos. Wenn Ihr Agent über Wissensquellen oder Verbindungen verfügt, die eine spezielle Authentifizierung erfordern, wählen Sie das passende Konto für Ihre Tests aus.

  1. Wählen Sie Speichern , um das Testset zu aktualisieren, ohne die Testfälle auszuführen, oder Evaluieren , um das Testset sofort auszuführen.

Einschränkung der Testfallgenerierung

Die Erstellung von Testfällen kann scheitern, wenn eine oder mehrere Fragen gegen die Inhaltsmoderationseinstellungen Ihres Agenten verstoßen. Gründe sind folgende:

  • Die Anweisungen oder Themen des Agenten führen dazu, dass das Modell Inhalte generiert, die markiert werden.
  • Die verbundene Wissensquelle enthält sensible oder eingeschränkte Inhalte.
  • Die Inhaltsmoderationseinstellungen des Agenten sind übermäßig streng.

Um das Problem zu lösen, probieren Sie verschiedene Maßnahmen aus, wie das Anpassen von Wissensquellen, das Aktualisieren von Anweisungen oder das Ändern der Moderationseinstellungen.

Ein Testsatz kann bis zu 100 Testfälle enthalten.

Erstellen Sie ein Testset aus Wissen oder Themen

Sie können Ihren Makler testen, indem Sie Fragen mit den Informationen und Gesprächsquellen erstellen, die Ihr Makler bereits hat. Diese Testmethode eignet sich gut, um zu testen, wie dein Agent das bereits vorhandene Wissen und die Themen nutzt, aber sie ist nicht geeignet, um Informationslücken zu überprüfen.

Sie können Testfälle erstellen, indem Sie diese Wissensquellen nutzen:

  • Text
  • Microsoft Word
  • Microsoft Excel

Du kannst Dateien bis zu 293 KB verwenden, um Testfragen zu erstellen.

Um einen Testsatz zu erzeugen:

  1. Im neuen Testsatz wählen Sie vollständige Fragegruppe aus.

  2. Wählen Sie entweder Wissen oder Themen.

    • Wissen funktioniert am besten für Agenten, die generative Orchestrierung verwenden. Diese Methode erstellt Fragen, indem sie eine Auswahl der Wissensquellen Ihres Agenten verwendet.
    • Topics funktioniert am besten für Agenten, die klassische Orchestrierung verwenden. Diese Methode erstellt Fragen, indem man die Themen Ihres Agenten verwendet.

  3. Für Wissen wählen Sie die Wissensquellen aus, die Sie in die Fragestellung einbeziehen möchten.

Screenshot, der die Auswahl der Wissensquellen zeigt, die in die Testfallgenerierung aufgenommen werden sollen.

  1. Für Wissen und Themen wählen und ziehen Sie den Schieberegler, um die Anzahl der zu generierenden Fragen zu bestimmen.

Ein Screenshot zeigt den Regler, um auszuwählen, wie viele Fragen generiert werden sollen.

  1. Wählen Sie Generieren aus.

  2. Bearbeite die Details der Testfälle. Alle Testfälle, die Methoden verwenden, außer der allgemeinen Qualität, erfordern erwartete Antworten. Weitere Informationen zum Bearbeiten finden Sie unter Modifizieren eines Testsets.

  3. Wählen Sie das Profil verwalten , um das Konto auszuwählen oder zu verknüpfen, das Sie für dieses Testset verwenden möchten. Du kannst auch weitermachen, ohne ein Konto zur Authentifizierung hinzuzufügen.

Hinweis

Automatisiertes Testen verwendet die Authentifizierung des ausgewählten Testkontos. Wenn Ihr Agent über Wissensquellen oder Verbindungen verfügt, die eine spezielle Authentifizierung erfordern, wählen Sie das passende Konto für Ihre Tests aus.

Wenn Copilot Studio Testfälle generiert, nutzt es die Authentifizierungsdaten eines verbundenen Kontos, um auf die Wissensquellen und Tools Ihres Agenten zuzugreifen. Die generierten Testfälle oder Ergebnisse können sensible Informationen enthalten, auf die das verbundene Konto Zugriff hat, und diese Informationen sind für alle Hersteller, die auf das Testset zugreifen können, sichtbar.

  1. Wählen Sie Speichern , um das Testset zu aktualisieren, ohne die Testfälle auszuführen, oder Evaluieren , um das Testset sofort auszuführen.

Erstellen Sie eine Testsatzdatei zum Importieren

Anstatt Ihre Testfälle direkt in Copilot Studio zu erstellen, können Sie eine Tabellenkalkulationsdatei mit allen Ihren Testfällen erstellen und importieren, um Ihren Testsatz zu erstellen. Sie können jede Testfrage verfassen, die zu verwendende Testmethode bestimmen und die erwarteten Antworten für jede Frage angeben. Wenn Sie die Erstellung der Datei abgeschlossen haben, speichern Sie sie als .csv oder .txt Datei, und importieren Sie sie in Copilot Studio.

Von Bedeutung

  • Die Datei kann bis zu 100 Fragen enthalten.
  • Jede Frage kann bis zu 1.000 Zeichen umfassen, einschließlich Leerzeichen.
  • Die Datei muss in durch Trennzeichen getrennten Werten (CSV) oder textformatieren sein.

Zum Erstellen der Importdatei:

  1. Öffnen Sie eine Tabellenkalkulationsanwendung (z. B. Microsoft Excel).

  2. Fügen Sie die folgenden Überschriften in dieser Reihenfolge in der ersten Zeile hinzu:

    • Frage
    • Erwartete Antwort
    • Testmethode

  3. Geben Sie Ihre Testfragen in der Spalte Frage ein. Jede Frage kann maximal 1.000 Zeichen lang sein, einschließlich Leerzeichen.

  4. Geben Sie für jede Frage eine der folgenden Testmethoden in die Spalte Testmethode ein:

    • Allgemeine Qualität
    • Bedeutung vergleichen
    • Ähnlichkeit
    • Genaue Übereinstimmung
    • Schlüsselwort-Übereinstimmung

  5. Geben Sie die erwarteten Antworten für jede Frage in der Spalte Erwartete Antwort ein. Erwartete Antworten sind optional zum Importieren eines Testsatzes. Sie benötigen jedoch erwartete Antworten, um Übereinstimmungen, Ähnlichkeiten und Vergleich von Bedeutungstestfällen auszuführen.

  6. Speichern Sie die Datei als CSV- oder TXT-Datei.

  7. Importiere die Datei, indem du den Schritten in Create a new test set folgst.

  • Last updated on