Testsatz für einen Agent erstellen (Vorschauversion)

[Dieser Artikel ist eine Vorabdokumentation und kann geändert werden.]

Ein Testset ist eine Sammlung von Gesprächen, mit denen Sie die Leistung Ihres Agenten bewerten. Jedes Gespräch stellt ein Szenario dar, das Ihr Agent bearbeiten soll.

Wichtig

Voraussetzungen

Ein Agent, der mit dem GitHub Copilot-Harness erstellt und gespeichert wurde. Siehe Agent erstellen (Vorschauversion).

Ein neues Auswertungs-Notebook starten

Um eine neue Bewertung zu beginnen:

  1. Öffnen Sie Ihren Agenten in Copilot Studio.
  2. Wählen Sie die Registerkarte Evaluate (Auswerten) aus.
  3. Wählen Sie Neue Bewertung.

Wählen Sie aus einer dieser Optionen aus:

Option 1: Konversationen aus einer CSV-Datei hochladen

  1. Ziehen Sie auf der Registerkarte Auswerten im Abschnitt Datenquelle eine CSV-Datei in den Upload-Bereich oder wählen Sie sie aus, um nach einer Datei zu suchen.

    Tipp

    Klicken Sie auf den Link CSV, um eine Vorlage herunterzuladen, die das richtige Dateiformat enthält. Die maximale Dateigröße beträgt 5 MB.

  2. Überprüfen Sie die importierten Unterhaltungen und passen Sie sie bei Bedarf an.

  3. Geben Sie im Bereich Testsatz konfigurieren rechts einen Namen für die Auswertung ein.

  4. Wähle Evaluieren , um die Bewertung auszuführen, oder wähle Speichern , um sie ohne Ausführung zu speichern.

Option 2: Konversationen mit KI generieren

  1. Wählen Sie auf der Registerkarte Auswerten im Abschnitt Weitere Startmöglichkeiten die Option Schnellkonversationsset aus.
  2. Warte, während das System 10 Gespräche basierend auf der Beschreibung, den Anweisungen und den Themen des Agenten generiert.
  3. Überprüfen Sie die generierten Konversationen in der Liste Ihrer Testfälle überprüfen.
  4. Im Panel "Testsatz konfigurieren" geben Sie einen Namen ein und wählen Sie dann Bewerten oder Speichern.

Sie können auch mehr Gespräche aus der Bewertungsansicht generieren. Wähle Gespräche> hinzufügenGeneriere 10 Gespräche. Nachdem Sie eine erste Bewertung durchgeführt haben, wählen Sie Gespräche> hinzufügen,25 Gespräche generieren, oder 50 Gespräche generieren, um mehr zu erzeugen.

Option 3: Gespräche manuell schreiben

  1. Wählen Sie auf dem Auswerten-Tab im Abschnitt Mehr Wege zum Einstieg die Option Oder schreiben Sie Ihre Fragen selbst.
  2. In der Liste "Überprüfen Sie Ihre Testfälle" wählen Sie "Schreiben von Konversationen> hinzufügen", um manuell einen Testfall zu erstellen.
  3. Fügen Sie zu jedem Gespräch eine Benutzerfrage hinzu. Optional kann man eine erwartete Agentenantwort hinzufügen.
  4. Geben Sie im Bereich Testsatz konfigurieren einen Namen ein und wählen Sie Auswerten oder Speichern.

Testsatz konfigurieren

Wenn Sie eine Auswertung erstellen oder bearbeiten, enthält das Panel "Testsatz konfigurieren " folgende Optionen:

  • Name: Ein erforderlicher Name für die Bewertung.
  • Testmethode: Die Methode, die die Antworten bewertet. Die allgemeine Qualitätskontrolle prüft, ob die Antworten Qualitätsstandards wie Relevanz und Vollständigkeit erfüllen.
  • Benutzerprofil: Das authentifizierte Profil, das die Bewertung durchführt. Wähle Verwalten, um einzurichten, welches Profil die Tests durchführt.

Gespräche in einem Testsatz bearbeiten

Um Gespräche in einem Testset zu bearbeiten:

  1. Öffnen Sie auf dem Auswerten-Tab einen bestehenden Testsatz aus dem Auswerten-Dropdown-Menü.
  2. Wählen Sie eine Unterhaltung aus, um deren Nachrichten zu bearbeiten.
  3. Verwenden Sie das Dropdown-Menü Unterhaltungen hinzufügen, um weitere Unterhaltungen hinzuzufügen.
  4. Wählen Sie "Speichern" aus, wenn Sie fertig sind.
  • Last updated on