Testsatz für einen Agent erstellen (Vorschauversion)

[Dieser Artikel ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]

Ein Testset ist eine Sammlung von Gesprächen, mit denen Sie die Leistung Ihres Agenten bewerten. Jedes Gespräch stellt ein Szenario dar, das Ihr Agent bearbeiten soll.

Important

Prerequisites

Ein Agent, der mit dem GitHub Copilot-Harness erstellt und gespeichert wurde. Siehe Agent erstellen (Vorschauversion).

Eine neue Evaluierung starten

Um eine neue Bewertung zu beginnen:

  1. Öffnen Sie Ihren Agenten in Copilot Studio.
  2. Wählen Sie die Registerkarte Evaluate (Auswerten) aus.
  3. Wählen Sie Neue Bewertung.

Note

Erlebnisse, die Copilot-Credits verbrauchen, zeigen ein Uses Copilot Credits-Abzeichen , sodass du weißt, welche Aktionen Credits verbrauchen, bevor du sie ausführst. Erfahren Sie mehr unter Geschätzte Kreditnutzung verstehen.

Wählen Sie aus einer dieser Optionen aus:

Option 1: Konversationen aus einer CSV-Datei hochladen

  1. Ziehen Sie auf der Registerkarte Auswerten im Abschnitt Datenquelle eine CSV-Datei in den Upload-Bereich oder wählen Sie sie aus, um nach einer Datei zu suchen.

    Tip

    Klicken Sie auf den Link CSV, um eine Vorlage herunterzuladen, die das richtige Dateiformat enthält. Die maximale Dateigröße beträgt 5 MB.

  2. Überprüfen Sie die importierten Unterhaltungen und passen Sie sie bei Bedarf an.

  3. Geben Sie im Bereich Testsatz konfigurieren rechts einen Namen für die Auswertung ein.

  4. Wähle Evaluieren , um die Bewertung auszuführen, oder wähle Speichern , um sie ohne Ausführung zu speichern.

Option 2: Konversationen mit KI generieren

  1. Wählen Sie auf der Registerkarte Auswerten im Abschnitt Weitere Startmöglichkeiten die Option Schnellkonversationsset aus.
  2. Warte, während das System 10 Gespräche basierend auf der Beschreibung, den Anweisungen und den Themen des Agenten generiert.
  3. Überprüfen Sie die generierten Konversationen in der Liste Überprüfen Sie Ihre Testfälle.
  4. Im Panel "Testsatz konfigurieren" geben Sie einen Namen ein und wählen Sie dann Bewerten oder Speichern.

Sie können auch in der Bewertungsansicht weitere Unterhaltungen generieren. Wähle Gespräche hinzufügen>10 Gespräche generieren. Nachdem Sie eine erste Bewertung durchgeführt haben, wählen Sie Gespräche> hinzufügen,25 Gespräche generieren, oder 50 Gespräche generieren, um mehr zu erzeugen.

Option 3: Gespräche manuell schreiben

  1. Wählen Sie auf dem Auswerten-Tab im Abschnitt Mehr Wege zum Einstieg die Option Oder schreiben Sie Ihre Fragen selbst.
  2. In der Liste "Überprüfen Sie Ihre Testfälle" wählen Sie "Schreiben von Konversationen> hinzufügen", um manuell einen Testfall zu erstellen.
  3. Fügen Sie zu jedem Gespräch eine Benutzerfrage hinzu. Optional kann man eine erwartete Agentenantwort hinzufügen.
  4. Geben Sie im Bereich Testsatz konfigurieren einen Namen ein und wählen Sie Auswerten oder Speichern.

Testsatz konfigurieren

Wenn Sie eine Auswertung erstellen oder bearbeiten, enthält das Panel "Testsatz konfigurieren " folgende Optionen:

  • Name: Ein erforderlicher Name für die Bewertung.
  • Testmethode: Die Methode, die die Antworten bewertet. Die allgemeine Qualitätskontrolle prüft, ob die Antworten Qualitätsstandards wie Relevanz und Vollständigkeit erfüllen.
  • Benutzerprofil: Das authentifizierte Profil, das die Auswertung durchführt und eine Verbindung zu Tools herstellt. Bewertungen verwenden das Profil des aktuell angemeldeten Benutzers. Du kannst dich nicht mit einem anderen Nutzer verbinden, während du angemeldet bist. Um eine Bewertung als anderer Nutzer durchzuführen, melden Sie sich ab, melden Sie sich mit dem Konto dieses Benutzers an und starten Sie dann die Bewertung.

Gespräche in einem Testsatz bearbeiten

Um Gespräche in einem Testset zu bearbeiten:

  1. Öffnen Sie auf dem Auswerten-Tab einen bestehenden Testsatz aus dem Auswerten-Dropdown-Menü.
  2. Wählen Sie eine Unterhaltung aus, um deren Nachrichten zu bearbeiten.
  3. Verwenden Sie das Dropdown-Menü Unterhaltungen hinzufügen, um weitere Unterhaltungen hinzuzufügen.
  4. Wählen Sie "Speichern" aus, wenn Sie fertig sind.
  • Zuletzt aktualisiert um