Einen Agent auswerten (Vorschauversion)

[Dieser Artikel ist eine Vorabdokumentation und kann geändert werden.]

Die Registerkarte Auswerten in der neuen Agentenerfahrung bietet strukturierte, wiederholbare Tests für Ihren Agenten. Nutzen Sie Bewertungen, um die Qualität eines Agenten über Testfälle hinweg zu messen, Verbesserungen über die Zeit zu verfolgen und das Verhalten Ihres Agenten vor der Veröffentlichung zu validieren.

Wichtig

Was ist eine Agentenbewertung?

Mit der Agentauswertung können Sie die Antworten Ihres Agenten systematisch anhand von Qualitätsstandards testen. Anstatt jedes Szenario manuell im Reiter Vorschau zu testen, erstellen Sie Bewertungen mit Testgesprächen, definieren, wie Antworten gemessen werden sollen, und führen die Bewertungen durch, um quantitative Ergebnisse zu erhalten.

Die Bewertung hilft Ihnen, Fragen wie diese zu beantworten:

  • Antwortet der Agent korrekt über verschiedene erwartete Szenarien hinweg?
  • Hat eine Konfigurationsänderung die Antwortqualität verbessert oder verschlechtert?
  • Ruft der Agent Tools an, wenn er sollte?

Zentrale Konzepte

Die folgenden Konzepte sind entscheidend bei der Durchführung von Bewertungen in Copilot Studio:

Gespräche

Ein Gespräch ist ein Testfall, der ein Szenario repräsentiert, das Ihr Agent bearbeiten soll. Jedes Gespräch umfasst Benutzernachrichten und optional erwartete Agentenantworten. Organisieren Sie Gespräche zu Bewertungen. Erstellen Sie Gespräche manuell, generieren Sie sie mit KI oder laden Sie sie aus einer CSV-Datei hoch.

Bewertungen

Eine Auswertung ist ein benannter Testsatz, der Gespräche mit einer Testmethode kombiniert. Sie erstellen Auswertungen aus der Registerkarte Auswerten, fügen Unterhaltungen hinzu und führen sie dann aus, um bewertete Ergebnisse zu erzielen.

Testmethoden

Testmethoden legen fest, wie die Antworten des Agenten bewertet werden. Derzeit ist die einzige verfügbare Testmethode die allgemeine Qualität, eine KI-basierte Bewertung, ob Antworten Qualitätsstandards wie Relevanz und Vollständigkeit erfüllen.

Note

Die Testmethode Allgemeine Qualität vergleicht die Antworten nicht mit den erwarteten Ergebnissen.

Benutzerprofil

Auswertungen werden unter einem Benutzerprofil durchgeführt. Verwalten Sie, welches authentifizierte Profil die Auswertung durchführt, damit die Werkzeuge und Verbindungen des Agenten vollständig testbar sind.

Auswertungsworkflow

Befolgen Sie diese Schritte, um einen Makler zu bewerten:

  1. Erstellen Sie eine Auswertung: In der Registerkarte Auswertung starten Sie eine neue Auswertung. Erfahren Sie mehr in Erstellen eines Testsets für einen Agenten.
  2. Unterhaltungen hinzufügen: Testunterhaltungen manuell erstellen, mit KI generieren oder per CSV-Datei hochladen.
  3. Konfigurieren: Benennen Sie die Auswertung, wählen Sie eine Testmethode aus, wählen Sie die Agentenversion aus und legen Sie das Benutzerprofil fest.
  4. Führen Sie die Bewertung durch: Wählen Sie Evaluieren , um den Test durchzuführen, und warten Sie auf die Ergebnisse. Erfahren Sie mehr in Führen Sie eine Bewertung für einen Makler durch.
  5. Überprüfen Sie die Ergebnisse: Analysieren Sie die Ergebnisse und identifizieren Sie Verbesserungsmöglichkeiten. Erfahren Sie mehr unter Bewerten der Ergebnisse eines Maklers.
  6. Iterieren: Passe die Anweisungen, das Wissen oder die Werkzeuge deines Agenten an und führe die Bewertung erneut durch, um die Wirkung zu messen.
  • Last updated on