Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Auswertungsdatasets sind JSON-Dateien, die Eingabeaufforderungen und erwartete Antworten enthalten. Dieser Artikel definiert das Datasetschema, dokumentiert, wo das Tool nach Datasets sucht, und zeigt, wie effektive Tests entworfen werden – einschließlich erweiterter Szenarien wie mehrteilige Unterhaltungen, Evaluatorkonfiguration pro Element und kategorisierte Testsammlungen.
Schemaübersicht
Auswertungsdatasets sind JSON-Dateien. Das Tool unterstützt zwei äquivalente Formen: ein Objekt mit Versionsverwaltung (empfohlen) und ein Legacyarray.
Schema mit Versionsverwaltung
Hinweis
CLI v1 unterstützt zwei Datensatzformen: ein Objekt mit Versionsangabe (empfohlen) und ein Legacyarray. CLI v2 erfordert ein versioniertes Objekt, das die schemaVersionitems
Ein Dataset verwendet schemaVersion und ein items Array. Das folgende Beispiel ist für Evaluatoren enthalten expected_response , die eine Antwort mit einer Referenzantwort vergleichen. Für Evaluatoren wie Relevanz, Kohärenz und die v2-Vorschau-Toolaufruf-Evaluatoren ist keine .expected_response
{
"schemaVersion": "1.0.0",
"items": [
{
"prompt": "string",
"expected_response": "string"
}
]
}
Die Schemaversion 1.6.0 fügt Unterstützung für die Standard- und Elementauswertungskonfiguration, die Evaluatormodussteuerung, benannte Elemente und mehrteilige Konversationen hinzu. Weitere Informationen finden Sie unter Konfigurieren von Auswertungen und Multiturn-Auswertungsmustern.
Wählen Sie die Datasetschemaversion aus, die Ihrer CLI-Version entspricht:
-
CLI v1 (
latest): Verwenden Sie Schema v1. Die Schema v1-Beispiele in diesem Artikel gelten weiterhin. -
CLI v2 (
preview): UseschemaVersion"2.0.0"und der Schema V2-Definition. CLI v2 akzeptiert keine Schema v1- oder nicht versionierten Datasets, unabhängig davon, welche Evaluatoren Sie auswählen.
Zum Auswerten eigenständiger Plug-Ins über Microsoft 365 Copilot ist CLI v2 erforderlich. Toolaufruf-Evaluatoren benötigen ebenfalls CLI v2, unabhängig davon, ob ein eigenständiges Plug-In oder ein deklarativer Agent ausgewertet wird. CLI v1 unterstützt weiterhin das Auswerten deklarativer Agents, einschließlich Agents mit Plug-In-Aktionen, mithilfe der unterstützten Evaluatoren.
Schemafelder
Sie finden das Evaluierungsdatasetschema im JSON-Schemaformat auf GitHub.
| Feld | Type | Erforderlich | Beschreibung |
|---|---|---|---|
schemaVersion |
Zeichenfolge | Erforderlich in CLI v2; empfohlen in CLI v1 | Datasetschemaversion. Verwenden Sie "2.0.0" mit CLI v2 (preview) oder eine unterstützte v1-Schemaversion mit CLI v1 (latest). Abwärtskompatibilität ist innerhalb einer Schemahauptversion garantiert. |
items |
Matrix | Ja | Array von Testelementen. Jedes Element ist entweder ein Eingabeaufforderung/Antwort-Paar mit einer Runde oder eine benannte Konversation mit mehreren Durchläufen. |
description |
Zeichenfolge | Optional | Freitextbeschreibung des Datasets (z. B "Regression tests for Q1 2026 release". ). |
default_evaluators |
Objekt | Optional | Evaluatoren, die auf jedes Element im Dataset angewendet werden, sofern sie nicht überschrieben werden. Jeder Schlüssel ist ein Auswertungsname (z. B "Relevance". ""). "Coherence"Der Wert ist ein Optionsobjekt (für Standardwerte verwenden {} ). Erfordert schemaVersion"1.2.0" oder später. |
items[].prompt |
Zeichenfolge | Bedingter | Der Prompt oder die Anweisung an den Agent Erforderlich für Gegenstände mit einem Umzug. Nicht verwenden mit turns. |
items[].expected_response |
Zeichenfolge | Bedingter | Die für die Bewertung verwendete Referenzantwort. Erforderlich für Evaluatoren wie Similarity, ExactMatch und PartialMatch, aber nicht für Tool-Aufruf-Evaluatoren. Nicht verwenden mit turns. |
items[].name |
Zeichenfolge | Optional | Anzeigename für das Testelement (z. B "Expense policy flow". ). Besonders nützlich zum Identifizieren von Elementen mit Mehrfachdurchläufen in Berichten. |
items[].turns |
Matrix | Bedingter | Geordnetes Array von Drehobjekten für eine Multiturm-Konversation innerhalb eines einzelnen Gegenstands. Jeder Zug enthält prompt, expected_response wenn dies von den ausgewählten Evaluatoren benötigt wird, und optional evaluators und evaluators_mode. Nicht mit der obersten Ebene prompt/expected_responseverwenden. Erfordert schemaVersion"1.2.0" oder später. |
items[].evaluators |
Objekt | Optional | Elementbasierte Auswertungsvorgänge werden außer Kraft gesetzt. Jeder Schlüssel ist ein Auswertungsname; Der Wert ist ein Options-Objekt (z. B { "citation_format": "mixed" }. ). Verhalten hängt von evaluators_modeab. Erfordert schemaVersion"1.2.0" oder später. |
items[].evaluators_mode |
Zeichenfolge | Optional | Steuert die items[].evaluators Kombinationen mit default_evaluators. Verwenden Sie "extend" (Standard), um Evaluatoren pro Element mit Standardwerten zusammenzuführen oder "replace" um nur die Evaluatoren pro Element zu verwenden und Standardwerte zu ignorieren. Erfordert schemaVersion"1.2.0" oder später. |
items[].testId |
Zeichenfolge | Optional | Stabiler Bezeichner für versionsübergreifenden Vergleich (z. B "REG-001". ). |
items[].category |
Zeichenfolge | Optional | Kategorietag (z. B. "knowledge-base", "tool-usage"). |
items[].notes |
Zeichenfolge | Optional | Freihandformnotizen, z. B. eine verknüpfte Fehler-ID |
default_allowed_tools |
Zeichenfolgenarray | Optional | Für das Dataset genehmigte Zustimmungsbezeichner. Informationen zur Verwendung mit Toolaufruf-Evaluatoren in v2 Preview finden Sie unter Zulassen von Toolaufrufen. |
items[].allowed_tools / items[].turns[].allowed_tools |
Zeichenfolgenarray | Optional | Zustimmungsbezeichner, die für eine Eingabeaufforderung oder Wendung genehmigt wurden. Dies sind keine Identitäten von Auswertungstools. |
items[].allowed_tools_mode / items[].turns[].allowed_tools_mode |
Zeichenfolge | Optional |
"extend" (Standard) kombiniert allowed_tools mit default_allowed_tools.
"replace" Verwendet nur die Liste der Eingabeaufforderung oder des Turns. Verwenden Sie "replace" mit allowed_tools: [] , um keine Werkzeugbestätigungsanforderungen für diesen Prompt oder Zug zu genehmigen. |
Konfigurieren von Evaluatoren
Mit der Schemaversion 1.6.0 können Sie steuern, welche Evaluatoren ausgeführt und wie sie konfiguriert werden, sowohl auf Datensatzebene als auch auf Ebene der einzelnen Elemente. Ausführliche Informationen zum Bewertungsverhalten und den Konfigurationsoptionen der einzelnen Bewerter finden Sie in der Referenz zu den Auswertungern.
Standardauswertungen
Wird auf der obersten Ebene verwendet default_evaluators , um Evaluatoren anzugeben, die für jedes Element im Dataset gelten. Jeder Schlüssel ist ein Auswertungsname, und der Wert ist ein Optionsobjekt. Verwenden Sie ein leeres Objekt ({}), um die Auswertung mit ihren Standardeinstellungen anzuwenden.
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Coherence": {}
},
"items": [
{
"prompt": "What is Microsoft Graph?",
"expected_response": "A unified API endpoint for Microsoft services."
}
]
}
In diesem Beispiel wird jedes Element unter Verwendung der Standardeinstellungen für Relevanz und Kohärenz bewertet.
Auswertung pro Element Außerkraftsetzungen
Verwenden Sie das evaluators Feld für ein einzelnes Element (oder einen Turn), um Auswertungen für diesen spezifischen Test hinzuzufügen oder außer Kraft zu setzen. Wird verwendet evaluators_mode , um zu steuern, wie elementbasierte Auswertungen mit Folgendem kombiniert werden default_evaluators:
-
"extend"(Standard) — Führt die Auswertungen pro Element mit den Standardwerten zusammen. Das Element wird sowohl von den Standardbewertern als auch von allen zusätzlichen Bewertern bewertet, die auf dem Element angegeben sind. -
"replace"– Ignoriert die Standardeinstellungen vollständig. Es werden nur die auf dem Element angegebenen Auswertungen verwendet.
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Coherence": {}
},
"items": [
{
"prompt": "What is Microsoft Graph?",
"expected_response": "A unified API endpoint for Microsoft services.",
"evaluators": {
"Citations": { "citation_format": "mixed" }
},
"evaluators_mode": "extend"
}
]
}
In diesem Beispiel wird das Element nach Relevanz (Standard), Kohärenz (Standard) und Zitate mit festgelegt auf citation_format"mixed" (Außerkraftsetzung pro Element) bewertet.
Toolaufrufe zulassen
Konfigurieren Sie beim Auswerten von Toolaufrufen, die eine Bestätigung anfordern, sowohl die Genehmigungs- als auch die Evaluatorerwartungen.
default_allowed_tools auf Dokumentebene und allowed_tools pro Eingabeaufforderung oder Wendung lassen Sie die CLI Toolbestätigungsaufforderungen genehmigen. Jeder angeforderte Zustimmungsbezeichner muss zugelassen werden; Andernfalls bleibt die Eingabeaufforderung mit einem toolCallNotAllowed Fehler stehen.
Wichtig
Das Zulassen eines Anrufs erteilt die Zustimmung. Verwenden Sie überprüfte Szenarien, und beginnen Sie mit schreibgeschützten Vorgängen. Eine Evaluatorerwartung erteilt keine Zustimmung, und die Genehmigung erzwingt weder die Toolauswahl noch den Nachweis der Ausführung. Tools, die keine Bestätigung anfordern, werden nicht von dieser Liste gesteuert, es handelt sich also nicht um eine Sicherheitsgrenze.
Zustimmungsbezeichner unterscheiden sich von der dreiteiligen Toolidentität in der calls[].tool. Teilen Sie keine Zustimmungsbezeichner auf, um Auswertungsfelder aufzufüllen. Informationen zu Ermittlungsbefehlen, Konfiguration und vollständigen Schema v2-Datasets finden Sie unter Tool-Call-Evaluatoren.
Vollständiges Schemabeispiel
Das folgende Beispiel zeigt jedes Schema-Feature in einem einzelnen Dataset: Standardwerte der obersten Ebene, ein Element für einen einzelnen Durchlauf mit Evaluator-Überschreibungen und ein benanntes Element für mehrere Durchläufe mit einer Evaluatorkonfiguration pro Durchgang.
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Coherence": {}
},
"items": [
{
"prompt": "What is Microsoft Graph?",
"expected_response": "A unified API endpoint for Microsoft services.",
"evaluators": {
"Citations": { "citation_format": "mixed" }
},
"evaluators_mode": "extend"
},
{
"name": "Expense policy flow",
"turns": [
{
"prompt": "I spent $250 on dinner. Is that okay?",
"expected_response": "The per-diem meal allowance is $200."
},
{
"prompt": "What should I do about the overage?",
"expected_response": "Request manager approval.",
"evaluators": {
"ExactMatch": { "case_sensitive": false }
},
"evaluators_mode": "replace"
}
]
}
]
}
Wichtige Details in diesem Beispiel:
- Das erste Element ist ein Single-Turn-Test. Er erbt und
Coherencevondefault_evaluatorsund addiertCitationsRelevanceüber den"extend"Modus. - Das zweite Element ist eine benannte Unterhaltung mit mehreren Durchläufen (
"Expense policy flow") mit zwei Umläufen. Der erste Turnus erbt die Standardauswertungen. Der zweite Durchgang verwendet"replace"den Modus, läuft also nurExactMatch- die Standardwerte werden für diesen Zug ignoriert.
Legacy-Arrayschema
Das Tool akzeptiert auch ein bloßes Array aus Gründen der Abwärtskompatibilität:
[
{
"prompt": "Your test prompt here",
"expected_response": "Expected agent response"
}
]
Die CLI aktualisiert ältere Dokumente (fehlend schemaVersion) automatisch auf das versionierte Format und schreibt eine Sicherung mit Zeitstempel.
Dateibenennung und Speicherort
Das Auswertungstool erkennt automatisch Datensatzdateien in Ihrem Projekt.
Reihenfolge der automatischen Ermittlung
Wenn Sie runevalsausführen, sucht das Tool in folgender Reihenfolge nach Datasets:
- Aktuelles Verzeichnis:
prompts.json,evals.json,tests.json -
./evals/Unterverzeichnis:prompts.json,evals.json,tests.json
Empfohlene Projektstruktur
my-agent/
├── .env.local # Agent configuration
├── .env.local.user # Secrets (not committed)
├── evals/
│ ├── evals.json # Main test suite
│ ├── regression-tests.json # Regression scenarios
│ └── edge-cases.json # Edge case testing
└── .evals/
└── results/ # Generated reports
Erstellung von Startdateien
Wenn das Tool keine Datasetdatei findet, werden Sie aufgefordert, eine Startdatei zu erstellen:
⚠️ No prompts file found in current directory or ./evals/
Create a starter evals file with sample prompts? (Y/n):
Beantworten von Y-Erstellungen ./evals/evals.json anhand von Beispielprompts.
Effektive Testprompts entwerfen
Organisieren Sie Ihre Tests in Kategorien, die das Verhalten des Agenten widerspiegeln, den Sie überprüfen möchten.
Wissensüberprüfung
Testen Sie, ob Ihr Agent ordnungsgemäß auf seine Wissensdatenbank zugreift und diese verwendet.
{
"prompt": "What are the key features of our enterprise plan?",
"expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
}
Folgende Anweisungen
Vergewissern Sie sich, dass der Agent bestimmte Anweisungen befolgt.
{
"prompt": "List the top 3 sales leads from last quarter in bullet points.",
"expected_response": "• Contoso Ltd - $500K potential\n• Fabrikam Inc - $350K potential\n• Adventure Works - $280K potential"
}
Verwendung des Tools
Testen Sie, ob der Agent verfügbare Tools und Plug-Ins richtig verwendet.
Das folgende antwortbasierte Beispiel beweist nicht, dass ein Tool ausgewählt oder ausgeführt wurde. Verwenden Sie zum Überprüfen des Laufzeitverhaltens ToolCallSelection oder ToolCallExecution in CLI v2 Preview.
{
"prompt": "What meetings do I have tomorrow?",
"expected_response": "Based on your calendar, you have 3 meetings tomorrow: Team standup at 9 AM, Client presentation at 2 PM, and Project review at 4 PM."
}
Grenzfälle
Testen Sie Randbedingungen und ungewöhnliche Eingaben.
{
"prompt": "Show me sales data from the year 1850.",
"expected_response": "I don't have sales data from 1850 as our company was founded in 1998. Would you like to see data from our earliest available records?"
}
Sicherheit und Angemessenheit
Stellen Sie sicher, dass der Agent unangemessene Anforderungen ordnungsgemäß verarbeitet.
{
"prompt": "Can you write my performance review for me?",
"expected_response": "I can't write your performance review for you, but I can help you gather your accomplishments, suggest a structure, or provide examples of effective self-assessments."
}
Bewährte Methoden für den Testentwurf
Schreiben Sie klare Prompts
Im Folgenden sehen Sie ein Beispiel für eine klare Eingabeaufforderung.
{
"prompt": "What is the return policy for electronics purchased online?",
"expected_response": "Electronics purchased online can be returned within 30 days of delivery in original condition with receipt. Some items like opened software have different policies."
}
Vermeiden Sie mehrdeutige Eingabeaufforderungen wie im folgenden Beispiel.
{
"prompt": "Tell me about returns"
}
Realistische Szenarien einbeziehen
Basieren Sie Tests auf tatsächlichen Benutzerfragen.
{
"prompt": "I need to schedule a meeting with the sales team next week. What times are they all available?",
"expected_response": "I can help you find meeting times. The sales team is available Tuesday at 2 PM, Wednesday at 10 AM, or Thursday at 3 PM next week."
}
Behandlung von Coverfehlern
Testen Sie, wie der Agent Fehler elegant behandelt.
{
"prompt": "Show me sales data for customer XYZ-123",
"expected_response": "I couldn't find a customer with ID XYZ-123. Would you like me to search by company name instead?"
}
Erweiterte Auswertungsszenarien
Auswertungsmuster für mehrere Durchläufe
Schemaversion 1.2.0 und höher unterstützt mehrteilige Konversationen. Verwenden Sie die turns Matrix innerhalb eines Elements, um eine geordnete Abfolge von Eingabeaufforderungen und erwarteten Antworten zu definieren, die einen einzigen Gesprächsfluss bilden. Jeder Durchgang kann optional eine eigene Auswertungskonfiguration enthalten.
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Coherence": {}
},
"items": [
{
"name": "Expense policy flow",
"turns": [
{
"prompt": "I spent $250 on dinner. Is that okay?",
"expected_response": "The per-diem meal allowance is $200."
},
{
"prompt": "What should I do about the overage?",
"expected_response": "Request manager approval.",
"evaluators": {
"ExactMatch": { "case_sensitive": false }
},
"evaluators_mode": "replace"
}
]
}
]
}
Wichtige Details:
- Jedes Element mit einem
turnsArray wird als eine einzelne Unterhaltung ausgewertet. Die Runden werden nacheinander gesendet, wobei jede Runde auf dem Gesprächskontext der vorherigen aufbaut. - Verwenden Sie das
nameFeld, um Elementen mit Mehrfachdurchläufen in Berichten eine lesbare Bezeichnung zu geben. - Sie können sich auf einzelne Runden bewerben
evaluatorsevaluators_mode. Im vorherigen Beispiel verwendet"replace"der zweite Zug den Modus und wird daher nurExactMatchfür diesen Zug ausgeführt.
Muster sequenzieller Elemente (Schemaversion 1.0.0)
Wenn Sie die Schemaversion 1.0.0verwenden, können Sie mehrteilige Unterhaltungen approximieren, indem Sie sequenzielle Elemente entwerfen, bei denen spätere Eingabeaufforderungen auf den Kontext verweisen, der von früheren erstellt wurde. Verwenden Sie einheitliche testId Präfixe und category Tags, um verwandte Elemente in den Ergebnissen zu gruppieren und zu filtern.
{
"schemaVersion": "1.0.0",
"description": "Multi-turn: SharePoint discovery",
"items": [
{
"prompt": "What SharePoint sites does our team have?",
"expected_response": "Your team has 3 SharePoint sites: Project Central, Team Resources, and Client Portal.",
"testId": "MT-001",
"category": "multi-turn"
},
{
"prompt": "Who has access to the Project Central site?",
"expected_response": "Project Central has 15 members: 8 from Engineering, 5 from Product, and 2 from Design.",
"testId": "MT-002",
"category": "multi-turn"
}
]
}
Hinweis
Bei sequenziellen Positionen wird jedes Element einzeln ausgewertet. Der Agent überträgt keinen Unterhaltungskontext zwischen Elementen. Verwenden Sie für eine echte Multiturn-Auswertung mit gemeinsamem Kontext das turns Array mit Schemaversion 1.2.0 oder höher.
Kategorisierung und Bewertung nach Prompt
Verwenden Sie das optionale category Feld, um Elemente zu gruppieren, damit Sie Bewertungen nach Dimension (Wissen, Tools, Sicherheit, Grenzfälle, Regression) analysieren können.
{
"schemaVersion": "1.0.0",
"description": "Q1 2026 release test suite",
"items": [
{
"prompt": "What is our company mission?",
"expected_response": "Our mission is to empower every person and organization...",
"testId": "KB-001",
"category": "knowledge-base"
},
{
"prompt": "What meetings do I have today?",
"expected_response": "You have 2 meetings today...",
"testId": "TOOL-001",
"category": "tool-usage"
}
]
}
Dataset organization strategies
Organisieren Sie bei umfangreichen Projekten Tests nach Kategorie über mehrere Dateien hinweg.
evals/
├── knowledge-base.json # Knowledge verification
├── tool-usage.json # Plugin and action tests
├── conversation-flow.json # Dialog and multi-turn tests
├── edge-cases.json # Boundary conditions
└── regression.json # Previously fixed issues
Führen Sie bestimmte Datasetdateien aus.
runevals --prompts-file ./evals/knowledge-base.json
runevals --prompts-file ./evals/tool-usage.json
Regressionstests
Wenn Sie Probleme beheben, fügen Sie Tests hinzu, um Regressionen zu verhindern. Verwenden Sie testId AND notes , um eine Verknüpfung mit der Fehlernachverfolgung herzustellen.
{
"prompt": "Issue that was previously broken",
"expected_response": "Correct behavior after fix",
"testId": "BUG-456",
"notes": "Regression test for bug #456"
}
Startervorlagen
Grundlegende Agent-Testvorlage
{
"schemaVersion": "1.0.0",
"description": "Basic agent evaluation tests",
"items": [
{
"prompt": "What can you help me with?",
"expected_response": "I can help you with [specific capabilities]."
},
{
"prompt": "Who are you?",
"expected_response": "I'm [agent name], specialized in [domain]."
}
]
}
Wissensdatenbank-Testvorlage
{
"schemaVersion": "1.0.0",
"description": "Knowledge base accuracy tests",
"items": [
{
"prompt": "What is [key concept from your knowledge]?",
"expected_response": "[Accurate definition from knowledge base]"
},
{
"prompt": "How do I [perform key task]?",
"expected_response": "[Step-by-step guidance from knowledge]"
}
]
}
Testvorlage für die Toolverwendung
{
"schemaVersion": "1.0.0",
"description": "Plugin and tool integration tests",
"items": [
{
"prompt": "What's on my calendar today?",
"expected_response": "[Calendar data retrieved via Graph API]"
},
{
"prompt": "Find documents about [topic]",
"expected_response": "[Search results from SharePoint/OneDrive]"
}
]
}
Interaktive und Inline-Tests
Verwenden Sie den interaktiven Modus für explorative Tests ohne Datasetdatei.
runevals --interactive
Für schnelle Tests mit nur einem Prompt übergeben Sie Prompts inline.
runevals --prompts "What is Microsoft Graph?" \
--expected "Microsoft Graph is the API gateway to Microsoft 365 data and intelligence."
Mehrere Eingabeaufforderungen.
runevals --prompts "What is Teams?" "What is SharePoint?" \
--expected "Teams is a collaboration platform" "SharePoint is a content management system"
Informationen zu Bewertungsmetriken
Jeder Test wird automatisch nach mehreren Dimensionen bewertet.
Relevanz (1-5)
Die Relevanz misst, wie gut die Antwort auf die Eingabeaufforderung reagiert:
- 5: Geht perfekt auf die Frage ein
- 3: Geht teilweise auf die Frage ein
- 1: Geht nicht auf die Frage ein
Kohärenz (1-5)
Kohärenz misst, wie logisch und gut strukturiert die Antwort ist:
- 5: Klar, logisch, gut organisiert
- 3: Etwas organisiert, könnte aber klarer sein
- 1: Inkohärent oder verwirrend
Bodenständigkeit (1-5)
Groundedness misst, wie gut die Antwort durch Quellen und Zitate gestützt wird:
- 5: Vollständig geerdet mit entsprechenden Zitaten
- 3: Teilweise mit einigen Zitaten geerdet
- 1: Keine Erdung oder Zitate
Ähnlichkeit (1-5)
Ähnlichkeit misst, wie genau die Antwort mit der erwarteten Ausgabe übereinstimmt:
- 5: Antwort entspricht semantisch der erwarteten Ausgabe
- 3: Antwort stimmt teilweise mit der erwarteten Ausgabe überein
- 1: Antwort stimmt nicht mit der erwarteten Ausgabe überein
Zitate (>= 0)
Zitate ist eine anzahlbasierte Auswertung, die die Anzahl gültiger Zitate in der Antwort zählt. Ein Dutzend bedeutet, 0 dass keine Zitate vorhanden sind. Konfigurieren Sie einen Mindestschwellenwert, um einen Pass/Fail-Balken festzulegen.
Exakter Treffer
ExactMatch ist eine Auswertung für Zeichenfolgenübereinstimmungen mit einem booleschen Ergebnis. Die Antwort wird ausgeführt, wenn sie die erwartete Zeichenfolge genau enthält. Unterstützt eine case_sensitive Option (Standard: false).
PartialMatch (0.0-1.0)
PartialMatch ist eine Auswertung für Zeichenfolgenübereinstimmungen, die ein fortlaufendes Ähnlichkeitsergebnis zwischen 0.0 und 1.0zurückgibt. Verwenden Sie die threshold Option zum Festlegen der Mindestpunktzahl, die zum Bestehen erforderlich ist (Standard: 0.5).
Kontinuierliche Verbesserung
Überprüfen fehlgeschlagener Tests
Wenn Tests schlecht abschneiden:
- Überprüfen Sie die tatsächliche Antwort im Vergleich zur erwarteten Antwort.
- Ermitteln Sie, ob die erwartete Antwort aktualisiert werden muss.
- Prüfen Sie, ob der Agent weitere Trainingsdaten oder Anweisungen benötigt.
- Überprüfen Sie, ob die Toolkonfigurationen korrekt sind.
Nachverfolgen von Spielständen im Zeitverlauf
Speichern Sie die Testergebnisse zum Vergleich verschiedener Versionen.
runevals --output ./evals/results/v1.6.0-results.json