Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Mit der Microsoft 365 Copilot Evaluations-CLI (@microsoft/m365-copilot-eval), früher Agent-Evaluierungs-CLI genannt, können Sie die Qualität Ihrer Agents mit strukturierten Auswertungen und Ergebnisberichten testen, messen und verbessern. Die CLI v2-Vorschau unterstützt auch die Auswertung von Microsoft 365 Copilot-Antworten, die Plug-Ins verwenden.
Wichtig
Beginnen Sie für bereitgestellte deklarative Agents mit Work IQ Dev Tools für einen geführten Workflow. Work IQ Dev Tools verwaltet die kompatible CLI-Version von Microsoft 365 Copilot Evaluations und macht sie verfügbar über wiqd agent eval. Verwenden Sie die eigenständige CLI-Anleitung in diesem Abschnitt, wenn Sie eine Befehlssteuerung auf niedrigerer Ebene benötigen oder einen bestehenden runevals Workflow verwalten.
CLI-Version auswählen
Der Name und runevals der Befehl des npm-Pakets bleiben unverändert.
| Version | npm-Tag | Umfang der Auswertung |
|---|---|---|
| v1 | latest |
Bereitgestellte Agents. Diese Version wird in der Schnellstartanleitung behandelt. |
| v2 Vorschau | preview |
Bereitgestellte Agents und Microsoft 365 Copilot-Antworten, die Plug-Ins verwenden. Erforderlich für Tool-Call-Evaluatoren mit Schema v2. |
In der v2-Vorschau wertet eine Ausführung ohne konfigurierte Agent-ID den Microsoft 365 Copilot-Chat aus, anstatt einen Agent auszuwählen. Stellen Sie für Plug-In-Ausführungen zuerst das Plug-In in Copilot bereit und aktivieren Sie es, und entfernen Sie M365_AGENT_ID ein Legacy AGENT_ID aus Ihrer Shell und geladenen Umgebungsdateien. Dieses Setup wertet die Copilot-Erfahrung und keinen Plug-In-Endpunkt isoliert aus.
Beispiele für eine Vorschauinstallation und für Tool-Call-Datasets finden Sie unter Tool-Call-Evaluatoren.
Mögliche Aktionen
Das Evaluierungstool bietet die folgenden Funktionen:
- Führen Sie Stapel- und interaktive Auswertungen aus.
- Bewerten Sie die Antworten automatisch mithilfe der Microsoft Foundry-Cloudauswertung und der integrierten Metriken.
- Teste mit JSON-Datasets, Inline-Prompts oder interaktiven Eingaben.
- Generieren Sie Berichte im HTML-, JSON- oder CSV-Format.
Auswertung Metriken
Antwortauswertungen bewerten die Antwortqualität. Toolaufruf-Auswertungen untersuchen die Laufzeit-Diagnosen anstelle von Antworttexten.
| Evaluator | Type | Scale | Standardschwellenwert | Standard |
|---|---|---|---|---|
| Relevanz | LLM-basiert | 1-5 | 3 | Ja |
| Kohärenz | LLM-basiert | 1-5 | 3 | Ja |
| Groundedness | LLM-basiert | 1-5 | 3 | Nein |
| Ähnlichkeit | LLM-basiert | 1-5 | 3 | Nein |
| RetrievalQuery | Nicht-LLM | Erfolgreich/nicht bestanden | N/V | Nein |
| RetrievalResult | Nicht-LLM | Proportional | 1,0 | Nein |
| ToolCallSelection (v2-Vorschau) | Nicht-LLM | Bestanden/Fehler/Fehler | 1.0, behoben | Nein |
| ToolCallExecution (v2-Vorschau) | Nicht-LLM | Bestanden/Fehler/Fehler | 1.0, behoben | Nein |
| Zitate | Anzahlbasiert | >= 0 | 1 | Nein |
| Exakter Treffer | Übereinstimmung der Zeichenfolge | Boolescher Wert | N/V | Nein |
| PartialMatch | Übereinstimmung der Zeichenfolge | 0.0-1.0 | 0,5 | Nein |
Ausführliche Informationen zu den einzelnen Evaluatoren, einschließlich Konfigurationsoptionen und Beispieldatasets, finden Sie in der Referenz zu Evaluatoren.
Funktionsweise des Bewertungsworkflows
Auswertungen folgen einem einheitlichen Workflow:
- Installieren und konfigurieren Sie die CLI.
- Geben Sie die Umgebungskonfiguration und Anmeldeinformationen an.
- Erstellen Sie ein Dataset mit Testeingabeaufforderungen.
- Führen Sie Bewertungen für Ihren Agent aus.
- Überprüfen Sie die Ergebnisse und wiederholen Sie sie.
Erforderliche Umgebungsvariablen
Das Evaluierungstool verwendet Umgebungsvariablen zur Authentifizierung und Verbindung mit Ihrem Mandanten und Microsoft Foundry-Projekt. Die folgenden Einstellungen beschreiben den Workflow der v1-Agent-Auswertung. Läufe, die nur deterministische Evaluatoren verwenden, einschließlich Tool-Call-Evaluatoren in der v2-Vorschau, erfordern keine Microsoft Foundry-Bewertungskonfiguration.
| Variable | Beschreibung | Standard |
|---|---|---|
TENANT_ID |
Microsoft Entra-Mandanten-ID, in der Ihr Agent bereitgestellt wird. | Keine |
AZURE_AI_PROJECT_ENDPOINT |
Microsoft Foundry-Projektendpunkt, der für die Cloud-Auswertung verwendet wird. Für den Microsoft Foundry LLM-Juror erforderlich, nicht für deterministische Evaluatoren. | Keine |
AZURE_AI_MODEL_NAME |
Modellimplementierungsname in Ihrem Microsoft Foundry-Projekt. | gpt-5-mini |
M365_TITLE_ID (optional) |
Titel-ID, die für die automatische Erkennung der Microsoft 365-Agent-ID für die Auswertung verwendet wird. | Keine |
M365_AGENT_ID (optional) |
Explizite Agent-ID für die Auswertung. | Automatisch erkannt von M365_TITLE_ID |
Diese Werte aktivieren die Authentifizierung und ermöglichen dem Tool die Ausführung einer LLM-basierten Auswertungsbewertung mithilfe von Microsoft Foundry. Weitere Informationen zum Abrufen dieser Werte finden Sie unter Abrufen von Werten für Umgebungsvariablen.