Microsoft 365 Copilot Auswertungen CLI-Übersicht

Mit der Microsoft 365 Copilot Evaluations-CLI (@microsoft/m365-copilot-eval), früher Agent-Evaluierungs-CLI genannt, können Sie die Qualität Ihrer Agents mit strukturierten Auswertungen und Ergebnisberichten testen, messen und verbessern. Die CLI v2-Vorschau unterstützt auch die Auswertung von Microsoft 365 Copilot-Antworten, die Plug-Ins verwenden.

Wichtig

Beginnen Sie für bereitgestellte deklarative Agents mit Work IQ Dev Tools für einen geführten Workflow. Work IQ Dev Tools verwaltet die kompatible CLI-Version von Microsoft 365 Copilot Evaluations und macht sie verfügbar über wiqd agent eval. Verwenden Sie die eigenständige CLI-Anleitung in diesem Abschnitt, wenn Sie eine Befehlssteuerung auf niedrigerer Ebene benötigen oder einen bestehenden runevals Workflow verwalten.

CLI-Version auswählen

Der Name und runevals der Befehl des npm-Pakets bleiben unverändert.

Version npm-Tag Umfang der Auswertung
v1 latest Bereitgestellte Agents. Diese Version wird in der Schnellstartanleitung behandelt.
v2 Vorschau preview Bereitgestellte Agents und Microsoft 365 Copilot-Antworten, die Plug-Ins verwenden. Erforderlich für Tool-Call-Evaluatoren mit Schema v2.

In der v2-Vorschau wertet eine Ausführung ohne konfigurierte Agent-ID den Microsoft 365 Copilot-Chat aus, anstatt einen Agent auszuwählen. Stellen Sie für Plug-In-Ausführungen zuerst das Plug-In in Copilot bereit und aktivieren Sie es, und entfernen Sie M365_AGENT_ID ein Legacy AGENT_ID aus Ihrer Shell und geladenen Umgebungsdateien. Dieses Setup wertet die Copilot-Erfahrung und keinen Plug-In-Endpunkt isoliert aus.

Beispiele für eine Vorschauinstallation und für Tool-Call-Datasets finden Sie unter Tool-Call-Evaluatoren.

Mögliche Aktionen

Das Evaluierungstool bietet die folgenden Funktionen:

  • Führen Sie Stapel- und interaktive Auswertungen aus.
  • Bewerten Sie die Antworten automatisch mithilfe der Microsoft Foundry-Cloudauswertung und der integrierten Metriken.
  • Teste mit JSON-Datasets, Inline-Prompts oder interaktiven Eingaben.
  • Generieren Sie Berichte im HTML-, JSON- oder CSV-Format.

Auswertung Metriken

Antwortauswertungen bewerten die Antwortqualität. Toolaufruf-Auswertungen untersuchen die Laufzeit-Diagnosen anstelle von Antworttexten.

Evaluator Type Scale Standardschwellenwert Standard
Relevanz LLM-basiert 1-5 3 Ja
Kohärenz LLM-basiert 1-5 3 Ja
Groundedness LLM-basiert 1-5 3 Nein
Ähnlichkeit LLM-basiert 1-5 3 Nein
RetrievalQuery Nicht-LLM Erfolgreich/nicht bestanden N/V Nein
RetrievalResult Nicht-LLM Proportional 1,0 Nein
ToolCallSelection (v2-Vorschau) Nicht-LLM Bestanden/Fehler/Fehler 1.0, behoben Nein
ToolCallExecution (v2-Vorschau) Nicht-LLM Bestanden/Fehler/Fehler 1.0, behoben Nein
Zitate Anzahlbasiert >= 0 1 Nein
Exakter Treffer Übereinstimmung der Zeichenfolge Boolescher Wert N/V Nein
PartialMatch Übereinstimmung der Zeichenfolge 0.0-1.0 0,5 Nein

Ausführliche Informationen zu den einzelnen Evaluatoren, einschließlich Konfigurationsoptionen und Beispieldatasets, finden Sie in der Referenz zu Evaluatoren.

Funktionsweise des Bewertungsworkflows

Auswertungen folgen einem einheitlichen Workflow:

  1. Installieren und konfigurieren Sie die CLI.
  2. Geben Sie die Umgebungskonfiguration und Anmeldeinformationen an.
  3. Erstellen Sie ein Dataset mit Testeingabeaufforderungen.
  4. Führen Sie Bewertungen für Ihren Agent aus.
  5. Überprüfen Sie die Ergebnisse und wiederholen Sie sie.

Erforderliche Umgebungsvariablen

Das Evaluierungstool verwendet Umgebungsvariablen zur Authentifizierung und Verbindung mit Ihrem Mandanten und Microsoft Foundry-Projekt. Die folgenden Einstellungen beschreiben den Workflow der v1-Agent-Auswertung. Läufe, die nur deterministische Evaluatoren verwenden, einschließlich Tool-Call-Evaluatoren in der v2-Vorschau, erfordern keine Microsoft Foundry-Bewertungskonfiguration.

Variable Beschreibung Standard
TENANT_ID Microsoft Entra-Mandanten-ID, in der Ihr Agent bereitgestellt wird. Keine
AZURE_AI_PROJECT_ENDPOINT Microsoft Foundry-Projektendpunkt, der für die Cloud-Auswertung verwendet wird. Für den Microsoft Foundry LLM-Juror erforderlich, nicht für deterministische Evaluatoren. Keine
AZURE_AI_MODEL_NAME Modellimplementierungsname in Ihrem Microsoft Foundry-Projekt. gpt-5-mini
M365_TITLE_ID (optional) Titel-ID, die für die automatische Erkennung der Microsoft 365-Agent-ID für die Auswertung verwendet wird. Keine
M365_AGENT_ID (optional) Explizite Agent-ID für die Auswertung. Automatisch erkannt von M365_TITLE_ID

Diese Werte aktivieren die Authentifizierung und ermöglichen dem Tool die Ausführung einer LLM-basierten Auswertungsbewertung mithilfe von Microsoft Foundry. Weitere Informationen zum Abrufen dieser Werte finden Sie unter Abrufen von Werten für Umgebungsvariablen.