Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Die Microsoft 365 Copilot Agent Evaluation CLI (@microsoft/m365-copilot-eval) unterstützt Sie beim Testen, Messen und Verbessern der Qualität Ihrer Agents mit strukturierten Auswertungen und umfangreichen Ergebnisberichten mit KI-basierter Bewertung.
Hinweis
Die Agent-Auswertungs-CLI befindet sich derzeit in der Vorschauphase. Features und Funktionen können geändert werden.
Mögliche Aktionen
Das Auswertungstool bietet die folgenden Funktionen:
- Führen Sie Batch- und interaktive Auswertungen aus.
- Automatisches Bewerten von Antworten mithilfe von Azure KI - und Machine Learning-Auswertungsmetriken.
- Testen Sie mithilfe von JSON-Datasets, Inlineeingabeaufforderungen oder interaktiven Eingaben.
- Generieren sie Berichte im HTML-, JSON- oder CSV-Format.
Auswertungsmetriken
Jede Antwort wird mithilfe von Standardauswertungsmetriken bewertet.
| Evaluator | Typ | Skalierung | Standardschwellenwert | Default |
|---|---|---|---|---|
| Relevanz | LLM-basiert | 1-5 | 3 | Ja |
| Kohärenz | LLM-basiert | 1-5 | 3 | Ja |
| Erdung | LLM-basiert | 1-5 | 3 | Nein |
| Ähnlichkeit | LLM-basiert | 1-5 | 3 | Nein |
| Zitate | Anzahlbasiert | >= 0 | 1 | Nein |
| ExactMatch | Zeichenfolgen-Übereinstimmung | Boolescher Wert | Nicht zutreffend | Nein |
| PartialMatch | Zeichenfolgen-Übereinstimmung | 0.0-1.0 | 0.5 | Nein |
Funktionsweise des Auswertungsworkflows
Auswertungen folgen einem konsistenten Workflow:
- Installieren und konfigurieren Sie die CLI.
- Geben Sie die Umgebungskonfiguration und Anmeldeinformationen an.
- Erstellen Sie ein Dataset mit Testaufforderungen.
- Führen Sie Auswertungen für Ihren Agent aus.
- Überprüfen Sie die Ergebnisse, und durchlaufen Sie sie.
Erforderliche Umgebungsvariablen
Das Auswertungstool verwendet Umgebungsvariablen zum Authentifizieren und Herstellen einer Verbindung mit Ihrem Mandanten und Azure OpenAI in Foundry Models-Ressource.
| Variable | Beschreibung | Default |
|---|---|---|
TENANT_ID |
Microsoft Entra Mandanten-ID an, in der Ihr Agent bereitgestellt wird. | Keine |
AZURE_AI_OPENAI_ENDPOINT |
Azure OpenAI-Endpunkt-URL. | Keine |
AZURE_AI_API_KEY |
Azure OpenAI-API-Schlüssel. | Keine |
M365_TITLE_ID (optional) |
Titel-ID, die zur automatischen Erkennung der Microsoft 365-Agent-ID für die Auswertung verwendet wird. | Keine |
M365_AGENT_ID (optional) |
Explizite Agent-ID für die Auswertung. | Automatisch erkannt von M365_TITLE_ID |
AZURE_AI_API_VERSION |
Azure Version der OpenAI-REST-API. | 2024-12-01-preview |
AZURE_AI_MODEL_NAME |
Name der Modellbereitstellung in Ihrer Azure OpenAI in Foundry Models-Ressource. | gpt-4o-mini |
Diese Werte ermöglichen die Authentifizierung und ermöglichen es dem Tool, die LLM-basierte Auswertungsbewertung auszuführen. Ausführliche Informationen zum Abrufen dieser Werte finden Sie unter Abrufen von Werten für Umgebungsvariablen.