Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Artikel enthält Informationen zur Problembehandlung für die Microsoft 365 Copilot Evaluations-CLI. In den folgenden Abschnitten sind Probleme nach der Phase des Workflows gruppiert, die sie betreffen: Setup, Authentifizierung, Laufzeit und Umgebung.
Probleme mit der Einrichtung
Probleme, die während der Installation oder beim ersten Ausführen der CLI aufgetreten sind.
Fehler bei der Installation
Wenn npm install -g @microsoft/m365-copilot-eval fehlgeschlagen:
- Stellen Sie sicher, dass Sie Node.js 24.12.0 oder höher ausführen:
node --version. - Überprüfen Sie, ob Sie über die Berechtigung zum Installieren globaler npm-Pakete verfügen. Unter Unix/macOS benötigen
sudoSie möglicherweise eine von nvm verwaltete Node-Installation. - Wenn Sie sich hinter einem Unternehmensproxy befinden, lesen Sie Netzwerk- oder Proxyprobleme.
runevals Befehl nicht gefunden
Wenn der Befehl nach der runevals Installation nicht erkannt wird:
# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval
# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval
Wenn das Paket aufgelistet ist, der Befehl aber trotzdem nicht gefunden wird, überprüfen Sie, ob sich Ihr globales bin npm-Verzeichnis auf Ihrem PATHbefindet:
npm bin -g
Fügen Sie das Ausgabeverzeichnis hinzu PATH , wenn es fehlt.
Python-Umgebung vorab zwischenspeichern
Das Tool lädt eine Python-Laufzeit und Abhängigkeiten bei der ersten Ausführung herunter. So richten Sie die Umgebung im Voraus ein, ohne Auswertungen auszuführen:
runevals --init-only
Dies ist nützlich für:
- Vorwärmen des Caches in CI/CD-Pipelines.
- Testen des Setups ohne Auswertungen.
- Isolieren von Installationsproblemen von Bewertungsproblemen.
Für die Problembehandlung beim Setup selbst kombinieren Sie dieses mit der Debugprotokollierung:
runevals --init-only --log-level debug
Probleme mit der Authentifizierung
Probleme mit dem Mandanten-, Agent- oder Microsoft Foundry-Zugriff.
Authentifizierungsfehler
Wenn die Authentifizierung fehlschlägt:
- Überprüfen Sie
TENANT_IDdie Übereinstimmung mit dem Mandanten, in dem Ihr Agent bereitgestellt wird. - Vergewissern Sie sich, dass Sie Windows ausführen. Unterstützung für andere Betriebssysteme ist in Kürze verfügbar.
- Stellen Sie sicher, dass Sie mit dem richtigen Microsoft 365-Konto angemeldet sind.
- Wenn Sie mehrere Mandanten verwenden, melden Sie sich vor dem Ausführen
runevalsvon bei anderen Konten ab.
Mandantenkonflikt
Wenn das Tool eine Verbindung herstellt, aber keinen Agent zurückgibt, stimmen Sie TENANT_ID möglicherweise nicht mit dem Mandanten überein, in dem der Agent bereitgestellt wird. Verifizieren Sie die Mandanten-ID, indem Sie Folgendes ausführen:
az account show --query tenantId
Sie können auch den Anweisungen unter "Erforderliche Umgebungsvariablen" folgen.
Foundry-Bewertungsfehler
Wenn die Auswertungsbewertung mit einem 401- oder 403-Fehler fehlschlägt:
- Stellen Sie sicher, dass Sie mit der Azure-Befehlszeilenschnittstelle (
az login) bei dem Mandanten angemeldet sind, der Ihr Microsoft Foundry-Projekt hostet. - Vergewissern Sie sich, dass Ihr Konto über die Rolle "Azure KI-Entwickler" für das Foundry-Projekt verfügt.
- Bestätigung
AZURE_AI_PROJECT_ENDPOINTverweist auf das richtige Microsoft Foundry-Projekt. - Überprüfen Sie, ob
gpt-5-mini(oder das in festgelegteAZURE_AI_MODEL_NAMEModell) in Ihrem Microsoft Foundry-Projekt bereitgestellt wird.
Laufzeitprobleme
Probleme, die beim Ausführen von Auswertungen nach erfolgreichem Setup auftreten.
Agent nicht gefunden
Wenn das Tool Ihren Agent nicht finden kann:
- Vergewissern Sie sich
M365_AGENT_ID, dass diese korrekt ist. Bei Agents Toolkit-Projekten erkennt die CLI es automatisch vonM365_TITLE_IDin.env.local, also überprüfen Sie stattdessen diesen Wert – siehe Abrufen Ihrer Agenten-ID. - Vergewissern Sie sich, dass Ihr Agent für den Mandanten bereitgestellt ist, der von angegeben wird
TENANT_ID. - Stellen Sie sicher, dass Sie über die Berechtigung für den Zugriff auf den Agent verfügen.
- Versuchen Sie, die Agent-ID explizit anzugeben:
runevals --m365-agent-id "<your-agent-id>".
Auswertungsfehler
Wenn die Auswertung beginnt, aber mitten im Lauf fehlschlägt:
- Führen Sie eine ausführliche Protokollierung aus, um detaillierte Fehler anzuzeigen:
runevals --log-level debug. - Überprüfen Sie die Exitcodes für die allgemeine Fehlerkategorie. Siehe Exitcodes in der CLI-Referenz.
Warnung
Die --log-level debug Option kann unformatierte API-Nutzlasten und Antwortdaten in der Konsolenausgabe enthalten. Die Schwärzung ist musterbasiert und erfasst möglicherweise nicht alle persönlichen Informationen oder benutzerdefinierten Anmeldeinformationen. Geben Sie die Ausgabe auf Debug-Ebene nicht ohne manuelle Überprüfung öffentlich frei.
Probleme bei der Auswertung von Tool-Anrufen (v2-Vorschau)
ToolCallSelection und ToolCallExecution erfordern @microsoft/m365-copilot-eval@preview ein Schema v2. Sie sind in Version 1 nicht verfügbar (latest).
| Symptom | Aktion |
|---|---|
toolCallNotAllowed |
Überprüfen Sie die angeforderten Zustimmungsbezeichner und genehmigen Sie die beabsichtigten Vorgänge mit default_allowed_tools oder allowed_tools. Die Erwartungen des Bewerters gewähren keine Zustimmung. |
toolCallEvidenceIndeterminate |
Suchen diagnostics.tool_calls Sie nach nicht verfügbaren Beweisen oder HTTP-Ergebnissen, die nicht analysiert werden können. Ein Fehler ist kein Pass oder notwendigerweise ein Agent-Defekt. |
| Der erwartete Anruf stimmt nicht überein | Beachte plugin_iddie Groß-/Kleinschreibung , toolset_idund function_name.
plugin_id ist die Titel-ID des Pakets, nicht plugin.id. |
| Gespeicherte Ergebnisse für Toolaufrufe können nicht erneut bewertet werden | Bestätigen Sie, dass die gespeicherten Elemente oder Umläufe die gespeicherte und aufbewahrte Diagnose enthaltenresponse. Beweise, die unterdrückt wurden, EVALS_SUPPRESS_DIAGNOSTICS=true sind nicht für die Wiedergabe verfügbar. |
| Eine Plug-In-Evaluierung zielt auf einen Agent ab | Entfernen Sie einen Legacy AGENT_ID aus Ihrer Shell und geladenen Umgebungsdateien, und lassen Sie M365_AGENT_ID--m365-agent-idden Abschnitt aus. |
Erkennungsbefehle, Beispiele und die Unterscheidung zwischen Fehlern und Fehlern finden Sie unter Tool-Call-Auswertungen.
Umweltprobleme
Probleme mit der zwischengespeicherten Python-Runtime, dem Cacheverzeichnis oder der Netzwerkkonnektivität.
Cacheprobleme
Das Auswertungstool verwendet einen lokalen Cache für die Python-Laufzeit und -Abhängigkeiten.
# View cache info
runevals cache-info
# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug
Probleme mit Berechtigungen
Wenn Cachevorgänge mit Berechtigungsfehlern fehlschlagen:
# View the cache directory path
runevals cache-dir
# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)
# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T
Netzwerk- oder Proxyprobleme
Wenn die Initialisierung hinter einem Unternehmensproxy fehlschlägt:
# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080
# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"
# Retry initialization with verbose output
runevals --init-only --log-level debug
Support erhalten
Wenn die Schritte zur Problembehandlung weiter oben in diesem Artikel Ihr Problem nicht beheben, melden Sie ein Problem im GitHub-Repository "Microsoft 365 Copilot Evaluations".
Bevor Sie ein Problem melden, sammeln Sie Folgendes:
- CLI-Version:
runevals --version. - Der genaue Befehl, den du ausgeführt hast.
- Fehlerausgabe (schwärzen Sie alle personenbezogenen Daten, Schlüssel oder mandantenspezifischen Bezeichner).
- Ihr Betriebssystem und Node.js Version:
node --version.
So melden Sie das Problem:
- Öffnen Sie ein neues Problem bei Microsoft 365 Copilot Bewertungsprobleme.
- Wenden Sie die entsprechende Bezeichnung an (z. B
setup. ,authentication,runtime,environment), um die Selektierung zu erleichtern.