Problembehandlung bei der Microsoft 365 Copilot Evaluations-CLI

Dieser Artikel enthält Informationen zur Problembehandlung für die Microsoft 365 Copilot Evaluations-CLI. In den folgenden Abschnitten sind Probleme nach der Phase des Workflows gruppiert, die sie betreffen: Setup, Authentifizierung, Laufzeit und Umgebung.

Probleme mit der Einrichtung

Probleme, die während der Installation oder beim ersten Ausführen der CLI aufgetreten sind.

Fehler bei der Installation

Wenn npm install -g @microsoft/m365-copilot-eval fehlgeschlagen:

  • Stellen Sie sicher, dass Sie Node.js 24.12.0 oder höher ausführen: node --version.
  • Überprüfen Sie, ob Sie über die Berechtigung zum Installieren globaler npm-Pakete verfügen. Unter Unix/macOS benötigen sudo Sie möglicherweise eine von nvm verwaltete Node-Installation.
  • Wenn Sie sich hinter einem Unternehmensproxy befinden, lesen Sie Netzwerk- oder Proxyprobleme.

runevals Befehl nicht gefunden

Wenn der Befehl nach der runevals Installation nicht erkannt wird:

# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval

# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval

Wenn das Paket aufgelistet ist, der Befehl aber trotzdem nicht gefunden wird, überprüfen Sie, ob sich Ihr globales bin npm-Verzeichnis auf Ihrem PATHbefindet:

npm bin -g

Fügen Sie das Ausgabeverzeichnis hinzu PATH , wenn es fehlt.

Python-Umgebung vorab zwischenspeichern

Das Tool lädt eine Python-Laufzeit und Abhängigkeiten bei der ersten Ausführung herunter. So richten Sie die Umgebung im Voraus ein, ohne Auswertungen auszuführen:

runevals --init-only

Dies ist nützlich für:

  • Vorwärmen des Caches in CI/CD-Pipelines.
  • Testen des Setups ohne Auswertungen.
  • Isolieren von Installationsproblemen von Bewertungsproblemen.

Für die Problembehandlung beim Setup selbst kombinieren Sie dieses mit der Debugprotokollierung:

runevals --init-only --log-level debug

Probleme mit der Authentifizierung

Probleme mit dem Mandanten-, Agent- oder Microsoft Foundry-Zugriff.

Authentifizierungsfehler

Wenn die Authentifizierung fehlschlägt:

  • Überprüfen Sie TENANT_ID die Übereinstimmung mit dem Mandanten, in dem Ihr Agent bereitgestellt wird.
  • Vergewissern Sie sich, dass Sie Windows ausführen. Unterstützung für andere Betriebssysteme ist in Kürze verfügbar.
  • Stellen Sie sicher, dass Sie mit dem richtigen Microsoft 365-Konto angemeldet sind.
  • Wenn Sie mehrere Mandanten verwenden, melden Sie sich vor dem Ausführen runevalsvon bei anderen Konten ab.

Mandantenkonflikt

Wenn das Tool eine Verbindung herstellt, aber keinen Agent zurückgibt, stimmen Sie TENANT_ID möglicherweise nicht mit dem Mandanten überein, in dem der Agent bereitgestellt wird. Verifizieren Sie die Mandanten-ID, indem Sie Folgendes ausführen:

az account show --query tenantId

Sie können auch den Anweisungen unter "Erforderliche Umgebungsvariablen" folgen.

Foundry-Bewertungsfehler

Wenn die Auswertungsbewertung mit einem 401- oder 403-Fehler fehlschlägt:

  • Stellen Sie sicher, dass Sie mit der Azure-Befehlszeilenschnittstelle (az login) bei dem Mandanten angemeldet sind, der Ihr Microsoft Foundry-Projekt hostet.
  • Vergewissern Sie sich, dass Ihr Konto über die Rolle "Azure KI-Entwickler" für das Foundry-Projekt verfügt.
  • Bestätigung AZURE_AI_PROJECT_ENDPOINT verweist auf das richtige Microsoft Foundry-Projekt.
  • Überprüfen Sie, ob gpt-5-mini (oder das in festgelegte AZURE_AI_MODEL_NAMEModell) in Ihrem Microsoft Foundry-Projekt bereitgestellt wird.

Laufzeitprobleme

Probleme, die beim Ausführen von Auswertungen nach erfolgreichem Setup auftreten.

Agent nicht gefunden

Wenn das Tool Ihren Agent nicht finden kann:

  • Vergewissern Sie sich M365_AGENT_ID , dass diese korrekt ist. Bei Agents Toolkit-Projekten erkennt die CLI es automatisch von M365_TITLE_ID in .env.local, also überprüfen Sie stattdessen diesen Wert – siehe Abrufen Ihrer Agenten-ID.
  • Vergewissern Sie sich, dass Ihr Agent für den Mandanten bereitgestellt ist, der von angegeben wird TENANT_ID.
  • Stellen Sie sicher, dass Sie über die Berechtigung für den Zugriff auf den Agent verfügen.
  • Versuchen Sie, die Agent-ID explizit anzugeben: runevals --m365-agent-id "<your-agent-id>".

Auswertungsfehler

Wenn die Auswertung beginnt, aber mitten im Lauf fehlschlägt:

  • Führen Sie eine ausführliche Protokollierung aus, um detaillierte Fehler anzuzeigen: runevals --log-level debug.
  • Überprüfen Sie die Exitcodes für die allgemeine Fehlerkategorie. Siehe Exitcodes in der CLI-Referenz.

Warnung

Die --log-level debug Option kann unformatierte API-Nutzlasten und Antwortdaten in der Konsolenausgabe enthalten. Die Schwärzung ist musterbasiert und erfasst möglicherweise nicht alle persönlichen Informationen oder benutzerdefinierten Anmeldeinformationen. Geben Sie die Ausgabe auf Debug-Ebene nicht ohne manuelle Überprüfung öffentlich frei.

Probleme bei der Auswertung von Tool-Anrufen (v2-Vorschau)

ToolCallSelection und ToolCallExecution erfordern @microsoft/m365-copilot-eval@preview ein Schema v2. Sie sind in Version 1 nicht verfügbar (latest).

Symptom Aktion
toolCallNotAllowed Überprüfen Sie die angeforderten Zustimmungsbezeichner und genehmigen Sie die beabsichtigten Vorgänge mit default_allowed_tools oder allowed_tools. Die Erwartungen des Bewerters gewähren keine Zustimmung.
toolCallEvidenceIndeterminate Suchen diagnostics.tool_calls Sie nach nicht verfügbaren Beweisen oder HTTP-Ergebnissen, die nicht analysiert werden können. Ein Fehler ist kein Pass oder notwendigerweise ein Agent-Defekt.
Der erwartete Anruf stimmt nicht überein Beachte plugin_iddie Groß-/Kleinschreibung , toolset_idund function_name. plugin_id ist die Titel-ID des Pakets, nicht plugin.id.
Gespeicherte Ergebnisse für Toolaufrufe können nicht erneut bewertet werden Bestätigen Sie, dass die gespeicherten Elemente oder Umläufe die gespeicherte und aufbewahrte Diagnose enthaltenresponse. Beweise, die unterdrückt wurden, EVALS_SUPPRESS_DIAGNOSTICS=true sind nicht für die Wiedergabe verfügbar.
Eine Plug-In-Evaluierung zielt auf einen Agent ab Entfernen Sie einen Legacy AGENT_ID aus Ihrer Shell und geladenen Umgebungsdateien, und lassen Sie M365_AGENT_ID--m365-agent-idden Abschnitt aus.

Erkennungsbefehle, Beispiele und die Unterscheidung zwischen Fehlern und Fehlern finden Sie unter Tool-Call-Auswertungen.

Umweltprobleme

Probleme mit der zwischengespeicherten Python-Runtime, dem Cacheverzeichnis oder der Netzwerkkonnektivität.

Cacheprobleme

Das Auswertungstool verwendet einen lokalen Cache für die Python-Laufzeit und -Abhängigkeiten.

# View cache info
runevals cache-info

# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug

Probleme mit Berechtigungen

Wenn Cachevorgänge mit Berechtigungsfehlern fehlschlagen:

# View the cache directory path
runevals cache-dir

# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)

# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T

Netzwerk- oder Proxyprobleme

Wenn die Initialisierung hinter einem Unternehmensproxy fehlschlägt:

# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080

# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"

# Retry initialization with verbose output
runevals --init-only --log-level debug

Support erhalten

Wenn die Schritte zur Problembehandlung weiter oben in diesem Artikel Ihr Problem nicht beheben, melden Sie ein Problem im GitHub-Repository "Microsoft 365 Copilot Evaluations".

Bevor Sie ein Problem melden, sammeln Sie Folgendes:

  • CLI-Version: runevals --version.
  • Der genaue Befehl, den du ausgeführt hast.
  • Fehlerausgabe (schwärzen Sie alle personenbezogenen Daten, Schlüssel oder mandantenspezifischen Bezeichner).
  • Ihr Betriebssystem und Node.js Version: node --version.

So melden Sie das Problem:

  • Öffnen Sie ein neues Problem bei Microsoft 365 Copilot Bewertungsprobleme.
  • Wenden Sie die entsprechende Bezeichnung an (z. B setup. , authentication, runtime, environment), um die Selektierung zu erleichtern.