Microsoft 365 Copilot 평가 CLI 문제 해결

이 문서에서는 Microsoft 365 Copilot 평가 CLI에 대한 문제 해결 정보를 제공합니다. 다음 섹션에서는 영향을 받는 워크플로의 단계(설정, 인증, 런타임 및 환경)별로 문제를 그룹화합니다.

설정 문제

설치 중 또는 CLI를 처음 실행할 때 발생하는 문제점입니다.

설치 실패

실패하는 경우 npm install -g @microsoft/m365-copilot-eval :

  • Node.js 24.12.0 이상을 실행하고 있는지 확인합니다. node --version
  • 전역 npm 패키지를 설치할 수 있는 권한이 있는지 확인합니다. Unix/macOS에서는 nvm 관리 노드 설치가 필요할 sudo 수 있습니다.
  • 회사 프록시 뒤에 있는 경우 네트워크 또는 프록시 문제를 참조하세요.

runevals 명령을 찾을 수 없음

설치 후 명령이 runevals 인식되지 않는 경우:

# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval

# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval

패키지가 나열되어 있지만 명령을 찾을 수 없는 경우 npm 전역 bin 디렉터리가 다음에 있는지 검사합니다.PATH

npm bin -g

누락된 경우 출력 디렉터리 PATH 를 추가합니다.

Python 환경 사전 캐시

이 도구는 처음 실행 시 Python 런타임 및 종속성을 다운로드합니다. 평가를 실행하지 않고 미리 환경을 설정하려면 다음을 수행합니다.

runevals --init-only

이 기능은 다음과 같은 경우에 유용합니다.

  • CI/CD 파이프라인에서 캐시 예열
  • 평가를 실행하지 않고 설정을 테스트합니다.
  • 평가 문제와 설치 문제를 격리합니다.

설정 자체의 문제를 해결하기 위해 디버그 로깅과 결합합니다.

runevals --init-only --log-level debug

인증 문제

테넌트, 에이전트 또는 Microsoft Foundry 액세스 관련 문제입니다.

인증 오류

인증에 실패하는 경우:

  • 에이전트가 배포된 테넌트와 일치하는지 확인합니다 TENANT_ID .
  • Windows에서 실행 중인지 확인합니다. 다른 운영 체제에 대한 지원이 곧 제공될 예정입니다.
  • 올바른 Microsoft 365 계정에 로그인했는지 확인합니다.
  • 여러 테넌트를 사용하는 경우 실행 runevals전에 다른 계정에서 로그아웃합니다.

테넌트 불일치

도구가 연결되지만 에이전트를 반환하지 않는 경우 TENANT_ID 에이전트가 배포된 테넌트와 일치하지 않을 수 있습니다. 다음을 실행하여 테넌트 ID를 확인합니다.

az account show --query tenantId

필수 환경 변수의 지침을 따라도 됩니다.

Foundry 점수 매기기 오류

401 또는 403 오류로 평가 점수가 매겨지지 않는 경우:

  • Microsoft Foundry 프로젝트를 호스트하는 테넌트에 Azure CLI(az login)를 사용하여 로그인했는지 확인합니다.
  • 계정에 Foundry 프로젝트에 대한 Azure AI 개발자 역할이 있는지 확인합니다.
  • 확인은 AZURE_AI_PROJECT_ENDPOINT 올바른 Microsoft Foundry 프로젝트를 가리킵니다.
  • (또는 에 AZURE_AI_MODEL_NAME설정된 모델)이 Microsoft Foundry 프로젝트에 배포되었는지 확인합니다 gpt-5-mini .

런타임 문제

성공적으로 설정한 후 평가를 실행할 때 발생하는 문제

에이전트를 찾을 수 없음

도구에서 에이전트를 찾을 수 없는 경우:

  • 확인이 올바른지 확인합니다 M365_AGENT_ID . 에이전트 도구 키트 프로젝트의 경우 CLI가 M365_TITLE_ID 에서 .env.local자동으로 검색하므로 대신 해당 값을 검사하십시오.
  • 에이전트가 에서 지정한 TENANT_ID테넌트에 배포되었는지 확인합니다.
  • 에이전트에 액세스할 수 있는 권한이 있는지 확인합니다.
  • 에이전트 ID를 명시적으로 지정해 보세요. runevals --m365-agent-id "<your-agent-id>"

평가 실패

평가가 시작되지만 실행 중에 실패하는 경우:

  • 자세한 오류를 보려면 자세한 정보 로깅을 사용하여 실행합니다 runevals --log-level debug.
  • 일반 오류 범주에 대한 종료 코드를 확인합니다. CLI 참조의 종료 코드를 참조하십시오.

경고

이 옵션에는 --log-level debug 콘솔 출력에 원시 API 페이로드 및 응답 데이터가 포함될 수 있습니다. 수정은 패턴 기반이며 모든 PII 또는 사용자 지정 자격 증명을 포착하지 못할 수 있습니다. 수동 검토 없이 디버그 수준 출력을 공개적으로 공유하지 마세요.

도구 호출 평가 문제(v2 미리 보기)

ToolCallSelection 및 ToolCallExecution에는 스키마 v2가 필요합니다 @microsoft/m365-copilot-eval@preview . v1에서는 사용할 수 없습니다(latest).

증상 조치
toolCallNotAllowed 요청된 동의 식별자를 검토하고 또는 allowed_tools를 사용하여 default_allowed_tools 의도한 작업을 승인합니다. 평가자의 기대치는 동의를 부여하지 않습니다.
toolCallEvidenceIndeterminate 구문 분석할 수 없는 사용 불가능한 증명 또는 HTTP 결과가 있는지 검사 diagnostics.tool_calls 합니다. 오류는 통과 또는 반드시 에이전트 결함이 아닙니다.
예상된 호출이 일치하지 않음 대소문자를 구분하는 plugin_id, toolset_id, 및 function_name를 선택합니다. plugin_id 가 아닌 plugin.id패키지 타이틀 ID입니다.
저장된 도구 호출 결과는 다시 점수를 매길 수 없습니다. 저장된 항목 또는 턴에 포함 및 유지된 진단이 있는지 response 확인합니다. 다음으로 EVALS_SUPPRESS_DIAGNOSTICS=true 불표시된 증거는 재생에 사용할 수 없습니다.
플러그 인 평가는 에이전트를 대상으로 합니다. 셸과 로드된 환경 파일--m365-agent-id에서 and 레거시 AGENT_ID 를 제거하고 M365_AGENT_ID .

검색 명령, 예제 및 실패와 오류 간의 구분은 도구 호출 계산기를 참조하십시오.

환경 문제

캐시된 Python 런타임, 캐시 디렉터리 또는 네트워크 연결 문제입니다.

캐시 문제

평가 도구는 Python 런타임 및 종속성에 로컬 캐시를 사용합니다.

# View cache info
runevals cache-info

# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug

권한 문제

캐시 작업이 권한 오류로 실패하는 경우:

# View the cache directory path
runevals cache-dir

# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)

# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T

네트워크 또는 프록시 문제

회사 프록시 뒤에서 초기화에 실패하는 경우:

# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080

# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"

# Retry initialization with verbose output
runevals --init-only --log-level debug

지원 받기

이 문서의 앞부분에 있는 문제 해결 단계로 문제가 resolve 되지 않으면 Microsoft 365 Copilot 평가 GitHub 리포지토리에 문제를 제출하세요.

문제를 제기하기 전에 다음을 수집합니다.

  • CLI 버전: runevals --version.
  • 실행한 명령과 정확히 일치합니다.
  • 오류 출력(PII, 키 또는 테넌트별 식별자 삭제).
  • 운영 체제 및 Node.js 버전: node --version.

문제를 제출하려면 다음을 수행합니다.

  • Microsoft 365 Copilot 평가 문제에서 새 문제를 엽니다.
  • 심사를 돕기 위해 적절한 레이블(예: setup, authentication, runtime, environment)을 적용합니다.