이 문서에서는 Microsoft 365 Copilot 평가 CLI에 대한 문제 해결 정보를 제공합니다. 다음 섹션에서는 영향을 받는 워크플로의 단계(설정, 인증, 런타임 및 환경)별로 문제를 그룹화합니다.
설정 문제
설치 중 또는 CLI를 처음 실행할 때 발생하는 문제점입니다.
설치 실패
실패하는 경우 npm install -g @microsoft/m365-copilot-eval :
- Node.js 24.12.0 이상을 실행하고 있는지 확인합니다.
node --version - 전역 npm 패키지를 설치할 수 있는 권한이 있는지 확인합니다. Unix/macOS에서는 nvm 관리 노드 설치가 필요할
sudo수 있습니다. - 회사 프록시 뒤에 있는 경우 네트워크 또는 프록시 문제를 참조하세요.
runevals 명령을 찾을 수 없음
설치 후 명령이 runevals 인식되지 않는 경우:
# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval
# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval
패키지가 나열되어 있지만 명령을 찾을 수 없는 경우 npm 전역 bin 디렉터리가 다음에 있는지 검사합니다.PATH
npm bin -g
누락된 경우 출력 디렉터리 PATH 를 추가합니다.
Python 환경 사전 캐시
이 도구는 처음 실행 시 Python 런타임 및 종속성을 다운로드합니다. 평가를 실행하지 않고 미리 환경을 설정하려면 다음을 수행합니다.
runevals --init-only
이 기능은 다음과 같은 경우에 유용합니다.
- CI/CD 파이프라인에서 캐시 예열
- 평가를 실행하지 않고 설정을 테스트합니다.
- 평가 문제와 설치 문제를 격리합니다.
설정 자체의 문제를 해결하기 위해 디버그 로깅과 결합합니다.
runevals --init-only --log-level debug
인증 문제
테넌트, 에이전트 또는 Microsoft Foundry 액세스 관련 문제입니다.
인증 오류
인증에 실패하는 경우:
- 에이전트가 배포된 테넌트와 일치하는지 확인합니다
TENANT_ID. - Windows에서 실행 중인지 확인합니다. 다른 운영 체제에 대한 지원이 곧 제공될 예정입니다.
- 올바른 Microsoft 365 계정에 로그인했는지 확인합니다.
- 여러 테넌트를 사용하는 경우 실행
runevals전에 다른 계정에서 로그아웃합니다.
테넌트 불일치
도구가 연결되지만 에이전트를 반환하지 않는 경우 TENANT_ID 에이전트가 배포된 테넌트와 일치하지 않을 수 있습니다. 다음을 실행하여 테넌트 ID를 확인합니다.
az account show --query tenantId
필수 환경 변수의 지침을 따라도 됩니다.
Foundry 점수 매기기 오류
401 또는 403 오류로 평가 점수가 매겨지지 않는 경우:
- Microsoft Foundry 프로젝트를 호스트하는 테넌트에 Azure CLI(
az login)를 사용하여 로그인했는지 확인합니다. - 계정에 Foundry 프로젝트에 대한 Azure AI 개발자 역할이 있는지 확인합니다.
- 확인은
AZURE_AI_PROJECT_ENDPOINT올바른 Microsoft Foundry 프로젝트를 가리킵니다. - (또는 에
AZURE_AI_MODEL_NAME설정된 모델)이 Microsoft Foundry 프로젝트에 배포되었는지 확인합니다gpt-5-mini.
런타임 문제
성공적으로 설정한 후 평가를 실행할 때 발생하는 문제
에이전트를 찾을 수 없음
도구에서 에이전트를 찾을 수 없는 경우:
- 확인이 올바른지 확인합니다
M365_AGENT_ID. 에이전트 도구 키트 프로젝트의 경우 CLI가M365_TITLE_ID에서.env.local자동으로 검색하므로 대신 해당 값을 검사하십시오. - 에이전트가 에서 지정한
TENANT_ID테넌트에 배포되었는지 확인합니다. - 에이전트에 액세스할 수 있는 권한이 있는지 확인합니다.
- 에이전트 ID를 명시적으로 지정해 보세요.
runevals --m365-agent-id "<your-agent-id>"
평가 실패
평가가 시작되지만 실행 중에 실패하는 경우:
- 자세한 오류를 보려면 자세한 정보 로깅을 사용하여 실행합니다
runevals --log-level debug. - 일반 오류 범주에 대한 종료 코드를 확인합니다. CLI 참조의 종료 코드를 참조하십시오.
경고
이 옵션에는 --log-level debug 콘솔 출력에 원시 API 페이로드 및 응답 데이터가 포함될 수 있습니다. 수정은 패턴 기반이며 모든 PII 또는 사용자 지정 자격 증명을 포착하지 못할 수 있습니다. 수동 검토 없이 디버그 수준 출력을 공개적으로 공유하지 마세요.
도구 호출 평가 문제(v2 미리 보기)
ToolCallSelection 및 ToolCallExecution에는 스키마 v2가 필요합니다 @microsoft/m365-copilot-eval@preview . v1에서는 사용할 수 없습니다(latest).
| 증상 | 조치 |
|---|---|
toolCallNotAllowed |
요청된 동의 식별자를 검토하고 또는 allowed_tools를 사용하여 default_allowed_tools 의도한 작업을 승인합니다. 평가자의 기대치는 동의를 부여하지 않습니다. |
toolCallEvidenceIndeterminate |
구문 분석할 수 없는 사용 불가능한 증명 또는 HTTP 결과가 있는지 검사 diagnostics.tool_calls 합니다. 오류는 통과 또는 반드시 에이전트 결함이 아닙니다. |
| 예상된 호출이 일치하지 않음 | 대소문자를 구분하는 plugin_id, toolset_id, 및 function_name를 선택합니다.
plugin_id 가 아닌 plugin.id패키지 타이틀 ID입니다. |
| 저장된 도구 호출 결과는 다시 점수를 매길 수 없습니다. | 저장된 항목 또는 턴에 포함 및 유지된 진단이 있는지 response 확인합니다. 다음으로 EVALS_SUPPRESS_DIAGNOSTICS=true 불표시된 증거는 재생에 사용할 수 없습니다. |
| 플러그 인 평가는 에이전트를 대상으로 합니다. | 셸과 로드된 환경 파일--m365-agent-id에서 and 레거시 AGENT_ID 를 제거하고 M365_AGENT_ID . |
검색 명령, 예제 및 실패와 오류 간의 구분은 도구 호출 계산기를 참조하십시오.
환경 문제
캐시된 Python 런타임, 캐시 디렉터리 또는 네트워크 연결 문제입니다.
캐시 문제
평가 도구는 Python 런타임 및 종속성에 로컬 캐시를 사용합니다.
# View cache info
runevals cache-info
# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug
권한 문제
캐시 작업이 권한 오류로 실패하는 경우:
# View the cache directory path
runevals cache-dir
# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)
# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T
네트워크 또는 프록시 문제
회사 프록시 뒤에서 초기화에 실패하는 경우:
# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080
# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"
# Retry initialization with verbose output
runevals --init-only --log-level debug
지원 받기
이 문서의 앞부분에 있는 문제 해결 단계로 문제가 resolve 되지 않으면 Microsoft 365 Copilot 평가 GitHub 리포지토리에 문제를 제출하세요.
문제를 제기하기 전에 다음을 수집합니다.
- CLI 버전:
runevals --version. - 실행한 명령과 정확히 일치합니다.
- 오류 출력(PII, 키 또는 테넌트별 식별자 삭제).
- 운영 체제 및 Node.js 버전:
node --version.
문제를 제출하려면 다음을 수행합니다.
- Microsoft 365 Copilot 평가 문제에서 새 문제를 엽니다.
- 심사를 돕기 위해 적절한 레이블(예:
setup,authentication,runtime,environment)을 적용합니다.