Microsoft 365 Copilot 평가 CLI(@microsoft/m365-copilot-eval)는 환경 변수에서 연결 및 인증 설정을 읽습니다. 이 문서에서는 각 값을 가져올 수 있는 위치를 보여 줍니다.
변수 목록과 변수를 배치할 위치는 Microsoft 365 Copilot 평가 CLI 개요 및 빠른 시작: Microsoft 365 Copilot 평가 CLI 사용을 참조하세요.
시작하기 전에
값을 수집하기 전에 다음 항목을 수집합니다.
- Microsoft Foundry 프로젝트에서 Azure OpenAI 모델을 호스트하는 Azure 구독에 액세스합니다.
- Copilot 에이전트가 배포된 Microsoft 365 테넌트에 로그인합니다.
- Microsoft Foundry 프로젝트의 Azure AI 개발자 역할입니다. 모델을 배포할 수 없거나 프로젝트에 액세스할 수 없는 경우 구독 관리자에게 문의하세요.
테넌트 ID 가져오기 (TENANT_ID)
TENANT_ID에이전트가 배포된 Microsoft Entra 테넌트 ID입니다. 형식의 GUID입니다.xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
다음 방법 중 하나를 사용합니다.
옵션 1: Microsoft Entra 관리 센터
- 대상 테넌트의 계정으로 Microsoft Entra 관리 센터에 로그인합니다.
- ID>개요를 선택합니다.
- 테넌트 ID 값을 복사합니다.
옵션 2: Azure CLI
Azure CLI가 설치된 경우:
az account show --query tenantId --output tsv
여러 테넌트에 속해 있는 경우 먼저 올바른 테넌트에 로그인합니다.
az login --tenant <tenant-domain-or-id>
옵션 3: Azure Portal
- Azure Portal에 로그인합니다.
- 포털 메뉴에서 Microsoft Entra ID를 선택합니다.
- 개요 페이지에서 테넌트 ID를 복사합니다.
팁
연결했지만 에이전트를 찾을 수 없다고 보고하는 경우 runevals 가장 일반적인 원인 TENANT_ID 은 에이전트가 배포된 테넌트와 일치하지 않는 것입니다.
테넌트 불일치를 참조하세요.
Microsoft Foundry에서 GPT-5 미니 모델 배포
평가 도구는 GPT-5 모델이 있는 Microsoft Foundry 프로젝트를 사용하여 클라우드 평가를 통해 응답의 점수를 매깁니다. GPT-5 mini를 사용하는 것이 좋지만 어떤 GPT-5 모델이든 사용할 수 있습니다. 프로젝트 엔드포인트(AZURE_AI_PROJECT_ENDPOINT) 및 모델 배포 이름(AZURE_AI_MODEL_NAME)이 필요합니다. Foundry 경로는 Microsoft Entra로 인증되므로 API 키가 필요하지 않습니다.
배포된 모델이 있는 Microsoft Foundry 프로젝트가 아직 없는 경우 다음 단계에 따라 모델을 만듭니다.
Azure Portal에 로그인합니다.
검색 창에 OpenAI를 입력하고 결과에서 Azure OpenAI를 선택합니다.
만들기를 선택하여 Microsoft Foundry 리소스를 만듭니다.
AI Foundry 리소스 만들기 양식에서 세부 정보를 입력한 다음 검토 + 만들기를 선택합니다.
리소스가 배포된 후 Microsoft Foundry 포털을 엽니다.
왼쪽 탐색 창에서 모델 + 엔드포인트를 선택합니다.
모델> 배포 기본모델 배포를 선택합니다. gpt-5-mini 모델을 선택합니다. GPT-5 mini는 Foundry 클라우드 평가 경로에서 지원됩니다.
확인을 선택한 다음 사용자 지정을 선택합니다.
평가 워크로드에 필요한 만큼 용량을 조정합니다.
배포를 선택하고 배포가 성공으로 보고될 때까지 기다립니다.
Foundry 프로젝트 홈페이지에서 프로젝트 끝점을 복사합니다. 이 값은 에 대한
AZURE_AI_PROJECT_ENDPOINT것입니다.최근 작업에서 GPT-5 미니 배포를 선택합니다. 배포의 세부 정보 탭에서 배포 이름을 복사합니다. 이 값은 에 대한
AZURE_AI_MODEL_NAME것입니다.이러한 값을 env 파일에 추가합니다. 자세한 내용은 빠른 시작의 3단계를 참조하세요.
Microsoft Entra로 로그인
Foundry 클라우드 평가 경로는 API 키 대신 Microsoft Entra 인증을 사용합니다. 평가를 실행하기 전에 다음과 같이 Azure CLI로 로그인합니다.
az login
Foundry 프로젝트가 다른 테넌트에 있는 경우 해당 테넌트에 로그인합니다.
az login --tenant <tenant-id>
Foundry 프로젝트에 Azure AI 개발자 역할이 필요합니다.
에이전트 ID 받기 (M365_AGENT_ID)
M365_AGENT_ID 테스트 프롬프트를 보내는 runevals Copilot 에이전트를 식별합니다. CLI는 다음 두 가지 형식을 허용합니다.
- 사용자 범위:
U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx - 테넌트 범위:
T_<agent-name>.declarativeAgent
Microsoft 365 에이전트 도구 키트 프로젝트
Microsoft 365 에이전트 도구 키트를 사용하여 에이전트를 빌드한 경우 직접 설정할 M365_AGENT_ID 필요가 없습니다. CLI는 프로비저닝 중에 에이전트 도구 키트가 쓰 .env.local 는 에이전트 ID를 M365_TITLE_ID자동으로 검색합니다.
확인하려면 프로젝트 루트를 열고 .env.local 다음과 유사한 줄을 찾습니다.
M365_TITLE_ID="U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
비 Microsoft 365 에이전트 도구 키트 프로젝트
에서 명시적으로 env/.env.<environment>설정 M365_AGENT_ID . 에이전트가 게시된 위치(예: Microsoft Teams 관리 센터, Microsoft 365 관리 센터 또는 게시 파이프라인의 배포 출력)에서 값을 가져옵니다.
런타임에 에이전트 재정의
env 파일을 편집하지 않고 다른 에이전트를 평가하려면 명령줄을 전달 --m365-agent-id 합니다.
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
자세한 내용은 CLI 참조를 참조하세요 --m365-agent-id .
모델 배포 설정
두 개의 변수는 CLI가 채점에 사용하는 Microsoft Foundry 프로젝트 및 모델 배포를 제어합니다.
AZURE_AI_MODEL_NAME 에는 작업 기본값이 있으므로 기본값을 적용하거나 환경에서 두 값을 모두 명시적으로 설정할 수 있습니다.
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # deployment name in Foundry
| 변수 | Default | 변경 시기 |
|---|---|---|
AZURE_AI_PROJECT_ENDPOINT |
None | 항상 이 값을 채점에 사용되는 Microsoft Foundry 프로젝트의 끝점으로 설정합니다. |
AZURE_AI_MODEL_NAME |
gpt-5-mini |
Microsoft Foundry 프로젝트에서 다른 배포를 사용하여 점수를 매기려고 합니다. |
AZURE_AI_MODEL_NAME 배포 이름과 Microsoft Foundry 프로젝트에 표시되는 이름과 정확하게 일치해야 합니다.
Foundry에서 가져오기 AZURE_AI_MODEL_NAME
- Microsoft Foundry 포털에 로그인하고 프로젝트를 엽니다.
- 모델 + 엔드포인트를 선택합니다.
- 점수 매기기에 사용할 모델의 배포 이름을 복사합니다.
값 유효성 검사
값을 수집하고 적절한 환경 파일에 추가한 후( 빠른 시작의 3단계 참조) 다음을 실행합니다.
runevals --init-only --log-level debug
이 명령은 환경을 로드하고, Python 런타임을 초기화하고, 평가를 실행하지 않고 구성 오류를 노출합니다. 오류 없이 완료되면 값이 올바르게 로드된 것입니다.
경고
--log-level debug 원시 API 페이로드를 인쇄할 수 있습니다. 공유하기 전에 출력을 검토합니다. 수정은 패턴 기반이며 모든 키 또는 식별자를 포착하지 못할 수 있습니다.
문제 해결
발생할 수 있는 문제를 해결하려면 다음 표를 사용하세요.
| 증상 | 가능한 원인 | 다음 단계 |
|---|---|---|
| 시작 시 인증 오류 | 잘못된 Microsoft 365 계정에 로그인했거나 TENANT_ID 상담원의 테넌트와 일치하지 않습니다. |
인증 오류를 참조하세요. |
| 도구가 연결되지만 에이전트를 찾을 수 없음 |
TENANT_ID 일치하지 않거나 에이전트가 해당 테넌트에 배포되지 않았습니다. |
테넌트 불일치를 참조하세요. |
| 401 또는 403으로 점수 매기기 실패 | 로 로그인az login하지 않았거나 계정에 Foundry 프로젝트에 대한 Azure AI 개발자 역할이 없습니다. |
Foundry 점수 매기기 오류를 참조하세요. |
| env 파일의 값은 무시됩니다. | 우선 순위의 앞쪽에 있는 다른 env 파일이 동일한 변수를 설정합니다. | 환경 파일 우선 순위를 참조하세요. |