Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Интерфейс командной строки оценки Microsoft 365 Copilot (@microsoft/m365-copilot-eval) помогает проверять, измерять и повышать качество работы агентов с помощью автоматической оценки запросов и скоринга на основе искусственного интеллекта. В этом кратком руководстве описывается установка интерфейса командной строки, настройка среды, создание первого набора данных и выполнение оценки.
Примечание
В этом кратком руководстве для оценки развернутого агента используется интерфейс командной строки версии 1 (latest). Предварительную версию CLI версии 2, сценарии подключаемых модулей и новые средства оценивания ToolCallSelection и ToolCallExecution см. в статье Оценщики вызова инструментов.
Важно
Для развернутых декларативных агентов начните с Work IQ Dev Tools для управляемого рабочего процесса. Средства разработчика Work IQ управляют совместимой версией CLI оценок Microsoft 365 Copilot, поэтому вам не нужно устанавливать @microsoft/m365-copilot-eval что-либо глобально. Следуйте этому краткому руководству, когда вам нужно управление командами более низкого уровня или обслуживание существующего runevals рабочего процесса.
Необходимые условия
Прежде чем начать, убедитесь, что у вас есть:
- Агент Microsoft 365 Copilot, развернутый для вашего клиента.
-
Node.js 24.12.0 или более поздней версии (используется
node --versionдля проверка). - Кредиты Copilot, доступные в вашем клиенте. Интерфейс командной строки оценки Microsoft 365 Copilot использует кредиты Copilot при отправке запросов на тестирование вашему агенту. Администратор клиента включает выставление счетов на основе использования (лимитное) в Центре администрирования Microsoft 365, перейдя в узел"Управление затратамиCopilot>". Подробнее см. в статье Управление кредитами Copilot.
- Проект Microsoft Foundry с моделью GPT-5, развернутой для оценки ответов. Дополнительные сведения см. в статье Получение значений переменных среды.
- Согласие администратора Microsoft Entra предоставлено для Work IQ в вашем клиенте. Если вы не являетесь администратором клиента, попросите его предоставить согласие перед первым запуском
runevals. Дополнительные сведения см. в статье Предоставление согласия администратора. - Идентификатор клиента и конечная точка проекта Microsoft Foundry. Если у вас нет этих значений, см. Получение значений для переменных среды.
Примечание
В этом кратком руководстве предполагается, что вы используете среду разработки Windows. Поддержка проверки подлинности для других операционных систем ожидается в ближайшее время.
Шаг 1. Установка интерфейса командной строки
Установите интерфейс командной строки Microsoft 365 Copilot версии 1 по всему миру с помощью npm:
npm install -g @microsoft/m365-copilot-eval@latest
Проверка установки:
runevals --version
После установки runevals команда будет доступна глобально в вашей системе.
Шаг 2. Настройте структуру проекта
Запустите средство оценки из каталога проекта агента Microsoft 365 (где находится код агента), а не из репозитория средства оценки.
cd /path/to/your-agent-project
Проект агента должен включать следующие файлы и папки:
my-agent/
├── .env.local # Agent configuration (Agents Toolkit projects)
├── .env.local.user # Secrets — never committed
├── evals/
│ └── evals.json # Your test dataset (auto-discovered)
└── .evals/
└── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)
Вы создаете набор данных на шаге evals/evals.json 4. Папка .evals/ отчета создается автоматически при первом запуске.
Шаг 3. Настройка переменных среды
Выберите вариант, соответствующий типу проекта.
Совет
Если вы создали агент с помощью набора средств агентов Microsoft 365, у вас уже есть .env.local конфигурация агента. Создайте .env.local.user в своем проекте корень секретов.
Проекты набора средств агентов Microsoft 365
Вы не устанавливаете M365_AGENT_ID напрямую — интерфейс командной строки определяет его автоматически .env.localиз M365_TITLE_ID . Дополнительные сведения см. в разделе "Получение идентификатора агента".
Добавьте секреты в .env.local.user:
# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default
Интерфейс командной строки оценки Microsoft 365 Copilot оценивает ответы с помощью облачной оценки Microsoft Foundry, которая проверяет подлинность с помощью Microsoft Entra. Перед запуском runevalsвойдите с помощью интерфейса командной строки Azure (az login). Дополнительные сведения об этих значениях см. в статье Получение значений переменных среды.
Добавьте .env.local.user в свой .gitignore:
# User-specific secrets — never commit
.env.local.user
env/.env.local.user
Шаг 4. Создание первого набора данных
Создавайте evals/evals.json с помощью небольшого набора запросов и ожидаемых ответов. В этом примере используется простейшая допустимая схема для оценок одного поворота.
{
"schemaVersion": "1.0.0",
"items": [
{
"prompt": "What is Microsoft 365?",
"expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
},
{
"prompt": "How do I share a file in Microsoft Teams?",
"expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
}
]
}
Совет
Если вы пропустите этот шаг, средство предложит сгенерировать стартовый файл с примерами запросов при первом запуске runevals.
Полную схему набора данных, категории и расширенные шаблоны см. в статье "Создание наборов тестов для оценки".
Шаг 5. Проведение первой оценки
Для проектов набора средств агентов (автоматически используется .env.local и .env.local.user):
runevals
Для проектов, не связанных с набором средств агентов:
runevals --env dev
Шаг 6. Подтверждение успешной настройки
Успешный забег производит:
Сообщение о завершении в терминале, аналогичное следующему сообщению.
Microsoft 365 Copilot Evaluations CLI Loading environment: dev Agent ID: T_my-agent.declarativeAgent Using prompts file: ./evals/evals.json Running evaluations... Evals completed successfully! Results saved to: ./.evals/2026-04-22_14-30-45.htmlВ
./.evals/YYYY-MM-DD_HH-MM-SS.htmlбраузере автоматически откроется сохраненный HTML-отчет.
Отчет включает оценки для каждого запроса.
| Оценщик | Type (Тип) | Масштаб | Пороговое значение по умолчанию | По умолчанию |
|---|---|---|---|---|
| Релевантность | На основе LLM | 1-5 | 3 | Да |
| Согласованность | На основе LLM | 1-5 | 3 | Да |
| Заземленность | На основе LLM | 1-5 | 3 | Нет |
| Сходство | На основе LLM | 1-5 | 3 | Нет |
| Ссылки | На основе количества | >= 0 | 1 | Нет |
| ExactMatch | Соответствие строки | логическое значение | Н/Д | Нет |
| Частичный матч | Соответствие строки | 0.0-1.0 | 0,5 | Нет |
Если вы не видите эти результаты, см. раздел "Устранение неполадок".