Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье представлен полный справочник по командной строке runevals для команды, которая является частью пакета @microsoft/m365-copilot-eval .
Синопсис
runevals [options]
runevals cache-info
runevals cache-clear
runevals cache-dir
Описание
Команда runevals оценивает агентов Microsoft 365 Copilot, отправляя тестовые запросы и оценивая ответы с помощью облачной оценки Microsoft Foundry и встроенных метрик. Средство поддерживает пакетное вычисление из файлов JSON, встроенные запросы и интерактивное тестирование.
CLI v1 использует тег npm latest . CLI версии 2 использует preview и оценивает ответы Copilot, в которых используются подключаемые модули. В версии 2 запуск без настроенного идентификатора агента оценивает чат Microsoft 365 Copilot. Примеры настройки предварительной версии и схемы версии 2 см. в статье Анализаторы вызова инструментов.
Параметры
-V, --version
Выведите номер версии инструмента CLI.
Пример:
runevals --version
Выход:
1.15.0
--log-level [level]
Настройка уровня детализации журнала. Доступные уровни: debug, info, warning, . error
-
По умолчанию: если вы используете флаг без значения, по умолчанию он имеет значение
info. - debug: подробные сведения об отладке, включая полезные данные API.
- Информация: Общая информация о ходе оценки.
- Предупреждение: Только предупреждающие сообщения.
- ошибка: только сообщения об ошибках.
Примеры:
# Info level (default when flag is present)
runevals --log-level
# Debug level
runevals --log-level debug
# Error level only
runevals --log-level error
Предупреждение
Уровень debug может включать необработанные полезные данные API и данные ответов в выходных данных консоли. Редактирование основано на шаблонах и может не перехватывать все личные данные или учетные данные. Не публикуйте результаты отладки публично без ручной проверки.
--prompts <prompts...>
Укажите один или несколько запросов непосредственно в командной строке для быстрого тестирования без создания файла.
Примеры:
# Single prompt
runevals --prompts "What is Microsoft 365?"
# Multiple prompts
runevals --prompts "What is Teams?" "What is SharePoint?" "What is OneDrive?"
--expected <responses...>
Предоставьте ожидаемые ответы для сопровождения запросов, указанных с --promptsпомощью . Количество ответов должно соответствовать количеству запросов.
Пример:
runevals --prompts "What is Microsoft Graph?" \
--expected "Microsoft Graph is the API gateway to Microsoft 365 data and intelligence."
Несколько запросов и ответов:
runevals --prompts "What is Teams?" "What is SharePoint?" \
--expected "Teams is a collaboration platform" "SharePoint is a content management system"
--prompts-file <file>
Укажите пользовательский JSON-файл, содержащий запросы для тестирования. Этот файл переопределяет автоматическое обнаружение.
Пример:
runevals --prompts-file ./tests/my-custom-tests.json
Формат файла:
[
{
"prompt": "Test question",
"expected_response": "Expected answer"
}
]
Полную схему набора данных см. в разделе Схема набора данных и дизайн тестов.
-o, --output <file>
Укажите путь к выходному файлу и его формат. Формат определяется расширением файла.
Поддерживаемые форматы:
-
.html- HTML-отчет (по умолчанию, автоматически открывается в браузере) -
.json- Результаты JSON -
.csv- Электронная таблица CSV
Примеры:
# HTML output
runevals --output ./reports/results.html
# JSON output
runevals --output ./results/eval-results.json
# CSV output
runevals --output ./data/scores.csv
Поведение по умолчанию:
Без --output, команда сохраняет результаты в ./.evals/YYYY-MM-DD_HH-MM-SS.html.
-i, --interactive
Войдите в интерактивный режим для ввода и тестирования запроса вручную.
Пример:
runevals --interactive
В интерактивном режиме вам предлагается вводить подсказки по одной, чтобы вы могли провести произвольное тестирование.
--m365-agent-id <id>
Переопределение идентификатора агента для оценки конкретного агента. Этот параметр полезен при тестировании нескольких агентов или когда идентификатор агента не может быть определен автоматически.
Пример:
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
Форматы идентификаторов агентов:
- Область действия пользователя:
U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx - В области клиента:
T_agent-name.declarativeAgent
В сценариях предварительного просмотра подключаемого модуля версии 2 пропустите этот параметр и удалите и устаревшие M365_AGENT_IDAGENT_ID файлы оболочки и загруженной среды.
--list-tools <agent-id> (Версия 2, ознакомительная версия)
Перечислите идентификаторы согласия и готовые к копированию идентификаторы оценщика для действий декларативного агента. Этот параметр не поддерживается для автономных подключаемых модулей. Динамически обнаруживаемые инструменты могут не отображаться; Подтвердите их личности после diagnostics.tool_calls оценки.
npx -y --package @microsoft/m365-copilot-eval@preview runevals --list-tools "<your-agent-id>"
Имена согласия отдельного плагина и идентификатор оценщика, состоящий из трех частей, см. в разделе Поиск имен вызовов инструментов.
--evaluate-only <file>
Повторно оценивайте сохраненные ответы и доступные средства диагностики без выполнения запросов. Каждый предмет или ход должен включать в себя .response Настройте судью, если вы выбираете оценщиков на основе LLM; Проверка подлинности выполнения Microsoft 365 не требуется.
runevals --evaluate-only results\captured-responses.json --output results\rescored.html
Для повторного оценивания вызова инструмента требуется предварительный просмотр CLI версии 2 и сохраненное свидетельство вызова инструмента. Дополнительные сведения см. в разделе "Диагностика и оценка сохраненных ответов".
--env <environment>
Укажите конфигурацию среды для загрузки. Этот параметр загружает env/.env.<environment>.
По умолчанию: dev (загружает env/.env.dev)
Примеры:
# Load env/.env.dev (default)
runevals --env dev
# Load env/.env.prod
runevals --env prod
# Load env/.env.staging
runevals --env staging
Приоритет файлов среды:
-
.env.local(автоматическое обнаружение для проектов набора средств агентов) -
.env.local.user(секреты, автоматическая загрузка при наличии) -
env/.env.<environment>(указывается )--env - Переменные системной среды
--init-only
Инициализирует среду Python и скачивает зависимости без выполнения оценок. Это поле полезно в следующих случаях:
- Предварительный подогрев кэша в конвейерах CI/CD
- Устранение неполадок при установке
- Проверка настроек перед запуском тестов
Пример:
runevals --init-only
Для устранения неполадок сочетайте этот параметр со следующими значениями --log-level debug:
runevals --init-only --log-level debug
-h, --help
Отображение справочных сведений о доступных командах и параметрах.
Пример:
runevals --help
Команды кэша
Средство оценки использует локальный кэш для среды выполнения и зависимостей Python. Эти команды помогут вам управлять кэшем.
cache-info
Отображает статистику кэшированной среды Python, включая размер, расположение и установленные пакеты.
Пример:
runevals cache-info
Выход:
Cache Information
Location: C:\Users\YourName\.m365-copilot-eval\cache
Size: 245 MB
Python Version: 3.11.5
Packages: 42 installed
Last updated: 2026-04-10 14:23:15
cache-clear
Удаляет кэшированную среду Python и все загруженные зависимости. Используйте эту команду при устранении неполадок с установкой или освобождении места на диске.
Пример:
runevals cache-clear
Дальнейшие действия:
После очистки кэша повторно инициализируйте:
runevals --init-only
cache-dir
Выводит абсолютный путь к каталогу кэша. Эта функция полезна для сценариев или ручной проверки.
Пример:
runevals cache-dir
Выход:
C:\Users\YourName\.m365-copilot-eval\cache
Использование в сценариях:
# Check cache directory permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)
# View cache contents
ls -lah $(runevals cache-dir)
Переменные среды
Средство считывает конфигурацию из файлов среды и системных переменных. Пошаговые инструкции по получению этих значений см. в разделе Обязательные переменные среды.
Обязательные переменные
| переменная | Описание | Пример |
|---|---|---|
TENANT_ID |
ИД клиента Microsoft Entra | xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx |
AZURE_AI_PROJECT_ENDPOINT |
Конечная точка проекта Microsoft Foundry для оценки на основе LLM. Не требуется для детерминированной оценки. | https://<account>.services.ai.azure.com/api/projects/<project> |
Необязательные переменные
| переменная | Описание | По умолчанию |
|---|---|---|
M365_AGENT_ID |
Идентификатор агента для оценки | Автоматическое обнаружение из M365_TITLE_ID |
M365_TITLE_ID |
Идентификатор продукта агента (Agents Toolkit) | Ни одного |
AZURE_AI_MODEL_NAME |
Модель для оценок | gpt-5-mini |
EVALS_SUPPRESS_DIAGNOSTICS |
Установите значение true пропуска сохраненной диагностики. Не редактирует запросы, ответы, параметры оценщика или встроенные сообщения проверки. Скрытые доказательства не могут быть воспроизведены. |
Не установлено |
Примеры
Базовое использование
Оцените с помощью файла автоматически обнаруженного набора данных:
cd /path/to/your-agent-project
runevals
Указание среды
Использование конфигурации производственной среды:
runevals --env prod
Файл пользовательского набора данных
Используйте определенный тестовый файл:
runevals --prompts-file ./tests/regression-tests.json
Встроенное тестирование
Быстрый тест со встроенными запросами:
runevals --prompts "What is Microsoft 365?" \
--expected "Microsoft 365 is a cloud-based productivity suite"
Интерактивный режим
Вводите запросы вручную:
runevals --interactive
Пользовательский формат вывода
Создание результатов JSON
runevals --output ./results/eval-$(date +%Y%m%d).json
Режим отладки
Запуск с подробным ведением журнала:
runevals --log-level debug --output ./debug-results.json
Только настройка
Предварительная кэшировка среды Python без выполнения тестов:
runevals --init-only --log-level info
Переопределение идентификатора агента
Протестируйте определенный агент:
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
Комбинированные варианты
Комплексная оценка с использованием настраиваемых параметров:
runevals \
--env staging \
--prompts-file ./evals/full-suite.json \
--output ./reports/staging-eval-$(date +%Y%m%d).html \
--log-level info \
--m365-agent-id "T_my-agent.declarativeAgent"
Коды выхода
| Код | Значение |
|---|---|
0 |
Готово |
1 |
Общая ошибка |
2 |
Недопустимые аргументы |
3 |
Ошибка конфигурации среды |
4 |
Агент не найден |
5 |
Сбой проверки подлинности |
10 |
Сбой настройки среды Python |
Устранение неполадок
Распространенные проблемы с установкой, проверкой подлинности, ошибками времени выполнения, проблемами кэша и настройкой прокси-сервера см. в статье об устранении неполадок .