Справка CLI по оценкам Microsoft 365 Copilot

В этой статье представлен полный справочник по командной строке runevals для команды, которая является частью пакета @microsoft/m365-copilot-eval .

Синопсис

runevals [options]
runevals cache-info
runevals cache-clear
runevals cache-dir

Описание

Команда runevals оценивает агентов Microsoft 365 Copilot, отправляя тестовые запросы и оценивая ответы с помощью облачной оценки Microsoft Foundry и встроенных метрик. Средство поддерживает пакетное вычисление из файлов JSON, встроенные запросы и интерактивное тестирование.

CLI v1 использует тег npm latest . CLI версии 2 использует preview и оценивает ответы Copilot, в которых используются подключаемые модули. В версии 2 запуск без настроенного идентификатора агента оценивает чат Microsoft 365 Copilot. Примеры настройки предварительной версии и схемы версии 2 см. в статье Анализаторы вызова инструментов.

Параметры

-V, --version

Выведите номер версии инструмента CLI.

Пример:

runevals --version

Выход:

1.15.0

--log-level [level]

Настройка уровня детализации журнала. Доступные уровни: debug, info, warning, . error

  • По умолчанию: если вы используете флаг без значения, по умолчанию он имеет значение info.
  • debug: подробные сведения об отладке, включая полезные данные API.
  • Информация: Общая информация о ходе оценки.
  • Предупреждение: Только предупреждающие сообщения.
  • ошибка: только сообщения об ошибках.

Примеры:

# Info level (default when flag is present)
runevals --log-level

# Debug level
runevals --log-level debug

# Error level only
runevals --log-level error

Предупреждение

Уровень debug может включать необработанные полезные данные API и данные ответов в выходных данных консоли. Редактирование основано на шаблонах и может не перехватывать все личные данные или учетные данные. Не публикуйте результаты отладки публично без ручной проверки.

--prompts <prompts...>

Укажите один или несколько запросов непосредственно в командной строке для быстрого тестирования без создания файла.

Примеры:

# Single prompt
runevals --prompts "What is Microsoft 365?"

# Multiple prompts
runevals --prompts "What is Teams?" "What is SharePoint?" "What is OneDrive?"

--expected <responses...>

Предоставьте ожидаемые ответы для сопровождения запросов, указанных с --promptsпомощью . Количество ответов должно соответствовать количеству запросов.

Пример:

runevals --prompts "What is Microsoft Graph?" \
  --expected "Microsoft Graph is the API gateway to Microsoft 365 data and intelligence."

Несколько запросов и ответов:

runevals --prompts "What is Teams?" "What is SharePoint?" \
  --expected "Teams is a collaboration platform" "SharePoint is a content management system"

--prompts-file <file>

Укажите пользовательский JSON-файл, содержащий запросы для тестирования. Этот файл переопределяет автоматическое обнаружение.

Пример:

runevals --prompts-file ./tests/my-custom-tests.json

Формат файла:

[
  {
    "prompt": "Test question",
    "expected_response": "Expected answer"
  }
]

Полную схему набора данных см. в разделе Схема набора данных и дизайн тестов.

-o, --output <file>

Укажите путь к выходному файлу и его формат. Формат определяется расширением файла.

Поддерживаемые форматы:

  • .html - HTML-отчет (по умолчанию, автоматически открывается в браузере)
  • .json - Результаты JSON
  • .csv - Электронная таблица CSV

Примеры:

# HTML output
runevals --output ./reports/results.html

# JSON output
runevals --output ./results/eval-results.json

# CSV output
runevals --output ./data/scores.csv

Поведение по умолчанию:

Без --output, команда сохраняет результаты в ./.evals/YYYY-MM-DD_HH-MM-SS.html.

-i, --interactive

Войдите в интерактивный режим для ввода и тестирования запроса вручную.

Пример:

runevals --interactive

В интерактивном режиме вам предлагается вводить подсказки по одной, чтобы вы могли провести произвольное тестирование.

--m365-agent-id <id>

Переопределение идентификатора агента для оценки конкретного агента. Этот параметр полезен при тестировании нескольких агентов или когда идентификатор агента не может быть определен автоматически.

Пример:

runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"

Форматы идентификаторов агентов:

  • Область действия пользователя: U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
  • В области клиента: T_agent-name.declarativeAgent

В сценариях предварительного просмотра подключаемого модуля версии 2 пропустите этот параметр и удалите и устаревшие M365_AGENT_IDAGENT_ID файлы оболочки и загруженной среды.

--list-tools <agent-id> (Версия 2, ознакомительная версия)

Перечислите идентификаторы согласия и готовые к копированию идентификаторы оценщика для действий декларативного агента. Этот параметр не поддерживается для автономных подключаемых модулей. Динамически обнаруживаемые инструменты могут не отображаться; Подтвердите их личности после diagnostics.tool_calls оценки.

npx -y --package @microsoft/m365-copilot-eval@preview runevals --list-tools "<your-agent-id>"

Имена согласия отдельного плагина и идентификатор оценщика, состоящий из трех частей, см. в разделе Поиск имен вызовов инструментов.

--evaluate-only <file>

Повторно оценивайте сохраненные ответы и доступные средства диагностики без выполнения запросов. Каждый предмет или ход должен включать в себя .response Настройте судью, если вы выбираете оценщиков на основе LLM; Проверка подлинности выполнения Microsoft 365 не требуется.

runevals --evaluate-only results\captured-responses.json --output results\rescored.html

Для повторного оценивания вызова инструмента требуется предварительный просмотр CLI версии 2 и сохраненное свидетельство вызова инструмента. Дополнительные сведения см. в разделе "Диагностика и оценка сохраненных ответов".

--env <environment>

Укажите конфигурацию среды для загрузки. Этот параметр загружает env/.env.<environment>.

По умолчанию: dev (загружает env/.env.dev)

Примеры:

# Load env/.env.dev (default)
runevals --env dev

# Load env/.env.prod
runevals --env prod

# Load env/.env.staging
runevals --env staging

Приоритет файлов среды:

  1. .env.local (автоматическое обнаружение для проектов набора средств агентов)
  2. .env.local.user (секреты, автоматическая загрузка при наличии)
  3. env/.env.<environment>(указывается )--env
  4. Переменные системной среды

--init-only

Инициализирует среду Python и скачивает зависимости без выполнения оценок. Это поле полезно в следующих случаях:

  • Предварительный подогрев кэша в конвейерах CI/CD
  • Устранение неполадок при установке
  • Проверка настроек перед запуском тестов

Пример:

runevals --init-only

Для устранения неполадок сочетайте этот параметр со следующими значениями --log-level debug:

runevals --init-only --log-level debug

-h, --help

Отображение справочных сведений о доступных командах и параметрах.

Пример:

runevals --help

Команды кэша

Средство оценки использует локальный кэш для среды выполнения и зависимостей Python. Эти команды помогут вам управлять кэшем.

cache-info

Отображает статистику кэшированной среды Python, включая размер, расположение и установленные пакеты.

Пример:

runevals cache-info

Выход:

Cache Information

Location: C:\Users\YourName\.m365-copilot-eval\cache
Size: 245 MB
Python Version: 3.11.5
Packages: 42 installed

Last updated: 2026-04-10 14:23:15

cache-clear

Удаляет кэшированную среду Python и все загруженные зависимости. Используйте эту команду при устранении неполадок с установкой или освобождении места на диске.

Пример:

runevals cache-clear

Дальнейшие действия:

После очистки кэша повторно инициализируйте:

runevals --init-only

cache-dir

Выводит абсолютный путь к каталогу кэша. Эта функция полезна для сценариев или ручной проверки.

Пример:

runevals cache-dir

Выход:

C:\Users\YourName\.m365-copilot-eval\cache

Использование в сценариях:

# Check cache directory permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)

# View cache contents
ls -lah $(runevals cache-dir)

Переменные среды

Средство считывает конфигурацию из файлов среды и системных переменных. Пошаговые инструкции по получению этих значений см. в разделе Обязательные переменные среды.

Обязательные переменные

переменная Описание Пример
TENANT_ID ИД клиента Microsoft Entra xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
AZURE_AI_PROJECT_ENDPOINT Конечная точка проекта Microsoft Foundry для оценки на основе LLM. Не требуется для детерминированной оценки. https://<account>.services.ai.azure.com/api/projects/<project>

Необязательные переменные

переменная Описание По умолчанию
M365_AGENT_ID Идентификатор агента для оценки Автоматическое обнаружение из M365_TITLE_ID
M365_TITLE_ID Идентификатор продукта агента (Agents Toolkit) Ни одного
AZURE_AI_MODEL_NAME Модель для оценок gpt-5-mini
EVALS_SUPPRESS_DIAGNOSTICS Установите значение true пропуска сохраненной диагностики. Не редактирует запросы, ответы, параметры оценщика или встроенные сообщения проверки. Скрытые доказательства не могут быть воспроизведены. Не установлено

Примеры

Базовое использование

Оцените с помощью файла автоматически обнаруженного набора данных:

cd /path/to/your-agent-project
runevals

Указание среды

Использование конфигурации производственной среды:

runevals --env prod

Файл пользовательского набора данных

Используйте определенный тестовый файл:

runevals --prompts-file ./tests/regression-tests.json

Встроенное тестирование

Быстрый тест со встроенными запросами:

runevals --prompts "What is Microsoft 365?" \
  --expected "Microsoft 365 is a cloud-based productivity suite"

Интерактивный режим

Вводите запросы вручную:

runevals --interactive

Пользовательский формат вывода

Создание результатов JSON

runevals --output ./results/eval-$(date +%Y%m%d).json

Режим отладки

Запуск с подробным ведением журнала:

runevals --log-level debug --output ./debug-results.json

Только настройка

Предварительная кэшировка среды Python без выполнения тестов:

runevals --init-only --log-level info

Переопределение идентификатора агента

Протестируйте определенный агент:

runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"

Комбинированные варианты

Комплексная оценка с использованием настраиваемых параметров:

runevals \
  --env staging \
  --prompts-file ./evals/full-suite.json \
  --output ./reports/staging-eval-$(date +%Y%m%d).html \
  --log-level info \
  --m365-agent-id "T_my-agent.declarativeAgent"

Коды выхода

Код Значение
0 Готово
1 Общая ошибка
2 Недопустимые аргументы
3 Ошибка конфигурации среды
4 Агент не найден
5 Сбой проверки подлинности
10 Сбой настройки среды Python

Устранение неполадок

Распространенные проблемы с установкой, проверкой подлинности, ошибками времени выполнения, проблемами кэша и настройкой прокси-сервера см. в статье об устранении неполадок .