Обзор интерфейса командной строки для оценки Microsoft 365 Copilot

Интерфейс командной строки оценки Microsoft 365 Copilot (@microsoft/m365-copilot-eval), ранее называвшийся интерфейсом командной строки оценки агентов, помогает проверять, измерять и улучшать качество работы агентов с помощью структурированных оценок и отчетов о результатах. Предварительная версия CLI версии 2 также поддерживает оценку ответов Microsoft 365 Copilot, в которых используются подключаемые модули.

Важно

Для развернутых декларативных агентов начните с Work IQ Dev Tools для управляемого рабочего процесса. Work IQ Dev Tools управляет совместимой версией CLI оценок Microsoft 365 Copilot и предоставляет ее через wiqd agent eval. Используйте отдельное руководство по интерфейсу командной строки в этом разделе, если вам требуется управление командами более низкого уровня или обслуживание существующего runevals рабочего процесса.

Выбор версии CLI

Имя пакета npm и runevals команда не изменились.

Версия Тег npm Область действия оценки
Версия 1 latest Развернутые агенты. Краткая инструкция описывает эту версию.
Ознакомительная версия 2 preview Развернутые агенты и ответы Microsoft 365 Copilot, использующие подключаемые модули. Требуется для анализаторов вызова инструментов со схемой версии 2.

В предварительной версии v2 при запуске без настроенного идентификатора агента оценивается чат Microsoft 365 Copilot, а не выбирается агент. При запуске плагинов сначала подготовьте и включите плагин в Copilot, а затем удалите и устаревшие M365_AGENT_IDAGENT_ID файлы оболочки и загруженной среды. Эта настройка оценивает работу Copilot, а не конечную точку подключаемого модуля в изоляции.

Примеры предварительной установки и набора данных вызова средства см. в статье Оценщики вызова инструмента.

Возможные действия

Средство оценки предоставляет следующие возможности:

  • Запускайте пакетную и интерактивную оценку.
  • Автоматически оценивайте ответы с помощью средств облачной оценки Microsoft Foundry и встроенных метрик.
  • Тестируйте с помощью наборов данных JSON, встроенных запросов или интерактивного ввода.
  • Создавайте отчеты в форматах HTML, JSON или CSV.

Метрики оценки

Оценщики ответов оценивают качество ответов. Обработчики вызовов инструментов проверяют диагностику времени выполнения, а не текст ответа.

Оценщик Type (Тип) Масштаб Пороговое значение по умолчанию По умолчанию
Релевантность На основе LLM 1-5 3 Да
Согласованность На основе LLM 1-5 3 Да
Заземленность На основе LLM 1-5 3 Нет
Сходство На основе LLM 1-5 3 Нет
RetrievalQuery Не магистр права "Пройдено/не пройдено" Н/Д Нет
RetrievalResult Не магистр права Пропорциональный 1,0 Нет
ToolCallSelection (ознакомительная версия 2) Не магистр права Прошел/не пройден/ошибся 1.0, исправлено Нет
ToolCallExecution (предварительная версия 2) Не магистр права Прошел/не пройден/ошибся 1.0, исправлено Нет
Ссылки На основе количества >= 0 1 Нет
ExactMatch Соответствие строки логическое значение Н/Д Нет
Частичный матч Соответствие строки 0.0-1.0 0,5 Нет

Подробные сведения о каждом средстве оценивания, включая параметры конфигурации и образцы наборов данных, см. в справочнике по анализаторам.

Как устроен рабочий процесс оценки

Оценки выполняются в соответствии с последовательным рабочим процессом:

  1. Установка и настройка интерфейса командной строки.
  2. Предоставьте конфигурацию среды и учетные данные.
  3. Создайте набор данных тестовых запросов.
  4. Оцените своего агента.
  5. Просматривайте результаты и выполняйте повторные действия.

Обязательные переменные среды

Средство оценки использует переменные среды для проверки подлинности и подключения к клиенту и проекту Microsoft Foundry. Следующие параметры описывают рабочий процесс оценки агента v1. Для запусков, в которых используются только детерминированные оценщики, включая оценщики вызова инструментов в предварительной версии v2, не требуется настройка оценки Microsoft Foundry.

переменная Описание По умолчанию
TENANT_ID ИД клиента Microsoft Entra, в котором развернут агент. Ни одного
AZURE_AI_PROJECT_ENDPOINT Конечная точка проекта Microsoft Foundry, используемая для оценки облака. Требуется для судьи Microsoft Foundry LLM, а не для детерминированных оценщиков. Ни одного
AZURE_AI_MODEL_NAME Имя развертывания модели в проекте Microsoft Foundry. gpt-5-mini
M365_TITLE_ID (Необязательно) Идентификатор заголовка, используемый для автоматического определения идентификатора агента Microsoft 365 для оценки. Ни одного
M365_AGENT_ID (Необязательно) Явный идентификатор агента для оценки. Автоматическое обнаружение из M365_TITLE_ID

Эти значения обеспечивают проверку подлинности и позволяют средству запускать оценку на основе LLM с помощью Microsoft Foundry. Сведения о том, как получить эти значения, см. в статье Получение значений для переменных среды.