Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Интерфейс командной строки оценки Microsoft 365 Copilot (@microsoft/m365-copilot-eval), ранее называвшийся интерфейсом командной строки оценки агентов, помогает проверять, измерять и улучшать качество работы агентов с помощью структурированных оценок и отчетов о результатах. Предварительная версия CLI версии 2 также поддерживает оценку ответов Microsoft 365 Copilot, в которых используются подключаемые модули.
Важно
Для развернутых декларативных агентов начните с Work IQ Dev Tools для управляемого рабочего процесса. Work IQ Dev Tools управляет совместимой версией CLI оценок Microsoft 365 Copilot и предоставляет ее через wiqd agent eval. Используйте отдельное руководство по интерфейсу командной строки в этом разделе, если вам требуется управление командами более низкого уровня или обслуживание существующего runevals рабочего процесса.
Выбор версии CLI
Имя пакета npm и runevals команда не изменились.
| Версия | Тег npm | Область действия оценки |
|---|---|---|
| Версия 1 | latest |
Развернутые агенты. Краткая инструкция описывает эту версию. |
| Ознакомительная версия 2 | preview |
Развернутые агенты и ответы Microsoft 365 Copilot, использующие подключаемые модули. Требуется для анализаторов вызова инструментов со схемой версии 2. |
В предварительной версии v2 при запуске без настроенного идентификатора агента оценивается чат Microsoft 365 Copilot, а не выбирается агент. При запуске плагинов сначала подготовьте и включите плагин в Copilot, а затем удалите и устаревшие M365_AGENT_IDAGENT_ID файлы оболочки и загруженной среды. Эта настройка оценивает работу Copilot, а не конечную точку подключаемого модуля в изоляции.
Примеры предварительной установки и набора данных вызова средства см. в статье Оценщики вызова инструмента.
Возможные действия
Средство оценки предоставляет следующие возможности:
- Запускайте пакетную и интерактивную оценку.
- Автоматически оценивайте ответы с помощью средств облачной оценки Microsoft Foundry и встроенных метрик.
- Тестируйте с помощью наборов данных JSON, встроенных запросов или интерактивного ввода.
- Создавайте отчеты в форматах HTML, JSON или CSV.
Метрики оценки
Оценщики ответов оценивают качество ответов. Обработчики вызовов инструментов проверяют диагностику времени выполнения, а не текст ответа.
| Оценщик | Type (Тип) | Масштаб | Пороговое значение по умолчанию | По умолчанию |
|---|---|---|---|---|
| Релевантность | На основе LLM | 1-5 | 3 | Да |
| Согласованность | На основе LLM | 1-5 | 3 | Да |
| Заземленность | На основе LLM | 1-5 | 3 | Нет |
| Сходство | На основе LLM | 1-5 | 3 | Нет |
| RetrievalQuery | Не магистр права | "Пройдено/не пройдено" | Н/Д | Нет |
| RetrievalResult | Не магистр права | Пропорциональный | 1,0 | Нет |
| ToolCallSelection (ознакомительная версия 2) | Не магистр права | Прошел/не пройден/ошибся | 1.0, исправлено | Нет |
| ToolCallExecution (предварительная версия 2) | Не магистр права | Прошел/не пройден/ошибся | 1.0, исправлено | Нет |
| Ссылки | На основе количества | >= 0 | 1 | Нет |
| ExactMatch | Соответствие строки | логическое значение | Н/Д | Нет |
| Частичный матч | Соответствие строки | 0.0-1.0 | 0,5 | Нет |
Подробные сведения о каждом средстве оценивания, включая параметры конфигурации и образцы наборов данных, см. в справочнике по анализаторам.
Как устроен рабочий процесс оценки
Оценки выполняются в соответствии с последовательным рабочим процессом:
- Установка и настройка интерфейса командной строки.
- Предоставьте конфигурацию среды и учетные данные.
- Создайте набор данных тестовых запросов.
- Оцените своего агента.
- Просматривайте результаты и выполняйте повторные действия.
Обязательные переменные среды
Средство оценки использует переменные среды для проверки подлинности и подключения к клиенту и проекту Microsoft Foundry. Следующие параметры описывают рабочий процесс оценки агента v1. Для запусков, в которых используются только детерминированные оценщики, включая оценщики вызова инструментов в предварительной версии v2, не требуется настройка оценки Microsoft Foundry.
| переменная | Описание | По умолчанию |
|---|---|---|
TENANT_ID |
ИД клиента Microsoft Entra, в котором развернут агент. | Ни одного |
AZURE_AI_PROJECT_ENDPOINT |
Конечная точка проекта Microsoft Foundry, используемая для оценки облака. Требуется для судьи Microsoft Foundry LLM, а не для детерминированных оценщиков. | Ни одного |
AZURE_AI_MODEL_NAME |
Имя развертывания модели в проекте Microsoft Foundry. | gpt-5-mini |
M365_TITLE_ID (Необязательно) |
Идентификатор заголовка, используемый для автоматического определения идентификатора агента Microsoft 365 для оценки. | Ни одного |
M365_AGENT_ID (Необязательно) |
Явный идентификатор агента для оценки. | Автоматическое обнаружение из M365_TITLE_ID |
Эти значения обеспечивают проверку подлинности и позволяют средству запускать оценку на основе LLM с помощью Microsoft Foundry. Сведения о том, как получить эти значения, см. в статье Получение значений для переменных среды.
См. также:
- Проверка интеграции и качества во время разработки плагина
- Краткое руководство: использование интерфейса командной строки оценок Microsoft 365 Copilot
- Схема набора данных и дизайн тестирования
- Справочник по оценщикам
- Анализаторы вызова инструментов (предварительная версия 2)
- Справочник по интерфейсу командной строки
- Устранение неполадок и поддержка