Краткое руководство: использование интерфейса командной строки оценок Microsoft 365 Copilot

Интерфейс командной строки оценки Microsoft 365 Copilot (@microsoft/m365-copilot-eval) помогает проверять, измерять и повышать качество работы агентов с помощью автоматической оценки запросов и скоринга на основе искусственного интеллекта. В этом кратком руководстве описывается установка интерфейса командной строки, настройка среды, создание первого набора данных и выполнение оценки.

Примечание

В этом кратком руководстве для оценки развернутого агента используется интерфейс командной строки версии 1 (latest). Предварительную версию CLI версии 2, сценарии подключаемых модулей и новые средства оценивания ToolCallSelection и ToolCallExecution см. в статье Оценщики вызова инструментов.

Важно

Для развернутых декларативных агентов начните с Work IQ Dev Tools для управляемого рабочего процесса. Средства разработчика Work IQ управляют совместимой версией CLI оценок Microsoft 365 Copilot, поэтому вам не нужно устанавливать @microsoft/m365-copilot-eval что-либо глобально. Следуйте этому краткому руководству, когда вам нужно управление командами более низкого уровня или обслуживание существующего runevals рабочего процесса.

Необходимые условия

Прежде чем начать, убедитесь, что у вас есть:

  • Агент Microsoft 365 Copilot, развернутый для вашего клиента.
  • Node.js 24.12.0 или более поздней версии (используется node --version для проверка).
  • Кредиты Copilot, доступные в вашем клиенте. Интерфейс командной строки оценки Microsoft 365 Copilot использует кредиты Copilot при отправке запросов на тестирование вашему агенту. Администратор клиента включает выставление счетов на основе использования (лимитное) в Центре администрирования Microsoft 365, перейдя в узел"Управление затратамиCopilot>". Подробнее см. в статье Управление кредитами Copilot.
  • Проект Microsoft Foundry с моделью GPT-5, развернутой для оценки ответов. Дополнительные сведения см. в статье Получение значений переменных среды.
  • Согласие администратора Microsoft Entra предоставлено для Work IQ в вашем клиенте. Если вы не являетесь администратором клиента, попросите его предоставить согласие перед первым запуском runevals . Дополнительные сведения см. в статье Предоставление согласия администратора.
  • Идентификатор клиента и конечная точка проекта Microsoft Foundry. Если у вас нет этих значений, см. Получение значений для переменных среды.

Примечание

В этом кратком руководстве предполагается, что вы используете среду разработки Windows. Поддержка проверки подлинности для других операционных систем ожидается в ближайшее время.

Шаг 1. Установка интерфейса командной строки

Установите интерфейс командной строки Microsoft 365 Copilot версии 1 по всему миру с помощью npm:

npm install -g @microsoft/m365-copilot-eval@latest

Проверка установки:

runevals --version

После установки runevals команда будет доступна глобально в вашей системе.

Шаг 2. Настройте структуру проекта

Запустите средство оценки из каталога проекта агента Microsoft 365 (где находится код агента), а не из репозитория средства оценки.

cd /path/to/your-agent-project

Проект агента должен включать следующие файлы и папки:

my-agent/
├── .env.local              # Agent configuration (Agents Toolkit projects)
├── .env.local.user         # Secrets — never committed
├── evals/
│   └── evals.json          # Your test dataset (auto-discovered)
└── .evals/
    └── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)

Вы создаете набор данных на шаге evals/evals.json 4. Папка .evals/ отчета создается автоматически при первом запуске.

Шаг 3. Настройка переменных среды

Выберите вариант, соответствующий типу проекта.

Совет

Если вы создали агент с помощью набора средств агентов Microsoft 365, у вас уже есть .env.local конфигурация агента. Создайте .env.local.user в своем проекте корень секретов.

Проекты набора средств агентов Microsoft 365

Вы не устанавливаете M365_AGENT_ID напрямую — интерфейс командной строки определяет его автоматически .env.localиз M365_TITLE_ID . Дополнительные сведения см. в разделе "Получение идентификатора агента".

Добавьте секреты в .env.local.user:

# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default

Интерфейс командной строки оценки Microsoft 365 Copilot оценивает ответы с помощью облачной оценки Microsoft Foundry, которая проверяет подлинность с помощью Microsoft Entra. Перед запуском runevalsвойдите с помощью интерфейса командной строки Azure (az login). Дополнительные сведения об этих значениях см. в статье Получение значений переменных среды.

Добавьте .env.local.user в свой .gitignore:

# User-specific secrets — never commit
.env.local.user
env/.env.local.user

Шаг 4. Создание первого набора данных

Создавайте evals/evals.json с помощью небольшого набора запросов и ожидаемых ответов. В этом примере используется простейшая допустимая схема для оценок одного поворота.

{
  "schemaVersion": "1.0.0",
  "items": [
    {
      "prompt": "What is Microsoft 365?",
      "expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
    },
    {
      "prompt": "How do I share a file in Microsoft Teams?",
      "expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
    }
  ]
}

Совет

Если вы пропустите этот шаг, средство предложит сгенерировать стартовый файл с примерами запросов при первом запуске runevals.

Полную схему набора данных, категории и расширенные шаблоны см. в статье "Создание наборов тестов для оценки".

Шаг 5. Проведение первой оценки

Для проектов набора средств агентов (автоматически используется .env.local и .env.local.user):

runevals

Для проектов, не связанных с набором средств агентов:

runevals --env dev

Шаг 6. Подтверждение успешной настройки

Успешный забег производит:

  • Сообщение о завершении в терминале, аналогичное следующему сообщению.

    Microsoft 365 Copilot Evaluations CLI
    
    Loading environment: dev
    Agent ID: T_my-agent.declarativeAgent
    Using prompts file: ./evals/evals.json
    
    Running evaluations...
    
    Evals completed successfully!
    Results saved to: ./.evals/2026-04-22_14-30-45.html
    
  • В ./.evals/YYYY-MM-DD_HH-MM-SS.html браузере автоматически откроется сохраненный HTML-отчет.

Отчет включает оценки для каждого запроса.

Оценщик Type (Тип) Масштаб Пороговое значение по умолчанию По умолчанию
Релевантность На основе LLM 1-5 3 Да
Согласованность На основе LLM 1-5 3 Да
Заземленность На основе LLM 1-5 3 Нет
Сходство На основе LLM 1-5 3 Нет
Ссылки На основе количества >= 0 1 Нет
ExactMatch Соответствие строки логическое значение Н/Д Нет
Частичный матч Соответствие строки 0.0-1.0 0,5 Нет

Если вы не видите эти результаты, см. раздел "Устранение неполадок".