Анализируйте вашего агента с помощью индивидуальных метрик (предварительный просмотр)

[Эта статья является предварительной документацией и может быть изменена.]

Используйте естественный язык, чтобы определить до трёх пользовательских метрик, которые вы хотите, чтобы создал Copilot Studio. Адаптируйте индивидуальные метрики вашего агента для оценки результатов и бизнес-влияния на разговорные сообщения. Пользовательские метрики рассчитываются на основе транскриптов сообщений агента, включая контент, отправленный в сообщениях Adaptive Cards.

Отображайте свои пользовательские метрики графически в виде отмеченных графиков пончиков в разделе «Пользовательские метрики » на странице аналитики .

Important

Эта статья содержит документацию для предварительного просмотра Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Эти функции доступны до официального релиза, чтобы вы могли получить ранний доступ и дать обратную связь.

Если вы создаёте агента, готового к производству, смотрите Microsoft Copilot Studio Обзор.

Ключевое ценностное предложение

Эта функция использует искусственный интеллект для создания подсказки, которая вычисляет результаты по индивидуальной метрике, которую вы определяете с помощью естественного языка. Метрика применяется к выборке данных разговорных сообщений (сессий). Вы можете тонко настроить и улучшить метрику, прежде чем сохранять её в агенте. Создайте до трёх пользовательских метрик на каждого агента. Вы можете проверять метрики, используя образцы данных сессий, и просматривать результаты с помощью встроенного рассуждения. Затем вы можете уточнить метрики, чтобы лучше отражать результаты и влияние на бизнес.

Создайте пользовательскую метрику

1. На странице аналитики вашего агента выберите «Пользовательские метрики » над картой Summary .

   

2. В разделе «Создать пользовательскую метрику» опишите, что вы хотите измерить, простым языком, с точки зрения результатов, которые вы хотите отслеживать во всех разговорах.

   

3. Для каждого возможного результата, который вы хотите для определённой метрики, добавьте категорию результатов и опишите, как ИИ должен распознавать этот результат.

   Note

   • Для каждой метрики можно определить до 10 категорий результатов.
   • Любые результаты несопоставленных сессий отображаются в стандартную категорию Other.

4. Нажмите кнопку Далее.

   ИИ использует ваши метрики и описания результатов, а также существующие метаданные вашего агента, чтобы создать подсказку. Запрос рассчитывает результаты новой метрики на основе данных сессии. Тайл новой пользовательской метрики появляется во вкладке «Предварительный просмотр ».

5. Просматривайте и дорабатывайте по запросу вашей пользовательской метрики. Подсказка используется для расчёта пользовательских результатов метрики.

Редактировать пользовательскую метрику

1. На странице аналитики вашего агента выберите три точки (...) на кастомной метрической плитке, которую хотите отредактировать, а затем выберите Редактировать.

2. В разделе «Создать пользовательскую метрику» отредактировать любую из следующих настроек по мере необходимости:

   • Как определяется бизнес-результат, в разделе «Что вы хотите измерить?».
   • Любая из категорий результатов, включая изменение текста любой категории или удаление категории.
   • Добавление новой категории результата, выбрав категорию «Добавить».

3. Выберите «Далее», затем выберите метрику «Сохранить».

4. Просматривайте и дорабатывайте по запросу вашей пользовательской метрики. Подсказка используется для расчёта пользовательских результатов метрики.

Предварительный просмотр и повторение по запросу вашей пользовательской метрики

Используйте функцию предварительного просмотра пользовательских метрик, чтобы тонко настроить подсказку вашей метрики. При тестировании вашей пользовательской метрики в панели «Создать пользовательскую метрику » метрика использует данные из выборки до 20 сессий.

1. На первой странице раздела «Создать пользовательскую метрику» выберите «Далее».

2. Выберите предварительный просмотр , чтобы увидеть, как ваша пользовательская метрика выглядит при графическом отображении на плитке.

   

3. Выберите «Результаты», чтобы увидеть список результатов по выбранным данным и описание рассуждений ИИ для каждого результата.

   

4. Оцените, правильны ли рассуждения и результаты.

5. Выберите Prompt , чтобы увидеть описание понимания ИИ того, что вы хотите измерять и вычислять в пользовательской метрике, а также с какими категориями результатов. Вкладка Prompt предоставляет прозрачность и понимание того, какая логика используется для получения результатов.

   

6. Если вы хотите настроить свой запрос для более точных или релевантных результатов, внесите корректировки в те входы, которые вы изначально предоставили на первой странице панели «Создать пользовательскую метрическую панель». Затем перепроверьте скорректированный запрос с образцовыми данными.

7. Выберите метрику «Сохранить».

   Новая пользовательская метрическая плитка появляется на странице аналитики в разделе «Пользовательские метрики».

   После создания метрики проводится одноразовый расчет результатов новой метрики на основе данных сессии за последние семь дней. Этот первоначальный расчёт может занять некоторое время, в зависимости от количества сессий у агента. После первоначального расчёта происходит ежедневный расчет результатов вашей метрики на основе данных за сессии прошлого дня. Ежедневный расчёт происходит ночью в вашем часовом поясе и поддерживает вашу метрику актуальной.

   Все расчёты, как начальные, так и ночные, для индивидуальных метрик выполняются на выборке сессий, а не на всех сессиях за этот период.

Удалить пользовательскую метрику

1. На странице аналитики вашего агента выберите три точки (...) на пользовательской метрической плитке, которую хотите удалить, а затем выберите Удалить.

2. В диалоговом окне подтверждения нажмите кнопку "Удалить".