Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Оценка помогает измерять качество, безопасность и надежность моделей и агентов на протяжении всей разработки и эксплуатации. В Microsoft Foundry можно оценить существующие выходные данные в тестовом наборе данных, сгенерировать ответы с помощью модели или агента, используя тестовые входные данные, или оценить рабочие трассировки.
Для оценки ваших данных или приложения используются один или несколько оценщиков. Оценщики создают метрики и, если поддерживаются, объяснения, которые помогают сравнивать версии, находить проблемы качества и решать, готово ли приложение к развертыванию.
Создайте рабочий процесс оценки
Большинство процессов оценки включают следующие шаги:
- Выберите, что нужно оценить. Выберите отдельную реплику или полную беседу и используйте существующий набор данных, созданные ответы, имитированные беседы или рабочие трассировки.
- Выберите оценщиков. Выберите метрики качества и безопасности, которые имеют значение для приложения, например завершение задачи, релевантность, обоснованность, сходство или безопасность содержимого.
- Запустите оценку. Запустите его один раз во время разработки, добавьте его в CI/CD или настройте повторную оценку для рабочей среды.
- Просмотрите и улучшите. Анализируйте агрегированные метрики и отдельные результаты, сравнивайте версии и устраняйте повторяющиеся шаблоны сбоев.
Выбирайте, с чего начать
Note
Перед началом работы просмотрите разрешения для рабочих процессов оценки, поддерживаемые регионы и ограничения скорости, а также требования к виртуальной сети.
Выбор подхода оценки
Выберите единицу оценки перед выбором оценщиков. Оценка на уровне реплики оценивает отдельные ответы. Оценка на уровне беседы оценивает полное многорепликовое взаимодействие и может измерять результаты, такие как завершение задачи за несколько шагов. Оценщики поддерживают определенные уровни оценки.
| Я хочу | Начните здесь |
|---|---|
| Оцените размещенного агента впервые | Быстрый старт: Оценка размещенного агента |
| Оцените существующие тестовые данные запрос-ответ | Оценка наборов данных ответа на запросы |
| Создавайте и оценивайте ответы на основе тестовых входных данных | Оценка ответов модели и агента |
| Оценивайте отдельные взаимодействия, полученные из развернутой модели или агента | Оценить опубликованные взаимодействия |
| Оцените набор данных полных бесед | Оценка наборов данных беседы |
| Оцените завершенные беседы, захваченные в production-трассах | Оценить опубликованные беседы |
| Имитация многошагового поведения агента перед развертыванием | Имитация бесед агентов |
| Генерируйте сценарии и беседы без ручной разработки тестовых данных | Создавайте и оценивайте синтетические разговоры |
| Запустите тестирование безопасности и тестирование на устойчивость к атакам | Узнайте о редтиминге ИИ |
Выбор способа выполнения оценок
| Я хочу | Начните здесь |
|---|---|
| Запустите оценку на портале Foundry | Запуск вычислений на портале Microsoft Foundry |
| Запуск оценок программно | Введение в оценку в облаке с помощью пакета SDK для Microsoft Foundry |
| Запуск оценок агента из командной строки | Выполнение вычислений агента с помощью azd CLI |
| Оценивайте трафик в промышленной среде на регулярной основе | Отслеживайте агентов и настройте непрерывную оценку |
| Добавление оценок в конвейер развертывания | Запуск оценок в GitHub Actions или Azure DevOps |
Найдите необходимые компоненты
- Оценщики: Начните со встроенных оценщиков или создайте пользовательский оценщик для собственных критериев.
- Данные оценки: Узнайте, когда следует использовать набор данных оценки, как создавать искусственные данные или как создавать набор данных из рабочих трассировок.
- Результаты:Просмотрите результаты на портале Foundry, получите результаты облачной оценки с помощью пакета SDK или используйте кластерный анализ для поиска распространенных шаблонов сбоев.