Просмотр результатов оценки и сведений о модели классификации текстов
После завершения обучения модели можно просмотреть метрики производительности модели и прогнозируемые классы для документов в наборе для тестирования.
Примечание
Автоматическое разделение набора для тестирования от данных для обучения может привести к разным результатам оценки модели при каждом обучении новой модели, так как набор для тестирования выбирается случайным образом из данных. Чтобы убедиться в том, что оценка вычисляется для одного и того же набора для тестирования при каждом обучении модели, обязательно используйте параметр Разделение данных для обучения и тестирования вручную при запуске задания обучения и определите документы для тестирования при маркировке данных.
Предварительные требования
Перед просмотром оценки модели вам потребуется:
- Проект пользовательской классификации текстов с настроенной учетной записью Хранилища BLOB-объектов Azure.
- Отправить текстовые данные в учетную запись хранения.
- Помеченные данные
- Успешно обученная модель.
Дополнительные сведения см. в статье о жизненном цикле разработки проекта.
Сведения о модели
Перейдите к странице проекта в Language Studio.
В меню слева выберите Производительность модели.
На этой странице можно просмотреть только успешно обученные модели, оценку F1 для каждой модели и дату окончания срока действия модели. Вы можете выбрать имя модели, чтобы получить дополнительные сведения о ее производительности.
Примечание
Классы, которые не помечены и не прогнозируются в наборе для тестирования, не будут включены в отображаемые результаты.
- Обзор
- Производительность типа класса
- Сведения о наборе тестов
- Распределение наборов данных
- Матрица неточностей
На этой вкладке можно просмотреть такие сведения о модели, как показатель F1, точность, полнота, дата и время для задания обучения, общее время обучения и количество документов для обучения и тестирования, включенных в это задание обучения.
Вы также увидите рекомендации по улучшению модели. Если щелкнуть просмотр сведений, откроется боковая панель с дополнительными рекомендациями по улучшению модели. В этом примере в наборе для обучения для этих классов недостаточно данных. Кроме того, существует неясное различие между типами классов в наборе для обучения, где два класса путаются друг с другом. Если нажать на спорные классы, откроется страница маркировки данных, на которой можно выполнить разметку дополнительных данных с правильным классом.
Подробнее о рекомендациях по модели и матрице неточностей можно узнать в концепциях производительности модели.
Загрузка или экспорт данных модели
Чтобы загрузить данные модели, выполните приведенные далее действия.
Выберите любую модель на странице оценки модели .
Нажмите кнопку Загрузить данные модели .
Убедитесь, что у вас нет несохраненных изменений, которые необходимо записать в появившемся окне, и выберите Загрузить данные.
Дождитесь завершения загрузки данных модели в проект. По завершении вы будете перенаправлены обратно на страницу конструктора схемы .
Экспорт данных модели:
Выберите любую модель на странице оценки модели .
Нажмите кнопку Экспорт данных модели . Дождитесь локального скачивания snapshot JSON модели.
Удаление модели
Чтобы удалить модель в Language Studio, выполните следующие действия:
В меню слева выберите Производительность модели.
Выберите имя модели , которую нужно удалить, и выберите Удалить в верхнем меню.
В появившемся окне нажмите кнопку ОК , чтобы удалить модель.
Дальнейшие действия
После проверки работы модели ознакомьтесь с используемыми метриками оценки. Определив возможности для совершенствования модели, вы можете приступить к улучшению модели.