Просмотр оценки и сведений пользовательской модели NER

  • Статья

После завершения обучения модели можно просмотреть метрики производительности модели и просмотреть извлеченные сущности для документов в наборе для тестирования.

Примечание

Автоматическое разделение набора для тестирования от данных для обучения может привести к разным результатам оценки модели при каждом обучении новой модели, так как набор для тестирования выбирается случайным образом из данных. Чтобы убедиться, что оценка вычисляется для одного и того же набора для тестирования при каждом обучении модели, обязательно используйте параметр Разделение обучающих и тестовых данных вручную при запуске задания обучения и определите документы для тестирования при присвоении данным меток.

Предварительные требования

Перед просмотром оценки модели вам потребуется:

Дополнительные сведения см. в статье о жизненном цикле разработки проекта

Сведения о модели

  1. Перейдите к странице проекта в Language Studio.

  2. В меню слева выберите Производительность модели.

  3. На этой странице можно просмотреть только успешно обученные модели, оценку F1 для каждой модели и дату окончания срока действия модели. Вы можете выбрать имя модели, чтобы получить дополнительные сведения о ее производительности.

Примечание

Классы, которые не помечены и не прогнозируются в наборе для тестирования, не будут входить в отображаемые результаты.

  • На этой вкладке можно просмотреть такие сведения о модели, как показатель F1, точность, полнота, дата и время для задания обучения, общее время обучения и количество документов для обучения и тестирования, включенных в это задание обучения.

    Снимок экрана: страница с данными по оценке модели.

  • Вы также увидите рекомендации по улучшению модели. Если щелкнуть просмотр сведений, откроется боковая панель с дополнительными рекомендациями по улучшению модели. В этом примере сущности BorrowerAddress и BorrowerName ошибочно принимаются за сущность $none. Если нажать на ошибочные сущности, откроется страница маркировки данных, на которой можно выполнить разметку дополнительных данных, указав правильную сущность.

    Снимок экрана: страница с рекомендациями после оценки модели.

    Подробнее о рекомендациях по модели и матрице неточностей можно узнать в концепциях производительности модели.

Загрузка или экспорт данных модели

Чтобы загрузить данные модели, выполните приведенные далее действия.

  1. Выберите любую модель на странице оценки модели .

  2. Нажмите кнопку Загрузить данные модели .

  3. Убедитесь, что у вас нет несохраненных изменений, которые необходимо записать в появившемся окне, и выберите Загрузить данные.

  4. Дождитесь завершения загрузки данных модели в проект. После завершения вы будете перенаправлены обратно на страницу Конструктор схемы .

Чтобы экспортировать данные модели, выполните приведенные далее действия.

  1. Выберите любую модель на странице оценки модели .

  2. Нажмите кнопку Экспорт данных модели . Дождитесь локального скачивания snapshot JSON модели.

Удаление модели

Чтобы удалить модель в Language Studio, выполните следующие действия:

  1. В меню слева выберите Производительность модели.

  2. Выберите имя модели , которую нужно удалить, и выберите Удалить в верхнем меню.

  3. В появившемся окне нажмите кнопку ОК , чтобы удалить модель.

Дальнейшие действия