Поделиться через

Просмотр оценки и сведений пользовательской модели NER

  • Статья

После завершения обучения модели можно просмотреть метрики производительности модели и просмотреть извлеченные сущности для документов в наборе для тестирования.

Примечание.

Автоматическое разделение набора для тестирования от данных для обучения может привести к разным результатам оценки модели при каждом обучении новой модели, так как набор для тестирования выбирается случайным образом из данных. Чтобы убедиться, что оценка вычисляется для одного и того же набора для тестирования при каждом обучении модели, обязательно используйте параметр Разделение обучающих и тестовых данных вручную при запуске задания обучения и определите документы для тестирования при присвоении данным меток.

Необходимые компоненты

Перед просмотром оценки модели вам потребуется:

Дополнительные сведения см. в статье о жизненном цикле разработки проекта.

Сведения о модели

  1. Перейдите к странице проекта в Language Studio.

  2. В меню слева выберите Производительность модели.

  3. На этой странице можно просмотреть только успешно обученные модели, оценку F1 для каждой модели и дату окончания срока действия модели. Вы можете выбрать имя модели для получения дополнительных сведений о его производительности.

Примечание.

Классы, которые не помечены и не прогнозируются в наборе для тестирования, не будут входить в отображаемые результаты.

  • На этой вкладке можно просмотреть такие сведения о модели, как показатель F1, точность, полнота, дата и время для задания обучения, общее время обучения и количество документов для обучения и тестирования, включенных в это задание обучения.

    Снимок экрана: страница с данными по оценке модели.

  • Вы также увидите рекомендации по улучшению модели. Если щелкнуть просмотр сведений, откроется боковая панель с дополнительными рекомендациями по улучшению модели. В этом примере сущности BorrowerAddress и BorrowerName ошибочно принимаются за сущность $none. Если нажать на ошибочные сущности, откроется страница маркировки данных, на которой можно выполнить разметку дополнительных данных, указав правильную сущность.

    Снимок экрана: страница с рекомендациями после оценки модели.

    Подробнее о рекомендациях по модели и матрице неточностей можно узнать в концепциях производительности модели.

Загрузка или экспорт данных модели

Чтобы загрузить данные модели, выполните приведенные далее действия.

  1. Выберите любую модель на странице оценки модели.

  2. Нажмите кнопку "Загрузить данные модели".

  3. Убедитесь, что у вас нет несохраненных изменений, которые необходимо записать в появившемся окне, и выберите " Загрузить данные".

  4. Дождитесь завершения загрузки данных модели в проект. По завершении вы будете перенаправлены обратно на страницу конструктора схемы.

Экспорт данных модели:

  1. Выберите любую модель на странице оценки модели.

  2. Нажмите кнопку "Экспорт данных модели". Дождитесь локального скачивания моментального снимка JSON модели.

Удаление модели

Чтобы удалить модель в Language Studio, выполните следующие действия:

  1. В меню слева выберите Производительность модели.

  2. Выберите имя модели, которую вы хотите удалить, и выберите "Удалить" в верхнем меню.

  3. В появившемся окне нажмите кнопку "ОК ", чтобы удалить модель.

Следующие шаги