Как обучить модель пользовательской классификации текстов

  • Статья

Обучение — это процесс, в ходе которого модель обучается по вашим данным с метками. Выполнив обучение, вы сможете просмотреть метрики производительности модели, чтобы определить, нуждается ли модель в усовершенствовании.

Чтобы обучить модель, запустите задание обучения. Только успешно завершенные задания создают пригодную для использования модель. Срок действия заданий обучения истекает через семь дней. По истечении этого периода вы не сможете получить сведения о задании. Если задание обучения было завершено успешно и создало модель, срок действия этого задания не применяется к созданной модели. Вы можете выполнять только одно задание обучения и не можете запускать одновременно с ним другие задания в том же проекте.

Время обучения может составлять от нескольких минут (если число документов невелико) до нескольких часов, в зависимости от размера набора данных и сложности схемы.

Предварительные требования

Перед началом обучения модели вам потребуется:

Дополнительные сведения см. в статье о жизненном цикле разработки проекта.

Разделение данных

Перед началом процесса обучения предоставленные в проекте документы с метками делятся на обучающий набор и тестовый набор. Каждый из них выполняет свою роль. Обучающий набор используется при обучении модели, то есть по нему модель изучает класс или классы, назначенные каждому документу. Тестовый набор сохраняется в тайне от модели на период обучения, а применяется только во время оценки. После успешного обучения полученная модель используется для прогнозирования документов в тестовом наборе. На основе этих прогнозов для модели будут вычислены метрики оценки. Важно убедиться, что в обучающем и тестовом наборах хорошо представлены все существующие классы.

Пользовательская классификация текстов поддерживает следующие два метода разделения данных.

  • Автоматическое отделение тестового набора от обучающих данных: система разделит данные с метками на обучающий и тестовый наборы в указанной вами пропорции. Система попытается получить представление всех классов в обучаемом наборе. Мы рекомендуем использовать 80 % набора данных для обучения и 20 % для тестирования.

Примечание

Если вы выберете вариант Автоматическое выделение тестового набора из обучающих данных, выбранные процентные доли будут применяться только для разделения данных в обучающем наборе.

  • Разделение обучающих и тестовых данных вручную: этот метод позволяет самостоятельно определить, какие документы должны входить в оба набора. Этот шаг включается только в том случае, если вы добавили документы в тестовый набор на этапе маркировки данных.

Обучение модели

Чтобы начать обучение модели в Language Studio, выполните следующие действия.

  1. Выберите элемент Задания обучения в меню слева.

  2. В верхнем меню выберите Запустить задание на обучение.

  3. Щелкните Обучить новую модель и введите имя модели в текстовое поле. Можно также перезаписать существующую модель. Для этого выберите соответствующий параметр и укажите модель, которую требуется перезаписать, в раскрывающемся меню. Перезапись обученной модели необратима, но никак не влияет на развернутые модели до тех пор, пока вы не развернете новую модель.

    Создание задания на обучение

  4. Выберите метод разделения данных. Вы можете выбрать Автоматическое выделение тестового набора из обучающих данных, и тогда система разделит данные с метками на обучающий и тестовый наборы в указанной вами пропорции. Вы также можете выбрать Разделение обучающих и тестовых данных вручную, но только если вы добавили документы в тестовый набор на этапе маркировки данных. Дополнительные сведения о разделении данных см. в разделе Обучение модели.

  5. Нажмите кнопку Обучить.

  6. Если выбрать идентификатор задания обучения в списке, появится боковая панель, где можно проверка ход обучения, состояние задания и другие сведения об этом задании.

    Примечание

    • Модели будут создаваться только с помощью успешно завершенных заданий обучения.
    • Время обучения модели может занять от нескольких минут до нескольких часов в зависимости от размера помеченных данных.
    • В каждый момент времени может выполняться только одно задание на обучение. Вы не сможете запустить другое задание обучения в том же проекте до тех пор, пока не будет завершено выполняемое задания.

Отмена задания обучения

Чтобы отменить задание обучения в Language Studio, перейдите на страницу Training jobs (Задания обучения). Выберите задание обучения, которое вы хотите отменить, и нажмите кнопку Отмена в верхнем меню.

Дальнейшие действия

Когда обучение завершится, вы сможете просмотреть метрики оценки модели и, при желании, усовершенствовать модель. Когда вы будете удовлетворены моделью, ее можно развернуть, сделав ее доступной для классификации текста.