Повышение эффективности моделей классификации по категориям
Если эффективность модели неудовлетворительна, есть несколько советов, которыми можно воспользоваться. Они помогут настроить модель для повышения прогнозируемой мощности.
Добавление более правильно помеченных обучающих данных
Чем правильнее размечены имеющиеся данные обучения, тем лучше будет работать ваша модель. Например, предположим, что у вас есть метка Да/Нет. Если в большинстве записей данных в этом столбце есть только значение Да, для модели ИИ будет трудно что-нибудь изучить на основе этих данных. Если ваши данные размечены неправильно, модель, вероятно, не будет обучена очень хорошо. Идеально начинать с небольшого набора правильно помеченных примеров — возможно, 100 или менее. Оттуда вы можете продолжать итеративно удваивать количество примеров и каждый раз выполнять переобучение, отмечая изменение эффективности. Вообще говоря, чем больше данных, тем лучше, но по мере добавления данных уменьшается отдача от роста вашего набора данных.
Дополнительные советы
- Убедитесь, что в обучающих данных теги используются сбалансированно. Например: у вас есть четыре тега для 100 текстовых элементов. Два первых тега (tag1 и tag2) используются для 90 элементов текста, но два других (tag3 и tag4) используются только для оставшихся 10 текстовых элементов. Отсутствие баланса может привести к тому, что ваша модель будет испытывать сложности с правильным предсказанием tag3 или tag4.
- Убедитесь, что вы обучаете свою модель, используя данные, которые похожи на то, для чего вы ожидаете использовать модель.
Следующий шаг
Публикация модели классификации по категориям