Основные понятия точной настройки модели

Предварительная настройка помогает адаптировать предварительно обученные модели ИИ, чтобы лучше работать с конкретными данными и вариантами использования. Этот метод может повысить производительность модели, требуя меньше обучающих данных, чем создание модели с нуля.

В этой статье рассматриваются следующие темы:

  • Что такое точная настройка и как она работает
  • Когда использовать тонкую настройку по сравнению с другими подходами
  • Выбор и подготовка моделей для точной настройки
  • Рекомендации по итерации и улучшению результатов

Предпосылки

Перед началом работы у вас должно быть:

  • Базовое понимание концепций машинного обучения
  • Знакомство с конкретным вариантом использования и требованиями к данным
  • Доступ к образцам данных для обучения и проверки

Что такое точная настройка?

Тонкой настройкой является техника машинного обучения, которая адаптирует предварительно обученную модель для повышения производительности конкретной задачи. Вместо обучения модели с нуля вы начинаете с модели, которая уже понимает общие шаблоны и настраиваете ее для работы с данными.

Этот подход использует трансферное обучение — применение знаний, полученных из одной задачи, для улучшения производительности на связанных задачах. Настройка особенно эффективна, если у вас есть ограниченные обучающие данные или требуется создать существующие возможности модели.

Когда требуется тонкая настройка

Тонкая настройка работает хорошо, если у вас есть небольшой объем данных и требуется повысить эффективность работы модели. Начиная с предварительно обученной модели, вы можете использовать уже имеющиеся знания модели и настроить её так, чтобы она лучше соответствовала вашим данным. Этот подход помогает повысить производительность модели и сократить объем данных, необходимых для обучения.

При наличии большого объема данных обычно не нужно настраивать модель. Вы можете обучить модель с нуля и получить хорошие результаты без точной настройки. Однако точная настройка может помочь, если вы хотите повысить производительность вашей модели. Вы также можете точно настроить вашу модель, если у вас есть конкретная задача, которая отличается от задачи предварительно обученной модели.

Вы можете избежать дорогостоящей тонкой настройки с помощью разработки подсказок или цепочки подсказок. Эти методы помогают создавать высококачественный текст без точной настройки.

Выбор предварительно обученной модели

Выберите предварительно обученную модель, которая соответствует вашим требованиям к задаче. Доступны многие предварительно обученные модели, каждая из которых обучена по разным задачам. Выберите модель, обученную для задачи, аналогичной вашей. Этот выбор помогает использовать знания, которые уже узнала модель и настроить ее в соответствии с данными.

Модели Hugging Face являются хорошим выбором для поиска предварительно обученных моделей. Модели Hugging Face группируются в категории на основе задачи, на которую они были обучены, что упрощает поиск модели, которая соответствует вашей задаче.

К этим категориям относятся:

  • Мультимодальный
  • Компьютерное зрение
  • Обработка естественного языка
  • Аудио
  • Табличный
  • Обучение с подкреплением

Проверьте, работает ли модель с вашей средой и инструментами. Например, если вы используете Visual Studio Code (VS Code), можно использовать расширение Машинное обучение Azure для VS Code для точной настройки модели.

Проверьте состояние и лицензию модели. Некоторые предварительно обученные модели доступны под лицензией с открытым исходным кодом, а для других требуется коммерческая или личная лицензия. Все модели на Hugging Face включают сведения о лицензии. Перед его настройкой убедитесь, что у вас есть необходимые разрешения для использования модели.

Подготовка примеров данных

Подготовка выборочных данных включает очистку и предварительную обработку данных, чтобы сделать их подходящими для обучения. Вы также должны разделить данные на наборы обучения и проверки, чтобы оценить производительность модели. Формат данных должен соответствовать формату, ожидаемому предварительно обученной моделью. Эти сведения можно найти в Hugging Face разделе "Формат инструкций " карточки модели. Большинство карточек моделей включают шаблон для создания запроса для модели и псевдокод, которые помогут вам приступить к работе.

Итерация вашей модели

После того, как вы точно настроите свою модель, оцените её производительность на наборе данных для проверки. Используйте такие метрики, как точность, доверие, отзыв и оценка F1 для оценки производительности модели. Если производительность модели не удовлетворительна, настройте гиперпараметры, измените архитектуру или настройте модель на дополнительные данные. Вы также можете изучить качество и разнообразие данных, чтобы узнать, существуют ли проблемы, которые необходимо устранить. Как правило, меньший набор высококачественных данных является более ценным, чем большой набор данных низкого качества.

См. также

Чтобы узнать больше о моделях точной настройки ИИ, ознакомьтесь со следующими ресурсами:

При использовании функций ИИ ознакомьтесь с документом Developing Responsible Generative AI Applications and Features on Windows.

Связанный контент

  • Last updated on