Тонкая настройка — это процесс работы с предварительно обученной моделью и её настройка для большего соответствия вашим данным. Этот процесс поможет вам получить большую часть данных и повысить производительность модели. В этой статье вы узнаете основные концепции тонкой настройки и когда оптимизация модели ИИ целесообразна.
Знакомство
Тонкая настройка — это мощный метод, который поможет вам извлечь больше из ваших данных. Чтобы разобраться в тонкой настройке, важно понять концепцию передачи обучения. Передача обучения — это метод машинного обучения, в котором модель, обученная на одной задаче, перенацелима на вторую связанную задачу. Это делается, принимая предварительно обученную модель и корректируя ее, чтобы лучше соответствовать новым данным. Тонкая настройка является формой трансферного обучения, где предварительно обученная модель корректируется для лучшего соответствия новым данным.
Существует несколько шагов, связанных с тонкой настройкой модели. Сначала необходимо выбрать предварительно обученную модель, которая хорошо подходит для вашей задачи. Затем необходимо подготовить образец данных и точно настроить модель на этих данных. Наконец, необходимо доработать модель, чтобы повысить ее производительность.
Когда требуется тонкая настройка
Точная настройка подходит для случаев, когда у вас есть небольшой объем данных, и вам требуется повысить производительность вашей модели. Начиная с предварительно обученной модели, вы можете использовать знания, которые модель уже узнала, и настроить ее в соответствии с вашими данными. Это поможет повысить производительность модели и уменьшить объем данных, необходимых для обучения.
Обычно вам не нужно точно настраивать модель, если у вас есть большой объем данных. В этом случае модель можно обучить с нуля и добиться хорошей производительности без точной настройки. Тем не менее, в этом случае тонкая настройка может быть полезной, если вы хотите повысить производительность вашей модели. Вы также можете настроить модель более точно, если у вас есть особая задача, отличающаяся от той, на которую изначально была обучена предварительно обученная модель.
Вы можете избежать дорогостоящей настройки модели с помощью дизайна запросов или цепочки подсказок. Эти методы помогают создавать высококачественный текст без необходимости точной настройки.
Выбор предварительно обученной модели
Вы должны выбрать предварительно обученную модель, которая хорошо подходит для ваших требований к задаче. Существует множество предварительно обученных моделей, которые были обучены для широкого спектра задач. Вы должны выбрать модель, которая была обучена задаче, аналогичной той, над которой вы работаете. Это поможет вам использовать знания, которые уже узнала модель и настроить ее, чтобы лучше соответствовать вашим данным.
Модели HuggingFace являются хорошим выбором для поиска предварительно обученных моделей. Модели HuggingFace группируются в категории на основе задачи, на которую они были обучены, что упрощает поиск модели, которая хорошо подходит для вашей задачи.
К этим категориям относятся:
Мультимодальный
Компьютерное зрение
Обработка естественного языка
Аудио
Табличный
Обучение с подкреплением
Проверьте совместимость модели с вашей средой и средствами, которые вы используете. Например, если вы используете Visual Studio Code, можно использовать расширение Azure Machine Learning для Visual Studio Code для точной настройки модели.
Проверьте состояние и лицензию модели. Некоторые предварительно обученные модели могут быть доступны под лицензией с открытым исходным кодом, а другие могут требовать использования коммерческой или личной лицензии. Все модели на HuggingFace включают сведения о лицензии. Перед его настройкой убедитесь, что у вас есть необходимые разрешения для использования модели.
Подготовка примеров данных
Подготовка выборочных данных включает очистку и предварительную обработку данных, чтобы сделать их подходящими для обучения. Вы также должны разделить данные на наборы обучения и проверки, чтобы оценить производительность модели. Формат данных должен соответствовать формату, ожидаемому предварительно обученной моделью, которую вы используете. Эту информацию можно найти в моделях в разделе формата инструкций карточки модели. Большинство карточек моделей включают шаблон для создания запроса для модели и некоторых псевдокодов, которые помогут вам приступить к работе.
Итерация вашей модели
После точной настройки модели необходимо оценить её производительность на проверочном наборе. Для оценки производительности модели можно использовать такие метрики, как аккуратность, точность, отзыв и F1-мера. Если производительность модели не удовлетворительна, можно выполнить итерацию на модели, изменив гиперпараметры, изменив архитектуру или настроив модель на дополнительных данных. Вы также можете изучить качество и разнообразие данных, чтобы узнать, существуют ли проблемы, которые необходимо устранить. Как правило, меньший набор высококачественных данных является более ценным, чем большой набор данных низкого качества.
См. также
Чтобы узнать больше о моделях точной настройки ИИ, ознакомьтесь со следующими ресурсами:
Продемонстрировать основные понятия ИИ, связанные с разработкой программного обеспечения и служб Microsoft Azure для создания решений искусственного интеллекта.