Обучение модели мозаичного искусственного интеллекта для базовых моделей

Статья
09/26/2024

Внимание

Эта функция доступна в общедоступной предварительной версии в следующих регионах: centralus, , eastus, eastus2и northcentraluswestus.

С помощью обучения модели ИИ Мозаики (ранее — Обучение модели Foundation), вы можете использовать собственные данные для настройки базовой модели для оптимизации производительности конкретного приложения. Выполняя полную настройку или продолжая обучение базовой модели, вы можете обучать собственную модель с помощью значительно меньше данных, времени и вычислительных ресурсов, чем обучение модели с нуля.

При использовании Databricks у вас есть все на одной платформе: собственные данные для обучения, базовая модель для обучения, контрольные точки, сохраненные в MLflow, и модель, зарегистрированная в каталоге Unity и готова к развертыванию.

Ознакомьтесь с руководством по созданию и развертыванию запуска обучения модели ИИ для мозаики, чтобы узнать, как создать запуск с помощью API обучения моделей мозаики, а затем просмотреть результаты и развернуть модель с помощью пользовательского интерфейса Databricks и мозаичной модели ИИ.

Что такое обучение модели ИИ мозаики?

Обучение модели ИИ мозаики позволяет использовать API Databricks или пользовательский интерфейс для настройки или дальнейшего обучения базовой модели.

С помощью обучения модели Мозаичного искусственного интеллекта можно:

Обучите модель пользовательскими данными, используя контрольные точки, сохраненные в MLflow. Вы сохраняете полный контроль над обученной моделью.
Автоматически регистрируйте модель в каталоге Unity, что позволяет легко развертывать с помощью службы моделей.
Дальнейшее обучение завершенной собственной модели путем загрузки весов ранее обученной модели.

Databricks рекомендует попробовать обучение модели Мозаичного искусственного интеллекта, если:

Вы пробовали несколько выстрелов обучения и хотят лучше результатов.
Вы попробовали инженерию запросов на существующую модель и хотите получить лучшие результаты.
Вы хотите полное владение пользовательской моделью для конфиденциальности данных.
Вы учитываете задержку или учитываете затраты и хотите использовать меньшую, дешевле модель с данными конкретной задачи.

Поддерживаемые задачи

Обучение модели ИИ мозаики поддерживает следующие варианты использования:

Завершение чата: рекомендуемая задача. Обучение модели в журналах чата между пользователем и помощником по искусственному интеллекту. Этот формат можно использовать как для фактических журналов чата, так и в качестве стандартного формата для ответа на вопросы и текста беседы. Текст автоматически отформатирован в соответствующий формат для конкретной модели. Дополнительные сведения о шаблоне см. в примере шаблонов чатов в документации HuggingFace.
Защищенная настройка: обучение модели на структурированных данных запроса на ответ. Используйте эту функцию, чтобы адаптировать модель к новой задаче, изменить его стиль отклика или добавить следующие инструкции. Эта задача не применяет к данным автоматически форматирование и рекомендуется только в том случае, если требуется настраиваемое форматирование данных.
Продолжающееся предварительное обучение: обучение модели с дополнительными текстовыми данными. Используйте это, чтобы добавить новые знания в модель или сосредоточиться на модели в определенном домене.

Требования

Рабочая область Databricks в одном из следующих регионов Azure: centralus, , eastuseastus2northcentralusили westus.
Интерфейсы API обучения модели мозаики, установленные с помощью pip install databricks_genai.
Databricks Runtime 12.2 LTS ML или более поздней версии, если данные хранятся в таблице Delta.

Сведения о необходимых форматах входных данных см. в разделе "Подготовка данных для обучения модели ИИ Для Мозаики".

Поддерживаемые модели

В следующей таблице перечислены поддерживаемые модели. Для последних поддерживаемых моделей и связанных с ними длин контекста используйте функцию get_models() .


from databricks.model_training import foundation_model

foundation_model.get_models()

Внимание

Meta Llama 3.2 лицензирован в соответствии с лицензией сообщества LLAMA 3.2, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за соблюдение условий этой лицензии и политики допустимого использования Llama 3.2.

Meta Llama 3.1 лицензирован в соответствии с лицензией сообщества LLAMA 3.1, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.

Llama 3 лицензирована в соответствии с лицензией СООБЩЕСТВА LLAMA 3, Метаплатформами авторских © прав, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.

Модели Llama 2 и Code Llama лицензированы в соответствии с лицензией сообщества LLAMA 2, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.

DBRX предоставляется под лицензией Databricks Open Model, Copyright © Databricks, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели, включая политику допустимого использования Databricks.

Модель	Максимальная длина контекста	Примечания.
`databricks/dbrx-base`	32768
`databricks/dbrx-instruct`	32768
`meta-llama/Llama-3.2-1B`	131072
`meta-llama/Llama-3.2-1B-Instruct`	131072
`meta-llama/Llama-3.2-3B`	131072
`meta-llama/Llama-3.2-3B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-405B`	131072
`meta-llama/Meta-Llama-3.1-405B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-70B`	131072
`meta-llama/Meta-Llama-3.1-70B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-8B`	131072
`meta-llama/Meta-Llama-3.1-8B-Instruct`	131072
`meta-llama/Meta-Llama-3-70B`	8192	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Meta-Llama-3-70B-Instruct`	8192	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Meta-Llama-3-8B`	8192	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Meta-Llama-3-8B-Instruct`	8192	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Llama-2-7b-hf`	4096	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Llama-2-13b-hf`	4096	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Llama-2-70b-hf`	4096	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Llama-2-7b-chat-hf`	4096	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Llama-2-13b-chat-hf`	4096	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`meta-llama/Llama-2-70b-chat-hf`	4096	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-7b-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-13b-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-34b-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-7b-Instruct-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-13b-Instruct-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-34b-Instruct-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-7b-Python-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-13b-Python-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`codellama/CodeLlama-34b-Python-hf`	16384	После 13 декабря 2024 г. эта модель больше не будет поддерживаться. Ознакомьтесь с устаревшими моделями для рекомендуемой замены.
`mistralai/Mistral-7B-v0.1`	32768
`mistralai/Mistral-7B-Instruct-v0.2`	32768
`mistralai/Mixtral-8x7B-v0.1`	32768

Использование обучения модели мозаичного ИИ

Обучение модели ИИ мозаики доступно с помощью databricks_genai пакета SDK. В следующем примере создается и запускается обучающий запуск, использующий данные из томов каталога Unity. Дополнительные сведения о конфигурации см. в статье "Создание обучаемого запуска обучения для обучения модели Мозаики".

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

Дополнительные сведения о настройке инструкции: демонстрационная записная книжка распознавания именованных сущностей см. в примере точной настройки инструкции, которая описывает подготовку данных, настройку конфигурации и развертывания для обучения.

Ограничения

Большие наборы данных (10B+ токены) не поддерживаются из-за доступности вычислений.
Для непрерывного предварительного обучения рабочие нагрузки ограничены 60-256 МБ-файлами. Файлы размером более 1 ГБ могут привести к более длительной обработке.
Databricks стремится сделать последние современные модели доступными для настройки с помощью обучения модели ИИ Мозаики. По мере того как новые модели становятся доступными, возможность доступа к старым моделям из API или пользовательского интерфейса может быть удалена, старые модели могут быть устарели или обновлены. См . политику обслуживания моделей создания моделей ИИ.
Обучение модели ИИ мозаики поддерживает обучение моделей только для рабочих областей Azure с помощью хранилища за Приватный канал.
- В настоящее время поддерживается только чтение данных из хранилища за Приватный каналeastus2.
Если у вас есть брандмауэры в учетной записи Azure Data Lake Storage, в которой хранятся данные в каталоге Unity, необходимо разрешить список трафика из кластеров бессерверных плоскостей данных Databricks, чтобы использовать обучение модели ИИ Мозаики. Обратитесь к группе учетных записей Databricks, чтобы получить дополнительные сведения и возможные пользовательские решения.

Поделиться через