Крупные языковые модели (LLM)

Это важно

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

На этой странице приведены примеры записных книжек для точной настройки больших языковых моделей (LLM) с помощью бессерверных вычислений GPU. В этих примерах демонстрируются различные подходы к тонкой настройке, включая эффективные параметры методы, такие как Low-Rank адаптация (LoRA) и полная защищенная настройка.

Точно настроенная модель Qwen2-0.5B

В следующей записной книжке представлен пример эффективной донастройки модели Qwen2-0.5B:

• Обучение с подкреплением преобразователя (TRL) для защищенной точной настройки
• Liger Kernels для обучения с эффективным использованием памяти с оптимизированными ядрами Triton.
• LoRA для эффективной настройки параметров.

Notebook

Получите ноутбук

Точно настроенная Ллома-3.2-3B с unsloth

В этой записной книжке показано, как точно настроить Llama-3.2-3B с помощью библиотеки Unsloth.

Unsloth Llama

Получите ноутбук

Демонстрация видео

Это видео подробно описывает записную книжку (12 минут).

Защищенная настройка с помощью DeepSpeed и TRL

В этой записной книжке показано, как использовать API Python для бессерверного GPU для запуска защищенной тонкой настройки (SFT) с помощью библиотеки Обучения с подкреплением преобразователей (TRL) с оптимизацией DeepSpeed ZeRO stage 3.

TRL DeepSpeed

Получите ноутбук

Точная настройка LORA с помощью Axolotl

Эта записная книжка демонстрирует, как использовать API Python без сервера для LORA для точной настройки модели Olmo3 7B с помощью библиотеки Axolotl.

Axolotl

Получите ноутбук