Modelos de linguagem de grande escala (LLMs)

Importante

O AI Runtime para tarefas de nó único está na Visualização Pública. A API de treinamento distribuído para cargas de trabalho de várias GPUs permanece em Beta.

Esta página fornece exemplos de notebook para ajustar LLMs (Modelos de Linguagem de Grande Escala) usando o AI Runtime. Esses exemplos demonstram várias abordagens de ajuste fino, incluindo métodos eficientes em termos de parâmetros, como Low-Rank Adaptation (LoRA) e ajuste fino supervisionado total.

Tutorial	Descrição
Ajustar o modelo Qwen2-0.5B	Ajuste com eficiência o modelo Qwen2-0.5B utilizando o aprendizado de reforço do Transformador (TRL), Kernels Liger para um treinamento eficiente em memória, e LoRA para ajuste fino eficiente em termos de parâmetros.
Aperfeiçoar Llama-3.2-3B com Unsloth	Ajuste o Llama-3.2-3B utilizando a biblioteca Unsloth.
Ajuste refinado supervisionado usando DeepSpeed e TRL	Use a API python de GPU sem servidor para executar o SFT (ajuste fino supervisionado) usando a biblioteca TRL (Transformer Reinforcement Learning) com otimização do Estágio 3 do DeepSpeed ZeRO.
Ajuste fino de LORA usando Axolotl	Use a API python de GPU sem servidor para ajustar um modelo Olmo3 7B usando a biblioteca Axolotl.

Demonstração de vídeo

Este vídeo passa pelo exemplo do Fine-tune Llama-3.2-3B com Unsloth no notebook de exemplo em detalhes (12 minutos).