LlMs (modelos de linguagem grande)

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Esta página fornece exemplos de notebook para llms (modelos de linguagem grande) de ajuste fino usando a computação de GPU sem servidor. Esses exemplos demonstram várias abordagens de ajuste fino, incluindo métodos com eficiência de parâmetro, como LoRA (Adaptação Low-Rank) e ajuste fino supervisionado completo.

Ajustar o modelo Qwen2-0.5B

O notebook a seguir fornece um exemplo de como ajustar com eficiência o modelo Qwen2-0.5B usando:

• TRL (aprendizado de reforço do transformador) para ajuste refinado supervisionado
• Kernels Liger para treinamento eficiente em termos de memória com kernels Triton otimizados.
• LoRA para ajuste fino eficiente em parâmetros.

Notebook

Obter laptop

Ajustar Llama-3.2-3B com Unsloth

Este bloco de anotações demonstra como ajustar o Llama-3.2-3B usando a biblioteca Desalocada.

Lhama Despreguiçada

Obter laptop

Demonstração de vídeo

Este vídeo percorre o bloco de anotações em detalhes (12 minutos).

Ajuste refinado supervisionado usando DeepSpeed e TRL

Este notebook demonstra como usar a API Python sem servidor de GPU para executar o SFT (ajuste fino supervisionado) usando a biblioteca TRL (Transformer Reinforcement Learning) com otimização do DeepSpeed ZeRO Stage 3.

TRL DeepSpeed

Obter laptop

Ajuste fino de LORA usando Axolotl

Este bloco de anotações demonstra como usar a API de GPU sem servidor Python para ajuste fino de um modelo Olmo3 7B usando a biblioteca Axolotl.

Axolotl

Obter laptop