Modelos linguísticos de grande dimensão (LLM)

Importante

Este recurso está no Public Preview.

Estes notebooks executam inferência e fine-tuning de grandes modelos de linguagem (LLM) no AI Runtime. Abrangem a inferência em lote com Ray Data e vLLM, métodos eficientes em termos de parâmetros, como a Adaptação de Baixa Classificação (LoRA), e o ajuste fino supervisionado completo em bibliotecas como TRL, Unsloth, Axolotl e LLM Foundry.

Tutorial	Descrição
Inferência em lote com Qwen2.5-32B, Ray Data e vLLM	Execute inferência em lote multilíngue com oito réplicas vLLM persistentes do Qwen2.5-32B-Instruct em 8 GPUs H100 e guarde os resultados no Unity Catalog.
Ajustar o modelo Qwen3-4B	Efetue o ajuste fino completo do modelo Qwen3-4B numa única GPU H100 usando Transformer Reinforcement Learning (TRL), com precisão mista BF16 e checkpointing de gradiente para treino com eficiência de memória.
Aperfeiçoamento do Llama-3.2-3B com Unsloth	Afina o Llama-3.2-3B usando a biblioteca Unsloth.
Aperfeiçoar o GPT-OSS 20B	Afine o modelo gpt-oss-20b da OpenAI em 8 GPUs H100 usando paralelismo de dados distribuído e LoRA para afinação eficiente em termos de parâmetros.
Ajuste fino supervisionado usando DeepSpeed e TRL	Utilize a API em Python da Serverless de GPU para executar ajuste fino supervisionado (SFT) usando a biblioteca Transformer Reinforcement Learning (TRL) com otimização DeepSpeed ZeRO Stage 3.
Ajuste fino LoRA usando Axolote	Use a API Python da GPU Serverless para afinar um modelo Olmo3 7B usando a biblioteca Axolotl.
Ajuste fino distribuído Qwen2-0.5B	Afinar o modelo Qwen2-0.5B usando LoRA e Kernels Liger para treino distribuído eficiente em termos de memória com redução de parâmetros.
Ajuste fino distribuído de Llama-3.2-3B com Unsloth	Afina finamente o Llama-3.2-3B usando treino distribuído entre múltiplas GPUs com a biblioteca Unsloth para um treino otimizado em termos de parâmetros eficientes.
Ajuste fino do Llama 3.1 8B com LLM Foundry	Aperfeiçoe o modelo Llama 3.1 8B usando o Mosaic LLM Foundry com estratégias de formação distribuída e avaliação de desempenho do modelo.
Ajuste fino GPT-OSS 120B com DDP e FSDP	Aperfeiçoar o modelo GPT-OSS 120B da OpenAI usando ajuste fino supervisionado em GPUs H100 com as estratégias de treino distribuído DDP e FSDP.
Formação distribuída com PyTorch FSDP	Treine modelos Transformer usando o Fully Sharded Data Parallel (FSDP) do PyTorch para fragmentar os parâmetros do modelo por várias GPUs.

Demonstração em vídeo

Este vídeo percorre em detalhe o caderno de exemplo Fine-tune Llama-3.2-3B with Unsloth (12 minutos).