Modelos de lenguaje grande (LLM)

Importante

El entorno de ejecución de IA para tareas de nodo único está en versión preliminar pública. La API de entrenamiento distribuido para cargas de trabajo de varias GPU permanece en beta.

En esta página se proporcionan ejemplos de cuadernos para ajustar modelos de lenguaje de gran escala (LLM) utilizando AI Runtime. En estos ejemplos se muestran varios enfoques para el ajuste fino, incluidos métodos eficientes en el uso de parámetros, como Low-Rank Adaptation (LoRA) y ajuste fino supervisado completo.

Tutorial	Descripción
Ajustar finamente el modelo Qwen2-0.5B	Ajuste eficazmente el modelo Qwen2-0.5B utilizando el aprendizaje por refuerzo de Transformer (TRL), los kernels de Liger para un entrenamiento eficaz en memoria y LoRA para un ajuste de parámetros eficiente.
Ajustar Llama-3.2-3B con Unsloth	Ajuste Llama-3.2-3B mediante la biblioteca Unsloth.
Ajuste fino supervisado mediante DeepSpeed y TRL	Utilice la API de Python para GPU Serverless para ejecutar el ajuste fino supervisado (SFT) mediante la biblioteca de Aprendizaje de Refuerzo de Transformador (TRL) con optimización DeepSpeed ZeRO Stage 3.
Optimización de LORA mediante Axolotl	Utiliza la API de Python con GPU sin servidor para ajustar el modelo Olmo3 7B utilizando LORA con la biblioteca Axolotl.
Ajuste fino distribuido de Qwen2-0.5B	Ajustar el modelo Qwen2-0.5B utilizando LoRA y kernels de Liger para un entrenamiento distribuido eficiente en memoria con reducción de parámetros.
Optimización distribuida de Llama-3.2-3B con Unsloth	Ajuste Llama-3.2-3B mediante el entrenamiento distribuido en varias GPUs con la biblioteca Unsloth para un entrenamiento optimizado eficiente en términos de parámetros.
Realice un ajuste fino de Llama 3.1 8B con LLM Foundry	Ajuste el modelo Llama 3.1 8B utilizando Mosaic LLM Foundry con las estrategias de entrenamiento distribuidas y la evaluación del modelo.
Ajuste fino GPT-OSS 120B con DDP y FSDP	Ajustar el modelo GPT-OSS 120B de OpenAI mediante el ajuste fino supervisado en GPUs H100 con estrategias de entrenamiento distribuido de DDP y FSDP.
Entrenamiento distribuido con FSDP de PyTorch	Entrenar modelos de transformador con PyTorch Data Parallel completamente fragmentado (FSDP) para particionar los parámetros del modelo en varias GPUs.

Demostración de vídeo

Este vídeo explora el cuaderno de ejemplo Fine-tune Llama-3.2-3B con Unsloth en detalle (12 minutos).