Grands modèles de langage (LLMs)

Ces exemples affinent et effectuent le post-entraînement de grands modèles de langage (LLM) sur AI Runtime. Ils couvrent des méthodes paramétriquement efficaces comme Low-Rank Adaptation (LoRA) et un réglage fin supervisé complet à travers des bibliothèques telles que TRL, Unsloth, Axolotl et LLM Foundry. Pour des exemples d’inférence par lots, voir Inférence par lots.

Example	Interface	Description
Apprentissage par renforcement de Gemma4-2B	Notebook	Après entraînement de Gemma4-2B avec l’optimisation relative des politiques de groupe (GRPO) et l’adaptation Low-Rank (LoRA) sur un seul GPU H100 en utilisant Unsloth.
Ajustement fin supervisé (complet) de Qwen3-4B	Notebook	Ajustement fin complet du Qwen3-4B sur un seul GPU H100 avec TRL, en utilisant BF16 un mélange de précision et de points de contrôle de gradient.
Ajustement fin supervisé (LoRA) de Llama-3.2-3B	Notebook	LoRA a affiné Llama-3.2-3B sur un seul GPU avec la bibliothèque Unsloth.
Ajustement fin supervisé (LoRA) de GPT-OSS 20B	Notebook	LoRA a affiné GPT-OSS 20B sur 8 GPU H100 avec TRL et parallélisme de données distribuées.
Ajustement fin supervisé (complet) de Llama-3.2-1B	Notebook	Ajustement fin de tous les poids de Llama-3.2-1B sur 8 GPU H100 avec TRL et DeepSpeed ZeRO Stage 3.
Ajustement fin supervisé (LoRA) d’Olmo3 7B	Notebook	LoRA ajuste finement Olmo3 7B sur plusieurs GPU avec la bibliothèque Axolotl.
Réglage précis supervisé (complet) et déploiement de Qwen3.5-0.8B	Notebook	Affinez Qwen3.5-0.8B sur un seul GPU H100 avec TRL, puis déployez-le derrière un endpoint de service de modèle vLLM.
Ajustement fin supervisé de Llama-3.2-3B sur plusieurs GPU	Notebook	LoRA ajuste Llama-3.2-3B sur plusieurs GPU avec la bibliothèque Unsloth.
Réglage fin supervisé (LoRA) de GPT-OSS 120B	Notebook	LoRA a affiné GPT-OSS 120B sur 8 GPU H100 avec TRL, en utilisant DDP et FSDP.
Entraînement des transformateurs sur multi-GPU	Notebook	Entraîner les modèles Transformer à l'aide de données entièrement partitionnées parallèles (FSDP) PyTorch pour partitionner les paramètres de modèle sur plusieurs GPU.
Réglage fin FSDP multi-nœuds de Llama 3.1 8B	CLI	Ajustement fin supervisé du Llama 3.1 8B avec PyTorch FSDP sur deux nœuds 8x H100, enregistrement de la perte d’entraînement au MLflow, et sauvegarde d’un point de contrôle consolidé.
Réglage fin FSDP2 multi-nœuds de Qwen3.8-27B	CLI	Ajustement fin supervisé de Qwen3.8-27B avec PyTorch FSDP2 sur quatre nœuds 8x H100.
Ajustement fin complet de Qwen3-8B pour l’extraction de factures	CLI	Ajustez Qwen3-8B pour l’extraction des entités de facture et de reçu avec TRL et DeepSpeed ZeRO-3 sur un nœud 8x H100.
Réglage fin supervisé de Qwen2.5-3B avec Ray Train	CLI	Utilisez Ray Train pour affiner Qwen2.5-3B avec un processus DDP par GPU sur un nœud H100 8x.
Recherche d’hyperparamètres LoRA pour Qwen2.5-0.5B	CLI	Utilisez Ray Tune et l’algorithme asynchrone de réduction successive par deux (ASHA) pour rechercher les configurations LoRA sur quatre GPU A10 et enregistrer la meilleure configuration sur MLflow.

Vidéo de démonstration

Cette vidéo présente en détail le Réglage précis supervisé (LoRA) de l’exemple de notebook Llama-3.2-3B (12 minutes).