Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Cette fonctionnalité est en version bêta. Les administrateurs d’espace de travail peuvent contrôler l’accès à cette fonctionnalité à partir de la page Aperçus . Consultez Gérer les préversions d’Azure Databricks.
Cette page fournit des exemples de notebooks pour affiner les modèles de langage volumineux (LLMs) à l’aide du calcul GPU serverless. Ces exemples illustrent différentes approches du réglage précis, notamment des méthodes efficaces en paramètres telles que Low-Rank Adaptation (LoRA) et un réglage complet supervisé.
Ajuster le modèle Qwen2-0.5B
Le notebook suivant fournit un exemple d’optimisation efficace du modèle Qwen2-0.5B à l’aide de :
- Apprentissage par renforcement du transformateur (TRL) pour le réglage précis supervisé
- Noyaux Liger pour une utilisation optimisée de la mémoire lors de l'entraînement avec des noyaux Triton optimisés.
- LoRA pour l’optimisation efficace des paramètres.
Notebook
Obtenir un ordinateur portable
Ajuster Llama-3.2-3B avec Unsloth
Ce notebook montre comment ajuster Llama-3.2-3B à l’aide de la bibliothèque Unsloth.
Unsloth Llama
Obtenir un ordinateur portable
Vidéo de démonstration
Cette vidéo décrit en détail le bloc-notes (12 minutes).
Ajustement supervisé à l’aide de DeepSpeed et TRL
Ce notebook démontre comment utiliser l'API Python GPU sans serveur pour exécuter un ajustement supervisé (SFT) à l'aide de la bibliothèque Transformer Reinforcement Learning (TRL) avec l'optimisation DeepSpeed ZeRO Stage 3.
TRL DeepSpeed
Obtenir un ordinateur portable
Ajustement de LORA à l’aide d’Axolotl
Ce notebook démontre comment utiliser l’API Python Serverless GPU pour effectuer un réglage fin avec LORA sur un modèle Olmo3 7B à l’aide de la bibliothèque Axolotl.