Anmerkung
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen, dich anzumelden oder die Verzeichnisse zu wechseln.
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen , die Verzeichnisse zu wechseln.
Von Bedeutung
Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Verwalten von Azure Databricks-Vorschauen.
Diese Seite enthält Notizbuchbeispiele für die Feinabstimmung großer Sprachmodelle (LLMs) mit Serverless GPU Compute. Diese Beispiele veranschaulichen verschiedene Ansätze zur Feinabstimmung, einschließlich parametereffizienter Methoden wie Low-Rank Adaption (LoRA) und vollständig überwachter Feinabstimmung.
Feinabstimmung des Qwen2-0.5B-Modells
Das folgende Notizbuch enthält ein Beispiel zum effizienten Optimieren des Qwen2-0.5B-Modells mithilfe von:
- Transformatorverstärkungslern (TRL) für überwachte Feinabstimmung
- Liger Kernels für eine speichereffiziente Schulung mit optimierten Triton-Kerneln.
- LoRA für parametereffiziente Feinabstimmung.
Notebook
Feinabstimmung llama-3.2-3B mit Unsloth
Dieses Notizbuch veranschaulicht, wie Sie llama-3.2-3B mithilfe der Unsloth-Bibliothek optimieren.
Unsloth Llama
Video-Demo
Dieses Video führt ausführlich durch das Notizbuch (12 Minuten).
Überwachte Feinabstimmung mit DeepSpeed und TRL
Dieses Notizbuch veranschaulicht, wie Sie die Serverless GPU Python-API verwenden, um überwachte Feinabstimmungen (SFT) mithilfe der Transformer Reinforcement Learning (TRL)-Bibliothek mit DeepSpeed ZeRO Phase 3-Optimierung auszuführen.
TRL DeepSpeed
LORA Fine-Tuning mit Axolotl
Dieses Notizbuch zeigt, wie man die Serverless GPU Python-API verwendet, um mithilfe der Axolotl-Bibliothek ein Olmo3 7B-Modell mit LORA-Feinabstimmung zu optimieren.