Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von Bedeutung
Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Verwalten von Azure Databricks-Vorschauen.
Diese Seite enthält Notizbuchbeispiele für die Feinabstimmung großer Sprachmodelle (LLMs) mit Serverless GPU Compute. Diese Beispiele veranschaulichen verschiedene Ansätze zur Feinabstimmung, einschließlich parametereffizienter Methoden wie Low-Rank Adaption (LoRA) und vollständig überwachter Feinabstimmung.
Feinabstimmung des Qwen2-0.5B-Modells
Das folgende Notizbuch enthält ein Beispiel zum effizienten Optimieren des Qwen2-0.5B-Modells mithilfe von:
- Transformatorverstärkungslern (TRL) für überwachte Feinabstimmung
- Liger Kernels für eine speichereffiziente Schulung mit optimierten Triton-Kerneln.
- LoRA für parametereffiziente Feinabstimmung.
Notebook
Feinabstimmung llama-3.2-3B mit Unsloth
Dieses Notizbuch veranschaulicht, wie Sie llama-3.2-3B mithilfe der Unsloth-Bibliothek optimieren.
Unsloth Llama
Video-Demo
Dieses Video führt ausführlich durch das Notizbuch (12 Minuten).
Überwachte Feinabstimmung mit DeepSpeed und TRL
Dieses Notizbuch veranschaulicht, wie Sie die Serverless GPU Python-API verwenden, um überwachte Feinabstimmungen (SFT) mithilfe der Transformer Reinforcement Learning (TRL)-Bibliothek mit DeepSpeed ZeRO Phase 3-Optimierung auszuführen.
TRL DeepSpeed
LORA Fine-Tuning mit Axolotl
Dieses Notizbuch zeigt, wie man die Serverless GPU Python-API verwendet, um mithilfe der Axolotl-Bibliothek ein Olmo3 7B-Modell mit LORA-Feinabstimmung zu optimieren.