Grote taalmodellen (LLM's)

Belangrijk

Deze functie bevindt zich in de bètaversie. Werkruimtebeheerders kunnen de toegang tot deze functie beheren vanaf de pagina Previews . Zie Azure Databricks-previews beheren.

Deze pagina bevat notebookvoorbeelden voor het afstemmen van grote taalmodellen (LLM's) met behulp van serverloze GPU-rekenkracht. In deze voorbeelden worden verschillende benaderingen gedemonstreerd voor het verfijnen van parameters, waaronder methoden zoals Low-Rank Adaptation (LoRA) en volledige afstemming onder supervisie.

Handleiding	Beschrijving
Qwen2-0.5B-model verfijnen	Verfijn het Qwen2-0.5B-model efficiënt met behulp van TRL (Transformer Reinforcement Learning), Liger Kernels voor geheugenefficiënte training en LoRA voor het efficiënt afstemmen van parameters.
Llama-3.2-3B verfijnen met Unsloth	Verfijn Llama-3.2-3B met behulp van de Unsloth-bibliotheek.
Afstemming onder supervisie met DeepSpeed en TRL	Gebruik de Python-API voor serverloze GPU om SFT (supervisie) uit te voeren met behulp van de TRL-bibliotheek (Transformer Reinforcement Learning) met DeepSpeed ZeRO Fase 3-optimalisatie.
LORA-finetuning met behulp van Axolotl	Gebruik de Python-API voor serverloze GPU om LORA een Olmo3 7B-model af te stemmen met behulp van de Axolotl-bibliotheek.

Videodemo

In deze video wordt stapsgewijs uitgelegd hoe u Llama-3.2-3B met Unsloth kunt afstemmen aan de hand van het voorbeeldnotitieblok (12 minuten).