Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Questa funzionalità è in versione beta.
Questa pagina fornisce esempi di notebook per ottimizzare i modelli di linguaggio di grandi dimensioni usando il calcolo GPU serverless. Questi esempi illustrano vari approcci all'ottimizzazione, inclusi metodi efficienti per i parametri, ad esempio Low-Rank Adaptation (LoRA) e l'ottimizzazione completa con supervisione.
Ottimizzare il modello Qwen2-0.5B
Il notebook seguente fornisce un esempio di come ottimizzare in modo efficiente il modello Qwen2-0.5B usando:
- Apprendimento per rinforzo del trasformatore (TRL) per l'ottimizzazione con supervisione
- Kernel Liger per l'addestramento della memoria con kernel Triton ottimizzati.
- LoRA per l'ottimizzazione efficiente dei parametri.
Notebook
Ottimizzare Llama-3.2-3B con Unsloth
Questo notebook illustra come ottimizzare Llama-3.2-3B usando la libreria Unsloth.
Unsloth Llama
Video dimostrativo
Questo video illustra in dettaglio il notebook (12 minuti).
Ottimizzazione con supervisione con DeepSpeed e TRL
Questo notebook illustra come usare l'API Python Serverless GPU per eseguire la sintonizzazione fine supervisionata (SFT) usando la libreria TRL (Transformer Reinforcement Learning) con l'ottimizzazione DeepSpeed ZeRO Stage 3.