LLM locali pronti per l'uso in Microsoft Foundry in Windows

Microsoft Foundry in Windows offre più modelli di linguaggio grandi locali pronti all'uso che è possibile integrare nelle applicazioni Windows.

LLMs pronti per l'uso

L'app può usare facilmente i seguenti LLM locali in meno di un'ora. La distribuzione dell'LLM viene gestita da Microsoft e i modelli vengono condivisi tra le app. L'uso di questi LLMs richiede solo poche righe di codice, zero competenze di MACHINE Learning necessarie.

	Cos'è	Dispositivi supportati	Docs
Phi Silica	Lo stesso LLM sullo stesso dispositivo usato dalle esperienze di Windows dalla posta in arrivo	Copilot+ PC (NPU)	Ulteriori informazioni
20+ LLM open source	Scegliere tra oltre 20 modelli OSS LLM disponibili	Windows 10+ (Le prestazioni variano, non tutti i modelli disponibili in tutti i dispositivi)	Ulteriori informazioni

Ottimizzare gli LLM locali

Se i moduli APM pronti per l'uso precedenti non funzionano per lo scenario, è possibile ottimizzare i moduli APM per lo scenario in uso. Questa opzione richiede un po' di lavoro per creare un set di dati per l'ottimizzazione fine, ma è meno impegnativa rispetto ad allenare il proprio modello.

• Phi Silica: consulta LoRA Fine-Tuning per Phi Silica per iniziare.

Usare LLMs da Hugging Face o altre fonti

È possibile usare un'ampia gamma di LLMs da Hugging Face o altre origini ed eseguirli localmente in PC Windows 10+ usando Windows ML(compatibilità del modello e prestazioni variano in base all'hardware del dispositivo). Questa opzione può essere più complessa e può richiedere più tempo rispetto agli LLM locali pronti per l'uso.

Per ulteriori informazioni, vedere Trova o addestra modelli da utilizzare con Windows ML.