Bereits einsatzbereite lokale LLMs in Microsoft Foundry unter Windows

Microsoft Foundry unter Windows bietet mehrere einsatzbereite lokale Große Sprachmodelle (LLMs), die Sie in Ihre Windows-Anwendungen integrieren können.

Sofort einsatzbereite LLMs

Ihre App kann die folgenden lokalen LLMs mühelos in weniger als einer Stunde verwenden. Die Verteilung der LLM wird von Microsoft verarbeitet, und die Modelle werden für alle Apps freigegeben. Die Verwendung dieser LLMs erfordert nur eine Handvoll Codezeilen, keine ML-Expertise erforderlich.

	Was ist es	Unterstützte Geräte	Docs
Phi-Silika	Die gleiche On-Device-LLM, die Posteingangserfahrungen unter Windows verwendet	Copilot+ PCs (NPU)	Weitere Informationen
20+ Open-Source-LLMs	Wählen Sie aus über 20 verfügbaren OSS LLM-Modellen	Windows 10+ (Die Leistung variiert, nicht alle Modelle sind auf allen Geräten verfügbar)	Weitere Informationen

Optimieren lokaler LLMs

Wenn die oben genannten einsatzbereiten LLMs für Ihr Szenario nicht funktionieren, können Sie LLMs für Ihr Szenario optimieren. Diese Option erfordert einige Arbeit, um einen Feinabstimmungsschulungsdatensatz zu erstellen, ist aber weniger Aufwand als das Trainieren eines eigenen Modells.

• Phi Silika: Siehe LoRA Fine-Tuning für Phi Silika , um loszulegen.

Verwenden Sie LLMs von Hugging Face oder anderen Quellen

Sie können eine Vielzahl von LLMs von Hugging Face oder anderen Quellen verwenden und diese lokal auf Windows 10+-PCs mit Windows ML ausführen. Die Kompatibilität und Leistung der Modelle variiert je nach Gerätehardware. Diese Option kann komplexer sein und kann im Vergleich zu den einsatzbereiten lokalen LLMs mehr Zeit in Anspruch nehmen.

Siehe Modelle finden oder trainieren für die Verwendung mit Windows ML, um mehr zu erfahren.