Gotowe do użycia lokalne modele LLM w Microsoft Foundry na systemie Windows

Rozwiązanie Microsoft Foundry w systemie Windows udostępnia wiele gotowych do użycia lokalnych dużych modeli językowych (LLM), które można zintegrować z aplikacjami systemu Windows.

Gotowe do użycia modele LLM

Aplikacja może bez wysiłku korzystać z następujących lokalnych maszyn LLM w mniej niż godzinę. Dystrybucja usługi LLM jest obsługiwana przez firmę Microsoft, a modele są współużytkowane w aplikacjach. Korzystanie z tych modułów LLM wymaga tylko kilku wierszy kodu, co nie wymaga znajomości uczenia maszynowego.

	Co to jest	Obsługiwane urządzenia	Docs
Krzemionka Phi	To samo lokalne LLM, które są używane w doświadczeniach wbudowanych w Windowsie.	Komputery Copilot+ (NPU)	Dowiedz się więcej
20+ maszyny LLM typu open source	Wybierz spośród ponad 20+ dostępnych modeli systemu operacyjnego LLM	Windows 10+ (Wydajność jest różna, a nie wszystkie modele dostępne na wszystkich urządzeniach)	Dowiedz się więcej

Dostosowanie lokalnych LLM

Jeśli powyższe gotowe modele LLM nie działają w twoim przypadku, możesz dostroić modele LLM do swojego scenariusza. Ta opcja wymaga pewnej pracy w celu utworzenia zestawu danych do dostrajania modelu, ale wymaga mniej pracy niż trenowanie własnego modelu.

• Krzemionka Phi: Zobacz LoRA Fine-Tuning dla Krzemionki Phi, aby rozpocząć.

Użyj LLM z Hugging Face lub innych źródeł

Możesz użyć wielu różnych modeli LLM z Hugging Face lub innych źródeł i uruchamiać je lokalnie na komputerach z systemem Windows 10+ przy użyciu Windows ML(zgodność modelu i wydajność będą się różnić w zależności od sprzętu urządzenia). Ta opcja może być bardziej złożona i może zająć więcej czasu w porównaniu z gotowymi do użycia lokalnymi modelami językowymi LLM.

Aby dowiedzieć się więcej, zobacz znajdowanie lub trenowanie modeli do użycia z usługą Windows ML .