Windows의 Microsoft Foundry는 Windows 애플리케이션에 통합할 수 있는 여러 즉시 사용할 수 있는 로컬 LLM(대규모 언어 모델)을 제공합니다.
즉시 사용할 수 있는 LLM
앱은 1시간 이내에 다음 로컬 LLM을 쉽게 사용할 수 있습니다. LLM 배포는 Microsoft에서 처리하며 모델은 앱 간에 공유됩니다. 이러한 LLM을 사용하려면 소수의 코드 줄만 필요하며 ML 전문 지식이 필요하지 않습니다.
| 이게 뭐예요 | 지원되는 디바이스 | Docs | |
|---|---|---|---|
| 피 실리카 | 받은 편지함 Windows 환경에서 사용하는 것과 동일한 디바이스 내 LLM | 부조종사+ PC(NPU) | 자세히 알아보기 |
| 오픈 소스 LLM 20개 이상 | 20개 이상의 사용 가능한 OSS LLM 모델 중에서 선택 | Windows 10 이상 (성능이 다르며 모든 디바이스에서 사용할 수 있는 모든 모델이 아닙니다.) |
자세히 알아보기 |
로컬 LLM 미세 조정
위의 즉시 사용할 수 있는 LLM이 시나리오에 작동하지 않는 경우 시나리오에 맞게 LLM을 미세 조정할 수 있습니다. 이 옵션을 사용하려면 미세 조정 학습 데이터 세트를 빌드하는 데 약간의 작업이 필요하지만 사용자 고유의 모델을 학습시키는 것보다는 작업이 적습니다.
- 피 실리카: 피 실리카가 시작하려면 LoRA Fine-Tuning 참조하세요.
Hugging Face 또는 기타 출처에서 대형 언어 모델(LLM) 사용
Hugging Face 또는 기타 원본에서 다양한 LLM을 사용하고 Windows ML(모델 호환성 및 성능은 디바이스 하드웨어에 따라 다름)을 사용하여 Windows 10+ PC에서 로컬로 실행할 수 있습니다. 이 옵션은 더 복잡할 수 있으며 즉시 사용할 수 있는 로컬 LLM에 비해 더 많은 시간이 걸릴 수 있습니다.
자세한 내용은 Windows ML에서 사용할 모델 찾기 또는 학습 을 참조하세요.