Microsoft Foundry on Windows 는 로컬 AI 기능을 Windows 앱에 통합하려는 개발자를 위한 최고의 솔루션입니다.
Microsoft Foundry on Windows 는 개발자에게 다음을 제공합니다.
- Windows AI APIs 및Foundry Local
- AI 추론 프레임워크를 통해 모든 모델을 로컬로 실행 Windows ML
AI를 접하는지, 아니면 숙련된 ML(Machine Learning) 전문가 Microsoft Foundry on Windows 이든 관계없이 사용자를 위한 무언가가 있습니다.
즉시 사용할 수 있는 AI 모델 및 API
앱은 1시간 이내에 다음 로컬 AI 모델 및 API를 손쉽게 사용할 수 있습니다. 모델 파일의 배포 및 런타임은 Microsoft에서 처리하며 모델은 앱 간에 공유됩니다. 이러한 모델 및 API를 사용하려면 소수의 코드 줄만 필요하며 ML 전문 지식은 필요하지 않습니다.
| 모델 유형 또는 API | 이게 뭐예요 | 옵션 및 지원되는 디바이스 |
|---|---|---|
| LLM(큰 언어 모델) | 생성형 텍스트 모델 | Phi Silica via(미세 조정 지원) AI APIs 또는 20개 이상의 OSS LLM 모델 Foundry Local을 통해 자세한 내용은 로컬 LLM을 참조하세요. |
| 이미지 설명 | 이미지에 대한 자연어 텍스트 설명 가져오기 | 를 통한 AI APIs이미지 설명 (코필로트+ PC) |
| 이미지 전경 추출기 | 이미지의 전경을 분할합니다. | 를 통한 AI APIs이미지 전경 추출기 (코필로트+ PC) |
| 이미지 생성 | 텍스트에서 이미지 생성 | 를 통한 AI APIs이미지 생성 (코필로트+ PC) |
| 이미지 개체 지우기 | 이미지에서 개체 지우기 | AI APIs를 통해 이미지 개체 지우기 (Copilot+ PC) |
| 이미지 개체 추출기 | 이미지의 특정 개체 분할 | 를 통한 AI APIs이미지 개체 추출기 (코필로트+ PC) |
| 이미지 슈퍼 해상도 | 이미지 해상도 늘리기 | AI APIs를 통한 이미지 슈퍼 해상도 (Copilot+ PC) |
| 의미 체계 검색 | 의미 체계로 텍스트 및 이미지 검색 | 를 통한 AI APIs앱 콘텐츠 검색 (코필로트+ PC) |
| 음성 인식 | 음성을 텍스트로 변환 | Windows SDK를 통한 Foundry Local 위스퍼 또는 음성 인식 자세한 내용은 음성 인식을 참조하세요. |
| 텍스트 인식(OCR) | 이미지에서 텍스트 인식 | AI APIs를 통한 OCR (Copilot + PC) |
| VSR(비디오 슈퍼 해상도) | 비디오 해상도 향상 | AI APIs를 통한 비디오 슈퍼 해상도 (코파일럿+ PC) |
다른 모델 사용 Windows ML
Hugging Face 또는 기타 원본에서 다양한 모델을 사용하거나, 사용자 고유의 모델을 학습시키고 Windows 10+ PC Windows ML 에서 로컬로 실행할 수 있습니다(모델 호환성 및 성능은 디바이스 하드웨어에 따라 다름).
자세한 내용은 사용할 모델 Windows ML찾기 또는 학습을 참조하세요.
어떤 옵션으로 시작할까요?
이 의사 결정 트리에 따라 애플리케이션 및 시나리오에 가장 적합한 방법을 선택합니다.
기본 제공 Windows AI APIs가 귀하의 시나리오를 지원하는지 확인하고, Copilot+ PC를 목표로 하고 있는지 확인합니다. 이것은 최소한의 개발 노력으로 가장 빠른 시장 경로입니다.
Windows AI APIs 에 필요한 항목이 없거나 Windows 10+를 지원해야 하는 경우 LLM 또는 음성 텍스트 변환 시나리오를 고려 Foundry Local 하세요.
사용자 지정 모델이 필요하거나, Hugging Face 또는 기타 원본에서 기존 모델을 활용하거나, 위의 옵션 Windows ML 에서 다루지 않는 특정 모델 요구 사항이 있으면 고유한 모델을 찾거나 학습할 수 있는 유연성을 제공합니다.
앱은 이러한 세 가지 기술을 모두 조합하여 사용할 수도 있습니다.
로컬 AI에 사용할 수 있는 기술
이러한 기술은 Microsoft Foundry on Windows에서 이용할 수 있습니다.
| 윈도우즈 AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| 이게 뭐예요 | Copilot+ PC에 최적화된 다양한 작업 유형에서 즉시 사용할 수 있는 AI 모델 및 API | 즉시 사용할 수 있는 LLM 및 음성 텍스트 변환 모델 | ONNX Runtime 찾거나 학습하는 모델을 실행하기 위한 프레임워크 |
| 지원되는 디바이스 | Copilot+ PC | Windows 10 이상의 모든 PC 및 다양한 플랫폼과 호환됨 (성능은 사용 가능한 하드웨어에 따라 다르며 사용 가능한 모든 모델은 다릅니다.) |
모든 Windows 10+ PC와 오픈 소스 기술을 활용한 플랫폼 간 ONNX Runtime (성능은 사용 가능한 하드웨어에 따라 다름) |
| 모델 유형 및 사용 가능한 API |
LLM 이미지 설명 이미지 전경 추출기 이미지 생성 이미지 개체 지우기 이미지 개체 추출기 이미지 슈퍼 해상도 의미 체계 검색 텍스트 인식(OCR) 비디오 슈퍼 해상도 |
LLM(다중) 음성을 텍스트로 전환 사용 가능한 20개 이상의 모델 찾아보기 |
사용자 고유의 모델 찾기 또는 학습 |
| 모델 배포 | Microsoft가 호스팅하고 런타임 시 획득하여 앱 간에 공유합니다. | Microsoft에서 호스팅하며, 실행 중에 동적으로 로드되고, 앱 간에 공유됩니다. | 앱에서 처리하는 배포(앱 라이브러리는 앱 간에 모델을 공유할 수 있습니다). |
| 자세히 알아보기 | AI APIs 문서 읽기 | Foundry Local 문서 읽기 | Windows ML 문서 읽기 |
Microsoft Foundry on Windows에는 AI 기능을 성공적으로 빌드하는 데 도움이 되는 Visual Studio Code 및 AI 개발자 갤러리와 같은AI Toolkit 개발자 도구도 포함되어 있습니다.
Visual Studio CodeAI Toolkit는 AI 모델을 로컬에서 다운로드하고 실행할 수 있게 해주는 VS Code 확장 프로그램으로, 하드웨어 가속을 통해 성능을 향상시키고 DirectML을 통해 규모를 확장할 수 있습니다. 다음 AI Toolkit은 또한 귀하에게 도움을 줄 수 있습니다.
- 직관적인 플레이그라운드 또는 REST API를 사용하여 애플리케이션에서 모델을 테스트합니다.
- 로컬 또는 클라우드(가상 머신)에서 AI 모델을 미세 조정하여 새 기술을 만들고 응답의 안정성을 개선하며 응답의 톤과 형식을 설정합니다.
- Phi-3 및 Mistral같은 인기 있는 SLLM(작은 언어 모델)을 미세 조정합니다.
- 클라우드 또는 디바이스에서 실행되는 애플리케이션을 사용하여 AI 기능을 배포합니다.
- DirectML을 사용하여 AI 기능을 사용하여 성능 향상을 위해 하드웨어 가속을 활용합니다. DirectML은 Windows 디바이스 하드웨어가 디바이스 GPU 또는 NPU를 사용하여 ML 모델의 성능을 가속화할 수 있도록 하는 하위 수준 API입니다. DirectML을 ONNX Runtime 페어링하는 것은 일반적으로 개발자가 대규모로 사용자에게 하드웨어 가속 AI를 가져오는 가장 간단한 방법입니다. 자세한 정보: DirectML 개요.
- 모델 변환 기능을 사용하여 NPU에서 사용할 모델 수량화 및 유효성 검사
로컬 AI를 활용하기 위한 아이디어
Windows 앱에서 로컬 AI를 활용하여 기능 및 사용자 환경을 향상시킬 수 있는 몇 가지 방법은 다음과 같습니다.
- 앱은 생성 AI LLM 모델을 사용하여 복잡한 항목을 이해하여 요약, 다시 작성, 보고 또는 확장할 수 있습니다.
- 앱은 LLM 모델을 사용하여 자유 형식 콘텐츠를 앱이 이해할 수 있는 구조화된 형식으로 변환할 수 있습니다.
- 앱은 의미상 콘텐츠를 검색하고 관련 콘텐츠를 빠르게 찾을 수 있는 의미 체계 검색 모델을 사용할 수 있습니다.
- 앱은 자연어 처리 모델을 사용하여 복잡한 자연어 요구 사항을 추론하고 사용자의 요청을 수행하기 위한 작업을 계획하고 실행할 수 있습니다.
- 앱은 이미지 조작 모델을 사용하여 이미지를 지능적으로 수정하거나, 주제를 지우거나 추가하거나, 스케일링하거나, 새 콘텐츠를 생성할 수 있습니다.
- 앱은 예측 진단 모델을 사용하여 문제를 식별하고 예측하고 사용자를 안내하거나 이를 수행할 수 있습니다.
클라우드 AI 모델 사용
로컬 AI 기능을 사용하는 것이 올바른 경로가 아닌 경우 클라우드 AI 모델 및 리소스를 사용하는 것이 솔루션이 될 수 있습니다.
책임 있는 AI 관행 사용
Windows 앱에 AI 기능을 통합할 때마다 Windows 지침에서 책임 있는 생성 AI 애플리케이션 및 기능 개발 따라 매우 권장할 있습니다.