Microsoft Foundry on Windows는 로컬 AI 기능을 Windows 앱에 통합하려는 개발자를 위한 최고의 솔루션입니다.
Microsoft Foundry on Windows 개발자에게 ...
- AI 유추 프레임워크를 통해 모든 모델을 로컬로 실행 Windows ML
AI를 익숙하지 않든, ML(숙련된 Machine Learning) 전문가이든 관계없이 Microsoft Foundry on Windows 사용자에게는 무언가가 있습니다.
즉시 사용할 수 있는 AI 모델 및 API
앱은 1시간 이내에 다음 로컬 AI 모델 및 API를 손쉽게 사용할 수 있습니다. 모델 파일의 배포 및 런타임은 Microsoft 처리되고 모델은 앱 간에 공유됩니다. 이러한 모델 및 API를 사용하려면 소수의 코드 줄만 필요하며 ML 전문 지식은 필요하지 않습니다.
| 모델 유형 또는 API | 이게 뭐예요 | 옵션 및 지원되는 디바이스 |
|---|---|---|
| LLM(큰 언어 모델) | 생성형 텍스트 모델 | Phi Silica via(미세 조정 지원) AI APIs 또는 20개 이상의 OSS LLM 모델 Foundry Local을 통해 자세한 내용은 로컬 LLM을 참조하세요. |
| 이미지 설명 | 이미지에 대한 자연어 텍스트 설명 가져오기 | AI APIs 을 통한 이미지 설명(Copilot+ PC) |
| 이미지 전경 추출기 | 이미지의 전경을 분할합니다. | AI APIs 을 통한 이미지 포그라운드 추출기(Copilot+ PC) |
| 이미지 생성 | 텍스트에서 이미지 생성 | AI APIs 을 통한 이미지 생성(Copilot+ PC) |
| 이미지 개체 지우기 | 이미지에서 개체 지우기 | AI APIs 을 통한 이미지 개체 지우기(Copilot+ PC) |
| 이미지 개체 추출기 | 이미지의 특정 개체 분할 | AI APIs 을 통한 이미지 개체 추출기(Copilot+ PC) |
| 이미지 슈퍼 해상도 | 이미지 해상도 늘리기 | (Copilot+ PC)에 의한 이미지 슈퍼 해상도AI APIs |
| 의미 체계 검색 | 의미 체계로 텍스트 및 이미지 검색 | 애플리케이션 콘텐츠 검색(AI APIs)을 통한 (Copilot+ PC) |
| 음성 인식 | 음성을 텍스트로 변환 | Windows SDK를 통한 Foundry Local 또는 음성 인식을 통한 속삭임 자세한 내용은 음성 인식을 참조하세요. |
| 텍스트 인식(OCR) | 이미지에서 텍스트 인식 | |
| VSR(비디오 슈퍼 해상도) | 비디오 해상도 향상 | Copilot+ PC를 통한 비디오 슈퍼 해상도AI APIs |
Windows ML와 다른 모델의 함께 사용
Hugging Face 또는 기타 원본에서 다양한 모델을 사용하거나, 사용자 고유의 모델을 학습시키고, Windows ML(모델 호환성 및 성능은 디바이스 하드웨어에 따라 다름)을 사용하여 Windows 10 이상 PC에서 로컬로 실행할 수 있습니다.
자세한 내용은 모델을 찾거나 훈련시키는 방법에 대한 정보를 Windows ML 참조하세요.
어떤 옵션으로 시작할까요?
이 의사 결정 트리에 따라 애플리케이션 및 시나리오에 가장 적합한 방법을 선택합니다.
기본 제공 Windows AI APIs 기능이 사용자의 시나리오를 다루는지와 Copilot+ PC를 대상으로 하는지를 확인합니다. 이것은 최소한의 개발 노력으로 가장 빠른 시장 경로입니다.
Windows AI APIs 필요한 항목이 없거나 Windows 10 이상을 지원해야 하는 경우 LLM 또는 음성 텍스트 변환 시나리오에 Foundry Local 고려합니다.
사용자 지정 모델이 필요하거나, Hugging Face 또는 기타 원본에서 기존 모델을 활용하거나, 위의 옵션에서 다루지 않는 특정 모델 요구 사항이 있는 경우 Windows ML 사용자 고유의 모델을 찾거나 학습할 수 있는 유연성을 제공합니다(Windows 10 이상 지원).
앱은 이러한 세 가지 기술을 모두 조합하여 사용할 수도 있습니다.
로컬 AI에 사용할 수 있는 기술
다음 기술은 Microsoft Foundry on Windows에 있습니다.
| 윈도우즈 AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| 이게 뭐예요 | Copilot+ PC에 최적화된 다양한 작업 유형에서 즉시 사용할 수 있는 AI 모델 및 API | 즉시 사용할 수 있는 LLM 및 음성 텍스트 변환 모델 | ONNX Runtime 찾거나 학습하는 모델을 실행하기 위한 프레임워크 |
| 지원되는 디바이스 | Copilot+ PC들 | Windows 10 이상 PC 및 크로스 플랫폼 지원 (성능은 사용 가능한 하드웨어에 따라 다르며 사용 가능한 모든 모델은 다릅니다.) |
Windows 10 이상 PC 및 오픈 소스를 통한 플랫폼 간 ONNX Runtime (성능은 사용 가능한 하드웨어에 따라 다름) |
| 모델 유형 및 사용 가능한 API |
LLM 이미지 설명 이미지 전경 추출기 이미지 생성 이미지 개체 지우기 이미지 개체 추출기 이미지 슈퍼 해상도 의미 체계 검색 텍스트 인식(OCR) 비디오 슈퍼 해상도 |
LLM(다중) 음성을 텍스트로 전환 사용 가능한 20개 이상의 모델 찾아보기 |
사용자 고유의 모델 찾기 또는 학습 |
| 모델 배포 | Microsoft에서 호스팅하고 런타임 시 획득하여 앱 간에 공유함 | Microsoft에서 호스팅하고 런타임 시 획득하여 앱 간에 공유함 | 앱에서 처리하는 배포(앱 라이브러리는 앱 간에 모델을 공유할 수 있습니다). |
| 자세히 알아보기 | AI APIs 문서 읽기 | Foundry Local 문서 읽기 | Windows ML 문서 읽기 |
Foundry Toolkit Visual Studio Code는 AI 모델을 로컬에서 다운로드하여 실행할 수 있는 VS Code 확장으로, DirectML을 통해 하드웨어 가속을 이용해 성능과 확장성을 향상시킵니다. 다음 Foundry Toolkit은 또한 귀하에게 도움을 줄 수 있습니다.
- 직관적인 플레이그라운드 또는 REST API를 사용하여 애플리케이션에서 모델을 테스트합니다.
- 로컬 또는 클라우드(가상 머신)에서 AI 모델을 미세 조정하여 새 기술을 만들고 응답의 안정성을 개선하며 응답의 톤과 형식을 설정합니다.
- Phi-3 및 Mistral같은 인기 있는 SLLM(작은 언어 모델)을 미세 조정합니다.
- 클라우드 또는 디바이스에서 실행되는 애플리케이션을 사용하여 AI 기능을 배포합니다.
- DirectML을 사용하여 AI 기능을 사용하여 성능 향상을 위해 하드웨어 가속을 활용합니다. DirectML은 Windows 디바이스 하드웨어가 디바이스 GPU 또는 NPU를 사용하여 ML 모델의 성능을 가속화할 수 있도록 하는 하위 수준 API입니다. DirectML을 ONNX Runtime 페어링하는 것은 일반적으로 개발자가 대규모로 사용자에게 하드웨어 가속 AI를 가져오는 가장 간단한 방법입니다. 자세한 정보: DirectML 개요.
- 모델 변환 기능을 사용하여 NPU에서 사용할 모델 수량화 및 유효성 검사
로컬 AI를 활용하기 위한 아이디어
Windows 앱이 로컬 AI를 활용하여 기능 및 사용자 환경을 향상시킬 수 있는 몇 가지 방법은 다음과 같습니다.
- 앱은 생성 AI LLM 모델을 사용하여 복잡한 항목을 이해하여 요약, 다시 작성, 보고 또는 확장할 수 있습니다.
- 앱은 LLM 모델을 사용하여 자유 형식 콘텐츠를 앱이 이해할 수 있는 구조화된 형식으로 변환할 수 있습니다.
- 앱은 의미상 콘텐츠를 검색하고 관련 콘텐츠를 빠르게 찾을 수 있는 의미 체계 검색 모델을 사용할 수 있습니다.
- 앱은 자연어 처리 모델을 사용하여 복잡한 자연어 요구 사항을 추론하고 사용자의 요청을 수행하기 위한 작업을 계획하고 실행할 수 있습니다.
- 앱은 이미지 조작 모델을 사용하여 이미지를 지능적으로 수정하거나, 주제를 지우거나 추가하거나, 스케일링하거나, 새 콘텐츠를 생성할 수 있습니다.
- 앱은 예측 진단 모델을 사용하여 문제를 식별하고 예측하고 사용자를 안내하거나 이를 수행할 수 있습니다.
클라우드 AI 모델 사용
로컬 AI 기능을 사용하는 것이 올바른 경로가 아닌 경우 클라우드 AI 모델 및 리소스를 사용하는 것이 솔루션이 될 수 있습니다.
책임 있는 AI 관행 사용
Windows 앱에 AI 기능을 통합할 때마다 매우Windows에서 책임 있는 생성 AI 애플리케이션 및 기능 개발 지침을 따르는 것이 좋습니다.