Windows Copilot Runtime 고유한 ML(Machine Learning) 모델을 찾거나 실행하거나 최적화할 필요 없이 AI 기능을 활용할 수 있는 다양한 AI 지원 기능과 APIs 제공합니다. Copilot+ PC에서 Windows Copilot Runtime을 구동하는 모델은 항상 로컬에서 백그라운드로 실행됩니다.
AI 기능을 활용할 때는 Windows책임 있는 생성 AI 애플리케이션 및 기능을 개발하는 검토하는 것이 좋습니다.
Windows 앱용 Windows Copilot Runtime 기능 및 APIs 기능
Windows Copilot Runtime에는 Windows 디바이스에서 로컬로 실행되는 모델이 제공하는 다음과 같은 기능 및 AI가 지원하는 APIs이 포함되어 있습니다(Windows 앱 SDK에서).
피 실리카: 아직 사용할 수 없습니다. 피 실리카 APIs 은 Windows 앱 SDK에 출시될 예정입니다. ChatGPT를 지원하는 OpenAI의 LLM(GPT 대규모 언어 모델)과 마찬가지로 Phi는 Microsoft Research가 로컬 디바이스에서 언어 처리 작업을 수행하기 위해 개발한 SLM(Small Language Model)입니다. Phi Silica는 NPU(신경 처리 장치)가 있는 Windows 디바이스용으로 특별히 설계되어 텍스트 생성 및 대화 기능을 디바이스에서 직접 고성능 하드웨어 가속 방식으로 실행할 수 있습니다.
OCR: 아직 사용할 수 없습니다.(광학 문자 인식 또는 OCR이라고도 하는)은 Windows 앱 SDK에서 출시될 예정입니다. 이러한 APIs 이미지의 텍스트를 인식하고 다양한 유형의 문서(예: 스캔한 종이 문서, PDF 파일 또는 디지털 카메라에서 캡처한 이미지)를 로컬 디바이스에서 편집 가능하고 검색 가능한 데이터로 변환할 수 있도록 합니다.
이미징 APIs: 아직 사용할 수 없습니다. AI 강화 이미징 APIs은 Windows 앱 SDK에서 제공될 예정입니다. 이러한 APIs 이미지 크기를 지능적으로 조정하고 이미지 내에서 개체를 식별하는 등의 다양한 작업을 수행합니다.
Studio Effects: Windows 11 버전 22H2 이상(빌드 22623.885 이상)은 Copilot+ PC에서 사용할 수 있습니다. 호환되는 NPU(신경 처리 장치)가 있는 Windows 디바이스는 Studio Effects 기본 제공 디바이스 카메라 및 마이크 설정에 통합합니다. 배경 노이즈를 필터링하기 위해 배경 흐림 효과, 눈 접촉 보정, 자동 프레이밍, 세로 조명 보정, 크리에이티브 필터 또는 음성 포커스 등 AI를 활용하는 특수 효과를 적용합니다.
Recall: Copilot+ PC의 Windows 참가자 프로그램을 통해 미리 보기로 사용할 수 있습니다.Recall 사용하면 문서, 이미지, 웹 사이트 등과 같은 과거 활동에서 항목을 빠르게 찾을 수 있습니다. 개발자는 사용자 활동 API를 사용하여 기저 벡터 데이터베이스에 컨텍스트 정보를 추가하여 앱으로 사용자 Recall의 경험을 보강할 수 있습니다. 이러한 통합을 통해 사용자는 앱에서 중단된 위치를 파악하여 Windows와 앱 간에 앱 참여와 사용자의 원활한 흐름을 개선할 수 있습니다.
라이브 캡션 번역은 청각 장애가 있는 사용자를 포함하여 Windows의 모든 사용자가 음성 콘텐츠의 캡션을 보면서 오디오를 더 잘 이해하는 데 도움이 될 있습니다(오디오 콘텐츠가 시스템의 기본 언어와 다른 언어인 경우에도).
Windows 앱용 클라우드 기반 AI 지원 APIs
또한 클라우드에서 모델을 실행하는 APIs 사용하여 Windows 앱에 추가할 수 있는 AI 기능을 제공하는 데 관심이 있을 수 있습니다. Microsoft 또는 OpenAI에서 제공하는 클라우드 기반 AI 기반 APIs 의 몇 가지 예는 다음과 같습니다.
WinUI 3/Windows 앱 SDK 데스크톱 앱에 OpenAI 채팅 완성 추가: 클라우드 기반 OpenAI ChatGPT 완성 기능을 WinUI 3/Windows 앱 SDK 데스크톱 앱에 통합하는 방법에 대한 자습서입니다.
WinUI 3/Windows 앱 SDK 데스크톱 앱에 DALL-E 추가: 클라우드 기반 OpenAI DALL-E 이미지 생성 기능을 WinUI 3/Windows 앱 SDK 데스크톱 앱에 통합하는 방법에 대한 자습서입니다.
.NET MAUI 및 ChatGPT를 사용하여 추천 앱 만들기: 클라우드 기반 OpenAI ChatGPT 완성 기능을 .NET MAUI 앱에 통합하는 샘플 권장 사항 앱을 만드는 방법에 대한 자습서입니다.
.NET MAUI Windows 데스크톱 앱에 DALL-E 추가: 클라우드 기반 OpenAI DALL-E 이미지 생성 기능을 .NET MAUI 앱에 통합하는 방법에 대한 자습서입니다.
Azure OpenAI 서비스: Windows 앱이 Azure의 추가 보안 및 엔터프라이즈 기능을 사용하여 GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 또는 Embeddings 모델 시리즈와 같은 OpenAI 모델에 액세스하려면 이 Azure OpenAI 설명서에서 지침을 찾을 수 있습니다.
Azure AI Services: Azure는 인기 있는 개발 언어로 REST APIs 및 클라이언트 라이브러리 SDK를 통해 사용할 수 있는 전체 AI 서비스 제품군을 제공합니다. 자세한 내용은 각 서비스의 설명서를 참조하세요. 이러한 클라우드 기반 서비스를 통해 개발자와 조직은 기본 제공 및 미리 빌드되고 사용자 지정 가능한 모델을 사용하여 지능적이고 최첨단의 시장 준비 및 책임 있는 애플리케이션을 신속하게 만들 수 있습니다 APIs . 예제 애플리케이션에는 대화, 검색, 모니터링, 번역, 음성, 시각, 의사 결정에 대한 자연어 처리가 포함됩니다.
Windows 앱에서 로컬 및 클라우드 기반 AI 지원 APIs 사용에 대한 고려 사항
ML 모델을 로컬로 실행하는 것과 클라우드에서 실행하는 데 의존하는 Windows 앱에서 API 사용 중에서 결정할 때 고려해야 할 몇 가지 장점과 단점이 있습니다.
리소스 가용성
로컬 디바이스: 모델 실행은 CPU, GPU, NPU, 메모리 및 스토리지 용량을 포함하여 사용 중인 디바이스에서 사용할 수 있는 리소스에 따라 달라집니다. 이는 디바이스에 높은 계산 능력이나 충분한 스토리지가 없는 경우 제한될 수 있습니다. Phi와 같은 SLLM(소형 언어 모델)은 디바이스에서 로컬로 사용하기에 더 이상적입니다.
클라우드: Azure와 같은 클라우드 플랫폼은 확장 가능한 리소스를 제공합니다. 필요한 만큼의 계산 능력이나 스토리지를 사용할 수 있으며 사용하는 것에 대해서만 비용을 지불할 수 있습니다. OpenAI 언어 모델과 같은 LLM(대규모 언어 모델)에는 더 많은 리소스가 필요하지만 더 강력합니다.
데이터 개인 정보 보호 및 보안
로컬 디바이스: 데이터가 디바이스에 남아 있으므로 모델을 로컬로 실행하는 것이 더 안전하고 비공개일 수 있습니다. 데이터 보안의 책임은 사용자에게 달려 있습니다.
클라우드: 클라우드 공급자는 강력한 보안 조치를 제공하지만 데이터를 클라우드로 전송해야 하므로 경우에 따라 데이터 개인 정보 보호 문제가 발생할 수 있습니다.
접근성 및 공동 작업
로컬 디바이스: 모델 및 데이터는 수동으로 공유하지 않는 한 디바이스에서만 액세스할 수 있습니다. 이로 인해 모델 데이터에 대한 공동 작업이 더 어려워질 가능성이 있습니다.
클라우드: 인터넷 연결을 통해 어디서나 모델 및 데이터에 액세스할 수 있습니다. 이는 공동 작업 시나리오에 더 적합할 수 있습니다.
비용
로컬 디바이스: 디바이스에 대한 초기 투자 외에는 추가 비용이 없습니다.
클라우드: 클라우드 플랫폼은 종량제 모델에서 작동하지만 사용된 리소스 및 사용 기간에 따라 비용이 누적됩니다.
유지 관리 및 업데이트
로컬 디바이스: 사용자는 시스템을 유지 관리하고 업데이트를 설치할 책임이 있습니다.
클라우드: 유지 관리, 시스템 업데이트 및 새 기능 업데이트는 클라우드 서비스 공급자에 의해 처리되어 사용자의 유지 관리 오버헤드를 줄입니다.
SLM(Small Language Model)을 로컬로 실행하는 것과 클라우드에서 LLM(대규모 언어 모델)을 실행하는 것의 차이점에 대해 자세히 알아보려면 로컬로 작은 언어 모델 실행과 클라우드에서 큰 언어 모델 실행을 참조하세요.