Windows 앱에서 AI 지원 API 사용 시작

Windows Copilot Runtime 는 사용자 고유의 ML(Machine Learning) 모델을 찾거나 실행하거나 최적화할 필요 없이 AI 기능을 활용할 수 있도록 하는 다양한 AI 지원Windows Copilot Library API를 제공합니다. 전원을 공급하는 Windows Copilot Library 모델은 즉시 사용할 수 있으며 디바이스에서 항상 수동적으로 실행되어 Copilot+ PC에서 AI 기능을 사용하도록 설정합니다.

에서 사용할 수 있는 로컬 AI 지원 API 사용 Windows Copilot Library

Windows Copilot Library 에는 Windows 디바이스에서 직접 로컬로 실행되는 모델에서 제공하는 이러한 AI 지원 API가 포함되어 있습니다.

• Phi Silica: Phi Silica API는 Windows 앱 SDK 일부로 사용할 수 있습니다. ChatGPT를 지원하는 OpenAI의 LLM(GPT 대규모 언어 모델)과 마찬가지로 Phi는 Microsoft Research가 로컬 디바이스에서 언어 처리 작업을 수행하기 위해 개발한 SLM(Small Language Model)입니다. Phi Silica는 NPU(신경 처리 장치)가 있는 Windows 디바이스용으로 특별히 설계되어 텍스트 생성 및 대화 기능을 디바이스에서 직접 고성능 하드웨어 가속 방식으로 실행할 수 있습니다.

• Text RecognitionOCR 사용: Text Recognition API(광학 문자 인식 또는 OCR이라고도 함)는 Windows 앱 SDK 일부로 사용할 수 있습니다. 이 API를 사용하면 이미지의 텍스트를 인식하고 스캔한 종이 문서, PDF 파일 또는 디지털 카메라로 캡처한 이미지와 같은 다양한 유형의 문서를 로컬 디바이스에서 편집 가능하고 검색 가능한 데이터로 변환할 수 있습니다.

• Studio Effects: 호환되는 NPU(신경 처리 장치)가 있는 Windows 디바이스는 기본 제공 디바이스 카메라 및 마이크 설정에 통합 Studio Effects 됩니다. 배경 노이즈를 필터링하기 위해 배경 흐림 효과, 눈 접촉 보정, 자동 프레이밍, 세로 조명 보정, 크리에이티브 필터 또는 음성 포커스 등 AI를 활용하는 특수 효과를 적용합니다.

• Recall: Recall 사용자가 문서, 이미지, 웹 사이트 등과 같은 과거 활동에서 항목을 빠르게 찾을 수 있습니다. 개발자는 사용자 작업 API를 사용하여 기본 벡터 데이터베이스에 컨텍스트 정보를 추가하여 앱으로 사용자 Recall 환경을 보강할 수 있습니다. 이러한 통합을 통해 사용자는 앱에서 중단된 위치를 파악하여 Windows와 앱 간에 앱 참여와 사용자의 원활한 흐름을 개선할 수 있습니다.

라이브 캡션 번역, 의미 체계 검색, RAG(검색 증강 세대), 텍스트 요약 및 이미지 슈퍼 해상도를 포함하여 더 많은 것을 사용할 수 있습니다.

Windows 앱에서 클라우드 기반 AI 지원 API 사용

또한 클라우드에서 모델을 실행하는 API를 사용하여 Windows 앱에 추가할 수 있는 AI 기능을 제공하는 데 관심이 있을 수 있습니다. Microsoft 또는 OpenAI에서 제공하는 클라우드 기반 AI 지원 API의 몇 가지 예는 다음과 같습니다.

• WinUI 3/Windows 앱 SDK 데스크톱 앱에 OpenAI 채팅 완성 추가: 클라우드 기반 OpenAI ChatGPT 완성 기능을 WinUI 3/Windows 앱 SDK 데스크톱 앱에 통합하는 방법에 대한 자습서입니다.

• WinUI 3/Windows 앱 SDK 데스크톱 앱에 DALL-E 추가: 클라우드 기반 OpenAI DALL-E 이미지 생성 기능을 WinUI 3/Windows 앱 SDK 데스크톱 앱에 통합하는 방법에 대한 자습서입니다.

• .NET MAUI 및 ChatGPT를 사용하여 추천 앱 만들기: 클라우드 기반 OpenAI ChatGPT 완성 기능을 .NET MAUI 앱에 통합하는 샘플 권장 사항 앱을 만드는 방법에 대한 자습서입니다.

• .NET MAUI Windows 데스크톱 앱에 DALL-E 추가: 클라우드 기반 OpenAI DALL-E 이미지 생성 기능을 .NET MAUI 앱에 통합하는 방법에 대한 자습서입니다.

• Azure OpenAI 서비스: Windows 앱이 Azure의 추가 보안 및 엔터프라이즈 기능을 사용하여 GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 또는 Embeddings 모델 시리즈와 같은 OpenAI 모델에 액세스하려면 이 Azure OpenAI 설명서에서 지침을 찾을 수 있습니다.

• Azure AI Services: Azure는 인기 있는 개발 언어로 REST API 및 클라이언트 라이브러리 SDK를 통해 사용할 수 있는 전체 AI 서비스 제품군을 제공합니다. 자세한 내용은 각 서비스의 설명서를 참조하세요. 이러한 클라우드 기반 서비스를 통해 개발자와 조직은 기본 제공 및 미리 빌드되고 사용자 지정 가능한 API 및 모델을 사용하여 지능적이고 최첨단의 시장 준비 및 책임 있는 애플리케이션을 신속하게 만들 수 있습니다. 예제 애플리케이션에는 대화, 검색, 모니터링, 번역, 음성, 시각, 의사 결정에 대한 자연어 처리가 포함됩니다.

Windows 앱에서 로컬 및 클라우드 기반 AI 지원 API 사용에 대한 고려 사항

ML 모델을 로컬로 실행하는 것과 클라우드에서 실행하는 데 의존하는 Windows 앱에서 API 사용 중에서 결정할 때 고려해야 할 몇 가지 장점과 단점이 있습니다.

• 리소스 가용성

  • 로컬 디바이스: 모델 실행은 CPU, GPU, NPU, 메모리 및 스토리지 용량을 포함하여 사용 중인 디바이스에서 사용할 수 있는 리소스에 따라 달라집니다. 이는 디바이스에 높은 계산 능력이나 충분한 스토리지가 없는 경우 제한될 수 있습니다. Phi와 같은 SLLM(소형 언어 모델)은 디바이스에서 로컬로 사용하기에 더 이상적입니다.
  • 클라우드: Azure와 같은 클라우드 플랫폼은 확장 가능한 리소스를 제공합니다. 필요한 만큼의 계산 능력이나 스토리지를 사용할 수 있으며 사용하는 것에 대해서만 비용을 지불할 수 있습니다. OpenAI 언어 모델과 같은 LLM(대규모 언어 모델)에는 더 많은 리소스가 필요하지만 더 강력합니다.

• 데이터 개인 정보 보호 및 보안

  • 로컬 디바이스: 디바이스에서 데이터가 다시 기본 모델을 로컬로 실행하는 것이 더 안전하고 비공개일 수 있습니다. 데이터 보안의 책임은 사용자에게 달려 있습니다.
  • 클라우드: 클라우드 공급자는 강력한 보안 조치를 제공하지만 데이터를 클라우드로 전송해야 하므로 경우에 따라 데이터 개인 정보 보호 문제가 발생할 수 있습니다.

• 접근성 및 공동 작업

  • 로컬 디바이스: 모델 및 데이터는 수동으로 공유하지 않는 한 디바이스에서만 액세스할 수 있습니다. 이로 인해 모델 데이터에 대한 공동 작업이 더 어려워질 가능성이 있습니다.
  • 클라우드: 인터넷 연결을 통해 어디서나 모델 및 데이터에 액세스할 수 있습니다. 이는 공동 작업 시나리오에 더 적합할 수 있습니다.

• 비용

  • 로컬 디바이스: 디바이스에 대한 초기 투자 외에는 추가 비용이 없습니다.
  • 클라우드: 클라우드 플랫폼은 종량제 모델에서 작동하지만 사용된 리소스 및 사용 기간에 따라 비용이 누적됩니다.

• 유지 관리 및 업데이트

  • 로컬 디바이스: 사용자는 시스템을 기본 업데이트 설치를 담당합니다.
  • 클라우드: 유지 관리, 시스템 업데이트 및 새 기능 업데이트는 클라우드 서비스 공급자에 의해 처리되어 사용자의 기본 테넌트 오버헤드를 줄입니다.

SLM(Small Language Model)을 로컬로 실행하는 것과 클라우드에서 LLM(대규모 언어 모델)을 실행하는 것의 차이점에 대해 자세히 알아보려면 로컬로 작은 언어 모델 실행과 클라우드에서 큰 언어 모델 실행을 참조하세요.