Windows 앱에서 AI를 사용하는 방법에 대한 질문과 대답

올바른 옵션 선택

어떤 Windows AI 옵션을 사용해야 하나요?

대상 하드웨어 및 사용 사례에 따라 달라집니다. Windows AI API는 모델 관리 없이 OCR에 대한 단일 API 호출, 이미지 설명, 텍스트 요약 및 Phi Silica 채팅과 같은 Copilot+ PCs 가장 간단한 경로를 제공합니다. Foundry Local은 더 다양한 모델 카탈로그, Copilot+ PC가 아닌 하드웨어 지원 또는 OpenAI 호환 API에 대한 액세스가 필요한 경우에 적합합니다. Windows ML은 ONNX 모델을 가져오고 실행 공급자를 직접 관리하는 가장 많은 제어를 제공합니다. 비교표는 Windows AI 솔루션 선택을 참조하세요.

Windows AI 기능을 사용하려면 Copilot+ PC 또는 NPU가 필요한가요?

사용 중인 기능에 따라 달라집니다. Windows AI API에는 NPU를 사용하는 Copilot+ PC 필요합니다. Foundry Local은 NPU가 없는 디바이스를 포함하여 DirectX 12 지원 GPU가 있는 모든 Windows 디바이스에서 실행됩니다. Windows ML은 광범위한 CPU, GPU 및 NPU를 지원합니다. 자세한 내용은 지원되는 하드웨어 목록을 참조하세요.

기존 OpenAI SDK 코드와 함께 Foundry Local을 사용할 수 있나요?

예. Foundry Local은 OpenAI 호환 REST API를 노출합니다. 로컬 서비스를 foundry service start시작한 다음, OpenAI 클라이언트를 로컬 엔드포인트로 가리킵니다. 모델 이름, 메시지 및 스트리밍 호출은 변경 없이 작동합니다. 엔드포인트 형식은 Foundry Local 시작하기를 참조하세요.

Foundry Local이 프로덕션 앱에 적합합니까, 아니면 여전히 실험적입니까?

네이티브 SDK(C#, Python, JavaScript, Rust)는 현재 알파/시험판에 있습니다. 기반이 되는 ONNX 런타임 및 모델 서빙 인프라는 프로덕션급입니다. 현재 앱을 출시하려면 SDK API 노출 영역이 변경될 수 있다고 간주하고 패키지 버전을 고정하세요. 최신 안정성 상태는 Foundry Local이란? 을 참조하세요.

Foundry Local이 오프라인으로 작동하나요?

예, 모델이 디바이스에서 다운로드되고 캐시되면 Foundry Local은 클라우드 종속성 없이 디바이스에서 전적으로 유추를 수행합니다. 초기 모델 다운로드에는 인터넷 액세스가 필요합니다. 시작 시 Foundry Local은 모델 카탈로그를 새로 고치려고 시도할 수 있지만 필수는 아닙니다. 디바이스가 오프라인 상태이면 캐시된 카탈로그로 대체되고 유추가 정상적으로 계속됩니다. SDK(IsCachedAsyncC#) / is_cached (Python) 메서드를 사용하면 유추를 시도하기 전에 모델 가용성을 확인할 수 있으므로 오프라인 사례를 정상적으로 처리할 수 있습니다.

Foundry Local은 디바이스 간 하드웨어 차이를 어떻게 처리하나요?

Foundry Local은 시작 시 사용 가능한 하드웨어를 검색하고 최상의 실행 공급자인 QNN(Qualcomm NPU), WinML/DirectML(AMD, Intel, NVIDIA, Qualcomm), CUDA를 통한 NVIDIA GPU 또는 CPU 대체를 통한 DirectX 12 지원 GPU를 선택합니다. 별칭(예 phi-3.5-mini: )으로 모델을 요청하고 Foundry Local은 디바이스에 대해 하드웨어 최적화 변형을 자동으로 제공합니다. 앱 코드는 모든 하드웨어 구성에서 동일합니다.

데이터 개인 정보 보호 및 보안

Foundry Local이 사용자 데이터를 클라우드로 보내나요?

No. Foundry 로컬은 전적으로 디바이스에서 실행됩니다. 유추 입력 및 출력은 머신에서 나가지 않습니다. 유일한 네트워크 트래픽은 초기 모델 다운로드 및 선택적 카탈로그 메타데이터 새로 고침입니다. 시작 시 Foundry Local은 모델 카탈로그를 새로 고치려고 시도할 수 있지만 필수는 아닙니다. 디바이스가 오프라인 상태이면 캐시된 카탈로그로 대체되고 유추가 정상적으로 계속됩니다.

Windows AI API를 사용할 때 데이터 개인 정보를 어떻게 처리해야 하나요?

Windows AI API는 NPU를 사용하여 디바이스에서 로컬로 데이터를 처리합니다. 입력 데이터는 Microsoft 서버로 전송되지 않습니다. 책임 있는 AI 사례, 동의 및 투명성에 대한 지침은 Windows 책임 있는 생성 AI 애플리케이션 및 기능 개발을 참조하세요.

플랫폼 및 런타임

Windows ML이란?

Windows ML을 사용하면 앱이 대용량 런타임 또는 EP 이진 파일을 사용하지 않고도 디바이스의 CPU, GPU 또는 NPU에 대해 모델 유추가 최적화되도록 앱에서 공유 시스템 차원의 ONNX 런타임을 사용하고 공급업체별 실행 공급자(EP)를 동적으로 다운로드할 수 있습니다. 고유한 ONNX 모델을 가져와야 하거나 EP 선택에 대한 모든 권한을 원할 때 사용합니다. Windows ML 개요를 참조하세요.

DirectML이란?

DirectML은 Direct3D 12를 기반으로 하는 기계 학습을 위한 하위 수준 GPU 가속 API입니다. AMD, Intel, NVIDIA 및 Qualcomm의 모든 DirectX 12 지원 GPU를 지원합니다. ONNX 런타임은 CUDA를 사용할 수 없는 경우 Windows DirectML을 실행 공급자로 사용합니다.

PyPI에서 foundry-local-sdk와 foundry-local-sdk-winml의 차이점은 무엇인가요?

foundry-local-sdk-winml는 Windows 특정 패키지로, Windows ML을 통한 하드웨어 가속을 포함하며 Windows 권장됩니다. foundry-local-sdk는 하드웨어 가속 없이 macOS, Linux 또는 Windows 대한 플랫폼 간 패키지입니다. 하나만 설치하세요. 두 패키지가 onnxruntime-core의 서로 다른 버전을 고정하므로 둘 다 설치하면 충돌합니다. PyPI의 foundry-local(-sdk 제외)는 관련 없는 서드파티 패키지이니, foundry-local-sdk 또는 foundry-local-sdk-winml를 설치하세요.

디바이스에 어떤 GPU 또는 NPU가 있는지 확인하려면 어떻게 해야 하나요?

작업 관리자(Ctrl+Shift+Esc)를 열고 , 성능 탭을 선택하고, 왼쪽 패널에서 GPU 및 NPU 항목을 찾습니다. 명령줄에서 실행할 foundry model list 수도 있습니다. Foundry Local은 서비스를 시작할 때 하드웨어에 대해 활성 상태인 실행 공급자를 표시합니다.

대상 하드웨어 및 사용 사례에 따라 달라집니다. Windows AI API는 모델 관리 없이 OCR에 대한 단일 API 호출, 이미지 설명, 텍스트 요약 및 Phi Silica 채팅과 같은 Copilot+ PCs 가장 간단한 경로를 제공합니다. Foundry Local은 더 다양한 모델 카탈로그, Copilot+ PC가 아닌 하드웨어 지원 또는 OpenAI 호환 API에 대한 액세스가 필요한 경우에 적합합니다. Windows ML은 ONNX 모델을 가져오고 실행 공급자를 직접 관리하는 가장 많은 제어를 제공합니다. 비교표는 Windows AI 솔루션 선택을 참조하세요.

사용 중인 기능에 따라 달라집니다. Windows AI API에는 NPU를 사용하는 Copilot+ PC 필요합니다. Foundry Local은 NPU가 없는 디바이스를 포함하여 DirectX 12 지원 GPU가 있는 모든 Windows 디바이스에서 실행됩니다. Windows ML은 광범위한 CPU, GPU 및 NPU를 지원합니다. 자세한 내용은 지원되는 하드웨어 목록을 참조하세요.

예. Foundry Local은 OpenAI 호환 REST API를 노출합니다. 로컬 서비스를 foundry service start시작한 다음, OpenAI 클라이언트를 로컬 엔드포인트로 가리킵니다. 모델 이름, 메시지 및 스트리밍 호출은 변경 없이 작동합니다. 엔드포인트 형식은 Foundry Local 시작하기를 참조하세요.

네이티브 SDK(C#, Python, JavaScript, Rust)는 현재 알파/시험판에 있습니다. 기반이 되는 ONNX 런타임 및 모델 서빙 인프라는 프로덕션급입니다. 현재 앱을 출시하려면 SDK API 노출 영역이 변경될 수 있다고 간주하고 패키지 버전을 고정하세요. 최신 안정성 상태는 Foundry Local이란? 을 참조하세요.

예, 모델이 디바이스에서 다운로드되고 캐시되면 Foundry Local은 클라우드 종속성 없이 디바이스에서 전적으로 유추를 수행합니다. 초기 모델 다운로드에는 인터넷 액세스가 필요합니다. 시작 시 Foundry Local은 모델 카탈로그를 새로 고치려고 시도할 수 있지만 필수는 아닙니다. 디바이스가 오프라인 상태이면 캐시된 카탈로그로 대체되고 유추가 정상적으로 계속됩니다. SDK(IsCachedAsyncC#) / is_cached (Python) 메서드를 사용하면 유추를 시도하기 전에 모델 가용성을 확인할 수 있으므로 오프라인 사례를 정상적으로 처리할 수 있습니다.

Foundry Local은 시작 시 사용 가능한 하드웨어를 검색하고 최상의 실행 공급자인 QNN(Qualcomm NPU), WinML/DirectML(AMD, Intel, NVIDIA, Qualcomm), CUDA를 통한 NVIDIA GPU 또는 CPU 대체를 통한 DirectX 12 지원 GPU를 선택합니다. 별칭(예 phi-3.5-mini: )으로 모델을 요청하고 Foundry Local은 디바이스에 대해 하드웨어 최적화 변형을 자동으로 제공합니다. 앱 코드는 모든 하드웨어 구성에서 동일합니다.

No. Foundry 로컬은 전적으로 디바이스에서 실행됩니다. 유추 입력 및 출력은 머신에서 나가지 않습니다. 유일한 네트워크 트래픽은 초기 모델 다운로드 및 선택적 카탈로그 메타데이터 새로 고침입니다. 시작 시 Foundry Local은 모델 카탈로그를 새로 고치려고 시도할 수 있지만 필수는 아닙니다. 디바이스가 오프라인 상태이면 캐시된 카탈로그로 대체되고 유추가 정상적으로 계속됩니다.

Windows AI API는 NPU를 사용하여 디바이스에서 로컬로 데이터를 처리합니다. 입력 데이터는 Microsoft 서버로 전송되지 않습니다. 책임 있는 AI 사례, 동의 및 투명성에 대한 지침은 Windows 책임 있는 생성 AI 애플리케이션 및 기능 개발을 참조하세요.

Windows ML을 사용하면 앱이 대용량 런타임 또는 EP 이진 파일을 사용하지 않고도 디바이스의 CPU, GPU 또는 NPU에 대해 모델 유추가 최적화되도록 앱에서 공유 시스템 차원의 ONNX 런타임을 사용하고 공급업체별 실행 공급자(EP)를 동적으로 다운로드할 수 있습니다. 고유한 ONNX 모델을 가져와야 하거나 EP 선택에 대한 모든 권한을 원할 때 사용합니다. Windows ML 개요를 참조하세요.

DirectML은 Direct3D 12를 기반으로 하는 기계 학습을 위한 하위 수준 GPU 가속 API입니다. AMD, Intel, NVIDIA 및 Qualcomm의 모든 DirectX 12 지원 GPU를 지원합니다. ONNX 런타임은 CUDA를 사용할 수 없는 경우 Windows DirectML을 실행 공급자로 사용합니다.

foundry-local-sdk-winml는 Windows 특정 패키지로, Windows ML을 통한 하드웨어 가속을 포함하며 Windows 권장됩니다. foundry-local-sdk는 하드웨어 가속 없이 macOS, Linux 또는 Windows 대한 플랫폼 간 패키지입니다. 하나만 설치하세요. 두 패키지가 onnxruntime-core의 서로 다른 버전을 고정하므로 둘 다 설치하면 충돌합니다. PyPI의 foundry-local(-sdk 제외)는 관련 없는 서드파티 패키지이니, foundry-local-sdk 또는 foundry-local-sdk-winml를 설치하세요.

작업 관리자(Ctrl+Shift+Esc)를 열고 , 성능 탭을 선택하고, 왼쪽 패널에서 GPU 및 NPU 항목을 찾습니다. 명령줄에서 실행할 foundry model list 수도 있습니다. Foundry Local은 서비스를 시작할 때 하드웨어에 대해 활성 상태인 실행 공급자를 표시합니다.