Windows Studio Effects 개요(미리 보기)
Windows Studio Effects 는 호환되는 NPU(신경 처리 장치)가 있는 일부 Windows 디바이스에서 AI를 활용하여 디바이스 카메라(현재 전면 카메라 지원) 또는 기본 제공 마이크에 특수 효과를 적용합니다. NPU에서 지원하는 AI 효과는 다음과 같습니다.
- 배경색 흐리게
- 눈 접촉
- 자동 프레이밍
- 음성 포커스
- 세로 조명
- 크리에이티브 필터
- Eye contact Teleprompter
향상된 AI 기능의 Windows Studio Effects 목록입니다.
필수 조건
- Windows 11 버전 22H2 이상(빌드 22623.885 이상).
- 디바이스에는 지원되는 NPU가 있어야 하며 하드웨어 제조업체는 시스템에 Windows Studio 효과 드라이버를 설치하여 옵트인해야 합니다.
Windows Studio Effects 는 디바이스 하드웨어에서 어떻게 작동하나요?
Windows Studio Effects 는 Microsoft에서 빌드하고 NPU(신경 처리 장치)를 사용하여 디바이스에 대해 컴파일/최적화된 AI 모델을 활용하여 디바이스 CPU 및 GPU에 대한 부담을 줄이고 호환되는 디바이스에 대해 전체 Windows 에코시스템에서 확장되는 신뢰할 수 있는 Microsoft AI 환경을 제공하는 고충실도 배터리 친화적인 AI 효과를 제공합니다.
Windows Studio Effects 는 디바이스 카메라 및 마이크(커널 스트리밍 속성 및 API)에 대한 제어 인터페이스를 표준화합니다. 이 컨트롤 인터페이스를 사용하면 모든 애플리케이션에서 다음을 수행할 수 있습니다.
- 효과가 지원되는지 검색
- 필요에 따라 효과 켜기 또는 끄기
- 사용 가능한 메타데이터 액세스
효과는 카메라(또는 마이크)의 하드웨어 수준에서 적용되므로 Windows Studio Effects에서 효과가 켜지면 앱이 효과에 대해 모르는 경우에도 카메라를 사용하는 모든 앱에 대해 기본적으로 적용됩니다.
Windows 아키텍처에서 작동하는 방법에 대한 자세한 내용을 알아봅니다.Studio Effects
설정에서 Windows Studio Effects 를 제어하는 방법
위의 이미지에 표시된 것처럼 작업 표시줄에서 Windows Studio Effects 를 열 수 있지만 설정 메뉴에서도 제어할 수 있습니다.
- 설정>Bluetooth 및 디바이스>카메라를 연 다음 연결된 카메라 목록에서 선택하고 해당 카메라의 설정을 엽니다.
- 전면 카메라 디스플레이와 그 아래에 카메라 효과의 미리 보기가 표시됩니다.
카메라 설정 앱은 Windows 11의 새로운 기능으로, 고객이 시스템의 모든 카메라를 볼 수 있도록 하며, 컴퓨터별로 카메라당 컨트롤 집합에서 기본 "기본" 값을 선택할 수 있습니다.
카메라 설정 앱은 밝기 및 대비와 같은 기본 컨트롤뿐만 아니라 배경 흐림 및 눈 접촉과 같은 Windows Studio 효과도 조정할 수 있습니다.
카메라 설정 앱은 카메라 제조업체에서 제공하는 도우미 앱을 통한 확장성도 지원합니다. 이러한 도우미 앱을 사용하면 디바이스 제조업체가 카메라 설정을 조정하는 사용자 지정 사용자 인터페이스를 제공하거나 추가 사용자 지정 카메라 효과에 대한 컨트롤을 제공할 수 있습니다(예: 카메라 제조업체에서 제공하는 "Funny Hat" 효과에 대한 켜기/끄기 토글).
통합 전면 카메라에 지원되는 Windows Studio Effects 는 다음과 같습니다.
- 배경 효과: 지원되는 두 가지 모델...
- 표준 흐림 효과 - 간단한 가우스 흐림 효과입니다.
- 세로 흐림 - 미묘한 보케 스타일의 흐림 효과. 디바이스 기능에 따라 미묘하거나 깊이 기반 흐림이 발생할 수 있습니다.
- 시선 접촉: 지원되는 두 가지 모델...
- 표준 - 카메라에서 화면으로 내려다 보는 장치 사용자에 대한 미묘한 수정. *눈의 왼쪽 또는 오른쪽 움직임을 조정하지 않습니다.
- Teleprompter - 텔레프롬프터 콘텐츠를 읽을 때 화면 전체에서 눈을 스캔하는 고객을 위한 보다 적극적인 수정입니다.
- 자동 프레이밍: 카메라 필드의 뷰 및 자르기/확대/축소에서 사람을 감지하여 프레임을 유지합니다.
- 세로 조명: 조명이 제대로 켜지지 않은 환경에서 비디오의 사람의 조명 품질을 개선하고 강력한 화면 조명 반사를 제거합니다.
- 크리에이티브 필터: 재미와 플레어를 추가하는 비디오 필터입니다.
참고 항목
용량이 낮은 NPU는 "표준 흐림"을 지원할 수 있지만 컴퓨팅 제한으로 인해 "세로 흐림"은 지원하지 않습니다. 디바이스에서 표준 및 세로 흐림 효과를 모두 지원하는 경우 UI는 "표준 흐림"과 "세로 흐림 효과" 사이에 라디오 단추가 선택되어 있는 "배경 효과"에 대한 켜기/끄기 토글로 표시됩니다. 시스템에서 표준 흐림 효과만 지원하는 경우 UI는 "배경 흐림 효과"에 대한 켜기/끄기 토글로 표시됩니다. 또한 낮은 캡시 NPU는 "표준"을 지원할 수 있지만 "Teleprompter" 눈 접촉 효과는 지원할 수 없습니다. UI는 지원되는 경우 "Teleprompter" 효과를 포함하여 라디오 단추 선택으로 켜기/끄기 토글을 제공합니다.
통합 마이크에 지원되는 Windows Studio Effects 는 다음과 같습니다.
- 음성 포커스: 영상 통화 중에 음성이 명확하게 전달되도록 배경 소음을 필터링하도록 설계된 마이크 효과입니다.
Windows Studio Effects 아키텍처
카메라가 Windows Studio Effects를 사용하도록 옵트인되면 Windows Studio Effects 패키지가 카메라 끝에 연결됩니다. 이렇게 하면 "실제" 카메라가 카메라의 기능과 Windows Studio AI 효과로 구성된 "복합" 카메라로 대체됩니다. 최종 고객은 여전히 "실제" 카메라만 볼 수 있지만 이제 해당 카메라를 대신하여 Windows Studio Effects 를 사용할 수 있습니다.
"실제" 카메라에는 밝기, 대비 및 기타 Microsoft 구현 속성과 같은 KS(Kernal Streaming) 속성과 OEM(디바이스 제조업체) 드라이버에서 구현한 모든 고객 속성이 포함됩니다.
Windows Studio Effects 는 항상 체인의 마지막 항목이므로 애플리케이션은 Windows Studio Effects 가 카메라에 대해 사용하도록 설정된 경우 카메라에 의해 구현된 배경 흐림 효과, 눈 접촉 및 자동 프레이밍 KS 속성이 Windows Studio Effects에서 제공된다는 것을 확신할 수 있습니다.
카메라가 WindowsStudio Effects를 사용하도록 옵트인되지 않은 경우 카메라에 액세스하는 모든 앱은 "실제" 카메라 KS 속성(밝기, 대비 등)만 볼 수 있습니다.
카메라가 WindowsStudio Effects를 사용하도록 옵트인되면 카메라에 액세스하는 모든 앱은 배경 흐림, 눈 접촉 등 AI 효과를 나타내는 Windows Studio Effects KS 속성 외에도 "실제" 카메라 KS 속성을 모두 볼 수 있습니다.
체인에서 동일한 KS 속성을 두 번째로 구현하는 경우(예: OEM 의 DMFT가 배경 흐림 효과도 구현함) 흐림 KS 속성의 기본값이 OFF이므로 해당 구현은 OFF로 유지됩니다. 카메라에 대해 Blur가 켜지면 Windows Studio는 내부적으로 요청을 처리하고 체인을 다른 구성 요소(DMFT, AVStream 드라이버 등)로 전달하지 않습니다.
이 접근 방식을 통해 디바이스 제조업체(Dell 또는 Lenovo와 같은 OEM 및 Intel, AMD 또는 NVIDIA와 같은 IHV)는 Windows Studio가 표준 Windows AI 환경을 추가하기 전에 DMFT 내에서 또는 카메라에서 직접 카메라 처리 기능을 구현할 수 있습니다.
Windows와 앱 통합 Studio Effects
모든 애플리케이션에서 Windows API를 사용하여 카메라 스트림을 시작할 때마다 Windows는 제어권을 애플리케이션에 전달하기 전에 Windows Studio Effects 카메라 설정에 지정된 기본값과 일치하도록 KS(커널 스트리밍) 속성의 현재 값을 설정합니다. 카메라 설정에 지정된 기본값과 일치하면 카메라는 항상 알려진 상태로 시작됩니다.
Windows Studio Effects와 통합할 때 애플리케이션은 다음을 수행할 수 있습니다.
- 항상 시스템 기본값 수락 - 사용자가 기본 설정을 결정합니다(예: 밝기) - 카메라 설정에서 앱 내 컨트롤 없이 이 값을 적용합니다.
- 시스템 기본값에서 시작하지만 사용자는 실시간으로 조정됩니다. 사용자는 시스템 기본값을 변경하지 않고 앱(예: 앱 내의 밝기 슬라이더)을 사용하는 동안 카메라 설정을 조정할 수 있습니다. 사용자는 앱 내 카메라 설정을 저장하여 새 기본 설정을 설정할 수 있습니다.
애플리케이션이 스트림을 시작하기 전에 설정 페이지에서 기본값이 설정된 KS 속성에 값을 이미 작성한 경우 Windows는 스트림을 시작할 때 사용자의 기본값 적용을 건너뜁니다. 예를 들어 사용자의 기본 밝기를 60으로 설정하지만 앱이 스트림을 시작하기 전에 현재 밝기 값을 65로 설정하는 경우 카메라는 60이 아닌 65에서 밝기로 시작합니다.
참고 항목
일부 컨트롤은 앱 환경의 필수적인 부분이므로 앱은 항상 시스템 기본값을 재정의할 수 있습니다. 예를 들어 Microsoft Teams는 백그라운드 효과로 이 작업을 수행합니다. 사용자가 카메라 설정 페이지에서 전역적으로 흐리게를 사용하거나 사용하지 않도록 설정했는지 여부에 관계없이 Teams에서 통화에 참가할 때 배경 효과 컨트롤이 표시되고 해당 앱 UI에서 선택한 값이 적용됩니다. 내부적으로 Teams는 Windows Studio의 NPU 가속 배경 구분을 지능적으로 활용하여 배경 흐림/대체 효과를 적용합니다.
앱에서 제공하는 환경에 관계없이 카메라 설정 앱을 시작하는 앱 내 단추/하이퍼링크를 제공하는 것이 좋습니다. 카메라 설정은 다음 링크로 액세스할 수 있습니다. ms-settings
특정 카메라에 대한 카메라 설정은 다음 링크 형식으로 시작할 수 있습니다. ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
카메라 API를 통해 Windows와 상호 작용하는 앱의 전체 코드 샘플은 Windows-Camera Studio Effects github 리포지토리를 참조하세요.
특정 카메라에 대한 카메라 설정을 호출하는 샘플 코드 조각
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Windows 11 버전 22H2 이상에서 사용할 수 있습니다. 이전 버전의 Windows 11에서 이 ms-settings 링크를 호출하면 사용자가 루트 카메라 설정 페이지로 이동됩니다.
추가 카메라 설정 적용
카메라 스트림이 알려진 상태로 설정되면 애플리케이션은 필요에 따라 카메라에 새 KS 속성 값을 작성하여 추가 구성을 쿼리하고 적용할 수 있습니다. 고객이 특정 카메라 컨트롤(예: 밝기 또는 배경 흐림)을 인식하지 못하는 앱을 사용하는 경우 카메라 설정에서 사용자가 지정한 해당 컨트롤에 대한 설정이 앱에 계속 적용됩니다. 그러나 고객이 해당 컨트롤을 인식하는 앱을 사용하는 경우, 앱은 카메라를 사용하는 동안 해당 컨트롤의 현재 값을 변경할 수 있습니다.
애플리케이션은 컨트롤의 기본값을 변경할 수 없습니다. 이 예방 조치는 한 앱이 카메라를 사용하는 다른 앱의 동작을 변경하지 않도록 합니다. 기본값은 카메라 설정 앱에서만 변경할 수 있습니다.
Windows 11 버전 22H2에서 Windows Studio Effects 를 지원하는 디바이스가 있는 고객은 카메라 설정 페이지에서 카메라 하드웨어에 대한 다른 일반적인 설정과 함께 효과를 직접 켜거나 끌 수 있습니다.
Windows 하드웨어 제조업체 지침
최신 Windows 11 기능으로 하드웨어를 디자인하는 OEM(Original Equipment Manufacturers)은 Windows Studio Effects사용을 옵트인할 수 있습니다.
문제 해결
Windows 앱에는 Windows Studio Effects 에서 카메라에 적용한 AI 효과와 겹치는 기존 앱 내 기능(예: 배경 흐림)이 있을 수 있습니다. 카메라 설정 앱이 카메라 제공 효과의 상태를 관리하지 않는 경우 앱 내 기능이 동기화되지 않아 사용자 환경 문제가 발생할 수 있습니다.
겹치는 효과를 방지하는 방법
카메라가 Windows Studio Effects 및 카메라 설정 앱에 의해 적용된 Background Blur KS 속성도 지원하는 시스템에서 실행되는 배경 흐림 효과를 제공하는 앱을 고려합니다.
고객이 Windows 카메라 설정 앱에서 배경 흐림 효과를 켜면 카메라가 시작될 때 카메라 제공 효과가 적용됩니다. 그런 다음 앱 내 흐림 효과 컨트롤이 명확하게 켜진 흐림 효과에도 불구하고 OFF로 표시되거나 이중 흐림 효과(카메라의 흐림 효과와 앱의 흐림 효과)가 있는 ON으로 표시되어 리소스를 낭비합니다.
지원되는 디바이스에서 실행하는 경우 Windows Studio Effects 를 직접 활용하여 시스템 리소스 및 배터리 수명 영향이 낮은 고화질 효과를 제공하는 것이 좋습니다. 이렇게 하면 고객이 앱 내 컨트롤과 상호 작용할 때 카메라 자체의 Windows Studio Effects 기능과 직접 동기화됩니다. 이 동기화를 설정하고 이 겹침 문제를 방지하는 방법에 대한 단계는 위의 Windows Studio Effects 와 앱 통합 섹션을 참조하세요.
앱이 Windows Studio Effects를 지원하는 장치에서 실행 중이지만 다른 타사 서비스에 의해 적용되거나 전혀 적용되지 않는 효과를 선호하는 경우 충돌하는 Windows Studio Effects를 해제해야 합니다.
Windows Studio Effects를 끄려면:
- 겹치는 KS 속성이 있는지 확인합니다.
- 겹치는 속성이 있는 경우 카메라를 시작할 때 OFF로 설정합니다.
예를 들어 카메라 수준 흐림 기능이 꺼져 있는지 확인하려면 카메라가 제공하는KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION지 확인하고 있는 경우 해당 기능이 설정되어 있는지 확인합니다KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
책임 있는 AI에 대한 Microsoft의 약속
Windows Studio Effects 가 신뢰할 수 있고 안전하며 책임감 있게 빌드되도록 하기 위해 개발 전반에 걸쳐 공정성 테스트를 통해 광범위하게 평가, 안내 및 학습된 모델을 사용합니다.
또한 크리에이티브 필터에서 사용하는 데이터 세트에는 다양한 연령, 성별 및 인종을 가진 사용자의 3,000개의 손으로 그린 초상화가 포함되어 있으며, 각 초상화는 사용자 선호도 연구를 기반으로 만든 스타일 가이드를 준수하기 위해 그려집니다. Teleprompter 및 Creative 필터의 경우 고유한 눈 특징을 가진 사용자를 위한 제품 기능에 큰 고려 사항이 적용되었습니다.