Обзор Windows Studio Effects (предварительная версия)
Windows Studio Effects использует ИИ на выборе устройств Windows с совместимыми единицами нейронной обработки (NPUs) для применения специальных эффектов к камере устройства (в настоящее время поддерживает интерфейсную камеру) или встроенного микрофона. К эффектам ИИ, поддерживаемым NPU, относятся:
- Размытие фона
- Контакт с глазами
- Автоматическое обрамления
- Фокус голоса
- Книжный свет
- Творческие фильтры
- Зрительный контакт Teleprompter
Список улучшений искусственного интеллекта в WindowsStudio Effects.
Необходимые компоненты
- Windows 11 версии 22H2 или более поздней версии (сборка 22623.885+).
- Устройство должно иметь поддерживаемый NPU, и изготовитель оборудования должен принять участие, установив драйвер Эффекта Windows Studio в системе.
Как Windows Studio Effects работает с оборудованием устройства?
Windows Studio Effects использует модели искусственного интеллекта, созданные корпорацией Майкрософт и скомпилированные и оптимизированные для устройств с помощью модуля нейронной обработки (NPU), чтобы обеспечить высоконадежные эффекты ИИ, которые снижают нагрузку на ЦП и GPU устройства и обеспечивают доверенный интерфейс Microsoft AI, масштабируемый по всей экосистеме Windows для любых совместимых устройств.
Windows Studio Effects стандартизует интерфейсы управления для камеры устройства и микрофона (свойства потоковой передачи ядра и API). Используя этот интерфейс управления, любое приложение может:
- Обнаружение поддерживаемых эффектов
- Включение или отключение эффектов по мере необходимости
- Доступ к любым доступным метаданным
Эффекты применяются на аппаратном уровне камеры (или микрофона), поэтому после включения эффекта в Windows Studio Effectsоно по умолчанию для любого приложения с помощью камеры, даже если приложение не знает о эффекте.
Дополнительные сведения о том, как это работает в архитектуре WindowsStudio Effects.
Управление Windows Studio Effects в параметрах
Окна Studio Effects можно открыть на панели задач (как показано на изображении выше), но также можно управлять из меню "Параметры".
- Откройте параметры>Bluetooth и камеры устройств>, а затем выберите в списке подключенных камер и откройте параметры для этой камеры.
- Вы увидите предварительный просмотр экрана с передней камерой и эффектов камеры, перечисленных под ним.
Приложение "Параметры камеры" — это новая функция в Windows 11, которая позволяет клиентам просматривать все камеры в своей системе, выбирая предпочтительный "по умолчанию" значения из набора элементов управления на каждой камере, на каждом компьютере.
Приложение "Параметры камеры" может настраивать основные элементы управления, такие как яркость и контрастность, но и эффекты Windows Studio, такие как фоновый размытие и контакт глаз.
Приложение "Параметры камеры" также поддерживает расширяемость через вспомогательные приложения, предоставляемые производителями камер. Эти приложения-компаньоны позволяют производителям устройств предлагать собственный пользовательский интерфейс для настройки параметров камеры и (или) предоставлять элементы управления для дополнительных настраиваемых эффектов камеры (например, переключатель для эффекта "Смешная шляпа", предоставляемый производителем камеры).
Поддерживаемые Windows Studio Effects для интегрированной передней камеры включают:
- Фоновые эффекты: две поддерживаемые модели...
- Стандартный размытие - простой эффект размытия гауса.
- Книжный размытие - тонкий эффект размытия стиля bokeh. В зависимости от возможностей устройства может быть тонким или размытием на основе глубины.
- Контакт с глазами: две поддерживаемые модели...
- Стандартный — тонкое исправление для пользователя устройства, глядя вниз с камеры на экран. *Не настраивает левое или правое движение глаз.
- Teleprompter - более агрессивное исправление для клиента, сканирующего глаза на экране, как они читают содержимое телепроигрывателя.
- Автоматическое обрамление: обнаруживает человека в поле зрения и сельскохозяйственных культур и масштабирования, чтобы сохранить их кадры.
- Книжный свет: улучшение качества освещения на человеке в видео в плохо освещенной среде, удалите сильное отражение света экрана.
- Творческие фильтры: фильтры видео, чтобы добавить некоторое удовольствие и вспышку.
Примечание.
NPUs с более низкой емкостью может поддерживать "Стандартный размытий", но не "Книжный размытий" из-за ограничений вычислений. Если устройство поддерживает размытие "Стандартный" и "Книжный размытие", пользовательский интерфейс отображается как переключатель "Вкл./Выкл. Эффекты" для фоновых эффектов с выделенным переключателем между "Стандартный размытие" и "Книжный размытие". Если система поддерживает только размытие уровня "Стандартный", пользовательский интерфейс отображается как переключатель on/Off для параметра "Размытие фона". Кроме того, NPUs с более низкой крышкой может поддерживать "Стандартный", но не "Teleprompter", с пользовательским интерфейсом, предлагающим переключатель с переключателем переключателя, включая эффект "Teleprompter" при поддержке.
Поддерживаемые Windows Studio Effects для встроенного микрофона включают:
- Голосовой фокус: эффект микрофона, предназначенный для фильтрации фонового шума, гарантируя, что ваш голос проходит четко во время видеозвонков.
Архитектура Windows Studio Effects
При выборе камеры с помощью Windows Studio Effectsпакет Windows Studio Effects прицеляется к концу камеры. Это происходит прозрачно, чтобы "реальная" камера заменена "составной" камерой, состоящей из функций камеры и эффектов ИИ Windows Studio. Конечный клиент по-прежнему видит только "реальную" камеру, но Windows Studio Effects теперь доступна от имени этой камеры.
Камера "Real" включает свойства Kernal Streaming (KS ), такие как яркость, контрастность и другие реализованные корпорацией Майкрософт свойства, а также любые свойства клиента, реализованные драйвером изготовителя устройства (OEM).
Так как Windows всегда является последним элементом в цепочке, приложения могут быть уверены, что если Windows Studio Effects Studio Effects включена для камеры, что фоновый размытий, контакт глаз и автоматические свойства KS, реализованные камерой, предоставляются Windows Studio Effects.
Если камера не включена в использование Windows Studio Effects, все приложения, обращающиеся к камере, видят только свойства KS камеры Real (яркость, контрастность и т. д.).
Если камера включена в использование Windows Studio Effects, все приложения, обращающиеся к камере, могут видеть оба свойства "Реальный" камеры KS, помимо свойств Windows Studio Effects KS, представляющих эффекты ИИ, такие как фоновый размытие, контакт глаз и т. д.
В случае второй реализации того же свойства KS ниже в цепочке (например, DMFT от OEM также реализует эффект размытия фона), что реализация будет оставаться OFF, так как значение по умолчанию для свойства Blur KS имеет значение OFF. При включении размытия для камеры Windows Studio обрабатывает запросы внутренне и не перенаправляет его в цепочку на другие компоненты (DMFTs, драйвер AVStream и т. д.).
Этот подход позволяет производителям устройств (OEM, таким как Dell или Lenovo, и IHV, например Intel, AMD или NVIDIA) реализовать собственные функции обработки камеры в своих DMFTs или непосредственно на камере, прежде чем Windows Studio добавляет стандартные возможности windows AI на вершине.
Интеграция приложений с Windows Studio Effects
Всякий раз, когда любое приложение использует API Windows для запуска потока камеры, Windows установит текущее значение свойства потоковой передачи ядра (KS) для сопоставления значения по умолчанию, указанного в параметрах камеры Windows Studio Effects перед передачей управления в приложение. При сопоставлении значения по умолчанию, указанного в параметрах камеры, камера всегда будет запускаться в известном состоянии.
При интеграции с Windows Studio Effectsприложение может:
- Всегда принимать системное значение по умолчанию . Пользователь определяет основные параметры (т. е. Яркость) в параметрах камеры, применяя это значение без элементов управления в приложении.
- Начните с системного по умолчанию, но пользователь настраивается в режиме реального времени . Пользователь может настраивать параметры камеры при использовании приложения (т. е. ползунок яркости в приложении), не изменяя системное значение по умолчанию. Пользователь может сохранить параметр камеры в приложении, чтобы установить новый параметр по умолчанию.
Если приложение уже записало значение в свойство KS, которое также имеет значение по умолчанию на странице "Параметры" перед запуском потока, Windows пропускает применение значения по умолчанию пользователя при запуске потока. Например, если для пользователя задана яркость по умолчанию 60, но приложение устанавливает текущее значение яркости 65 перед запуском потока, камера начнется с яркости в 65 вместо 60.
Примечание.
Некоторые элементы управления являются такой неотъемлемой частью интерфейса приложения, что приложение может всегда переопределить системное значение по умолчанию. Например, Microsoft Teams делает это с фоновыми эффектами. Независимо от того, включен ли пользователь или отключен размытие глобально на странице параметров камеры, элемент управления "Фоновые эффекты" отображается при присоединении к вызову в Teams, а значение, выбранное в пользовательском интерфейсе приложения, будет применено. Под капотом Teams интеллектуально использует сегментацию фона NPU в Windows Studio, чтобы применить эффекты размытия фона и замены.
Независимо от того, какой интерфейс предлагает ваше приложение, всегда рекомендуется предоставить кнопку в приложении или гиперссылку для запуска приложения "Параметры камеры". Параметры камеры можно получить по этой ссылке: ms-settings
Параметры камеры для конкретной камеры можно запустить с помощью этого формата ссылки: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Полный пример кода приложения, взаимодействующего с Windows с помощью API камеры, см. в репозитории github Windows-CameraStudio Effects.
Пример фрагмента кода для вызова параметров камеры для конкретной камеры
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Это доступно в Windows 11 версии 22H2 и более поздних версий. В более ранних версиях Windows 11 при вызове этой ms-settings ссылки пользователь перейдет на страницу параметров корневой камеры.
Применение дополнительных параметров камеры
После установки потока камеры известного состояния приложение может запрашивать и применять дополнительную конфигурацию, записывая новые значения свойств KS на камеру по мере необходимости. Если клиент использует приложение, которое не знает о определенных элементах управления камерой (например, яркости или размытие фона), параметры для этих элементов управления, которые пользователь, указанный в параметрах камеры, по-прежнему применяются к приложению. Но если клиент использует приложение, которое знает об этих элементах управления, приложение может изменить текущее значение этих элементов управления при использовании камеры.
Приложениям запрещено изменять значение элементов управления по умолчанию. Эта мера предосторожности гарантирует, что одно приложение не изменяет поведение других приложений, использующих камеру. Значения по умолчанию можно изменить только из приложения "Параметры камеры".
В Windows 11 версии 22H2 клиенты, поддерживающие Windows Studio Effects , могут включить или отключить эффекты непосредственно на странице параметров камеры, а также другие распространенные параметры для оборудования камеры.
Руководство по изготовителю оборудования Windows
Изготовители оборудования (ИЗГОТОВИТЕЛИ оборудования), которые разрабатывают оборудование с помощью последних функций Windows 11, могут использовать Windows Studio Effects.
Устранение неполадок
Приложение Windows может иметь функциональность в приложении, которая перекрывается эффектами искусственного интеллекта, применяемыми к камере Windows Studio Effects (например, фоновый размытий). Если приложение "Параметры камеры" не управляет состоянием эффектов, предоставляемых камерой, функциональные возможности в приложении могут выйти из синхронизации, что приводит к проблемам с взаимодействием с пользователем.
Как избежать перекрывающихся эффектов
Рассмотрим приложение, которое предлагает функцию размытия фона, запущенную в системе, где камера также поддерживает свойство KS фонового размытия, примененное Windows Studio Effects и приложением "Параметры камеры".
Если клиент включил фоновый размытие в приложении "Параметры" Камера Windows, при запуске камеры будет применен эффект, предоставленный камерой. Затем элемент управления размытия в приложении будет отображаться как OFF , несмотря на эффект размытия явно включено, или как on с двойным размытием (размытие камеры плюс эффект размытия вашего приложения), тратя ресурсы.
При запуске на поддерживаемом устройстве рекомендуется напрямую использовать Windows Studio Effects для обеспечения высоких эффектов точности с более низкими ресурсами системы и воздействием на работу батареи. Таким образом, когда клиент взаимодействует с элементами управления в приложении, они напрямую синхронизируются с функциями Windows Studio Effects самой камеры. Ознакомьтесь с разделом "Интеграция приложений с Windows Studio Effects " выше, чтобы узнать, как настроить эту синхронизацию и избежать этой проблемы.
Если приложение работает на устройстве, поддерживающем Windows Studio Effects, но вы предпочитаете применять эффекты другой сторонней службой (или вообще не применяемой), следует отключить конфликтующий Windows Studio Effects.
Отключение Windows Studio Effects:
- Проверьте наличие перекрывающихся свойств KS.
- Если перекрывающиеся свойства присутствуют, установите их значение OFF при запуске камеры.
Например, если вы хотите убедиться, что функция размытия на уровне камеры отключена, проверьте, предлагает ли камера KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONи если да, убедитесь, что он установлен.KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF
Приверженность Корпорации Майкрософт ответственному искусственному интеллекту
Чтобы обеспечить надежность, безопасность и сборку Windows Studio Effects , она использует модели, которые были тщательно оценены, руководствуются и обучены тестированием справедливости во время разработки.
Кроме того, набор данных, используемый фильтрами Creative, включает в себя 3000 рукописных портретов пользователей различных возрастов, полов и рас, каждая из которых соответствует руководству по стилю, созданному на основе изучения предпочтений пользователей. Для телепроимптера и творческих фильтров большое внимание было вложено в функциональные возможности продукта для людей с уникальными характеристиками глаз.