Share via

Información general sobre Windows Studio Effects (versión preliminar)

  • Artículo

Windows Studio Effects usa IA en dispositivos Windows seleccionados con unidades de procesamiento neuronal (NPU) compatibles para aplicar efectos especiales a la cámara del dispositivo (actualmente admite la cámara frontal) o micrófono integrado. Entre los efectos de IA admitidos por la NPU se incluyen:

  • Desenfoque de fondo
  • Contacto visual
  • Encuadre automático
  • Foco de voz
  • Iluminación de Retrato
  • Filtros creativos
  • Teleprompter de contacto visual

Animación que muestra la apertura de Windows Studio Effects desde la barra de tareas de Windows 11

Requisitos previos

  • Windows 11, versión 22H2 o más reciente (compilación 22623.885 o posterior).
  • El dispositivo debe tener una NPU compatible y el fabricante de hardware debe haber optado por instalar el controlador Efecto de Windows Studio en el sistema.

¿Cómo funciona Windows Studio Effects con el hardware del dispositivo?

Windows Studio Effects aprovecha los modelos de IA creados por Microsoft y compilados u optimizados para dispositivos con una unidad de procesamiento neuronal (NPU) para ofrecer efectos de inteligencia artificial de alta fidelidad y aptos para la batería que reducen la carga en la CPU del dispositivo y la GPU y proporcionan una experiencia de inteligencia artificial de Microsoft confiable que se escala en todo el ecosistema de Windows para cualquier dispositivo compatible.

Windows Studio Effects estandariza las interfaces de control para la cámara del dispositivo y el micrófono (propiedades y API de streaming de kernel). Con esta interfaz de control, cualquier aplicación puede:

  • Detectar si se admiten efectos
  • Activar o desactivar los efectos según sea necesario
  • Acceder a los metadatos disponibles

Los efectos se aplican en el nivel de hardware de la cámara (o micrófono), por lo que una vez que se activa un efecto en Windows Studio Effects, está activado de manera predeterminada para cualquier aplicación que use la cámara, incluso si la aplicación no está al corriente del efecto.

Obtenga más información sobre cómo funciona esto en Arquitectura de Windows Studio Effects.

Control de Windows Studio Effects en Configuración

Windows Studio Effects se puede abrir desde la barra de tareas (como se muestra en la imagen anterior), pero también se puede controlar desde el menú Configuración.

  • Abra Configuración>Bluetooth y dispositivos>Cámaras, seleccione en la lista de cámaras conectadas y abra la configuración de esa cámara.
  • Verá una vista previa de la pantalla de la cámara frontal y los efectos de la cámara que aparecen en ella.

Captura de pantalla de la configuración de la cámara: Windows Studio Effects

La aplicación de configuración de la cámara es una nueva característica de Windows 11 que permite a los clientes ver todas las cámaras en su sistema, seleccionando los valores "predeterminados" preferidos de un conjunto de controles por cámara, usuario y máquina.

La aplicación de configuración de la cámara puede ajustar los controles básicos, como luminosidad y contraste, pero también efectos de Windows Studio como desenfoque del fondo y contacto visual.

La aplicación de configuración de la cámara también admite la extensibilidad a través de aplicaciones complementarias proporcionadas por los fabricantes de cámaras. Estas aplicaciones complementarias permiten a los fabricantes de dispositivos ofrecer su propia interfaz de usuario personalizada para ajustar la configuración de la cámara o para proporcionar controles para efectos de cámara personalizados adicionales (por ejemplo, un botón de alternancia activado o desactivado para un efecto "Sombrero gracioso" proporcionado por el fabricante de la cámara).

Entre los efectos de Windows Studio Effects compatibles con la cámara frontal integrada se incluyen:

  • Efectos de fondo: dos modelos compatibles...
    • Desenfoque estándar: un efecto de desenfoque gausiano simple.
    • Desenfoque vertical: un efecto de desenfoque de estilo bokeh sutil. Dependiendo de la funcionalidad del dispositivo, puede ser sutil o un desenfoque basado en profundidad.
  • Contacto visual: dos modelos compatibles...
    • Estándar: corrección sutil para un usuario de dispositivo mirando hacia abajo desde la cámara hacia la pantalla. *No ajusta el movimiento izquierdo o derecho de los ojos.
    • Teleprompter: corrección más agresiva para un cliente que examina sus ojos alrededor de la pantalla a medida que leen contenido de teleprompter.
  • Encuadre automático: detecta una persona en el campo de visión de la cámara y recorta o aplica zoom para mantenerla encuadrada.
  • Iluminación de retrato: mejore la calidad de la iluminación en la persona del vídeo en un entorno mal iluminado y quite el reflejo fuerte de la luz de la pantalla.
  • Filtros creativos: filtros de vídeo para agregar algo de diversión y destello.

Nota:

Las NPU de menor capacidad pueden admitir "Desenfoque estándar", pero no "Desenfoque vertical" debido a limitaciones de proceso. Cuando un dispositivo admite desenfoque estándar y vertical, la interfaz de usuario se muestra como un botón de alternancia activado/desactivado para "Efectos de fondo" con un botón de selección para elegir entre "Desenfoque estándar" y "Desenfoque vertical". Cuando un sistema solo admite el Desenfoque estándar, la interfaz de usuario se muestra como un botón de alternancia activado/desactivado con la etiqueta "Desenfoque del fondo". Además, las NPU de menor capacidad pueden admitir efectos de contacto visual "Estándar", pero no "Teleprompter", con la interfaz de usuario que ofrece un botón de alternancia activado/desactivado con una selección de botón de selección que incluye el efecto "Teleprompter" cuando se admite.

Entre los efectos de Windows Studio Effects admitidos para el micrófono integrado se incluyen:

  • Foco de voz: un efecto de micrófono diseñado para filtrar el ruido de fondo, asegurándose de que la voz pasa claramente durante las videollamadas.

Arquitectura de Windows Studio Effects

Cuando una cámara participa en el uso de Windows Studio Effects, el paquete de Windows Studio Effects se encadena al final de la cámara. Esto sucede de forma transparente para que la cámara "real" se reemplace por una cámara "compuesta" que consta de las características de la cámara más los efectos de IA de Windows Studio. El cliente final sigue viendo solo la cámara "real", pero ahora Windows Studio Effects está disponible en nombre de esa cámara.

Diagrama que muestra la cámara

La cámara "real" incluye propiedades de streaming de Kernel (KS), como luminosidad, contraste y otras propiedades implementadas por Microsoft, así como las propiedades del cliente implementadas por el controlador del fabricante del dispositivo (OEM).

Puesto que Windows Studio Effects siempre es el último elemento de la cadena, las aplicaciones pueden asegurarse de que si Windows Studio Effects está habilitado para una cámara, que las propiedades de KS de desenfoque del fondo, contacto visual y encuadre automático implementadas por la cámara son proporcionadas por Windows Studio Effects.

Cuando la cámara no participa en el uso de Windows Studio Effects, las aplicaciones que acceden a la cámara ven solo las propiedades de KS de la cámara "real" (luminosidad, contraste, etc.).

Cuando la cámara opta por usar Windows Studio Effects, las aplicaciones que acceden a la cámara pueden ver las propiedades de KS de la cámara "real", además de las propiedades de KS de Windows Studio Effects que representan efectos de IA, como desenfoque del fondo, contacto visual, etc.

En caso de una segunda implementación de la misma propiedad de KS inferior en la cadena (por ejemplo, una DMFT del OEM también implementa el efecto de desenfoque del fondo), esa implementación permanecerá desactivada, ya que el valor predeterminado de la propiedad de KS de desenfoque está desactivado. Cuando el desenfoque está activado para la cámara, Windows Studio controla esa solicitud internamente y no lo reenvía a otros componentes (DMFT, controlador AVStream, etc.).

Este enfoque permite a los fabricantes de dispositivos (OEM, como Dell o Lenovo, e IHV, como Intel, AMD o NVIDIA) implementar sus propias características de procesamiento de cámara dentro de sus DMFT o directamente en la cámara antes de que Windows Studio agregue las experiencias estándar de inteligencia artificial de Windows sobre ella.

Integración de aplicaciones con Windows Studio Effects

Siempre que cualquier aplicación use las API de Windows para iniciar la secuencia de cámara, Windows establecerá el valor actual de la propiedad de streaming de Kernel (KS) para que coincida con el valor predeterminado especificado en la configuración de la cámara de Windows Studio Effects antes de entregar el control a la aplicación. Al hacer coincidir el valor predeterminado especificado en la configuración de la cámara, la cámara siempre se iniciará en un estado conocido.

Al integrarse con Windows Studio Effects, una aplicación puede:

  • Aceptar siempre el valor predeterminado del sistema: el usuario determina la configuración básica (es decir, luminosidad) en la configuración de la cámara, aplicando este valor sin ningún control en la aplicación.
  • Iniciar en el valor predeterminado del sistema, pero el usuario se ajusta en tiempo real: el usuario puede ajustar la configuración de la cámara mientras usa la aplicación (es decir, un control deslizante de luminosidad dentro de la aplicación) sin cambiar el valor predeterminado del sistema. El usuario puede elegir guardar la configuración de la cámara en la aplicación para establecer una nueva configuración predeterminada.

Si la aplicación ya ha escrito un valor en una propiedad de KS que también tiene un valor predeterminado establecido en la página de configuración antes de iniciar la secuencia, Windows omite la aplicación del valor predeterminado del usuario al iniciar la secuencia. Por ejemplo, si la luminosidad predeterminada del usuario está establecido en 60, pero la aplicación establece el valor actual de luminosidad en 65 antes de iniciar la secuencia, la cámara comenzará con el brillo en 65 en lugar de 60.

Nota:

Algunos controles son una parte tan integral de la experiencia de la aplicación, que es posible que la aplicación quiera invalidar siempre el valor predeterminado del sistema. Por ejemplo, Microsoft Teams lo hace con efectos de fondo. Independientemente de si el usuario ha habilitado o deshabilitado el desenfoque globalmente en la página de configuración de la cámara, el control de efectos de fondo es visible al unirse a una llamada en Teams y se aplicará el valor seleccionado en esa interfaz de usuario de la aplicación. En segundo plano, Teams aprovecha inteligentemente la segmentación de fondo acelerada por NPU de Windows Studio para aplicar los efectos de desenfoque o reemplazo de fondo.

Independientemente de la experiencia que ofrece la aplicación, siempre es una buena idea proporcionar un botón o hipervínculo en la aplicación para iniciar la aplicación de configuración de la cámara. Se puede acceder a la configuración de la cámara con este vínculo: ms-settings.

La configuración de la cámara de una cámara específica se puede iniciar con este formato de vínculo: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>.

Fragmento de código de ejemplo para invocar la configuración de la cámara para una cámara específica.

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Está disponible en Windows 11, versión 22H2 y versiones más recientes. En versiones anteriores de Windows 11, invocar este vínculo de ms-settings llevará al usuario a la página raíz de la configuración de la cámara.

Aplicación de opciones de configuración de la cámara adicionales

Después de establecer la secuencia de cámara en un estado conocido, una aplicación puede consultar y aplicar más configuración, escribiendo nuevos valores de propiedad de KS en la cámara según sea necesario. Si un cliente usa una aplicación que no conoce controles de cámara específicos (por ejemplo, luminosidad o desenfoque del fondo), la configuración de los controles especificados por el usuario en la configuración de la cámara se seguirá aplicando a la aplicación. Sin embargo, si un cliente usa una aplicación que conoce esos controles, la aplicación puede cambiar el valor actual de esos controles mientras usa la cámara.

No se permite que las aplicaciones cambien el valor predeterminado de los controles. Esta precaución garantiza que una aplicación no cambie el comportamiento de otras aplicaciones que usan la cámara. Los valores predeterminados solo se pueden cambiar desde la aplicación de configuración de la cámara.

En Windows 11, versión 22H2, los clientes que tienen un dispositivo compatible con Windows Studio Effects pueden activar o desactivar los efectos directamente desde la página de configuración de la cámara, junto con otras configuraciones comunes para su hardware de cámara.

Guía del fabricante de hardware de Windows

Los fabricantes de equipos originales (OEM) que diseñan hardware con las características más recientes de Windows 11 pueden optar por usar Windows Studio Effects.

Solución de problemas

Es posible que la aplicación de Windows tenga una funcionalidad en la aplicación que se superponga con los efectos de IA aplicados a la cámara por Windows Studio Effects (por ejemplo, desenfoque del fondo). Si la aplicación de configuración de la cámara no administra el estado de los efectos proporcionados por la cámara, la funcionalidad en la aplicación puede no estar sincronizada, lo que provoca problemas en la experiencia del usuario.

Cómo evitar efectos de superposición

Considere una aplicación que ofrece una característica de desenfoque del fondo, que se ejecuta en un sistema donde la cámara también admite la propiedad de KS de desenfoque del fondo aplicada por Windows Studio Effects y la aplicación de configuración de la cámara.

Si el cliente ha activado el desenfoque del fondo en la aplicación de configuración de la cámara de Windows, el efecto proporcionado por la cámara se aplicará cuando se inicie la cámara. A continuación, el control de desenfoque en la aplicación se mostraría como desactivado a pesar de que un efecto de desenfoque claramente está activado, o como ACTIVADO con un desenfoque doble (el desenfoque de la cámara más el efecto de desenfoque de la aplicación), desperdiciando recursos.

Cuando se ejecuta en un dispositivo compatible, se recomienda aprovechar directamente Windows Studio Effects para ofrecer efectos de alta fidelidad con menos recursos del sistema y un impacto menor en la duración de la batería. De este modo, cuando un cliente interactúa con los controles desde la aplicación, se sincronizan directamente con las características de Windows Studio Effects de la propia cámara. Consulte la sección Integración de aplicaciones con Windows Studio Effects anterior para ver los pasos sobre cómo configurar esta sincronización y evitar este problema de superposición.

Si la aplicación se ejecuta en un dispositivo que admite Windows Studio Effects, pero prefiere que otro servicio de terceros aplique efectos (o no se apliquen en absoluto), debe desactivar los efectos de Windows Studio Effects en conflicto.

Para desactivar Windows Studio Effects:

  1. Compruebe si hay propiedades de KS superpuestas.
  2. Si hay es así, establézcalas como desactivadas al iniciar la cámara.

Por ejemplo, si desea asegurarse de que la característica de desenfoque de nivel de cámara está desactivada, compruebe si la cámara ofrece KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION y, si es así, asegúrese de que se ha establecido en KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Recursos adicionales