Partager via

Vue d’ensemble Windows Studio Effects (préversion)

  • Article

Windows Studio Effects utilise l’IA sur certains périphériques Windows avec des unités de traitement neuronal (NPU) compatibles pour appliquer des effets spéciaux à la caméra de l’appareil (prend actuellement en charge la caméra frontale) ou au microphone intégré. Les effets de l’IA pris en charge par le NPU sont les suivants :

  • Flou d’arrière-plan
  • Contact visuel
  • Cadrage automatique
  • Focus vocal
  • Lumière portrait
  • Filtres créatifs
  • Téléprompteur de contact visuel

Liste Windows Studio Effects des améliorations apportées à l’IA.

Animation montrant l’ouverture de Windows Studio Effects à partir de la barre des tâches Windows 11

Prérequis

  • Windows 11, version 22H2 ou version ultérieure (Build 22623.885+).
  • L’appareil doit avoir un NPU pris en charge et le fabricant du matériel doit avoir choisi en installant le gestionnaire Windows Studio Effect sur le système.

Comment Windows Studio Effects fonctionne-t-il avec le matériel de votre appareil ?

Windows Studio Effects s’appuie sur des modèles d’IA conçus par Microsoft et compilés/optimisés pour les appareils équipés d’une unité de traitement neuronal (NPU) afin de fournir une haute fidélité, des effets d’IA compatibles avec la batterie qui réduisent le CPU et le GPU de l’appareil et offrent une expérience d’IA Microsoft fiable qui s’étend à l’ensemble de l’écosystème Windows pour tous les appareils compatibles.

Windows Studio Effects normalise les interfaces de contrôle pour la caméra et le microphone de l’appareil (propriétés et API de diffusion en continu du noyau). À l’aide de cette interface de contrôle, n’importe quelle application peut :

  • Découvrir si les effets sont pris en charge
  • Activer ou désactiver les effets en fonction des besoins
  • Accéder à toutes les métadonnées disponibles

Les effets sont appliqués au niveau matériel de la caméra (ou du microphone), donc une fois qu’un effet est activé dans Windows Studio Effects, il est activé par défaut pour n’importe quelle application utilisant la caméra, même si l’application ne connaît pas l’effet.

En savoir plus sur les détails de la façon dont cela fonctionne dans Architecture Windows Studio Effects.

Comment contrôler Windows Studio Effects dans Paramètres

Windows Studio Effects peut être ouvert à partir de la barre des tâches (comme indiqué dans l’image ci-dessus), mais peut également être contrôlé à partir du menu Paramètres.

  • Ouvrez Paramètres>Bluetooth et appareils>Caméras, puis sélectionnez dans la liste des Caméras connectées et ouvrez les paramètres de cette caméra.
  • Vous verrez un aperçu de votre écran de caméra frontale et les Effets de la caméra répertoriés sous celui-ci.

Capture d’écran des paramètres de la caméra Windows Studio Effects

L’application Paramètres caméra est une nouvelle fonctionnalité dans Windows 11 qui permet aux clients d’afficher toutes les caméras sur leur système, en sélectionnant les valeurs « par défaut » préférées à partir d’un ensemble de contrôles par caméra, par utilisateur et par ordinateur.

L’application Paramètres caméra peut ajuster des contrôles de base, tels que la luminosité et le contraste, mais également des effets Windows Studio tels que le flou d’arrière-plan et le contact visuel.

L’application Paramètres caméra prend également en charge l’extensibilité via les applications complémentaires fournies par les fabricants de caméras. Ces applications complémentaires permettent aux fabricants d’appareils d’offrir leur propre interface utilisateur personnalisée pour ajuster les paramètres de l’appareil photo et/ou de fournir des commandes pour des effets d’appareil photo personnalisés supplémentaires (par exemple, un bouton marche/arrêt pour un effet « Funny Hat » fourni par le fabricant de l’appareil photo).

Les Windows Studio Effects pris en charge pour la caméra frontale intégrée sont les suivants :

  • Effets d’arrière-plan : deux modèles pris en charge...
    • Flou classique : un effet flou gaussien simple.
    • Flou portrait : un effet flou de style bokeh léger. Selon la fonctionnalité de l’appareil, il peut s’agir d’un flou léger ou basé sur la profondeur.
  • Contact visuel : deux modèles pris en charge...
    • Standard : correction légère pour un utilisateur d’appareil regardant vers le bas de la caméra à l’écran. *N’ajuste pas le mouvement gauche ou droit des yeux.
    • Téléprompteur : correction plus agressive pour un client qui scanne ses yeux tout autour de l’écran en lisant le contenu du téléprompteur.
  • Cadre automatique : détecte une personne dans le champ de la caméra de vue et recadre/zoome pour la maintenir encadrée.
  • Lumière portrait : améliorer la qualité de l’éclairage sur la personne dans un environnement mal éclairé, supprimer la réflexion forte de la lumière de l’écran.
  • Filtres créatifs : filtres vidéo pour ajouter des éléments amusants et éclatants.

Remarque

Les NPU de faible capacité peuvent prendre en charge le flou classique, mais pas le flou portrait en raison des limites de calcul. Lorsqu’un appareil prend en charge le flou classique et portrait, l’interface utilisateur s’affiche sous la forme d’un bouton bascule active/désactive pour les « Effets d’arrière-plan » avec une sélection de bouton radio entre « Flou classique » et « Flou portrait ». Lorsqu’un système prend uniquement en charge le flou classique, l’interface utilisateur s’affiche sous la forme d’un bouton bascule active/désactive pour le « Flou d’arrière-plan ». En outre, les NPU de faible capacité peuvent prendre en charge les effets de contact visuel « classique », mais pas les effets de « Téléprompteur » du contact visuel, avec une interface utilisateur proposant un bouton bascule active/désactive avec une sélection de bouton radio, y compris l’effet « Téléprompteur » lorsqu’il est pris en charge.

Les Windows Studio Effects pris en charge pour le microphone intégré comprennent :

  • Focus vocal : effet microphone conçu pour filtrer le bruit d’arrière-plan, garantissant que votre voix passe clairement pendant les appels vidéo.

Architecture Studio Effects Windows

Lorsqu’une caméra est sélectionnée pour utiliser Windows Studio Effects, le package Windows Studio Effects est chaîné à la fin de la caméra. Cela se produit de manière transparente afin que la caméra « réelle » soit remplacée par une caméra « composite » composée des fonctionnalités de la caméra ainsi que les effets d’IA de Windows Studio. Le client final voit toujours uniquement la caméra « réelle », mais Windows Studio Effects est désormais disponible pour le compte de cette caméra.

Diagramme montrant la caméra « composite » entourant la caméra « réelle » et le périphérique OEM avec des propriétés répertoriées, y compris la luminosité, le contraste, d’autres propriétés Microsoft et les propriétés OEM des clients. La caméra « réelle » se connecte à Windows Studio Effects, y compris le flou de l’IA et le contact visuel de l’IA, ce qui donne une liste des propriétés combinées de la caméra « réelle » et de Windows Studio.

La caméra « réelle » comprend les propriétés Kernal Streaming (KS), telles que la luminosité, le contraste et d’autres propriétés implémentées par Microsoft, ainsi que toutes les propriétés du client implémentées par le périphérique du fabricant de l’appareil (OEM).

Étant donné que Windows Studio Effects est toujours le dernier élément de la chaîne, les applications peuvent être assurées que si Windows Studio Effects est activé pour une caméra, que les propriétés flou d’arrière-plan, contact visuel et Automatic Framing KS implémentées par la caméra sont fournies par Windows Studio Effects.

Lorsque la caméra n’est pas sélectionnée pour utiliser Windows Studio Effects, toutes les applications accédant à la caméra ne voient que les propriétés « réelles » de la caméra KS (luminosité, contraste, etc.).

Lorsque la caméra est sélectionnée pour utiliser Windows Studio Effects, toutes les applications accédant à l’appareil photo peuvent voir les propriétés « réelles » de la caméra KS, en plus des propriétés KS de Windows Studio Effects représentant les effets de l’IA, tels que le flou d’arrière-plan, le contact visuel, etc.

Dans le cas d’une deuxième implémentation de la même propriété KS plus bas dans la chaîne (par exemple, un DMFT de l’OEM implémente également l’effet de flou d’arrière-plan), cette implémentation restera désactivée puisque la valeur par défaut de la propriété Blur KS est désactivée. Lorsque le flou est activé pour la caméra, Windows Studio gère cette demande en interne et ne la transfère pas vers d’autres composants (DMFTs, périphérique AVStream, etc.).

Cette approche permet aux fabricants d’appareils (OEM, tels que Dell ou Lenovo, et aux IHV, tels que Intel, AMD ou NVIDIA) d’implémenter leurs propres fonctionnalités de traitement de caméra dans leurs DTSF ou directement dans la caméra avant que Windows Studio n’ajoute les expériences d’IA Windows standard.

Intégration de l’application à Windows Studio Effects

Chaque fois qu’une application utilise des API Windows pour démarrer le flux de caméras, Windows définit la valeur actuelle de la propriété Kernel Streaming (KS) pour correspondre à la valeur par défaut spécifiée dans les paramètres de caméra Windows Studio Effects avant de céder le contrôle à l’application. En faisant correspondre la valeur par défaut spécifiée dans les paramètres de la caméra, la caméra démarre toujours dans un état connu.

Lors de l’intégration à Windows Studio Effects, une application peut :

  • Toujours accepter la valeur par défaut du système : l’utilisateur détermine les paramètres de base (par exemple, la luminosité) dans les paramètres de la caméra, en appliquant cette valeur sans aucun contrôle intégré à l’application.
  • Démarrer par défaut du système, mais l’utilisateur ajuste en temps réel : l’utilisateur peut ajuster les paramètres de la caméra tout en utilisant l’application (par exemple, un curseur de luminosité dans l’application) sans modifier la valeur par défaut du système. L’utilisateur peut choisir d’enregistrer le paramètre de la caméra intégrée à l’application pour établir un nouveau paramètre par défaut.

Si l’application a déjà écrit une valeur à une propriété KS qui a également une valeur par défaut définie à partir de la page Paramètres avant de démarrer le flux, Windows ignore l’application de la valeur par défaut de l’utilisateur lors du démarrage du flux. Par exemple, si la luminosité par défaut configurée par l’utilisateur est définie sur 60, mais que l’application définit la valeur actuelle de luminosité sur 65 avant de démarrer le flux, la caméra commencera avec une luminosité à 65 au lieu de 60.

Remarque

Certains contrôles font tellement partie intégrante de l’expérience de l’application que l’application peut vouloir toujours remplacer le système par défaut. Par exemple, Microsoft Teams effectue cette opération avec des effets d’arrière-plan. Que l’utilisateur ait activé ou désactivé le flou global dans la page Paramètres de la caméra, le contrôle Effets d’arrière-plan est visible lors de la participation à un appel dans Teams et la valeur sélectionnée dans l’interface utilisateur de l’application sera appliquée. Sous le capot, Teams exploite intelligemment la segmentation d’arrière-plan accélérée par NPU de Windows Studio pour appliquer les effets de flou d’arrière plan/remplacement.

Quelle que soit l’expérience que votre application offre, il est toujours judicieux de fournir un bouton ou un hyperlien intégré à l’application pour lancer l’application Paramètres de la caméra. Les paramètres de la caméra sont accessibles à travers ce lien : ms-settings

Les paramètres de la caméra pour une caméra spécifique peuvent être lancés à travers ce format de lien : ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Consultez le référentiel GitHub Windows-Camera pour obtenir un exemple de code complet d’une application qui interagit avec Windows Studio Effects via des API de caméra.

Exemple d’extrait de code pour appeler les Paramètres de la caméra pour une caméra spécifique

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Cette fonctionnalité est disponible sur Windows 11, version 22H2 et ultérieure. Sur les versions antérieures de Windows 11, l’appel de ce lien ms-settings amène l’utilisateur à la page racine des paramètres de la caméra.

Appliquer des paramètres de la caméra supplémentaires

Une fois que le flux de caméras est défini sur un état connu, une application est la bienvenue pour interroger et appliquer une configuration supplémentaire, en écrivant de nouvelles valeurs de propriété KS à la caméra selon les besoins. Si un client utilise une application qui ne connaît pas les contrôles de caméra spécifiques (par exemple, luminosité ou flou d’arrière-plan), les paramètres de ces contrôles que l’utilisateur spécifié dans les Paramètres de la caméra s’appliqueront toujours à l’application. Toutefois, si un client utilise une application qui est au courant de ces contrôles, l’application est en mesure de modifier la valeur actuelle de ces contrôles tout en utilisant la caméra.

Les applications ne sont pas autorisées à modifier la valeur par défaut des contrôles. Cette précaution garantit qu’une application ne modifie pas le comportement d’autres applications qui utilisent la caméra. Les valeurs par défaut ne peuvent être modifiées qu’à partir de l’application Paramètres de la caméra.

Dans Windows 11, version 22H2, les clients disposant d’une caméra prenant en charge Windows Studio Effects peuvent activer/désactiver les effets directement à partir de la page Paramètres de la caméra, ainsi que d’autres paramètres courants pour leur matériel de la caméra.

Guide du fabricant du matériel Windows

Les fabricants d’équipement d’origine (OEM) qui conçoivent du matériel avec les dernières fonctionnalités de Windows 11 peuvent choisir d’utiliser Windows Studio Effects.

Dépannage

Votre application Windows peut avoir une fonctionnalité intégrée existante qui chevauche les effets d’IA appliqués à votre caméra par Windows Studio Effects (par exemple, flou d’arrière-plan). Si l’application Paramètres de la caméra ne gère pas l’état des effets fournis par la caméra, vos fonctionnalités intégrées peuvent tomber en panne de synchronisation, ce qui provoque des problèmes d’expérience utilisateur.

Comment éviter les effets qui se chevauchent

Considérez une application qui offre une fonctionnalité de flou d’arrière-plan, exécutée sur un système où la caméra prend également en charge la Propriété KS flou d’arrière-plan appliquée par Windows Studio Effects et l’application Paramètres de la caméra.

Si le client a activé le flou d’arrière plan dans l’application des Paramètres de la caméra Windows, l’effet fourni par la caméra est appliqué au démarrage de la caméra elle-même. Ensuite, le contrôle de flou intégré à l’application affiche soit comme désactivé (OFF) malgré un effet de flou clairement activé (ON), soit comme activé avec un double flou (le flou de l’appareil photo plus l’effet de flou de votre application), ce qui gaspille les ressources.

Lorsque vous utilisez un appareil pris en charge, nous vous recommandons d’utiliser directement Windows Studio Effects pour obtenir des effets haute fidélité avec des ressources système et une autonomie réduites. De cette façon, lorsqu’un client interagit avec vos contrôles intégrés à l’application, il se synchronise directement avec les fonctionnalités Windows Studio Effects de la caméra elle-même. Consultez la section Intégration de l’application à Windows Studio Effects ci-dessus pour connaître les étapes de configuration de cette synchronisation et éviter ce problème de chevauchement.

Si votre application est exécutée sur un appareil qui prend en charge Windows Studio Effects, mais que vous préférez que les effets soient appliqués par un autre service tiers (ou pas du tout), vous devez désactiver les effets Windows Studio Effects en conflit.

Pour désactiver Windows Studio Effects :

  1. Vérifiez la présence de Propriétés KS qui se chevauchent.
  2. Si des propriétés qui se chevauchent sont présentes, définissez-les sur DÉSACTIVÉ (OFF) lors du démarrage de la caméra.

Par exemple, si vous souhaitez vous assurer que la fonction de flou au niveau de la caméra est désactivée, vérifiez si la caméra offre KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, et si oui, assurez-vous qu’il est réglé sur KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

L'engagement de Microsoft en faveur d'une IA responsable

Pour garantir que Windows Studio Effects est digne de confiance, sûr et construit de manière responsable, il utilise des modèles qui ont été largement évalués, guidés et formés par des tests d'équité tout au long du développement.

En outre, l'ensemble des données utilisées par Creative filters comprend 3 000 portraits dessinés à la main d'utilisateurs d'âges, de sexes et de races différents, chacun étant dessiné selon un guide de style créé sur la base d'une étude des préférences des utilisateurs. Pour les filtres Prompteur et Creative, une grande attention a été portée à la fonctionnalité du produit pour les personnes ayant des caractéristiques oculaires uniques.

Ressources supplémentaires