Vue d’ensemble de Studio Effects

Windows Studio Effects utilise l’IA sur certains appareils Windows avec des accélérateurs de réseaux neuronaux (NPU) compatibles pour appliquer des effets spéciaux à la caméra de l’appareil (prend actuellement en charge la caméra frontale) ou au microphone intégré. Les effets d’IA pris en charge par le NPU sont les suivants :

• Flou d’arrière-plan
• Contact visuel
• Cadrage automatique
• Mise au point de la voix
• Éclairage de portrait
• Filtres créatifs
• Téléprompteur de contact visuel

Liste Windows Studio Effects des améliorations apportées à l’IA.

Prerequisites

• Windows 11, version 22H2 ou plus récente (Build 22623.885+).
• L’appareil doit avoir un NPU pris en charge et le fabricant du matériel doit avoir choisi et installé le pilote Windows Studio Effect sur le système. (Découvrez les PC Copilot+ pris en charge par les NPU).

L’option « Effets Studio » est présente dans les paramètres rapides en bas à droite si votre appareil prend en charge ces fonctionnalités d’IA. Vous pouvez également le vérifier en allant dans Paramètres>Bluetooth et appareils>Caméras, puis en sélectionnant une caméra dans la liste des caméras connectées et en ouvrant ses paramètres. Une section intitulée « Windows Studio Effects » s'affiche sous l’aperçu vidéo. Si seule l'option « Paramètres de base » est affichée, les Studio Effects ne sont probablement pas pris en charge.

Comment comment fonctionne Windows Studio Effects avec le matériel de votre appareil ?

Windows Studio Effects s’appuie sur des modèles d’IA développés par Microsoft et compilés/optimisés pour les appareils équipés d’un accélérateur de réseau neuronal (NPU). Cela permet d’offrir des effets IA de haute qualité, économes en énergie, qui allègent la charge du processeur (CPU) et de la carte graphique (GPU), tout en garantissant une expérience IA fiable signée Microsoft, déployable à l’échelle de tout l’écosystème Windows sur les appareils compatibles.

Windows Studio Effects unifie également les interfaces de contrôle des caméras et microphones (propriétés et API Kernel Streaming). Grâce à cette interface, toute application peut :

• Détecter si les effets sont pris en charge
• Activer ou désactiver les effets selon les besoins
• Accéder aux métadonnées disponibles

Les effets sont appliqués au niveau matériel de la caméra (ou du microphone), donc une fois qu’un effet est activé dans l'Studio EffectsWindows, il est activé par défaut pour n’importe quelle application utilisant l’appareil photo, même si l’application ne connaît pas l’effet.

Découvrez-en plus sur la façon dont cela fonctionne dans Architecture Windows Studio Effects.

Comment contrôler Windows Studio Effects dans Paramètres

Windows Studio Effects peut être ouvert à partir de la barre des tâches (comme indiqué dans l’image ci-dessus), mais peut également être contrôlé à partir du menu Paramètres.

• Ouvrez Paramètres>Bluetooth et appareils>Caméras, puis sélectionnez dans la liste des Caméras connectées et ouvrez les paramètres de cette caméra.
• Un aperçu de l'écran de votre caméra frontale s'affiche ainsi que l'option Effets de la caméra sous celui-ci.

Les paramètres de l’appareil photo sont une nouvelle fonctionnalité de Windows 11 qui permet aux clients d’afficher toutes les caméras sur leur système, en sélectionnant les valeurs « par défaut » préférées à partir d’un ensemble de contrôles par caméra, par utilisateur et par ordinateur.

Les paramètres de l’appareil photo peuvent ajuster les contrôles de base, tels que la luminosité et le contraste, mais également les effets Windows Studio tels que le flou d’arrière-plan et le contact oculaire.

Les paramètres de l’appareil photo prennent également en charge l’extensibilité via les applications complémentaires fournies par les fabricants de caméras. Ces applications compagnons permettent aux fabricants d’appareils d’offrir leur propre interface utilisateur personnalisée pour ajuster les paramètres de l’appareil photo et/ou de fournir des contrôles pour des effets de caméra personnalisés supplémentaires (par exemple, un bouton bascule activé/désactivé pour un effet « Drôle de chapeau » fourni par le fabricant de l’appareil photo).

Les Windows Studio Effects pris en charge pour la caméra frontale intégrée incluent notamment les suivants :

• Effets d’arrière-plan : deux modèles pris en charge...
  • Flou classique : un effet de flou gaussien simple.
  • Flou portrait : un effet de flou bokeh. Selon les capacités de l'appareil, il peut s'agir d'un flou subtil ou basé sur la profondeur.
• Contact visuel : deux modèles pris en charge...
  • Standard : correction légère pour un utilisateur d’appareil regardant vers le bas, de la caméra vers l’écran. *Ne permet pas d'ajuster le mouvement des yeux vers la gauche ou vers la droite.
  • Téléprompteur : correction plus agressive pour un client qui balaye du regard tout l'écran pendant qu'il lit le contenu du téléprompteur.
• Cadrage automatique : détecte une personne dans le champ de vision de la caméra et recadre/zoome pour la garder dans le cadre.
• Éclairage portrait : améliore la qualité de l’éclairage sur la personne dans une vidéo prise dans un environnement peu lumineux, et réduit les reflets intenses provenant de l’écran.
• Filtres créatifs : filtres vidéo permettant d'ajouter des éléments amusants et originaux.

Note

Les NPUs à faible capacité peuvent prendre en charge le « flou standard », mais pas le « flou portrait » en raison de limitations de calcul. Lorsqu'un appareil prend en charge le flou standard et le flou portrait, l’interface utilisateur affiche un bouton bascule permettant d'activer/désactiver les effets d’arrière-plan, ainsi qu'une case d'option pour choisir entre « Flou standard » et « Flou portrait ». Lorsqu’un système prend uniquement en charge le flou standard, l’interface utilisateur s’affiche sous la forme d’un bouton bascule activé/désactivé pour « Flou d’arrière-plan ». Par ailleurs, les NPU de faible capacité peuvent prendre en charge l’effet « Standard » pour le contact visuel, mais pas l’effet « Téléprompteur ». Dans ce cas, l’interface utilisateur affiche un bouton bascule d'activation/désactivation, avec une sélection par bouton radio incluant l’option « Téléprompteur » uniquement si celle-ci est prise en charge.

Les Windows Studio Effects pris en charge pour le microphone intégré incluent notamment les suivants :

• Mise au point de la voix : un effet de microphone conçu pour éliminer les bruits de fond et garantir que votre voix reste claire pendant les appels vidéo.

Architecture Windows Studio Effects

Lorsqu’une caméra utilise Windows Studio Effects, le package Windows Studio Effects est intégré à la fin de la chaîne de traitement de la caméra. Cela se produit de manière transparente afin que la caméra « réelle » soit remplacée par une caméra « composite » composée des fonctionnalités de la caméra ainsi que les effets Windows Studio AI. Le client final voit toujours uniquement la caméra « réelle », mais Windows Studio Effects sont désormais disponibles pour le compte de cette caméra.

La caméra « réelle » inclut des propriétés Kernel Streaming (KS), telles que la luminosité, le contraste et d’autres propriétés implémentées par Microsoft, ainsi que toutes les propriétés client implémentées par le pilote du fabricant du périphérique (OEM).

Étant donné que Windows Studio Effects est toujours le dernier élément dans la chaîne de traitement, les applications peuvent être assurées que, si Windows Studio Effects est activé pour une caméra, les propriétés KS telles que flou d’arrière-plan, contact visuel et cadrage automatique sont fournies par Windows Studio Effects.

Lorsque la caméra n'utilise pas Windows Studio Effects, les applications qui y accèdent ne voient que les propriétés KS de la caméra « réelle » (luminosité, contraste, etc.).

Lorsque la caméra utilise Windows Studio Effects, les applications peuvent accéder à la fois aux propriétés KS de la caméra « réelle », et à celles spécifiques aux effets IA de Windows Studio Effects (flou d’arrière-plan, contact visuel, etc.).

En cas de double implémentation d’une même propriété KS plus bas dans la chaîne (par exemple, si un composant DMFT fourni par l’OEM propose lui aussi un effet de flou d’arrière-plan), cette implémentation reste désactivée, car la valeur par défaut de la propriété de flou est OFF. Lorsque le flou est activé pour la caméra, Windows Studio traite cette requête en interne et ne la transmet pas aux autres composants de la chaîne (DMFT, pilote AVStream, etc.).

Cette approche permet aux fabricants d’appareils (OEM, tels que Dell ou Lenovo), et aux fournisseurs de matériel (IHV, tels que Intel, AMD ou NVIDIA) d’implémenter leurs propres traitements d’image dans leurs DMFT ou directement dans la caméra, avant que Windows Studio n’ajoute ensuite ses expériences IA standard.

Intégration d’applications à Windows Studio Effects

Chaque fois qu’une application utilise des API Windows pour démarrer le flux de la caméra, Windows définit la valeur actuelle de la propriété Kernel Streaming (KS) afin qu'elle corresponde à la valeur par défaut spécifiée dans Windows Studio Effects Camera Settings avant de transférer le contrôle à l’application. Grâce à cette correspondance avec la valeur par défaut spécifiée dans Camera Settings, la caméra démarre toujours dans un état connu.

Lors de son intégration à Windows Studio Effects, une application peut adopter plusieurs approches :

• Toujours accepter la valeur par défaut du système : l’utilisateur définit les réglages de base (par exemple la luminosité) dans Camera Settings, et l’application applique ces valeurs sans proposer de contrôles intégrés.
• Commencer avec la valeur par défaut du système, mais permettre des ajustements en temps réel : l’utilisateur peut modifier les paramètres de la caméra directement depuis l’application (par exemple, à l’aide d’un curseur de luminosité) sans affecter la valeur par défaut du système. Il peut également choisir d’enregistrer cette valeur comme nouveau paramètre par défaut.

Si l’application a déjà écrit une valeur dans une propriété KS qui a également une valeur par défaut définie à partir de la page Paramètres avant de démarrer le flux, Windows ignore l’application de la valeur par défaut de l’utilisateur lors du démarrage du flux. Par exemple, si la luminosité par défaut de l’utilisateur est définie sur 60, mais que l’application définit la valeur actuelle de luminosité sur 65 avant de démarrer le flux, la caméra commence par la luminosité à 65 au lieu de 60.

Note

Certains contrôles font tellement partie intégrante de l’expérience de l’application que celle-ci peut choisir d’ignorer systématiquement les réglages par défaut du système. Par exemple, Microsoft Teams fonctionne ainsi pour les effets d’arrière-plan. peu importe que l’utilisateur ait activé ou désactivé le flou globalement dans Camera Settings, le contrôle des effets d’arrière-plan reste visible lors de la connexion à un appel dans Teams, et c’est la valeur sélectionnée dans l’interface utilisateur de l’application qui sera appliquée. Sous le capot, Teams tire intelligemment parti de la segmentation d’arrière-plan accélérée par le NPU de Windows Studio pour appliquer les effets flous/remplacement d’arrière-plan.

Quelle que soit l’expérience de votre application, il est toujours judicieux de fournir un bouton /lien hypertexte dans l’application pour lancer les paramètres de l’appareil photo. Camera Settings est accessible via ce lien : ms-settings

L'application Camera Settings d'une caméra spécifique peut être lancés à l'aide du format de lien suivant : ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Consultez le référentiel github Windows-Camera pour obtenir un exemple de code complet d’une application interagissant avec Windows Studio Effects via des API de caméra.

Exemple d’extrait de code permettant d'appeler Camera Settings pour une caméra spécifique

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Cette fonctionnalité est disponible sous Windows 11, versions 22H2 ultérieures. Dans les versions antérieures de Windows 11, l’appel de ce lien ms-settings redirige l’utilisateur vers la page racine de Camera Settings.

Appliquer des paramètres de caméra supplémentaires

Une fois que le flux de la caméra est défini sur un état connu, l’application peut librement interroger la caméra et appliquer d’autres réglages en écrivant de nouvelles valeurs de propriétés KS selon ses besoins. Si un client utilise une application qui ne prend pas en charge certains contrôles de la caméra (par exemple, la luminosité ou le flou d’arrière-plan), alors les paramètres définis par l’utilisateur dans Camera Settings seront quand même appliqués à cette application. En revanche, si l’application prend en charge ces contrôles, elle peut ajuster dynamiquement leurs valeurs pendant l’utilisation de la caméra.

Les applications ne sont pas autorisées à modifier les valeurs par défaut des contrôles. Cette précaution garantit qu’une application ne perturbe pas le comportement des autres applications qui utilisent la caméra. Les valeurs par défaut ne peuvent être modifiées que par les paramètres de l’appareil photo.

Dans Windows 11, version 22H2, les clients disposant d’un appareil prenant en charge Windows Studio Effects peuvent activer/désactiver les effets directement à partir de la page Camera Settings, ainsi que d’autres paramètres courants de leur caméra.

Recommandations pour les fabricants de matériel Windows

Les fabricants d’équipement d’origine (OEM) qui conçoivent du matériel intégrant les dernières fonctionnalités de Windows 11 peuvent choisir d’utiliser Windows Studio Effects.

Résolution des problèmes

Il se peut que votre application Windows propose déjà es fonctionnalités intégrées qui chevauchent les effets IA appliqués à la caméra par Windows Studio Effects (par exemple, flou d’arrière-plan). Si les paramètres de l’appareil photo ne gèrent pas l’état des effets fournis par l’appareil photo, vos fonctionnalités dans l’application peuvent tomber hors de synchronisation, ce qui provoque des problèmes d’expérience utilisateur.

Comment éviter le chevauchement d'effets

Considérez une application qui offre une fonctionnalité de flou d'arrière-plan, en cours d'exécution sur un système où la caméra prend également en charge la Propriété Flou d'Arrière-plan KS appliquée par les paramètres Windows Studio Effects et de la caméra.

Si le client a activé le flou d’arrière-plan dans les paramètres de la caméra Windows, l’effet fourni par l’appareil photo est appliqué au démarrage de l’appareil photo. Ensuite, le contrôle de flou dans l'application s'afficherait sous la forme d'OFF malgré un effet de flou clairement activé, ou comme ON avec un effet de flou double (flou de l'appareil photo plus l'effet de flou de votre application), gaspillant des ressources.

Sur un appareil compatible, nous recommandons d’utiliser directement Windows Studio Effects afin de fournir des effets de haute qualité tout en préservant les ressources système et la batterie. Ainsi, lorsque l’utilisateur interagit avec les contrôles dans votre application, ceux-ci sont synchronisés avec les fonctionnalités Windows Studio Effects de la caméra. Pour savoir comment configurer cette synchronisation et éviter ce problème de chevauchement, consultez la section Intégration d’applications à WindowsStudio Effects ci-dessus.

Si votre application est exécutée sur un appareil compatible avec Windows Studio Effects, mais que vous préférez que les effets soient appliqués par un service tiers (ou pas du tout appliqués), vous devez désactiver les effets Windows Studio Effects en conflit.

Pour désactiver Windows Studio Effects :

1. Recherchez la présence de propriétés KS se chevauchant.
2. Si des propriétés se chevauchant sont présentes, définissez-les sur OFF lors du démarrage de la caméra.

Par exemple, si vous souhaitez vous assurer que la fonctionnalité de flou au niveau de la caméra est désactivée, vérifiez si la caméra propose KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, et si c'est le cas, assurez-vous qu’elle est réglée sur KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Engagement de Microsoft en matière d’IA responsable

Pour garantir la fiabilité, la sécurité et la conception responsable de Windows Studio Effects, celui-ci utilise des modèles qui ont été évalués, guidés et entraînés de manière approfondie à l'aide de tests d'équité tout au long de son développement.

En outre, l'ensemble de données utilisé par les filtres Creative comprend 3 000 portraits dessinés à la main d'utilisateurs de différents âges, sexes et origines ethniques, chacun étant dessiné conformément à un guide de style créé à partir d'une étude des préférences des utilisateurs. Pour les filtres Teleprompter et Creative, une grande attention a été accordée à la fonctionnalité du produit pour les personnes ayant des caractéristiques oculaires particulières.

Ressources supplémentaires

• Gérer les caméras à l'aide de Camera settings dans Windows 11 : prise en charge de Windows Studio Effects Support
• Avantages des appareils dotés d'expériences IA