Vue d’ensemble de la capture de réalité mixte
Notes
Consultez Le rendu de la caméra PV ci-dessous pour obtenir des conseils sur une nouvelle fonctionnalité CRM pour HoloLens 2.
Vous pouvez prendre une photo ou une vidéo de capture de réalité mixte (MRC) à tout moment, mais il existe quelques éléments à garder à l’esprit lors du développement de votre application. Cela inclut les meilleures pratiques pour la qualité visuelle du CRM et la réactivité aux changements du système pendant que les MRC sont capturés.
Les développeurs peuvent également intégrer en toute transparence la capture de réalité mixte et l’insertion dans leurs applications.
LA MRC sur HoloLens (première génération) prend en charge les vidéos et les photos jusqu’à 720p, tandis que LA MRC sur HoloLens 2 prend en charge les vidéos jusqu’à 1080p et les photos jusqu’à la résolution 4K.
L’importance de la CRM de qualité
Qu’il s’agisse de captures d’écran de réalité mixte sur votre page Microsoft Store ou d’autres utilisateurs partageant du contenu de capture sur les réseaux sociaux, Mixed Reality Les médias capture sont souvent une première exposition des utilisateurs à votre application. Vous pouvez utiliser CRM pour faire la démonstration de votre application, éduquer les utilisateurs, encourager les utilisateurs à partager leurs interactions dans le monde mixte et pour la recherche des utilisateurs et la résolution des problèmes.
Impact de LA CRM sur votre application
Activation du CRM dans votre application
Par défaut, une application n’a rien à faire pour permettre aux utilisateurs de prendre des captures de réalité mixte.
Activation de l’alignement amélioré pour CRM dans votre application
Par défaut, la capture de réalité mixte combine la sortie holographique de l’œil droit avec l’appareil photo/vidéo (PV). Ces deux sources sont combinées à l’aide du point de focus défini par l’application immersive en cours d’exécution.
Cela signifie que les hologrammes en dehors du plan de focus ne s’alignent pas en raison de la distance physique entre la caméra PV et l’affichage droit.
Définir le point de focus
Les applications immersives (sur HoloLens) doivent définir le point de focus de l’endroit où elles souhaitent que leur plan de stabilisation soit. Cela garantit le meilleur alignement dans le casque et dans la capture de réalité mixte.
Si aucun point de focus n’est défini, le plan de stabilisation est défini par défaut sur 2 mètres.
Rendu à partir de la caméra PV (opt-in)
HoloLens 2 permet à une application immersive de s’afficher à partir de la caméra PV pendant que la capture de réalité mixte est en cours d’exécution. Pour garantir que l’application prend correctement en charge le rendu supplémentaire, l’application doit accepter cette fonctionnalité.
Le rendu à partir de la caméra PV offre les améliorations suivantes sur l’expérience MRC par défaut :
- L’alignement de l’hologramme sur votre environnement physique et les mains pour les interactions proches doit être précis à toutes les distances. Évitez d’avoir un décalage à des distances autres que le point de focus, comme vous pouvez le voir dans la MRC par défaut.
- L’œil droit dans le casque ne sera pas compromis, car il ne sera pas utilisé pour afficher les hologrammes pour la sortie MRC.
En savoir plus sur le rendu à partir de la caméra PV (DirectX).
Bonnes pratiques (spécifiques aux HoloLens)
La MRC devrait travailler sans effort de développement supplémentaire, mais il y a quelques éléments à prendre en compte pour offrir la meilleure expérience de capture de réalité mixte.
LA MRC utilise le canal alpha de l’hologramme pour fusionner avec l’imagerie de la caméra
L’étape la plus importante consiste à s’assurer que votre application efface le noir transparent au lieu d’effacer le noir opaque. Dans Unity, cette opération est effectuée par défaut avec MixedRealityToolkit. Si vous développez en non-Unity, vous devrez peut-être apporter une seule modification de ligne.
Voici quelques-uns des artefacts que vous pouvez voir dans CRM si votre application n’est pas nettoyée en noir transparent :
Exemples d’échecs : bords noirs autour du contenu (échec de l’effacement vers le noir transparent)
|
|
Exemples d’échecs : l’ensemble de la scène d’arrière-plan de l’hologramme s’affiche en noir. La définition d’une valeur alpha d’arrière-plan d’un résultat en arrière-plan noir
Résultat attendu : Hologrammes semblent correctement mélangés avec le monde réel (résultat attendu si l’effacement vers le noir transparent)
Solution:
- Modifiez tout contenu qui s’affiche sous forme de noir opaque pour avoir une valeur alpha de 0.
- Assurez-vous que l’application efface le noir transparent.
- Unity efface automatiquement avec MixedRealityToolkit, mais s’il s’agit d’une application non Unity, vous devez modifier la couleur utilisée avec ID3D11DeiceContext::ClearRenderTargetView(). Vous souhaitez vous assurer que vous êtes transparent en noir transparent (0,0,0,0)) au lieu de noir opaque (0,0,0,1).
Vous pouvez maintenant paramétrer les valeurs alpha de vos ressources si vous le souhaitez, mais en général n’avez pas besoin de le faire. La plupart du temps, les MRC sembleront bien hors de la boîte. LA MRC part du principe que l’alpha pré-multipliée. Les valeurs alpha affectent uniquement la capture CRM.
Que faut-il attendre lorsque la MRC est activée sur HoloLens
Les éléments suivants s’appliquent à la fois aux HoloLens (première génération) et aux HoloLens 2, sauf indication contraire :
- Le système limite l’application à un rendu de 30 à Hz. Cela crée une marge de travail pour que la MRC s’exécute afin que l’application n’ait pas besoin de conserver une réserve budgétaire constante et correspond également à la fréquence d’images vidéo DE LA CRM de 30 fps
- Le contenu de l’hologramme dans l’œil droit de l’appareil peut sembler « scintillant » lors de l’enregistrement/diffusion en continu CRM : le texte peut devenir plus difficile à lire et les bords d’hologramme peuvent apparaître plus jaggy (optant pour le rendu de troisième caméra sur HoloLens 2 évite cette compromission)
- Les photos et vidéos MRC respectent le point de focus de l’application si l’application l’a activée, ce qui permet de s’assurer que les hologrammes sont correctement positionnés. Pour les vidéos, le point de focus est lissé de sorte que les hologrammes semblent se dériver lentement en place si la profondeur du point de focus change considérablement. Hologrammes qui se trouvent à des profondeurs différentes du point de focus peuvent apparaître décalées du monde réel (voir l’exemple ci-dessous où le point de focus est défini à 2 mètres, mais l’hologramme est positionné à 1 mètre).
Intégration de la fonctionnalité CRM à partir de votre application
Votre application de réalité mixte peut démarrer la capture photo ou vidéo MRC à partir de l’application, et le contenu capturé est mis à la disposition de votre application sans être stocké sur le « rouleau photo » de l’appareil. Vous pouvez créer un enregistreur CRM personnalisé ou tirer parti de l’interface utilisateur de capture de caméra intégrée.
CRM avec interface utilisateur de caméra intégrée
Les développeurs peuvent utiliser l’API d’interface utilisateur De capture d’appareil photo pour obtenir une photo ou une vidéo de réalité mixte capturée par l’utilisateur avec seulement quelques lignes de code.
Cette API lance l’interface utilisateur intégrée de l’appareil photo CRM dans laquelle les utilisateurs peuvent prendre une photo ou une vidéo et retourner la capture obtenue à votre application. Vous pouvez créer un enregistreur de capture Mixed Reality personnalisé si vous devez ajouter votre propre interface utilisateur de caméra ou un accès de niveau inférieur pour capturer des flux.
Création d’un enregistreur CRM personnalisé
Bien que l’utilisateur puisse toujours déclencher une photo ou une vidéo à l’aide du service de capture CRM système, une application peut vouloir créer une application d’appareil photo personnalisée qui inclut des hologrammes dans le flux d’appareil photo comme LA CRM. Cela permet à l’application de lancer des captures à partir de l’entrée utilisateur, de créer une interface utilisateur d’enregistrement personnalisée ou de personnaliser les paramètres CRM pour nommer quelques exemples.
HoloStudio ajoute une caméra CRM personnalisée à l’aide d’effets CRM
Les applications Unity doivent voir Locatable_camera_in_Unity pour que la propriété active les hologrammes.
D’autres applications peuvent le faire à l’aide des API Windows Media Capture pour contrôler l’appareil photo et ajouter un effet vidéo et audio CRM pour inclure des hologrammes virtuels et l’audio d’application dans des vidéos et des stills.
En savoir plus sur la création d’un enregistreur CRM personnalisé (DirectX).
Limitations de LA CRM simultanées
Vous devez connaître certaines limitations lorsque plusieurs applications accèdent simultanément à LA CRM.
Accès photo/vidéo à l’appareil photo
Sur HoloLens 1, la MRC ne parvient pas à capturer une photo ou à capturer une vidéo pendant qu’un processus enregistre une vidéo ou prend une photo. L’inverse est également vrai : si la MRC est en cours d’exécution, l’application ne parvient pas à accéder à la caméra.
Avec HoloLens 2, vous pouvez partager l’accès à la caméra. Si vous n’avez pas besoin de contrôler directement la résolution ou la fréquence d’images, vous pouvez initialiser MediaCapture à l’aide de la propriété SharedMode avec SharedReadOnly.
Accès photo/vidéo intégré à LA CRM
Découvrez l’accès photo/vidéo intégré à CRM (DirectX).
Accès CRM pour les développeurs
Nous vous recommandons de toujours demander un contrôle exclusif pour l’appareil photo lors de l’utilisation de LA MRC. Cela garantit que votre application dispose d’un contrôle total des paramètres de la caméra tant que vous connaissez les limitations répertoriées ci-dessus.
En savoir plus sur l’accès AU CRM pour les développeurs (DirectX).