Image holographique
Les utilisateurs voient le monde de la réalité mixte par le biais d’une fenêtre d’affichage rectangulaire alimentée par leur casque. Sur l’appareil HoloLens, cette zone rectangulaire est appelée « image holographique » et permet aux utilisateurs de voir le contenu numérique superposé au monde réel qui les entoure. La conception d’expériences optimisées pour le cadre holographique crée des opportunités, atténue les défis et améliore l’expérience utilisateur des applications de réalité mixte.
Conception pour le contenu
Souvent, les concepteurs estiment avoir besoin de limiter l’étendue de leur expérience à ce que l’utilisateur peut immédiatement voir, en sacrifiant l’échelle réelle pour garantir que l’utilisateur voit un objet dans son intégralité. De même, les concepteurs avec des applications complexes surchargent souvent le cadre holographique avec du contenu, accablant les utilisateurs avec des interactions difficiles et des interfaces encombrées. Les concepteurs qui créent du contenu de réalité mixte n’ont pas besoin de limiter l’expérience directement devant l’utilisateur et dans son affichage immédiat. Si le monde physique autour de l’utilisateur est mappé, toutes ces surfaces doivent être considérées comme un canevas potentiel pour le contenu numérique et les interactions. Une conception appropriée des interactions et du contenu au sein d’une expérience doit encourager l’utilisateur à se déplacer autour de son espace, à diriger son attention sur le contenu clé et à voir le plein potentiel de réalité mixte.
La technique la plus importante pour encourager le mouvement et l’exploration au sein d’une application consiste peut-être à permettre aux utilisateurs de s’adapter à l’expérience. Donnez aux utilisateurs une courte période de temps « libre des tâches » avec l’appareil. Cela peut être aussi simple que placer un objet dans l’espace et permettre aux utilisateurs de se déplacer autour de lui ou de narrer une introduction à l’expérience. Cette fois-ci doit être libre de toutes les tâches critiques ou de mouvements spécifiques tels que le fait d’appuyer sur l’air. L’objectif est de permettre aux utilisateurs d’afficher du contenu via l’appareil avant de nécessiter une interactivité ou une progression via l’application. Cela est particulièrement important pour les utilisateurs de première fois, car ils sont à l’aise de voir du contenu via le cadre holographique et la nature des hologrammes.
Objets volumineux
Souvent, le contenu qu’une expérience appelle, en particulier le contenu réel, sera plus grand que le cadre holographique. Les objets qui ne peuvent normalement pas s’ajuster dans le cadre holographique doivent être réduits pour s’adapter lorsqu’ils sont introduits pour la première fois (à une plus petite échelle ou à une distance). La clé consiste à permettre aux utilisateurs de voir la taille complète de l’objet avant que la mise à l’échelle submerge l’image. Par exemple, un éléphant holographique doit être affiché pour s’adapter entièrement au cadre. Cela permet aux utilisateurs de former une compréhension spatiale de la forme globale de l’animal, avant de la dimensioniser à l’échelle réelle près de l’utilisateur.
Avec la taille complète de l’objet à l’esprit, les utilisateurs ont une attente de l’endroit où se déplacer et rechercher des parties spécifiques de cet objet. Dans une expérience avec du contenu immersif, il permet de faire référence à la taille complète de ce contenu. Par exemple, si l’expérience implique de contourner un modèle de maison virtuelle, il permet d’avoir une version plus petite de la maison de poupées pour identifier où ils se trouvent à l’intérieur de la maison.
Pour obtenir un exemple de conception pour les objets volumineux, consultez Volvo Cars.
De nombreux objets
Les expériences avec de nombreux objets ou composants doivent envisager d’utiliser l’espace total autour de l’utilisateur pour éviter d’encombrer le cadre holographique directement devant l’utilisateur. Nous vous recommandons de ralentir l’introduction de contenu à une expérience, en particulier avec des expériences qui prévoient de servir de nombreux objets à l’utilisateur. La clé est de permettre aux utilisateurs de comprendre la disposition du contenu dans l’expérience, ce qui leur permet d’acquérir une compréhension spatiale de ce qui les entoure en tant que mises à jour de contenu.
Une technique pour y parvenir consiste à fournir des points persistants (également appelés repères) dans l’expérience qui ancre le contenu dans le monde réel. Par exemple, un point de repère peut être un objet physique dans le monde réel, tel qu’une table où le contenu numérique apparaît ou un objet numérique, tel qu’un ensemble d’écrans numériques où le contenu apparaît fréquemment. Les objets peuvent également être placés dans la périphérie du cadre holographique pour encourager l’utilisateur à regarder vers du contenu clé. La découverte du contenu au-delà de la périphérie peut être aidée par les directeurs de l’attention.
Placer des objets dans la périphérie peut encourager les utilisateurs à regarder du côté et cela peut être aidé par les directeurs de l’attention, comme décrit ci-dessous. Pour plus d’informations sur les considérations relatives aux images holographiques, consultez la documentation de confort .
Considérations relatives à l’interaction
Comme pour le contenu, les interactions dans une expérience de réalité mixte n’ont pas besoin d’être limitées à ce que l’utilisateur peut voir immédiatement. Les interactions peuvent se produire n’importe où dans l’espace réel autour de l’utilisateur. Ces interactions peuvent aider les utilisateurs à se déplacer et à explorer les expériences.
Directeurs d’attention
L’indication de points d’intérêt ou d’interactions clés peut être essentielle à la progression des utilisateurs par le biais d’une expérience. L’attention de l’utilisateur et le mouvement du cadre holographique peuvent être dirigés de manière subtile ou lourde. N’oubliez pas d’équilibrer les directeurs de l’attention avec des périodes d’exploration gratuite en réalité mixte (en particulier au début d’une expérience) pour éviter d’accablant l’utilisateur. En général, il existe deux types d’administrateurs d’attention :
- Directeurs visuels : le moyen le plus simple pour informer l’utilisateur qu’il doit se déplacer dans une direction spécifique consiste à fournir une indication visuelle. Cela peut être effectué par le biais d’un effet visuel (par exemple, un chemin d’accès que l’utilisateur peut suivre visuellement vers la partie suivante de l’expérience) ou même sous forme de flèches directionnelles simples. Tout indicateur visuel doit être ancré dans l’environnement de l’utilisateur, et non « attaché » au cadre holographique ou au curseur.
- Directeurs audio : le son spatial peut fournir un moyen puissant d’établir des objets dans une scène. Vous pouvez alerter les utilisateurs à des objets entrant une expérience ou attirer l’attention sur un point spécifique dans l’espace en déplaçant la vue de l’utilisateur vers les objets clés. L’utilisation de directeurs audio pour guider l’attention de l’utilisateur peut être plus subtile et moins intrusive que les directeurs visuels. Dans certains cas, il peut être préférable de commencer par un directeur audio, puis de passer à un directeur visuel si l’utilisateur ne reconnaît pas l’indicateur. Les directeurs audio peuvent également être associés à des réalisateurs visuels pour plus d’accentuation.
Commandes, navigation et menus
Dans l’idéal, les interfaces dans les expériences de réalité mixte sont étroitement associées au contenu numérique qu’ils contrôlent. Par conséquent, les menus 2D à flottant libre ne sont souvent pas idéaux pour l’interaction et peuvent être difficiles pour les utilisateurs trop confortablement avec le cadre holographique. Pour les expériences qui nécessitent des éléments d’interface tels que des menus ou des champs de texte, envisagez d’utiliser une méthode tag-along pour suivre le cadre holographique après un court délai. Évitez de verrouiller le contenu sur le cadre comme un affichage tête-haut, car cela peut être désorientant pour l’utilisateur et briser le sens de l’immersion pour d’autres objets numériques dans la scène.
Vous pouvez également placer des éléments d’interface directement sur le contenu spécifique qu’ils contrôlent, ce qui permet aux interactions de se produire naturellement autour de l’espace physique de l’utilisateur. Par exemple, décomposez un menu complexe en parties distinctes, avec chaque bouton ou groupe de contrôles attachés à l’objet spécifique affecté par l’interaction. Pour approfondir ce concept, envisagez l’utilisation d’objets interagissants.
Regard et regard ciblant
Le cadre holographique présente un outil permettant au développeur de déclencher des interactions et d’évaluer l’endroit où l’attention d’un utilisateur s’étend. Le regard est l’une des interactions clés sur HoloLens, où le regard peut être associé à des mouvements (par exemple, en appuyant sur l’air) ou à la voix (ce qui permet des interactions plus courtes et plus naturelles basées sur la voix). Par conséquent, cela rend le cadre holographique à la fois un espace d’observation du contenu numérique et d’interaction avec celui-ci. Si l’expérience appelle l’interaction avec plusieurs objets autour de l’espace de l’utilisateur (par exemple, la sélection multiple d’objets autour de l’espace de l’utilisateur avec le regard + mouvement), envisagez d’introduire ces objets dans la vue de l’utilisateur ou de limiter la quantité de mouvement de tête nécessaire pour promouvoir le confort de l’utilisateur.
Le regard peut également être utilisé pour suivre l’attention de l’utilisateur par le biais d’une expérience et voir quels objets ou parties de la scène l’utilisateur a porté le plus d’attention. Cela peut être particulièrement utilisé pour déboguer une expérience, ce qui permet aux outils analytiques tels que les cartes thermiques de voir où les utilisateurs passent le plus de temps ou manquent certains objets ou interactions. Le suivi du regard peut également fournir un outil puissant pour les animateurs dans les expériences (voir l’exemple Lowe’s Kitchen ).
Si vous souhaitez voir les concepts de conception Head and Eye Tracking en action, consultez notre démonstration vidéo de conception d’hologrammes - Head Tracking et Eye Tracking ci-dessous :
Cette vidéo a été extraite de l’application HoloLens 2 « Designing Holograms ». Téléchargez et profitez de l’expérience complète ici.
Performances
L’utilisation appropriée du cadre holographique est fondamentale pour les expériences de qualité des performances. Un défi technique (et d’utilisation) courant consiste à surcharger l’image de l’utilisateur avec du contenu numérique, ce qui entraîne une dégradation des performances de rendu. Envisagez plutôt d’utiliser l’espace total autour de l’utilisateur pour organiser le contenu numérique, en utilisant les techniques décrites ci-dessus, pour réduire la charge du rendu et garantir une qualité d’affichage optimale.
Exemples
Volvo Cars
Dans l’expérience de salle d’exposition de Volvo Cars, les clients sont invités à découvrir les fonctionnalités d’une nouvelle voiture dans une expérience HoloLens guidée par un associé Volvo. Volvo a fait face à un défi avec le cadre holographique : une voiture pleine taille est trop grande pour mettre juste à côté d’un utilisateur. La solution était de commencer l’expérience avec un repère physique, une table centrale dans la salle d’exposition, avec un modèle numérique plus petit de la voiture placée sur la table. Cela garantit que l’utilisateur voit la voiture complète lorsqu’elle est introduite, ce qui permet un sens de la compréhension spatiale une fois que la voiture augmente à son échelle réelle plus tard dans l’expérience.
L’expérience de Volvo utilise également des directeurs visuels, créant un effet visuel long du modèle de voiture à petite échelle sur la table à un mur dans la salle d’exposition. Cela conduit à un effet « fenêtre magique », montrant la vue complète de la voiture à distance, illustrant d’autres caractéristiques de la voiture à l’échelle réelle. Le mouvement de la tête est horizontal, sans aucune interaction directe de l’utilisateur (au lieu de recueillir des signaux visuellement et de la narration de l’associé Volvo de l’expérience).
Lowe’s Kitchen
Une expérience de magasin de Lowe’s invite les clients dans une maquette à grande échelle d’une cuisine pour présenter diverses opportunités de rénovation comme vu par holoLens. La cuisine dans le magasin fournit un décor physique pour les objets numériques, une toile vide d’appareils, de comptoirs et d’armoires pour l’expérience de réalité mixte à déployer.
Les surfaces physiques agissent comme des repères statiques pour que l’utilisateur se base sur l’expérience, en tant qu’associé lowe guide l’utilisateur à travers différentes options de produit et se termine. De cette façon, l’associé peut diriger verbalement l’attention de l’utilisateur vers le « réfrigérateur » ou « centre de la cuisine » pour présenter du contenu numérique.
Un associé Lowe utilise une tablette pour guider les clients dans l’expérience HoloLens.
L’expérience de l’utilisateur est gérée, en partie, par une expérience de tablette contrôlée par l’associé lowe. Une partie du rôle de l’associé dans ce cas serait également de limiter les mouvements excessifs de la tête, en dirigeant leur attention en douceur sur les points d’intérêt dans la cuisine. L’expérience de tablette fournit également l’association de Lowe aux données de regard sous la forme d’une vue de carte thermique de la cuisine, ce qui permet de comprendre où l’utilisateur est installé (par exemple, sur une zone spécifique d’armoire) pour leur fournir plus précisément des conseils de rénovation.
Pour un examen plus approfondi de l’expérience Lowe’s Kitchen, consultez la présentation de Microsoft à Ignite 2016.
Fragments
Dans les fragments de jeu HoloLens, vous êtes transformé en scène de crime virtuel montrant des indices et des preuves, et une salle de réunion virtuelle, où vous parlez avec des personnages qui s’asseoint sur vos chaises et s’appuient sur vos murs.
Les fragments ont été conçus pour se produire dans la maison d’un utilisateur, avec des caractères qui interagissent avec des objets et des surfaces réels.
Lorsque les utilisateurs commencent initialement l’expérience, ils reçoivent une courte période d’ajustement avec peu à aucune interaction. Au lieu de cela, ils sont encouragés à regarder autour et à s’orienter et s’assurer que la salle est correctement mappée pour le contenu interactif du jeu.
Tout au long de l’expérience, les personnages deviennent des points focals et agissent en tant que directeurs visuels (mouvements de tête entre les personnages, tournant vers l’apparence ou le mouvement vers les zones d’intérêt). Le jeu s’appuie également sur des signaux visuels plus importants lorsqu’un utilisateur prend trop de temps pour trouver un objet ou un événement et fait une utilisation intensive de l’audio spatial (en particulier avec des voix de caractères lors de l’entrée d’une scène).
Destination : Mars
Dans la destination : l’expérience mars proposée au Kennedy Space Center de la NASA, les visiteurs ont été invités à effectuer un voyage immersif à la surface de Mars, guidé par une représentation virtuelle de l’astronaute légendaire Buzz Aldrin.
Un Buzz Aldrin virtuel devient le point focal pour les utilisateurs dans Destination : Mars.
En tant qu’expérience immersive, ces utilisateurs ont été encouragés à regarder autour, en déplaçant leur tête dans toutes les directions pour voir le paysage martien virtuel. Bien que pour garantir le confort des utilisateurs, la narration et la présence virtuelle de Buzz Aldrin ont fourni un point focal tout au long de l’expérience. Cet enregistrement virtuel de Buzz (créé par Mixed Reality Capture Studios de Microsoft) se tenait à la taille réelle, humaine, dans le coin de la salle permettant aux utilisateurs de le voir en mode quasi-complet. La narration de Buzz a dirigé les utilisateurs à se concentrer sur différents points dans l’environnement (par exemple, un ensemble de roches martiennes sur le sol ou une chaîne de montagne à distance) avec des changements de scène spécifiques ou des objets introduits par lui.
Les narrateurs virtuels vont se tourner pour suivre le mouvement d’un utilisateur, créant un point focal puissant tout au long de l’expérience.
La représentation réaliste de Buzz a fourni un point focal puissant, avec des techniques subtiles pour tourner Buzz vers l’utilisateur pour se sentir comme s’il est là, en vous parlant. Lorsque l’utilisateur se déplace sur l’expérience, Buzz vous dirige vers un seuil avant de revenir à un état neutre si l’utilisateur se déplace trop loin au-delà de sa périphérie. Si l’utilisateur semble complètement de Buzz (par exemple, pour regarder quelque chose ailleurs dans la scène), revenez à Buzz, la position directionnelle du Narrateur sera de nouveau axée sur l’utilisateur. Les techniques comme celle-ci offrent un sens puissant de l’immersion et créent un point focal dans le cadre holographique, réduisant ainsi le mouvement excessif de la tête et favorisant le confort de l’utilisateur.