Interaction basée sur le regard sur HoloLens 2

Article
03/21/2023

Démonstration de suivi oculaire dans MRTK

L’une de nos nouvelles fonctionnalités intéressantes sur HoloLens 2 est le suivi oculaire. Dans notre page Suivi oculaire sur HoloLens 2, nous avons mentionné la nécessité pour chaque utilisateur de passer par un étalonnage, fourni des conseils pour les développeurs et mis en évidence les cas d’usage pour le suivi oculaire. L’entrée du regard est toujours un nouveau type d’entrée utilisateur et il y a beaucoup à apprendre.

Bien que l’entrée du regard ne soit utilisée que subtilement dans notre expérience Holographic Shell (l’interface utilisateur que vous voyez lorsque vous démarrez votre HoloLens 2), plusieurs applications, telles que « HoloLens Playground », présentent de grands exemples sur la façon dont l’entrée par le regard visuel peut ajouter à la magie de votre expérience holographique. Dans cette page, nous abordons les considérations relatives à la conception pour l’intégration de l’entrée du regard pour interagir avec vos applications holographiques.

Vous découvrirez les principaux avantages et les défis uniques qui viennent avec l’entrée du regard. Sur la base de ces recommandations, nous fournissons plusieurs recommandations de conception pour vous aider à créer des interfaces utilisateur satisfaisantes prises en charge par les yeux.

Prise en charge des appareils

Fonctionnalité	HoloLens (1ère génération)	HoloLens 2	Casques immersifs
Vue d’œil	❌	✔️	❌

Démonstration des concepts d’élaboration du suivi de la tête et du suivi oculaire

Si vous souhaitez voir les concepts d’élaboration du suivi de la tête et du suivi oculaire en action, consultez notre démonstration vidéo Conception d’hologrammes - Suivi de la tête et suivi oculaire ci-dessous. Une fois que vous avez terminé, poursuivez pour obtenir une présentation plus détaillée relative à des rubriques spécifiques.

Cette vidéo a été extraite de l’application HoloLens 2 « Designing Holograms ». Téléchargez et profitez de l’expérience complète ici.

Recommandations en matière de conception d’entrée du regard

Créer une interaction qui tire parti du ciblage oculaire rapide peut être difficile. Dans cette section, nous récapitulons les principaux avantages et défis à prendre en compte lors de la conception de votre application.

Avantages de l’entrée des yeux

Pointage à haute vitesse. Le muscle oculaire est le muscle qui réagit le plus rapidement dans le corps humain.
Peu d’effort. Pratiquement aucun mouvement physique n’est nécessaire.
Implicite. Souvent décrite par les utilisateurs comme « lecture mentale », les informations sur les mouvements oculaires d’un utilisateur permettent au système de savoir quelle cible l’utilisateur prévoit d’engager.
Autre canal d’entrée. Le regard-regard peut fournir une puissante entrée de soutien pour la main et la voix en s’appuyant sur des années d’expérience des utilisateurs en fonction de leur coordination main-œil.
Attention visuelle. Un autre avantage important est la possibilité de déduire ce à quoi un utilisateur fait attention. Cela peut être utile dans différents domaines d’application, allant de l’évaluation plus efficace de différentes conceptions à l’aide d’interfaces utilisateur plus intelligentes et d’indicateurs sociaux améliorés pour la communication à distance.

En résumé, l’utilisation du regard comme entrée offre un signal d’entrée contextuel rapide et sans effort. Ceci est puissant lorsqu’il est combiné avec d’autres entrées telles que la voix et l’entrée manuelle pour confirmer l’intention de l’utilisateur.

Défis du regard comme entrée

Bien que le regard puisse être utilisé pour créer des expériences utilisateur satisfaisantes, qui vous donnent l’impression d’être un super-héros, il est également important de savoir ce qu’il n’est pas bon pour prendre correctement en compte cela. La liste suivante décrit certains défis à prendre en compte et comment les résoudre lorsque vous travaillez avec des entrées de regard :

Votre regard est « toujours actif » Dès que vous ouvrez vos yeux couvercles, vos yeux commencent à se fixer sur les choses dans l’environnement. Réagir à chaque regard que vous faites et émettre accidentellement des actions, parce que vous avez regardé quelque chose pendant trop longtemps, entraînerait une expérience insatisfaisante. Nous vous recommandons de combiner le regard avec une commande vocale, un mouvement de la main, un clic sur le bouton ou un appui prolongé pour déclencher la sélection d’une cible (pour plus d’informations, voir Le regard et la validation). Cette solution permet également un mode dans lequel l’utilisateur peut regarder librement autour de lui sans être submergé par le déclenchement involontaire de quelque chose. Ce problème doit également être pris en compte lors de la conception de commentaires visuels et auditifs lors de l’examen d’une cible. Essayez de ne pas submerger l’utilisateur avec des effets contextuels immédiats ou des sons de pointage. La subtilité est la clé. Nous aborderons quelques bonnes pratiques pour cela plus loin ci-dessous lorsque nous aborderons les recommandations de conception.
Observation et contrôle Imaginez que vous voulez redresser précisément une photo sur votre mur. Vous regardez les bords de la photo et ce qui se trouve à proximité pour voir si elle est bien alignée. Imaginez maintenant comment vous le feriez lorsque vous souhaitez utiliser votre regard comme entrée pour déplacer l’image. Difficile, n’est-ce pas ? Cela décrit le double rôle du regard lorsque celui-ci est requis à la fois pour l’entrée et le contrôle.
Laissez avant de cliquer sur : Pour les sélections de cibles rapides, des recherches ont montré que le regard d’un utilisateur peut se déplacer avant de conclure un clic manuel (par exemple, un appui aérien). Prêtez une attention particulière à la synchronisation du signal rapide du regard avec une entrée de contrôle plus lente (par exemple, voix, mains, contrôleur).
Petites cibles : Connaissez-vous le sentiment que vous ressentez lorsque vous essayez de lire du texte un peu trop petit pour être lu confortablement ? Cette sensation de fatigue sur vos yeux peut vous faire sentir fatigué et usé, parce que vous essayez de réajuster vos yeux pour mieux vous concentrer. Il s’agit d’un sentiment que vous pouvez appeler chez vos utilisateurs en les forçant à sélectionner des cibles trop petites dans votre application à l’aide du ciblage oculaire. Durant la conception, si vous souhaitez créer une expérience utilisateur agréable et confortable, nous vous recommandons de privilégier des cibles ayant un angle de vue d’au moins 2°, sinon plus de préférence.
Mouvements de regard épars Nos yeux effectuent des mouvements rapides de la fixation à la fixation. Si vous examinez un enregistrement des mouvements oculaires, vous pouvez voir qu’ils sont irréguliers. Vos yeux se déplacent rapidement et en sauts spontanés par rapport aux mouvements du regard ou de la main.
Fiabilité du suivi : La précision du suivi oculaire peut se dégrader un peu en changeant la lumière à mesure que vos yeux s’ajustent aux nouvelles conditions. Bien que cela ne devrait pas nécessairement affecter la conception de votre application, comme la précision doit être dans la limite de 2°, il peut être nécessaire pour l’utilisateur d’étalonner à nouveau.

Recommandations de conception

Voici une liste de recommandations de conception spécifiques basées sur les avantages et les défis décrits pour l’entrée des yeux :

Le regard n’est pas le même que le regard de la tête :
- Déterminez si les mouvements oculaires rapides mais irréguliers correspondent à votre tâche d’entrée : Bien que nos mouvements oculaires rapides et déchiquetés soient excellents pour sélectionner rapidement des cibles dans notre champ de vision, il est moins applicable pour les tâches qui nécessitent des trajectoires d’entrée fluides (par exemple, dessiner ou entourer des annotations). Dans ce cas, le pointage à la main ou avec la tête est préférable.
- Évitez d’attacher un élément directement au regard de l’utilisateur (par exemple, un curseur ou un curseur). Avec les curseurs, cela peut entraîner un effet de « curseur de fuite » en raison de légers décalages dans le signal projeté du regard. Avec un curseur, il peut entrer en conflit avec le double rôle qui consiste à contrôler le curseur avec vos yeux tout en souhaitant également vérifier si l’objet se trouve à l’emplacement approprié. Pour l’exemple du curseur, il est plus judicieux d’utiliser le regard en combinaison avec les mouvements de la main. Cela signifie que l’utilisateur peut rapidement et sans effort basculer entre de nombreux curseurs, en levant sa main et en pincement son pouce et son index pour le saisir et le déplacer. Lorsque le pincement est relâché, le curseur cesse de se déplacer. Les utilisateurs peuvent être dépassés et distraits, en particulier si le signal est imprécis pour cet utilisateur.
Combinez le regard avec d’autres entrées : L’intégration du suivi oculaire à d’autres entrées, telles que les mouvements de la main, les commandes vocales ou les appuis sur les boutons, offre plusieurs avantages :
- Autoriser l’observation gratuite : Étant donné que le rôle principal de nos yeux est d’observer notre environnement, il est important que les utilisateurs soient autorisés à regarder autour de lui sans déclencher de commentaires ou d’actions (visuels, auditifs, etc.). La combinaison du suivi oculaire avec un autre contrôle d’entrée permet une transition fluide entre l’observation du suivi oculaire et les modes de contrôle d’entrée.
- Fournisseur de contexte puissant : L’utilisation d’informations sur l’emplacement et ce que l’utilisateur regarde lors d’une commande vocale ou d’un mouvement de la main permet de canaliser en toute transparence l’entrée dans le champ de vision. Par exemple : dites « mettez-le là » pour sélectionner et positionner rapidement et couramment un hologramme sur la scène en examinant une cible et sa destination prévue.
- Besoin de synchroniser les entrées multimodales : La combinaison de mouvements oculaires rapides avec des entrées plus complexes, telles que des commandes vocales longues ou des mouvements de la main, présente le risque que l’utilisateur continue déjà à regarder autour de lui avant que la commande d’entrée supplémentaire soit terminée et reconnue. Si vous créez vos propres contrôles d’entrée (par exemple, des mouvements de main personnalisés), veillez à journaliser le début de cette entrée ou la durée approximative pour la mettre en corrélation avec ce qu’un utilisateur avait regardé dans le passé.
Commentaires subtils pour les entrées de suivi oculaire : Il est utile de fournir des commentaires lorsqu’une cible est examinée pour indiquer que le système fonctionne comme prévu, mais qu’il doit rester subtil. Cela peut inclure des fusions lentes, des mises en surbrillance visuelles ou d’autres comportements de cible subtils, tels que des mouvements lents, tels que l’augmentation légère de la taille de la cible. Cela indique que le système a correctement détecté que l’utilisateur examine une cible sans interrompre inutilement le flux de travail actuel de l’utilisateur.
Évitez d’appliquer des mouvements oculaires non naturels en entrée : Ne forcez pas les utilisateurs à utiliser des mouvements oculaires spécifiques (mouvements du regard) pour déclencher des actions dans votre application.
Tenir compte des imprécisions : Nous distinguons deux types d’imprécisions, qui sont perceptibles pour les utilisateurs : décalage et gigue. Le moyen le plus simple de traiter un décalage consiste à fournir des cibles suffisamment grandes pour interagir avec. Il est recommandé d’utiliser un angle visuel supérieur à 2° comme référence. Par exemple, votre miniature est d’environ 2° dans l’angle visuel lorsque vous étirez votre bras. Il en résulte les conseils d’aide suivants :
- Ne forcez pas les utilisateurs à sélectionner des cibles minuscules. La recherche a montré que si les cibles sont suffisamment grandes et que le système est bien conçu, les utilisateurs décrivent leurs interactions comme étant sans effort et magique. Si les cibles deviennent trop petites, les utilisateurs décrivent l’expérience comme étant fatigante et frustrante.

Cette page vous a fourni une bonne vue d’ensemble pour vous aider à comprendre le regard en tant qu’entrée dans la réalité mixte. Pour commencer à développer, consultez nos informations sur le regard dans Unity et le regard dans DirectX.