Eye-tracking sur HoloLens 2

Démonstration de suivi oculaire dans MRTK

HoloLens 2 permet un nouveau niveau de compréhension du contexte et de l’humain dans l’expérience holographique en offrant aux développeurs la possibilité d’utiliser des informations sur ce que l’utilisateur regarde. Cette page explique comment les développeurs peuvent tirer parti du suivi oculaire pour différents cas d’usage, et ce qu’il faut rechercher lors de la conception d’interactions utilisateur basées sur les yeux.

L’API Eye Tracking a été conçue avec la confidentialité d’un utilisateur à l’esprit ; elle évite la transmission de toute information identifiable, en particulier la biométrie. Pour les applications compatibles avec le suivi oculaire, l’utilisateur doit accorder à l’application l’autorisation d’utiliser les informations de suivi oculaire.

Prise en charge des appareils

Fonctionnalité HoloLens (1ère génération) HoloLens 2 Casques immersifs
Vue d’œil ✔️

Démonstration des concepts d’élaboration du suivi de la tête et du suivi oculaire

Si vous souhaitez voir les concepts d’élaboration du suivi de la tête et du suivi oculaire en action, consultez notre démonstration vidéo Conception d’hologrammes - Suivi de la tête et suivi oculaire ci-dessous. Une fois que vous avez terminé, poursuivez pour obtenir une présentation plus détaillée relative à des rubriques spécifiques.

Cette vidéo a été extraite de l’application HoloLens 2 « Designing Holograms ». Téléchargez et profitez de l’expérience complète ici.

Étalonnage

Pour que le suivi oculaire fonctionne correctement, chaque utilisateur doit passer par un étalonnage utilisateur de suivi oculaire pour lequel l’utilisateur doit examiner un ensemble de cibles holographiques. Cela permet à l’appareil d’ajuster le système, ce qui permet une expérience d’affichage plus confortable et de meilleure qualité pour l’utilisateur tout en garantissant un suivi oculaire précis en même temps.

Le suivi oculaire doit fonctionner pour la plupart des utilisateurs, mais il existe de rares cas où un utilisateur ne peut pas étalonner correctement. L’étalonnage peut échouer pour diverses raisons, notamment :

  • L’utilisateur a précédemment refusé le processus d’étalonnage.
  • L’utilisateur a été distrait et n’a pas suivi les cibles d’étalonnage.
  • L’utilisateur a certains types de lentilles de contact et de lunettes que le système ne prend pas encore en charge.
  • L’utilisateur a une certaine physiologie oculaire ou des conditions oculaires ou a eu une chirurgie oculaire, que le système ne prend pas encore en charge.
  • Facteurs externes inhibant le suivi oculaire fiable tels que les taches sur la visière HoloLens ou les lunettes, la lumière directe intense du soleil, et les occlusions dues aux cheveux devant les yeux.

Les développeurs doivent veiller à fournir une prise en charge adéquate pour les utilisateurs pour lesquels les données de suivi oculaire ne sont peut-être pas disponibles (qui ne sont pas en mesure d’étalonner correctement). Nous avons fourni des recommandations pour les solutions de secours dans la section au bas de cette page.

Pour en savoir plus sur l’étalonnage et sur la façon d’assurer une expérience fluide, consultez notre page d’étalonnage des utilisateurs de suivi oculaire .


Données de suivi oculaire disponibles

Le suivi oculaire sur HoloLens 2 permet aux développeurs de concevoir des scénarios d’entrée et d’interaction naturels et intuitifs. L’API Eye Tracking fournit des informations sur ce que l’utilisateur regarde comme un seul rayon du regard (origine et direction du regard) à environ 30 FPS (30 Hz). Pour que l’eye-tracking fonctionne avec précision, chaque utilisateur doit effectuer un étalonnage. Pour plus d’informations sur l’accès aux données de suivi oculaire, reportez-vous à nos guides du développeur pour l’utilisation du regard dans DirectX et du regard dans Unity.

Le regard prédit est d’environ 1,5 degrés d’angle visuel autour de la cible réelle (voir l’illustration ci-dessous). De légères imprécisions sont attendues. Les développeurs doivent donc planifier une certaine marge autour de cette valeur de limite inférieure (par exemple, 2,0-3,0 degrés peut entraîner une expérience beaucoup plus confortable). Nous verrons plus en détail comment traiter la sélection de petites cibles plus en détail ci-dessous.

Taille de cible optimale à 2 mètres de distance
Taille optimale de la cible à une distance de 2 mètres


Données de suivi oculaire étendu

Les API de suivi oculaire étendues permettent aux développeurs de déverrouiller un niveau supérieur de scénarios innovants tels que l’évaluation de l’intégrité, la surveillance et la thérapie en fournissant des informations plus précises sur le regard de l’utilisateur.

Les API de suivi oculaire étendues permettent d’accéder à des valeurs de suivi oculaire existantes et à de nouvelles fonctionnalités telles que des vecteurs de regard individuels (gauche et droit), des fréquences d’images prises en charge et la possibilité de définir la fréquence d’images de suivi oculaire sur 30, 60 ou 90 images/s. Pour utiliser l’API de suivi oculaire étendu, reportez-vous à nos guides du développeur pour l’utilisation des API de suivi oculaire étendu pour native ou Unity.

Cas d'utilisation

L’eye-tracking permet aux applications de savoir où l’utilisateur regarde en temps réel. Les cas d’usage suivants décrivent certaines interactions possibles avec le suivi oculaire sur HoloLens 2 dans la réalité mixte. Ces cas d’usage ne font pas encore partie de l’expérience Holographic Shell (l’interface que vous voyez lorsque vous démarrez votre HoloLens 2). Vous pouvez essayer certaines d’entre elles dans le kit de ressources Mixed Reality. Le kit de ressources fournit plusieurs exemples intéressants et puissants d’utilisation du suivi oculaire, tels que des sélections de cibles prises en charge oculaires rapides et sans effort et le défilement automatique du texte en fonction de ce que l’utilisateur regarde.

Intention de l'utilisateur

Les informations sur l’emplacement et ce que l’utilisateur regarde fournissent un contexte puissant pour d’autres entrées, telles que la voix, les mains et les contrôleurs. Cela peut être utile pour diverses tâches. Par exemple, l’utilisateur peut rapidement et sans effort cibler sur la scène en regardant un hologramme et en disant « sélectionner » (voir aussi le regard et valider) ou « mettre ceci... », puis regarder à l’endroit où il veut placer l’hologramme et dire « ... là-bas » . Vous trouverez des exemples à ce sujet dans Mixed Reality Toolkit - Sélection d’une cible à l’aide du regard et Mixed Reality Toolkit - Positionnement d’une cible à l’aide du regard.

En outre, un exemple d’intention utilisateur peut inclure l’utilisation d’informations sur ce que les utilisateurs regardent pour améliorer l’engagement avec des agents virtuels incorporés et des hologrammes interactifs. Par exemple, les agents virtuels peuvent adapter les options disponibles et leur comportement en fonction du contenu actuellement affiché.

Actions implicites

La catégorie des actions implicites est étroitement liée à l’intention de l’utilisateur. L’idée est que les hologrammes ou les éléments de l’interface utilisateur réagissent d’une manière instinctive qui peut même ne pas avoir l’impression que l’utilisateur interagit avec le système du tout, mais plutôt que le système et l’utilisateur sont synchronisés. Par exemple, le défilement automatique basé sur les yeux permet à l’utilisateur de lire un texte long qui démarre automatiquement le défilement une fois que l’utilisateur arrive au bas de la zone de texte. Cela maintient l’utilisateur dans le flux de lecture sans lever le doigt. Un aspect clé de ce processus est que la vitesse de défilement s’adapte à la vitesse de lecture de l’utilisateur.

Un autre exemple est le zoom et le panoramique pris en charge par les yeux, où l’utilisateur peut avoir l’impression de plonger exactement vers ce sur quoi il se concentre.

Le déclenchement et le contrôle de la vitesse de zoom peuvent être contrôlés par l’entrée vocale ou manuelle, ce qui est important pour donner à l’utilisateur une sensation de contrôle tout en évitant d’être submergé. Nous aborderons ces considérations de conception plus en détail ci-dessous. Une fois qu’il a zoomé, l’utilisateur peut suivre en douceur, par exemple, le cours d’une rue pour explorer son quartier en utilisant son regard. Vous trouverez des démonstrations de ces types d’interaction dans l’exemple Mixed Reality Toolkit - Navigation à l’aide du regard.

D’autres cas d’usage pour les actions implicites peuvent inclure :

  • Notifications intelligentes : Vous êtes-vous déjà ennuyé par des notifications qui apparaissent en plein milieu de votre vue ? Vous pouvez améliorer cette expérience en compensant les notifications à partir de l’endroit où l’utilisateur observe actuellement. Cela limite les distractions et les ignore automatiquement une fois que l’utilisateur a fini de lire.
  • Hologrammes attentifs : Il s’agit d’hologrammes qui réagissent de manière subtile lorsqu’ils sont regardés. Cela peut aller d’éléments d’interface utilisateur légèrement lumineux à une fleur qui fleurit lentement et à un chien virtuel qui commence à regarder en arrière l’utilisateur et à agiter sa queue. Cette interaction peut fournir un sentiment intéressant de connectivité et de satisfaction dans votre application.

Suivi de l’attention

L’information sur l’endroit où ou ce que les utilisateurs regardent peut être un outil extrêmement puissant. Il peut aider à évaluer la facilité d’utilisation des conceptions et à identifier les problèmes dans les flux de travail pour les rendre plus efficaces. La visualisation et l’analytique du suivi oculaire sont une pratique courante dans différents domaines d’application. Avec HoloLens 2, nous fournissons une nouvelle dimension à cette compréhension : les hologrammes 3D peuvent être placés dans des contextes réels et évalués en conséquence.

Le kit de ressources Mixed Reality fournit des exemples de base pour la journalisation et le chargement des données de suivi oculaire, ainsi que la façon de les visualiser.

Microsoft s’engage à faciliter l’innovation tout en veillant à ce que les utilisateurs disposent d’une expérience informée et transparente de la façon dont leurs informations de suivi oculaire sont utilisées. Nous allons continuer à travailler avec nos développeurs et nos équipes d’expérience utilisateur pour fournir des conseils à des tiers afin de garantir que les expériences sont centrées sur l’utilisateur.

Autres applications possibles dans ce domaine :

  • Visualisation du regard à distance : Visualisez ce que les collaborateurs distants regardent. Cela peut fournir des commentaires immédiats et faciliter le traitement des informations plus précis.
  • Études de recherche sur les utilisateurs : Le suivi de l’attention peut fournir des insights sur la façon dont les utilisateurs perçoivent et interagissent avec l’environnement naturel sans interférer. Cela peut aider les développeurs à concevoir des interactions homme-ordinateur plus instinctives. Le suivi oculaire peut fournir des informations qui ne sont pas directement articulées par les participants à l’étude et peuvent être facilement manquées par le chercheur.
  • Formation et surveillance des performances : Pratiquez et optimisez l’exécution des tâches en identifiant plus efficacement les goulots d’étranglement dans le flux d’exécution. Le suivi oculaire peut fournir des informations naturelles, en temps réel et objectives pour aider à améliorer la formation, la productivité et la sécurité sur le lieu de travail.
  • Évaluations de conception, marketing et recherche sur les consommateurs : Le suivi oculaire permet aux entreprises commerciales d’effectuer des études de marketing et de consommation dans des environnements réels ou d’analyser ce qui attire l’attention d’un utilisateur pour améliorer la conception du produit ou de l’espace.

Autres cas d’usage

  • Jeu: Avez-vous déjà voulu avoir des superpuissances ? Voilà votre chance !

Vous pouvez léviter les hologrammes en les regardant.

Tirez des faisceaux laser de vos yeux - essayez-le dans RoboRaid pour HoloLens 2.

Transformer les ennemis en pierre ou les figer.

Utilisez votre vision à rayons X pour explorer des bâtiments.

La seule limite, c’est votre imagination ! Attention toutefois à ne pas surcharger l’utilisateur. Pour plus d’informations, consultez nos instructions de conception d’entrée basées sur les yeux.

  • Avatars expressifs : Le suivi oculaire aide à utiliser des avatars 3D plus expressifs en utilisant des données de suivi oculaire en direct pour animer les yeux de l’avatar et leur faire suivre ce que l’utilisateur regarde.

  • Entrée de texte : Le suivi oculaire peut être utilisé comme alternative à la saisie de texte à faible effort, en particulier lorsque la parole ou les mains ne sont pas pratiques à utiliser.


Utilisation du regard pour l’interaction

Créer une interaction qui tire parti du ciblage oculaire rapide peut être difficile. Étant donné que les yeux peuvent se déplacer rapidement, si vous ne faites pas attention à la façon d’utiliser l’entrée du regard, les utilisateurs peuvent trouver l’expérience écrasante ou distrayante. Mais cela vaut bien le défi, car le suivi oculaire vous permet de créer des expériences vraiment magiques qui vont exciter vos utilisateurs! Pour vous aider, consultez notre vue d’ensemble des principaux avantages, défis et recommandations de conception pour l’interaction.

Solutions de secours lorsque le suivi oculaire n’est pas disponible

Dans de rares cas, les données de suivi oculaire peuvent ne pas être disponibles. Cela peut se produire pour plusieurs raisons: les plus courantes sont répertoriées ci-dessous :

  • Le système n’a pas pu étalonner l’utilisateur.
  • L’utilisateur a ignoré l’étalonnage.
  • L’utilisateur est étalonné, mais a décidé de ne pas autoriser votre application à utiliser ses données de suivi oculaire.
  • L’utilisateur a des lunettes uniques ou une condition oculaire que le système ne prend pas encore en charge.
  • Facteurs externes inhibant le suivi oculaire fiable comme les taches sur la visière holoLens ou les lunettes, la lumière directe intense du soleil, et les occlusions en raison des cheveux devant les yeux.

Les développeurs doivent s’assurer qu’il existe une prise en charge de secours appropriée pour ces utilisateurs. Dans la page Suivi oculaire dans DirectX , nous expliquons les API nécessaires pour détecter si les données de suivi oculaire sont disponibles.

Certains utilisateurs peuvent décider qu’une plus grande confidentialité est plus importante pour eux que l’expérience améliorée que le suivi oculaire peut fournir, de sorte qu’ils révoquent intentionnellement l’accès à leurs données de suivi oculaire. Toutefois, dans certains cas, cette révocation peut être involontaire. Si votre application utilise le suivi oculaire, et qu’il s’agit d’une partie importante de l’expérience, nous vous recommandons de le communiquer clairement à l’utilisateur. Expliquer à l’utilisateur comment le suivi oculaire déverrouille tout le potentiel de votre application peut l’aider à mieux comprendre ce qu’il abandonne. Si le suivi oculaire est activé mais ne fonctionne pas, aidez l’utilisateur à identifier et à résoudre le problème en utilisant la liste de contrôle ci-dessus comme guide. Par exemple, si vous pouvez détecter que le système prend en charge le suivi oculaire et que l’utilisateur est étalonné et a donné son autorisation, mais qu’aucune donnée de suivi oculaire n’est reçue, cela peut indiquer des problèmes tels que des taches ou des yeux obstrués.

Il y a de rares cas où le suivi oculaire ne fonctionne pas pour quelqu’un et il n’y a aucune raison évidente. Soyez respectueux de cela en permettant à l’utilisateur d’ignorer ou de désactiver les rappels pour activer le suivi oculaire dans votre application.

Revenir en arrière pour les applications utilisant le regard visuel comme pointeur d’entrée principal

Si votre application utilise le regard visuel comme entrée de pointeur pour sélectionner rapidement des hologrammes dans la scène, mais que les données de suivi oculaire ne sont pas disponibles, nous vous recommandons de revenir au regard de la tête et d’afficher le curseur du regard. Nous vous recommandons d’utiliser un délai d’expiration (par exemple, 500 à 1 500 ms) pour déterminer s’il faut basculer ou non. Cette action empêche les curseurs d’apparaître chaque fois que le système peut perdre brièvement le suivi en raison de mouvements oculaires rapides ou de clins d’œil et de clignotements. Si vous êtes développeur Unity, le secours automatique au regard de la tête est déjà géré dans Mixed Reality Toolkit. Si vous êtes développeur DirectX, vous devez gérer ce commutateur vous-même.

Revenir en arrière pour d’autres applications spécifiques au suivi oculaire

Votre application peut utiliser le regard d’une manière unique qui est adaptée spécifiquement aux yeux, par exemple, en animant les yeux d’un avatar ou des cartes thermiques d’attention basées sur les yeux qui s’appuient sur des informations précises sur l’attention visuelle. Dans ce type de cas, il n’y a pas de secours clair. Si le suivi oculaire n’est pas disponible, ces fonctionnalités devront peut-être être désactivées. Là encore, nous vous recommandons de le communiquer clairement à l’utilisateur, qui n’est peut-être pas conscient que la fonctionnalité ne fonctionne pas.


Nous espérons que cette page vous a fourni une bonne vue d’ensemble pour vous aider à comprendre le rôle du suivi oculaire et de l’entrée du regard pour le HoloLens 2. Pour commencer à développer, consultez nos informations sur le rôle du regard pour interagir avec les hologrammes, le regard dans Unity et le regard dans DirectX.

Voir aussi