Vue d’ensemble des exemples de suivi oculaire — MRTK2
Cette rubrique explique comment démarrer rapidement avec le suivi oculaire dans MRTK en s’appuyant sur des exemples de suivi oculaire MRTK (Assets/MRTK/Examples/Demos/EyeTracking). Ces exemples vous permettent d’expérimenter l’une de nos nouvelles fonctionnalités d’entrée magiques : suivi oculaire ! La démonstration comprend différents cas d’usage, allant des activations implicites basées sur les yeux à la façon de combiner en toute transparence des informations sur ce que vous regardez avec la voix et la saisie manuelle . Cela permet aux utilisateurs de sélectionner et de déplacer rapidement et sans effort du contenu holographique dans leur vue simplement en regardant une cible et en disant « Sélectionner » ou en effectuant un mouvement de la main. Les démonstrations incluent également un exemple de défilement dirigé par le regard, le panoramique et le zoom du texte et des images sur une ardoise. Enfin, un exemple est fourni pour enregistrer et visualiser l’attention visuelle de l’utilisateur sur une ardoise 2D. Dans la section suivante, vous trouverez plus d’informations sur ce que chacun des différents exemples du package d’exemple de suivi oculaire MRTK (Assets/MRTK/Examples/Demos/EyeTracking) inclut :
La section suivante fournit une vue d’ensemble rapide des différentes scènes de démonstration de suivi oculaire. Les scènes de démonstration de suivi oculaire MRTK sont chargées de manière additive, que nous expliquerons ci-dessous comment configurer.
Vue d’ensemble des exemples de démonstration de suivi oculaire
Sélection cible prise en charge par les yeux
Ce tutoriel présente la facilité d’accès aux données de regard pour sélectionner des cibles. Il comprend un exemple de commentaires subtils mais puissants pour fournir à l’utilisateur la confiance qu’une cible est ciblée sans être écrasante. En outre, il existe un exemple simple de notifications intelligentes qui disparaissent automatiquement après avoir été lues.
Résumé : Sélections de cibles rapides et sans effort à l’aide d’une combinaison d’entrées d’yeux, de voix et de main.
Navigation prise en charge par les yeux
Imaginez que vous lisez des informations sur un écran distant ou votre lecteur électronique et que lorsque vous atteignez la fin du texte affiché, le texte défile automatiquement vers le haut pour révéler plus de contenu. Ou si vous zoomiez par magie directement vers l’endroit où vous regardiez ? Voici quelques-uns des exemples présentés dans ce tutoriel concernant la navigation prise en charge par les yeux. En outre, il existe un exemple de rotation mains libres des hologrammes 3D en les faisant pivoter automatiquement en fonction de votre focus actuel.
Résumé : Défilement, panoramique, zoom, rotation 3D à l’aide d’une combinaison d’entrées de yeux, de voix et de main.
Positionnement pris en charge par les yeux
Ce tutoriel montre un scénario d’entrée appelé Put-That-There datant de la recherche du laboratoire multimédia du MIT au début des années 1980 avec des entrées oculaires, manuelles et vocales. L’idée est simple : tirez parti de vos yeux pour une sélection et un positionnement rapides des cibles. Il suffit de regarder un hologramme et de dire « mettez ceci », regardez où vous voulez le placer et dites « là ! ». Pour positionner plus précisément votre hologramme, vous pouvez utiliser des entrées supplémentaires de vos mains, de votre voix ou de vos contrôleurs.
Résumé : Positionnement d’hologrammes à l’aide des yeux, de la voix et de la main (glisser-déplacer). Curseurs pris en charge pour les yeux à l’aide des yeux + des mains.
Visualisation de l’attention visuelle
Les données basées sur l’endroit où les utilisateurs regardent constituent un outil extrêmement puissant pour évaluer la facilité d’utilisation d’une conception et pour identifier les problèmes dans des flux de travail efficaces. Ce tutoriel explique les différentes visualisations de suivi oculaire et la façon dont elles répondent à différents besoins. Nous fournissons des exemples de base pour la journalisation et le chargement des données de suivi oculaire, ainsi que des exemples pour les visualiser.
Résumé : Carte de l’attention à deux dimensions (cartes thermiques) sur les ardoises. Enregistrement & relecture des données de suivi oculaire.
Configuration des exemples de suivi oculaire MRTK
Prérequis
Notez que l’utilisation des exemples de suivi oculaire sur l’appareil nécessite un HoloLens 2 et un exemple de package d’application qui est créé avec la fonctionnalité « Entrée de regard » sur appXManifest du package.
Pour utiliser ces exemples de suivi oculaire sur l’appareil, veillez à suivre ces étapes avant de créer l’application dans Visual Studio.
1. Charger EyeTrackingDemo-00-RootScene.unity
EyeTrackingDemo-00-RootScene est la scène de base (racine) qui contient tous les composants MRTK de base inclus. Il s’agit de la scène que vous devez charger en premier et à partir de laquelle vous allez exécuter les démonstrations de suivi oculaire. Il dispose d’un menu de scène graphique qui vous permet de basculer facilement entre les différents échantillons de suivi oculaire qui seront chargés de manière additive.
La scène racine comprend quelques composants principaux qui sont conservés dans les scènes chargées de manière additive, tels que les profils mrTK configurés et la caméra de scène. MixedRealityBasicSceneSetup (voir la capture d’écran ci-dessous) inclut un script qui chargera automatiquement la scène référencée au démarrage. Par défaut, il s’agit d’EyeTrackingDemo-02-TargetSelection.
2. Ajout de scènes au menu build
Pour charger des scènes additives pendant l’exécution, vous devez d’abord ajouter ces scènes à votre menu Paramètres de build -> Scènes dans Build . Il est important que la scène racine s’affiche en tant que première scène de la liste :
3. Lire les exemples de suivi oculaire dans l’éditeur Unity
Après avoir ajouté les scènes de suivi oculaire aux paramètres de build et chargé eyeTrackingDemo-00-RootScene, vous pouvez case activée une dernière chose : le script « OnLoadStartScene » attaché au GameObject MixedRealityBasicSceneSetup est-il activé ? Il s’agit de permettre à la scène racine de savoir quelle scène de démonstration charger en premier.
Allons-y ! Appuyez sur « Play » ! Vous devriez voir apparaître plusieurs gemmes et le menu de la scène en haut.
Vous devriez également remarquer un petit cercle semi-transparence au centre de votre vue de jeu. Cela agit comme un indicateur (curseur) de votre regard simulé : il vous suffit d’appuyer sur le bouton droit de la souris et de déplacer la souris pour modifier sa position. Lorsque le curseur pointe sur les gemmes, vous remarquerez qu’il s’aligne sur le centre de la gemme actuellement consultée. Il s’agit d’un excellent moyen de tester si des événements sont déclenchés comme prévu lors de l’examen d’une cible. Sachez que le regard simulé via le contrôle de la souris est un complément assez pauvre à nos mouvements oculaires rapides et involontaires. Toutefois, il est idéal pour tester les fonctionnalités de base avant d’itérer sur la conception en la déployant sur l’appareil HoloLens 2. Retour à notre scène d’exemple de suivi oculaire : la gemme pivote aussi longtemps qu’elle est regardée et peut être détruite en « regardant » elle et ...
- Appuyez sur Entrée (ce qui simule l’expression « select »)
- En disant « sélectionner » dans votre microphone
- Tout en appuyant sur Espace pour afficher l’entrée de la main simulée, cliquez sur le bouton gauche de la souris pour effectuer un pincement simulé
Nous décrivons plus en détail comment réaliser ces interactions dans notre tutoriel Sélection cible prise en charge par l’œil .
Lorsque vous déplacez le curseur vers la barre de menus supérieure de la scène, vous remarquerez que l’élément actuellement pointé est mis en surbrillance subtilement. Vous pouvez sélectionner l’élément actuellement mis en surbrillance à l’aide de l’une des méthodes de validation décrites ci-dessus (par exemple, en appuyant sur Entrée). De cette façon, vous pouvez basculer entre les différentes scènes d’exemple de suivi oculaire.
4. Comment tester des sous-scènes spécifiques
Lorsque vous travaillez sur un scénario spécifique, il se peut que vous ne souhaitiez pas passer par le menu de la scène à chaque fois. Au lieu de cela, vous pouvez commencer directement à partir de la scène sur laquelle vous travaillez actuellement en appuyant sur le bouton Lecture . Aucun problème non plus ! Voici ce que vous pouvez faire :
Charger la scène racine
Dans la scène racine, désactivez le script « OnLoadStartScene »
Faites glisser et déposez l’une des scènes de test de suivi oculaire décrites ci-dessous (ou toute autre scène) dans votre vue Hiérarchie , comme illustré dans la capture d’écran ci-dessous.
Appuyez sur Lecture
Notez que le chargement de la sous-scène comme celle-ci n’est pas persistant : cela signifie que si vous déployez votre application sur l’appareil HoloLens 2, elle ne chargera que la scène racine (en supposant qu’elle apparaît en haut de vos paramètres de build). En outre, lorsque vous partagez votre projet avec d’autres personnes, les sous-scènes ne sont pas chargées automatiquement.
Maintenant que vous savez comment faire fonctionner les exemples de scènes de suivi oculaire MRTK, nous allons continuer à explorer plus en détail comment sélectionner des hologrammes avec vos yeux : Sélection cible prise en charge par les yeux.