Interactie op basis van ogenkijken op HoloLens 2
Een van onze interessante nieuwe mogelijkheden op HoloLens 2 is oogtracering. Op onze pagina Oogtracering op HoloLens 2 hebben we vermeld dat elke gebruiker een kalibratie moet doorlopen, hebben we enkele richtlijnen voor ontwikkelaars gegeven en gebruiksvoorbeelden voor oogtracering gemarkeerd. Eye-gaze-invoer is nog steeds een nieuw type gebruikersinvoer en er is veel te leren.
Hoewel oog-blikinvoer alleen subtiel wordt gebruikt in onze Holographic Shell-ervaring (de gebruikersinterface die u ziet wanneer u uw HoloLens 2 start), tonen verschillende apps, zoals de 'HoloLens Playground', geweldige voorbeelden van hoe eye-gaze-invoer kan bijdragen aan de magie van uw holografische ervaring. Op deze pagina bespreken we ontwerpoverwegingen voor het integreren van eye-gaze-invoer voor interactie met uw holografische toepassingen.
U leert over de belangrijkste voordelen en ook unieke uitdagingen die worden geleverd met oog-blikinvoer. Op basis hiervan bieden we verschillende ontwerpaanbeveling om u te helpen bevredigende gebruikersinterfaces te maken die door ogen worden ondersteund.
Ondersteuning voor apparaten
| Functie | HoloLens (1e generatie) | HoloLens 2 | Immersive headsets |
| Oog-blik | ❌ | ✔️ | ❌ |
Ontwerpconcepten voor hoofd- en ogentraceringsdemo
Als u ontwerpconcepten voor hoofd- en ogentracering in actie wilt zien, bekijkt u onze videodemo Hologrammen ontwerpen - Hoofdtracering en oogtracering hieronder. Wanneer u klaar bent, gaat u verder voor een gedetailleerdere bespreking van specifieke onderwerpen.
Deze video is afkomstig uit de HoloLens 2-app Hologrammen ontwerpen. Download en geniet hier van de volledige ervaring.
Ontwerprichtlijnen voor eye-gaze-invoer
Het kan lastig zijn om een interactie te maken die gebruikmaakt van snel bewegende oog gerichtheid. In deze sectie vindt u een overzicht van de belangrijkste voordelen en uitdagingen die u moet overwegen bij het ontwerpen van uw toepassing.
Voordelen van oog-blikinvoer
Hoge snelheid wijzen. De oogspier is de snelst reagerende spier in het menselijk lichaam.
Weinig inspanning. Er zijn nauwelijks fysieke bewegingen nodig.
Implicietheid. Vaak beschreven door gebruikers als 'mind reading', informatie over de oogbewegingen van een gebruiker laat het systeem weten welk doel de gebruiker van plan is te benaderen.
Alternatief invoerkanaal. Eye-gaze kan een krachtige ondersteunende input bieden voor hand- en spraakinvoer, voortbouwend op de jarenlange ervaring van gebruikers op basis van hun hand-oog coördinatie.
Visuele aandacht. Een ander belangrijk voordeel is de mogelijkheid om af te maken waar een gebruiker op let. Dit kan helpen in verschillende toepassingsgebieden, variërend van een effectievere evaluatie van verschillende ontwerpen tot hulp bij slimmere gebruikersinterfaces en verbeterde sociale aanwijzingen voor externe communicatie.
Kortom, het gebruik van oog-blik als invoer biedt een snel en moeiteloos contextueel invoersignaal. Dit is krachtig in combinatie met andere invoer, zoals spraak en handmatige invoer, om de intentie van de gebruiker te bevestigen.
Uitdagingen van blik als invoer
Ogen kijken kan worden gebruikt om bevredigende gebruikerservaringen te creëren, waardoor u zich een superheld voelt, maar het is ook belangrijk om te weten waar het niet goed in is om dit op de juiste manier te verantwoorden. In de volgende lijst worden enkele uitdagingen besproken die u moet overwegen en hoe u deze kunt aanpakken bij het werken met oog-blikinvoer:
Je blik is 'altijd aan' Op het moment dat je je oogleden opent, beginnen je ogen te fixeren op dingen in de omgeving. Reageren op elke look die u maakt en per ongeluk acties uitvoeren, omdat u iets te lang hebt bekeken, zou leiden tot een onbevredigende ervaring. We raden u aan oog-staren te combineren met een spraakopdracht, handbeweging, knopklikken of uitgebreide woning om de selectie van een doel te activeren (zie ogen staren en doorvoeren voor meer informatie). Deze oplossing biedt ook een modus waarin de gebruiker vrij rond kan kijken zonder overweldigd te worden door onvrijwillig iets te activeren. Dit probleem moet ook worden overwogen bij het ontwerpen van visuele en auditieve feedback bij het bekijken van een doel. Probeer de gebruiker niet te overweldigen met onmiddellijke pop-outeffecten of zwevende geluiden. Subtiliteit is de sleutel. Hieronder vindt u enkele aanbevolen procedures voor het ontwerp.
Observatie versus controle Stel dat u een foto precies op uw muur wilt rechtzetten. Je kijkt naar de randen en de omgeving om te zien of het goed uitlijnt. Stel u nu eens voor hoe u dat zou doen wanneer u uw blik als invoer wilt gebruiken om de afbeelding te verplaatsen. Moeilijk, hè? Dit beschrijft de dubbele rol van ogenkijken wanneer dit vereist is voor zowel invoer als controle.
Laat staan voordat u klikt: Voor snelle doelselecties heeft onderzoek aangetoond dat de blik van een gebruiker verder kan gaan voordat een handmatige klik wordt afgesloten (bijvoorbeeld een luchttik). Let vooral op het synchroniseren van het snelle oog-blikken-signaal met tragere controle-invoer (bijvoorbeeld stem, handen, controller).
Kleine doelen: Ken je het gevoel wanneer je tekst probeert te lezen die net iets te klein is om comfortabel te lezen? Dit belastende gevoel op je ogen kan ervoor zorgen dat je je moe en uitgeput voelt, omdat je je ogen probeert aan te passen om je beter te concentreren. Dit is een gevoel dat u mogelijk aanroept in uw gebruikers wanneer u hen dwingt doelen te selecteren die te klein zijn in uw toepassing met oogdoelen. Voor uw ontwerp, om een aangename en comfortabele ervaring voor uw gebruikers te creëren, raden we aan dat doelen ten minste 2° in visuele hoek moeten zijn, bij voorkeur groter.
Onregelmatige oog-blikbewegingen Onze ogen voeren snelle bewegingen uit van fixatie tot fixatie. Als u scanpaden van opgenomen oogbewegingen bekijkt, ziet u dat ze er onregelmatig uitzien. Uw ogen bewegen snel en in spontane sprongen in vergelijking met hoofd-staren of handbewegingen.
Betrouwbaarheid bijhouden: De nauwkeurigheid van oogtracering kan een beetje afnemen bij veranderend licht naarmate uw ogen zich aanpassen aan de nieuwe omstandigheden. Hoewel dit niet noodzakelijkerwijs van invloed hoeft te zijn op uw toepassingsontwerp, omdat de nauwkeurigheid binnen de 2° beperking moet zijn, kan het nodig zijn dat de gebruiker opnieuw moet kalibreren.
Ontwerpaanbeveling
Hier volgt een lijst met specifieke ontwerpaanbevelingen op basis van de beschreven voordelen en uitdagingen voor blikinvoer:
Ogen kijken is niet hetzelfde als Hoofd-staren:
Overweeg of snelle maar onregelmatige oogbewegingen geschikt zijn voor uw invoertaak: Hoewel onze snelle en onregelmatige oogbewegingen geweldig zijn bij het snel selecteren van doelen in ons weergaveveld, is het minder van toepassing op taken waarvoor vloeiende invoertrajecten nodig zijn (bijvoorbeeld het tekenen of omcirkelen van aantekeningen). In dit geval heeft de voorkeur aan het wijzen van de hand of het hoofd.
Bevestig iets niet rechtstreeks aan de ogen van de gebruiker (bijvoorbeeld een schuifregelaar of cursor). Bij cursors kan dit resulteren in een 'vluchtige cursor'-effect vanwege lichte verschuivingen in het geprojecteerde oog-starsignaal. Met een schuifregelaar kan dit conflicteren met de dubbele rol van het besturen van de schuifregelaar met uw ogen, terwijl u ook wilt controleren of het object zich op de juiste locatie bevindt. Voor het voorbeeld van de schuifregelaar is het handiger om ogen te staren in combinatie met handbewegingen. Dit betekent dat de gebruiker snel en moeiteloos tussen veel schuifregelaars kan schakelen, zijn hand omhoog steken en zijn duim en wijsvinger knijpen om het te grijpen en te verplaatsen. Wanneer de knijpknop wordt losgelaten, stopt de schuifregelaar met bewegen. Gebruikers kunnen overweldigd en afgeleid raken, vooral als het signaal onnauwkeurig is voor die gebruiker.
Combineer ogen kijken met andere invoer: De integratie van oogtracering met andere invoer, zoals handbewegingen, spraakopdrachten of knopdrukken, biedt verschillende voordelen:
Gratis observatie toestaan: Gezien het feit dat de belangrijkste rol van onze ogen is om onze omgeving te observeren, is het belangrijk dat gebruikers mogen rondkijken zonder feedback of acties (visueel, auditief, enzovoort) te activeren. Door oogtracering te combineren met een andere invoerregeling kunt u soepel schakelen tussen de oogtraceringsobservatie en de invoerbesturingsmodus.
Krachtige contextprovider: Door informatie te gebruiken over waar en wat de gebruiker bekijkt tijdens het zeggen van een spraakopdracht of het gebruik van een handbeweging, kan de invoer naadloos worden gekanaald in het weergaveveld. Bijvoorbeeld: Zeg 'zet dat daar' om snel en vloeiend een hologram te selecteren en te plaatsen in de scène door naar een doel en de beoogde bestemming te kijken.
Multimodale invoer moet worden gesynchroniseerd: Het combineren van snelle oogbewegingen met complexere invoer, zoals lange spraakopdrachten of handbewegingen, draagt het risico in zich dat de gebruiker al rond blijft kijken voordat de extra invoeropdracht is voltooid en herkend. Als u uw eigen invoerbesturingselementen maakt (bijvoorbeeld aangepaste handbewegingen), moet u het begin van deze invoer of de geschatte duur vastleggen om deze te correleren met wat een gebruiker in het verleden heeft bekeken.
Subtiele feedback voor oogtraceringsinvoer: Het is handig om feedback te geven wanneer naar een doel wordt gekeken om aan te geven dat het systeem werkt zoals bedoeld, maar subtiel moet blijven. Dit kan bestaan uit langzaam in- en uitvloeien, visuele markeringen of het uitvoeren van ander subtiel doelgedrag, zoals langzame bewegingen, zoals het enigszins vergroten van de doelgrootte. Dit geeft aan dat het systeem correct heeft gedetecteerd dat de gebruiker naar een doel kijkt zonder de huidige werkstroom van de gebruiker onnodig te onderbreken.
Vermijd het afdwingen van onnatuurlijke oogbewegingen als invoer: Dwing gebruikers niet af om specifieke oogbewegingen (staarbewegingen) te gebruiken om acties in uw toepassing te activeren.
Rekening houden met onnauwkeurigheden: We onderscheiden twee soorten onnauwkeurigheden, die merkbaar zijn voor gebruikers: offset en jitter. De eenvoudigste manier om een verschuiving aan te pakken, is door voldoende grote doelen te bieden om mee te werken. U wordt aangeraden een visuele hoek groter dan 2° te gebruiken als referentie. Uw miniatuur is bijvoorbeeld ongeveer 2° in visuele hoek wanneer u uw arm uitstrekken. Dit leidt tot de volgende richtlijnen:
- Dwing gebruikers niet af om kleine doelen te selecteren. Onderzoek heeft aangetoond dat als doelen voldoende groot zijn en het systeem goed is ontworpen, gebruikers hun interacties als moeiteloos en magisch beschrijven. Als doelen te klein worden, beschrijven gebruikers de ervaring als vermoeiend en frustrerend.
Deze pagina heeft u een goed overzicht gegeven om u op weg te helpen met het begrijpen van ogen kijken als een invoer in mixed reality. Bekijk onze informatie over ogen kijken in Unity en ogen staren in DirectX om aan de slag te gaan met ontwikkelen.