Szem-tekintet alapú interakció a HoloLens 2
A HoloLens 2 egyik izgalmas új képessége a szemkövetés. A Szemkövetés HoloLens 2 oldalon megemlítettük, hogy minden felhasználónak át kell mennie egy kalibráláson, adott néhány fejlesztői útmutatást, és kiemelt használati eseteket a szemkövetéshez. A szempillantás bemenete még mindig egy új típusú felhasználói bemenet, és sok mindent kell tanulnia.
Bár a szempillantás bemenetét csak kis mértékben használjuk a Holographic Shellben (a felhasználói felületen, amelyet a HoloLens 2 indításakor lát), számos alkalmazás, például a "HoloLens Playground" nagyszerű példákat mutat be arra, hogyan adhat hozzá a szem-tekintet bemenete a holografikus élmény varázsához. Ezen az oldalon a szempillantás bemenetének integrálásával kapcsolatos tervezési szempontokat tárgyaljuk a holografikus alkalmazásokkal való interakcióhoz.
Megismerheti a legfontosabb előnyöket és azokat az egyedi kihívásokat is, amelyek szempillantásos bemenettel járnak. Ezek alapján számos tervezési javaslatot nyújtunk, amelyek segítenek a szempillantás által támogatott felhasználói felületek kialakításában.
Eszköztámogatás
| Szolgáltatás | HoloLens (1. generációs) | HoloLens 2 | Modern headsetek |
| Szempillantás | ❌ | ✔️ | ❌ |
Fej- és szemkövetési tervezési fogalmak bemutatója
Ha szeretné működés közben látni a Fej- és szemkövetés tervezési fogalmait, tekintse meg a Tervezés hologramok – Fejkövetés és Szemkövetés videó bemutatót alább. Ha végzett, folytassa az egyes témakörök részletesebb bemutatásával.
Ez a videó a "Hologramok tervezése" HoloLens 2 alkalmazásból származik. Töltse le és élvezze a teljes élményt itt.
Szempillantás beviteli tervezési irányelvek
A gyorsan mozgó szemcélzás előnyeit kihasználó interakció létrehozása kihívást jelenthet. Ebben a szakaszban összefoglaljuk az alkalmazás tervezésekor figyelembe veendő legfontosabb előnyöket és kihívásokat.
A szempillantás előnyei
Nagy sebességű rámutatás. A szem izom a leggyorsabban reagáló izom az emberi testben.
Kis erőfeszítés. Alig van szükség fizikai mozgásra.
Implicititás. A felhasználók gyakran "elmeolvasásként" írják le, a felhasználó szemmozgásairól szóló információk tudatják a rendszerrel, hogy melyik célhoz kíván kapcsolódni a felhasználó.
Alternatív bemeneti csatorna. A szempillantás hatékony támogató bemenetet biztosít a kéz- és hangbevitelhez, amely a felhasználók több éves tapasztalatán alapul a kéz-szem koordináció alapján.
Vizuális figyelem. Egy másik fontos előny az a lehetőség, hogy következtethet arra, hogy a felhasználó mire figyel. Ez számos alkalmazási területen segíthet, a különböző kialakítások hatékonyabb kiértékelésétől kezdve az intelligensebb felhasználói felületeken való segítségnyújtásig és a távoli kommunikáció továbbfejlesztett közösségi jelzéseiig.
Dióhéjban a szempillantás bemenetként való használata gyors és könnyű környezeti bemeneti jelet biztosít. Ez akkor hatékony, ha más bemenetekkel, például hang - és manuális bemenetekkel kombinálva megerősíti a felhasználó szándékát.
A szempillantás kihívásai bemenetként
Bár a szempillantás használható kielégítő felhasználói élmények létrehozására, amelyek szuperhősnek érzik magukat, azt is fontos tudni, hogy mi nem jó, ha ezt megfelelően figyelembe kell venni. Az alábbi lista néhány megfontolandó kihívást és azok megoldását ismerteti a szem-tekintet bemenettel végzett munka során:
A tekintete "mindig be van kapcsolva" Abban a pillanatban, amikor kinyitja a szem fedelét, a szeme elkezdi rögzíteni a dolgokat a környezetben. Ha minden pillantásra reagál, és véletlenül ad ki műveleteket, mert túl sokáig nézett valamire, az nem kielégítő élményt eredményez. Azt javasoljuk, hogy a tekintet és a hangparancs, kézmozdulat, gombkattintás vagy kiterjesztett tartózkodási hely kombinálásával aktiválja a cél kiválasztását (további információ: szempillantás és véglegesítés). Ez a megoldás egy olyan módot is lehetővé tesz, amelyben a felhasználó szabadon körülnézhet anélkül, hogy túlterheli valami akaratlan aktiválása. Ezt a problémát a vizuális és hallási visszajelzések tervezésekor is figyelembe kell venni, amikor egy célt vizsgál. Próbálja meg nem túlterhelni a felhasználót azonnali előugró effektusokkal vagy rámutatási hangokkal. A finomság a kulcs. Az alábbiakban bemutatunk néhány ajánlott eljárást erre vonatkozóan, amikor tervezési javaslatokról beszélünk.
Megfigyelés és vezérlés Képzelje el, hogy pontosan egy fényképet szeretne kiegyenesíteni a falán. Megnézheti a szegélyeit és a környezetét, hogy lássa, jól illeszkedik-e. Most képzelje el, hogyan tenné ezt, ha a tekintetét bemenetként szeretné használni a kép mozgatásához. Nehéz, ugye? Ez a szempillantás kettős szerepét írja le, amikor a bevitelhez és a vezérléshez is szükség van rá.
Kattintás előtt hagyja meg a következőt: A gyors célkijelölésekhez a kutatás kimutatta, hogy a felhasználó tekintete továbbléphet, mielőtt manuális kattintást (például légcsapolást) hoz létre. Különös figyelmet kell fordítani a gyors szempillantás jelének szinkronizálására lassabb vezérlő bemenettel (például hang, kéz, vezérlő).
Kis célok: Ismeri az érzést, amikor olyan szöveget próbál olvasni, amely csak egy kicsit túl kicsi ahhoz, hogy kényelmesen elolvassa? Ez a feszült érzés a szemed okozhat, hogy fáradtnak és elhasználódottnak érzi magát, mert megpróbálja újra a szemeket, hogy jobban összpontosítson. Ezt az érzést hívhatja meg a felhasználókban, amikor arra kényszeríti őket, hogy olyan célokat válasszanak ki, amelyek túl kicsik az alkalmazásban a szemcélzás használatával. A tervezéshez, hogy kellemes és kényelmes élményt nyújthasson a felhasználóknak, javasoljuk, hogy a céloknak legalább 2°-os vizuális szögben legyenek, lehetőleg nagyobbak legyenek.
Ragged szem-tekintet mozgások A szemünk gyors mozgásokat hajt végre a rögzítéstől a rögzítésig. Ha megtekinti a rögzített szemmozgások vizsgálati útvonalait, láthatja, hogy azok egyenetlennek tűnnek. A szemed gyorsan és spontán ugrásokban mozog a fej-tekintethez vagy a kézmozdulatokhoz képest.
Megbízhatóság nyomon követése: A szemkövetés pontossága egy kicsit csökkenhet a változó fényben, ahogy a szem alkalmazkodik az új körülményekhez. Bár ez nem feltétlenül befolyásolja az alkalmazás kialakítását, mivel a pontosságnak a 2°-os korlátozáson belül kell lennie, előfordulhat, hogy a felhasználónak újra kell kalibrálnia.
Tervezési javaslatok
Az alábbiakban felsoroljuk azokat a konkrét tervezési javaslatokat, amelyek a szem-tekintet bemenetének ismertetett előnyein és kihívásain alapulnak:
A tekintet nem ugyanaz, mint a fej-tekintet:
Gondolja át, hogy a gyors, mégis rongyos szemmozgások megfelelnek-e a bemeneti feladatnak: Bár a gyors és ragged szemmozgások kiválóan alkalmasak a célok gyors kiválasztására a látómezőnkben, kevésbé alkalmazható a sima bemeneti pályát igénylő feladatokhoz (például rajzokhoz vagy széljegyzetek körbekerítéséhez). Ebben az esetben a kéz- vagy fejpontozást kell előnyben részesíteni.
Ne csatoljon valamit közvetlenül a felhasználó tekintetéhez (például csúszkához vagy kurzorhoz). A kurzorok esetében ez "menekülő kurzor" hatást eredményezhet a vetített szem-tekintet jelének enyhe eltolódása miatt. Csúszkával ütközhet a csúszka szemekkel való vezérlésének kettős szerepkörével, miközben azt is ellenőrizni szeretné, hogy az objektum a megfelelő helyen van-e. A csúszka példájához érdemesebb kézmozdulatokkal kombinálni a tekintetet. Ez azt jelenti, hogy a felhasználó gyorsan és könnyedén válthat a sok csúszka között, felemelheti a kezét, és a hüvelykujját és a mutatóujját csippentve megragadhatja és áthelyezheti. A csippentés feloldásakor a csúszka nem mozog. A felhasználók túlterheltek és elvonulhatnak, különösen akkor, ha a jel pontatlan az adott felhasználó számára.
Szempillantás kombinálása más bemenetekkel: A szemkövetés integrálása más bemenetekkel, például kézmozdulatokkal, hangparancsokkal vagy gombnyomásokkal számos előnnyel jár:
Ingyenes megfigyelés engedélyezése: Tekintettel arra, hogy a szemünk fő szerepe a környezetünk megfigyelése, fontos, hogy a felhasználók bármilyen (vizuális, hallható stb.) visszajelzés vagy művelet nélkül is körülnézhessenek. A szemkövetés és egy másik bemeneti vezérlő kombinálásával zökkenőmentes átmenetet tesz lehetővé a szemkövetési megfigyelés és a bemeneti vezérlési módok között.
Hatékony környezetszolgáltató: Ha információt ad arról, hogy a felhasználó hol és mit néz, miközben hangparancsot vagy kézmozdulatot használ, zökkenőmentesen irányíthatja a bemenetet a nézet mezői között. Például: Mondja ki a "put that there" parancsot, hogy gyorsan és folyékonyan válasszon ki és helyezzen el egy hologramot a jelenetben a cél és a célhely megtekintésével.
A multimodális bemenetek szinkronizálására van szükség: Ha a gyors szemmozgásokat összetettebb bemenetekkel, például hosszú hangparancsokkal vagy kézmozdulatokkal kombinálja, fennáll annak a kockázata, hogy a felhasználó már a további beviteli parancs befejezése és felismerése előtt is körülnéz. Ha saját beviteli vezérlőket (például egyéni kézmozdulatokat) hoz létre, mindenképpen naplózza a bemenet kezdetét vagy a hozzávetőleges időtartamot, hogy korreláljon azzal, amit a felhasználó a múltban nézett.
Finom visszajelzés a szemkövetés bemenetéhez: Hasznos, ha visszajelzést ad egy cél megtekintésekor annak jelzésére, hogy a rendszer a kívánt módon működik, de finoman kell tartani. Ez magában foglalhatja a lassú be- és kiegyensúlyozást, a vizuális kiemeléseket, vagy egyéb finom célviselkedéseket, például a lassú mozgásokat, például a célméret kismértékű növelését. Ez azt jelzi, hogy a rendszer helyesen észlelte, hogy a felhasználó egy célt keres anélkül, hogy szükségtelenül megszakította a felhasználó aktuális munkafolyamatát.
Kerülje a természetellenes szemmozgások bevitelét: Ne kényszerítse a felhasználókat arra, hogy adott szemmozgásokat (tekintetes kézmozdulatokat) használva aktiváljanak műveleteket az alkalmazásban.
Fiók a pontatlanságokhoz: A pontatlanságok két típusát különböztetjük meg, amelyek a felhasználók számára észrevehetők: az eltolódás és a jitter. Az eltolások kezelésének legegyszerűbb módja, ha kellően nagy célokat biztosít a kommunikációhoz. Javasoljuk, hogy hivatkozásként 2°-nál nagyobb vizuális szöget használjon. A miniatűr például körülbelül 2°-os vizuális szögben van, amikor kinyújtja a karját. Ez a következő útmutatáshoz vezet:
- Ne kényszerítse a felhasználókat, hogy apró célokat válasszanak. Kutatások kimutatták, hogy ha a célok elég nagyok, és a rendszer jól van kialakítva, a felhasználók könnyedén és varázslatosként írják le interakcióikat. Ha a célok túl kicsik lesznek, a felhasználók a tapasztalatot zavarónak és frusztrálónak nevezik.
Ez az oldal jó áttekintést nyújt önnek, hogy elkezdhesse megérteni a tekintetet a vegyes valóság bemeneteként. A fejlesztés megkezdéséhez tekintse meg a Unityben a szempillantásról és a DirectX szempillantásról szóló információinkat.