Interakce založená na očích na HoloLens 2

Eye tracking demo in MRTK

Jednou z našich zajímavých nových funkcí na HoloLens 2 je sledování očí. Na naší sledování očí na HoloLens 2 stránce jsme zmínili potřebu každého uživatele projít kalibrací, poskytli některé pokyny pro vývojáře a zvýrazněné případy použití pro sledování očí. Vstup pohledem na oči je stále novým typem uživatelského vstupu a je toho hodně, co se naučit.

I když se vstup pohledem na oči používá jenom v našem prostředí Holographic Shellu (uživatelské rozhraní, které vidíte při spuštění HoloLens 2), několik aplikací, jako je například "HoloLens Playground", předvádějí skvělé příklady toho, jak může vstup očí přidat do magie vašeho holografického prostředí. Na této stránce probereme aspekty návrhu pro integraci vstupu pohledem na oči pro interakci s holografickýmiaplikacemi

Seznámíte se s klíčovými výhodami a také jedinečnými výzvami, které přicházejí se vstupem očí. Na základě těchto možností poskytujeme několik doporučení návrhu, která vám pomůžou vytvořit vyhovující uživatelská rozhraní podporovaná pohledem.

Podpora zařízení

Funkce HoloLens (1. generace) HoloLens 2 Asistivní náhlavní soupravy
Pohled na oči ✔️

Ukázka konceptů návrhu pro sledování hlavy a očí

Pokud se chcete podívat na koncepty návrhu head and eye tracking v akci, podívejte se na Hologramy ukázku videa sledování hlavy a sledování očí níže. Až budete hotovi, pokračujte podrobnějšími informacemi o konkrétních tématech.

Toto video bylo převzato z aplikace "Návrh Hologramy" HoloLens 2. Stáhněte si a dopřejte si kompletní zážitek zde.

Pokyny pro návrh vstupu očí

Vytvoření interakce, která využívá rychlé cílení na oči, může být náročné. V této části shrnujeme klíčové výhody a výzvy, které je potřeba vzít v úvahu při návrhu vaší aplikace.

Výhody vstupu pohledem na oči

  • Vysokorychlostní bodování. Oční sval je nejrychlejší reagující sval v lidském těle.

  • Málo úsilí. Sotva jakékoli fyzické pohyby jsou nezbytné.

  • Implicitnost. Často je popsáno uživateli jako "čtení mysli", informace o pohybech očí uživatele umožňují systému vědět, který cílí na uživatelské plány, které se mají zapojit.

  • Alternativní vstupní kanál. Pohled na oči může poskytovat výkonný podpůrný vstup pro ruční a hlasový vstup založený na letech zkušeností uživatelů na základě jejich koordinace rukou.

  • Vizuální pozornost. Další důležitou výhodou je možnost odvodit, na co uživatel věnuje pozornost. To může pomoct v různých oblastech aplikace od efektivnějšího vyhodnocování různých návrhů, aby pomohly v inteligentnějších uživatelských rozhraních a vylepšené sociální pomůcky pro vzdálenou komunikaci.

V nutshellu nabízí jako vstup rychlý a snadný kontextový vstupní signál. To je výkonné v kombinaci s jinými vstupy, jako je hlasový a ruční vstup, aby se potvrdil záměr uživatele.

Výzvy zrakového pohledu jako vstupu

Pohled na oči se dá použít k vytváření uspokojivých uživatelských prostředí, které vám umožní cítit se jako superhrdina, je také důležité vědět, co není dobré, aby to správně zohlednilo. Následující seznam popisuje některé výzvy , které je třeba zvážit a jak je řešit při práci se vstupem očí:

  • Váš pohled na oči je "vždy zapnutý" V okamžiku, kdy otevřete víko očí, začnou se oči opravovat na věci v prostředí. Reakce na každý vzhled, který uděláte a omylem vydáváte akce, protože jste se podívali na něco příliš dlouho, by vedlo k nespokojeným zkušenostem. Doporučujeme zkombinovat pohled na oči s hlasovým příkazem, gestem rukou, kliknutím na tlačítko nebo rozšířenou pozorností a aktivovat výběr cíle (další informace najdete v pohledu a potvrzení). Toto řešení také umožňuje režim, ve kterém se uživatel může volně dívat, aniž by byl zahlcen neúmyslným aktivací něčeho. Tento problém byste měli zvážit také při navrhování vizuální a sluchové zpětné vazby při pohledu na cíl. Pokuste se uživatele zahltit okamžitými automaticky otevíranými efekty nebo najetím myší na zvuky. Jemné je klíč. Při diskuzi o doporučeních k návrhu probereme některé osvědčené postupy pro tento postup níže.

  • Pozorování vs. řízení Imagine, že chcete přesně narovnat fotografii na stěně. Podíváte se na jeho ohraničení a jeho okolí, abyste zjistili, jestli je dobře zarovnaný. Teď si představte, jak byste to udělali, když chcete použít svůj pohled na oko jako vstup k přesunutí obrázku. Je to těžké, že? To popisuje dvojitou roli pohledem na oči, když je vyžadován jak pro vstup, tak kontrolu.

  • Před kliknutím na tlačítko nechejte: V případě rychlých cílových výběrů výzkum ukázal, že pohled uživatele se může pohybovat před uzavřením ručního kliknutí (například klepnutím na vzduch). Věnujte zvláštní pozornost synchronizaci rychlého signálu očima s pomalejším ovládacím vstupem (například hlas, ruce, ovladač).

  • Malé cíle: Znáte pocit, když se pokusíte přečíst text, který je jen trochu malý, aby se pohodlně četl? Tento stresující pocit na očích může způsobit, že cítíte unavený a opotřebovaný, protože se snažíte čtete oči, aby se lépe zaměřily. To je pocit, že se můžete ve svých uživatelích vyvolat při vynucení výběru cílů, které jsou ve vaší aplikaci příliš malé, pomocí cílení na oko. Pro váš návrh doporučujeme vytvořit příjemné a pohodlné prostředí pro vaše uživatele, doporučujeme, aby cíle měly být alespoň 2° ve vizuálním úhlu, nejlépe větší.

  • Roztrhané pohyby očí Naše oči provádějí rychlé pohyby od fixace po fixaci. Pokud se podíváte na cesty skenování zaznamenaných pohybů očí, můžete vidět, že vypadají zuřivně. Oči se rychle a ve spontánně skáčou v porovnání s pohledem hlavy nebo pohyby rukou.

  • Sledování spolehlivosti: Přesnost sledování očí může trochu snížit měnící se světlo, protože oči se přizpůsobí novým podmínkám. I když by to nemělo nutně ovlivnit návrh aplikace, protože přesnost by měla být v omezení 2°, může být nutné, aby uživatel znovu kalibrovat.

Doporučení k návrhu

Následuje seznam konkrétních doporučení návrhu na základě popsaných výhod a výzev pro vstup očí:

  1. Pohled na oči není stejný jako pohled hlavy:

    • Zvažte, jestli rychlé ještě roztrhané pohyby očí odpovídají vašemu vstupnímu úkolu: I když naše rychlé a raggované pohyby očí jsou skvělé při rychlém výběru cílů napříč naším polem zobrazení, je méně použitelné pro úkoly, které vyžadují hladké vstupní trajektorie (například kreslení nebo obkřikující poznámky). V tomto případě by mělo být upřednostňované ruční nebo hlavní bodování.

    • Vyhněte se připojení něčeho přímo k očím uživatele (například posuvník nebo kurzor). U kurzorů to může vést k efektu "utíkání kurzoru" z důvodu mírného posunu v promítaném zrakovém signálu. Pomocí posuvníku může být v konfliktu s dvojitou rolí ovládání posuvníku očima a zároveň chce zkontrolovat, jestli je objekt ve správném umístění. V příkladu posuvníku je vhodnější používat pohled na oči v kombinaci s gesty rukou. To znamená, že uživatel může rychle a snadno přepínat mezi mnoha posuvníky, zvednout ruku a připnout palec a indexový prst, aby ho chytil a přesunul. Po uvolnění špendlíku se posuvník zastaví. Uživatelé mohou být zahlceni a rušeni, zejména pokud je signál pro daného uživatele nepřesný.

  2. Zkombinujte oční pohled s dalšími vstupy: Integrace sledování očí s jinými vstupy, jako jsou gesta rukou, hlasové příkazy nebo stisknutí tlačítka, nabízí několik výhod:

    • Povolit bezplatné pozorování: Vzhledem k tomu, že hlavní rolí našich očí je sledovat naše prostředí, je důležité, aby se uživatelé mohli dívat kolem sebe, aniž by museli aktivovat jakoukoli zpětnou vazbu nebo akce (vizuál, sluch atd.). Kombinace sledování očí s jiným vstupním ovládacím prvek umožňuje hladký přechod mezi sledováním očí a režimy vstupního řízení.

    • Výkonný poskytovatel kontextu: Použití informací o tom, kde a na co se uživatel dívá, zatímco říká hlasový příkaz nebo pomocí gesta rukou umožňuje bezproblémově channelovat vstup v poli zobrazení. Řekněme například , že sem můžete rychle a fluentálně vybrat hologram a umístit hologram na scénu tak, že se podíváte na cíl a jeho zamýšlený cíl.

    • Potřebujete synchronizovat multimodální vstupy: Kombinace rychlých pohybů očí se složitějšími vstupy, jako jsou dlouhé hlasové příkazy nebo gesta rukou, nese riziko, že uživatel už bude hledat před dokončením a rozpoznáním dodatečného vstupního příkazu. Pokud vytváříte vlastní vstupní ovládací prvky (například vlastní gesta rukou), nezapomeňte zaznamenat nástup tohoto vstupu nebo přibližnou dobu trvání a korelovat ho s tím, na co se uživatel podíval v minulosti.

  3. Jemný názor na vstup sledování očí: Je užitečné poskytnout zpětnou vazbu, když se cíl podívá na to, že systém funguje podle očekávání, ale měl by být jemný. To může zahrnovat pomalé kombinování, vizuální zvýraznění nebo jiné jemné cílové chování, jako jsou pomalé pohyby, jako je třeba mírně zvětšující se cílová velikost. To znamená, že systém správně zjistil, že se uživatel dívá na cíl, aniž by zbytečně přerušil aktuální pracovní postup uživatele.

  4. Vyhněte se vynucování nenatrálních pohybů očí jako vstupu: Nevynucujte uživatelům, aby používali specifické pohyby očí (gesta pohledu) k aktivaci akcí ve vaší aplikaci.

  5. Účet pro nerecisions: Rozlišujeme dva typy nepřehledných instancí, které jsou viditelné pro uživatele: posun a jitter. Nejjednodušší způsob, jak vyřešit posun, je poskytnout dostatečně velké cíle pro interakci. Doporučuje se použít vizuální úhel větší než 2° jako odkaz. Miniatura je například přibližně 2° ve vizuálním úhlu, když roztáhnete ruku. To vede k následujícím pokynům:

    • Nevynucujte uživatelům výběr malých cílů. Výzkum ukázal, že pokud jsou cíle dostatečně velké a systém jsou navrženy dobře, uživatelé popisují své interakce jako snadné a magické. Pokud se cíle stanou příliš malými, uživatelé popisují zkušenosti jako fatiguing a frustrating.

Tato stránka vám poskytla dobrý přehled, abyste mohli začít chápat pohled na oči jako vstup v hybridní realitě. Pokud chcete začít vyvíjet, podívejte se na naše informace o očích v Unity a očima v DirectX.

Viz také