Sledování očí na HoloLens 2
HoloLens 2 umožňuje novou úroveň kontextu a lidského porozumění v rámci holografického prostředí tím, že vývojářům umožňuje používat informace o tom, na co se uživatel dívá. Tato stránka vysvětluje, jak můžou vývojáři těžit ze sledování očí v různých případech použití a co hledat při navrhování interakcí uživatelů založených na pohledech.
Rozhraní API pro sledování očí bylo navrženo s ohledem na ochranu osobních údajů uživatele. zabraňuje předávání jakýchkoli identifikovatelných informací, zejména jakýchkoli biometrických údajů. V případě aplikací podporujících sledování očí musí uživatel aplikaci udělit oprávnění k používání informací o sledování očí.
Podpora zařízení
| Funkce | HoloLens (1. generace) | HoloLens 2 | Imerzivní náhlavní soupravy |
| Pohled na oči | ❌ | ✔️ | ❌ |
Ukázka konceptů návrhu pro sledování hlavy a očí
Pokud chcete vidět koncepty návrhu sledování hlavy a očí v akci, podívejte se na video s ukázkou návrhu hologramů – sledování hlavy a sledování očí níže. Až budete hotovi, pokračujte, abyste se podrobněji ponořili do konkrétních témat.
Toto video bylo převzato z aplikace "Navrhování hologramů" HoloLens 2. Stáhněte si a užijte si kompletní prostředí zde.
Kalibrace
Aby sledování očí fungovalo přesně, musí každý uživatel projít kalibrací uživatele sledování očí , pro kterou se musí podívat na sadu holografických cílů. Zařízení tak může systém upravit, což uživateli zajistí pohodlnější a kvalitnější prostředí pro sledování obrazu a zároveň přesné sledování očí.
Sledování očí by mělo fungovat u většiny uživatelů, ale existují vzácné případy, kdy uživatel nemůže kalibrovat úspěšně. Kalibrace může selhat z různých důvodů, mezi které mimo jiné patří:
- Uživatel se dříve odhlásil z procesu kalibrace.
- Uživatel se rozptýlil a nesledoval kalibrace cílů.
- Uživatel má určité typy kontaktních čoček a brýlí, které systém zatím nepodporuje.
- Uživatel má určitou fyziku očí nebo oční onemocnění nebo prodělal operaci očí, kterou systém zatím nepodporuje.
- Vnější faktory brání spolehlivému sledování očí, jako jsou šmouhy na kšiltu HoloLens nebo brýle, intenzivní přímé sluneční světlo a okluze způsobené vlasy před očima.
Vývojáři by měli zajistit, aby poskytovali odpovídající podporu uživatelům, pro které nemusí být k dispozici data sledování očí (kteří nejsou schopni úspěšně kalibrovat). Doporučení pro náhradní řešení jsme uvedli v části v dolní části této stránky.
Další informace o kalibraci a o tom, jak zajistit bezproblémové fungování, najdete na naší stránce kalibrace uživatelů sledování očí .
Dostupná data sledování očí
Sledování očí na HoloLens 2 umožňuje vývojářům navrhovat přirozené a intuitivní scénáře zadávání a interakce. Rozhraní API pro sledování očí poskytuje informace o tom, na co se uživatel dívá jako na jeden pohled (původ a směr pohledu) při přibližně 30 FPS (30 Hz). Aby sledování očí fungovalo přesně, musí každý uživatel projít kalibrací uživatelů sledování očí. Podrobnější informace o tom, jak získat přístup k datům sledování očí, najdete v našich příručkách pro vývojáře pro používání pohledu zrakem v rozhraní DirectX a pohledem do očí v Unity.
Předpovězený pohled je přibližně v rozmezí 1,5 stupně ve vizuálním úhlu kolem skutečného cíle (viz obrázek níže). Očekávají se mírné nepřesné hodnoty, takže vývojáři by měli naplánovat určitou rezervu kolem této dolní hodnoty (například 2,0–3,0 stupňů může být mnohem pohodlnější). Níže probereme, jak řešit výběr malých cílů.
Optimální velikost cíle ve vzdálenosti 2 metry
Data rozšířeného sledování očí
Rozšířená rozhraní API pro sledování očí umožňují vývojářům odhalit další úroveň inovativních scénářů, jako je hodnocení stavu, monitorování a terapie, tím, že poskytují podrobnější informace o pohledu uživatele.
Rozšířená rozhraní API pro sledování očí poskytují přístup ke stávajícím hodnotám sledování očí a novým funkcím, jako jsou individuální vektory pohledu (vlevo a vpravo), podporované snímkové frekvence a možnost nastavit snímkovou frekvenci sledování očí na 30, 60 nebo 90 snímků za sekundu. Pokud chcete používat rozhraní API pro rozšířené sledování očí, projděte si naše příručky pro vývojáře pro používání rozšířených rozhraní API pro sledování očí pro nativní nebo Unity.
Případy použití
Sledování očí umožňuje aplikacím sledovat, kde uživatel hledá, v reálném čase. Následující případy použití popisují některé interakce, které jsou možné se sledováním očí na HoloLens 2 v hybridní realitě. Tyto případy použití zatím nejsou součástí prostředí Holographic Shell (rozhraní, které se zobrazí při spuštění HoloLens 2). Některé z nich můžete vyzkoušet v sadě nástrojů Mixed Reality. Sada nástrojů nabízí několik zajímavých a výkonných příkladů pro používání sledování očí, jako jsou rychlé a snadné výběry cílových objektů s podporou očí a automatické posouvání textu na základě toho, na co se uživatel dívá.
Záměr uživatele
Informace o tom, kde a co uživatel sleduje, poskytují výkonný kontext pro další vstupy, jako je hlas, ruce a ovladače. To se dá použít pro různé úkoly. Uživatel může například rychle a bez námahy cílit na celou scénu tak, že se podívá na hologram a řekne "select" (také viz pohled a potvrzení) nebo "put this..." (vložte to...) a pak se podívá na místo, kam chce hologram umístit, a řekne "... tam". Příklady najdete v sadě Mixed Reality Toolkit – Výběr cíle podporovaný zrakem a Mixed Reality Toolkit – Umístění cíle s podporou očí.
Příklad záměru uživatele může navíc zahrnovat použití informací o tom, na co se uživatelé dívají, aby se zvýšilo zapojení vtělených virtuálních agentů a interaktivních hologramů. Virtuální agenti mohou například přizpůsobit dostupné možnosti a jejich chování na základě aktuálně zobrazeného obsahu.
Implicitní akce
Kategorie implicitních akcí úzce souvisí se záměrem uživatele. Představa je taková, že hologramy nebo prvky uživatelského rozhraní reagují instinktivním způsobem, který nemusí mít ani pocit, že uživatel vůbec pracuje se systémem, ale spíše, že systém a uživatel jsou synchronizovaní. Jedním z příkladů je automatické posouvání na základě pohledu , kdy uživatel může přečíst dlouhý text, který se automaticky začne posouvat, jakmile se uživatel dostane do dolní části textového pole. Díky tomu bude uživatel ve čtení bez zvedání prstu. Klíčovým aspektem je, že rychlost posouvání se přizpůsobí rychlosti čtení uživatele.
Dalším příkladem je přiblížení a posouvání s podporou očí, kde uživatel může mít pocit, že se přesně přibližuje k tomu, na co se zaměřuje.
Aktivaci a ovládání rychlosti přiblížení lze ovládat hlasovým nebo ručním vstupem, což je důležité k tomu, aby uživatel cítil ovládání a zároveň se vyhnul zahlcení. O těchto aspektech návrhu se budeme podrobněji zabývat níže. Po přiblížení může uživatel plynule sledovat například průběh ulice a zkoumat své okolí pohledem. Ukázkové příklady pro tyto typy interakcí najdete v ukázce Mixed Reality Toolkit – Navigace podporovaná zrakem.
Mezi další případy použití implicitních akcí patří:
- Inteligentní oznámení: Rozčilovala vás někdy oznámení, která se vám zobrazují přímo uprostřed zobrazení? Toto prostředí můžete vylepšit tím, že nastavíte nastavení oznámení z místa, odkud se uživatel právě dívá. Tím omezíte rušivé prvky a automaticky je zavřete, jakmile uživatel dokončí čtení.
- Pozorné hologramy: Jedná se o hologramy, které reagují jemným způsobem, když se na ně díváte. Může to být v rozsahu od lehce zářících prvků uživatelského rozhraní až po pomalu kvetoucí květinu až po virtuální pes, který se začíná dívat zpět na uživatele a probouzí se jeho ocasem. Tato interakce může poskytnout zajímavý pocit připojení a spokojenost ve vaší aplikaci.
Sledování pozornosti
Informace o tom, kde a na co se uživatelé dívají, můžou být nesmírně výkonným nástrojem. Může pomoct vyhodnotit použitelnost návrhů a identifikovat problémy v pracovních postupech, aby byly efektivnější. Vizualizace a analýza sledování očí jsou běžnou praxí v různých oblastech použití. S HoloLens 2 poskytujeme tomuto porozumění novou dimenzi– 3D hologramy je možné umístit do reálných kontextů a odpovídajícím způsobem posoudit.
Sada Mixed Reality Toolkit poskytuje základní příklady pro protokolování a načítání dat sledování očí a jejich vizualizaci.
Společnost Microsoft se zaměřuje na usnadnění inovací a zároveň zajišťuje, aby uživatelé měli informované a transparentní zkušenosti s používáním informací o sledování očí. Budeme i nadále spolupracovat s našimi vývojáři a týmy uživatelského prostředí, abychom třetím stranám poskytli pokyny k zajištění toho, aby prostředí byla zaměřena na uživatele.
Další aplikace v této oblasti mohou zahrnovat:
- Vzdálená vizualizace pohledem: Vizualizujte, na co se dívají vzdálení spolupracovníci. To může poskytnout okamžitou zpětnou vazbu a usnadnit přesnější zpracování informací.
- Uživatelské výzkumné studie: Sledování pozornosti může poskytnout přehled o tom, jak uživatelé vidí a zapojují se do přirozeného prostředí, aniž by to zasahovalo. To může vývojářům pomoct navrhovat instinktivnější interakce člověka a počítače. Sledování očí může poskytnout informace, které nejsou přímo vyjádřeny účastníky studie a které může výzkumník snadno přehlédnout.
- Trénování a sledování výkonu: Procvičujte a optimalizujte provádění úloh díky efektivnější identifikaci kritických bodů v toku provádění. Sledování očí může poskytovat přirozené, v reálném čase a objektivní informace, které pomáhají zlepšit školení, produktivitu a bezpečnost na pracovišti.
- Vyhodnocení návrhu, marketing a spotřebitelský výzkum: Sledování očí umožňuje komerčním společnostem provádět marketingové a spotřebitelské studie v reálných prostředích nebo analyzovat, co upoutá pozornost uživatele, aby zlepšily návrh produktu nebo prostoru.
Jiné případy použití
- Herní: Chtěli jste někdy mít superschopnosti? Tady je vaše šance!
Hologramy můžete levitovat pohledem na ně.
Střílet laserové paprsky z očí - vyzkoušejte to v RoboRaid pro HoloLens 2.
Obraťte nepřátele na kámen nebo je zmrazit.
Využijte rentgenové vidění k prozkoumávání budov.
Vaše představivost je limit! Mějte ale na pozoru, aby uživatel nebyl zahlcený. Další informace najdete v našich pokynech k návrhu vstupů založených na pohledu.
Výrazné avatary: Pomůcky pro sledování očí v výraznějších 3D avatarech díky použití dat sledování živých očí k animaci očí avatara a jejich sledování podle toho, na co se uživatel dívá.
Textové zadání: Sledování očí lze použít jako alternativu pro zadávání textu s nízkým úsilím, zejména v případě, že je používání řeči nebo rukou nepohodlné.
Interakce pomocí pohledového pohledu
Vytvoření interakce, která využívá rychle pohyblivé cílení zrakem, může být náročné. Vzhledem k tomu, že se oči můžou rychle pohybovat, pokud nejste opatrní při používání vstupu pohledem zrakem, může to být pro uživatele ohromující nebo rušivé. Ale to stojí za to, protože sledování očí vám umožní vytvářet skutečně magické zážitky, které nadchnou vaše uživatele! Abychom vám pomohli, podívejte se na náš přehled klíčových výhod, výzev a doporučení k návrhu pro interakci pohledem.
Náhradní řešení, když není k dispozici sledování očí
Ve výjimečných případech nemusí být data sledování očí k dispozici. K tomu může dojít z několika důvodů – nejběžnější jsou uvedeny níže:
- Systému se nepodařilo zkalibrovat uživatele.
- Uživatel kalibraci vynechal.
- Uživatel je kalibrovaný, ale rozhodl se neudělit aplikaci oprávnění k používání dat sledování očí.
- Uživatel má jedinečné brýle nebo nějaké oční onemocnění, které systém zatím nepodporuje.
- Vnější faktory brání spolehlivému sledování očí, jako jsou rozmazání hledí nebo brýlí HoloLens, intenzivní přímé sluneční světlo a okluze kvůli vlasům před očima.
Vývojáři by měli zajistit, aby pro tyto uživatele byla k dispozici odpovídající náhradní podpora. Na stránce Sledování očí v rozhraní DirectX vysvětlujeme rozhraní API potřebná ke zjištění, jestli jsou k dispozici data sledování očí.
Někteří uživatelé se můžou rozhodnout, že větší soukromí je pro ně důležitější než vylepšené prostředí, které může sledování očí poskytovat, a proto záměrně odvolají přístup k datům sledování očí. V některých případech však může být toto odvolání neúmyslné. Pokud vaše aplikace používá sledování očí, které je důležitou součástí prostředí, doporučujeme, abyste to uživateli jasně sdělili. Když uživateli vysvětlíte, jak sledování očí odemkne plný potenciál vaší aplikace, pomůže mu to lépe pochopit, čeho se vzdávají. Pokud je sledování očí zapnuté, ale nefunguje, pomozte uživateli identifikovat a vyřešit problém pomocí výše uvedeného kontrolního seznamu. Pokud například zjistíte, že systém podporuje sledování očí a uživatel je kalibrovaný a udělil svolení, ale nepřijme žádná data o sledování očí, může to ukazovat na problémy, jako jsou rozmazání očí nebo zakrývání očí.
Existují vzácné případy, kdy sledování očí prostě někomu nefunguje a neexistuje žádný zřejmý důvod. Respektujte to tím, že uživateli umožníte zavřít nebo zakázat připomenutí pro povolení sledování očí ve vaší aplikaci.
Návrat k aplikacím, které jako primární vstupní ukazatel používají pohled ze očí
Pokud vaše aplikace používá jako vstup ukazatele pohled pro rychlý výběr hologramů napříč scénou, ale data sledování zrakem nejsou k dispozici, doporučujeme vrátit se zpět k pohledu do hlavy a ukázat kurzor pohledu hlavou. Doporučujeme použít časový limit (například 500–1500 ms) k určení, jestli se má přepnout nebo ne. Tato akce zabrání zobrazení kurzorů pokaždé, když systém může na krátkou dobu ztratit sledování kvůli rychlým pohybům očí nebo mrknutí a mrknutí. Pokud jste vývojář Unity, automatický návrat do očí je už v sadě Mixed Reality Toolkit ovládaný. Pokud jste vývojář rozhraní DirectX, musíte tento přechod vyřešit sami.
Návrat k jiným aplikacím, které jsou specifické pro sledování očí
Vaše aplikace může používat pohled z očí jedinečným způsobem, který je přizpůsoben speciálně pro oči – například animování očí avatara nebo heat mapy založené na očích, které spoléhají na přesné informace o vizuální pozornosti. V tomto typu případu neexistuje žádný jasný záložní případ. Pokud sledování očí není k dispozici, může být potřeba tyto funkce zakázat. Opět doporučujeme, abyste to jasně sdělili uživateli, který nemusí vědět, že funkce nefunguje.
Tato stránka vám snad poskytla dobrý přehled, který vám umožní pochopit roli sledování očí a vkládání pohledem očí pro HoloLens 2. Pokud chcete začít s vývojem, podívejte se na naše informace o roli pohledu při interakci s hologramy, pohledem do očí v Unity a pohledem do očí v rozhraní DirectX.