Sledování očí na HoloLens 2

Ukázka sledování očí v MRTK

HoloLens 2 umožňuje novou úroveň kontextu a lidského porozumění v holografickém prostředí tím, že vývojářům umožňuje používat informace o tom, na co se uživatel dívá. Tato stránka vysvětluje, jak můžou vývojáři využívat sledování očí pro různé případy použití a co hledat při návrhu interakcí uživatelů založených na očích.

Rozhraní API pro sledování očí bylo navrženo s ohledem na ochranu osobních údajů uživatele. zabrání předávání jakýchkoli identifikovatelných informací, zejména biometrických údajů. U aplikací podporujících sledování očí musí uživatel aplikaci udělit oprávnění k používání informací o sledování očí.

Podpora zařízení

Funkce HoloLens (1. generace) HoloLens 2 Imerzivní náhlavní soupravy
Pohled z očí ✔️

Ukázka konceptů návrhu sledování hlavy a očí

Pokud se chcete podívat na koncepty návrhu head and Eye Tracking v praxi, podívejte se níže na ukázku videa Návrh hologramů – Sledování hlavy a Sledování očí . Až budete hotovi, pokračujte, abyste si podrobněji probrali konkrétní témata.

Toto video bylo převzato z aplikace "Návrh hologramů" HoloLens 2. Stáhněte si a užijte si kompletní prostředí zde.

Kalibrace

Aby sledování očí fungovalo přesně, musí každý uživatel projít kalibrací uživatele sledování očí , pro kterou se musí podívat na sadu holografických cílů. Zařízení tak může systém upravit, což uživateli zajistí pohodlnější a kvalitnější prohlížení a zároveň přesné sledování očí.

Sledování očí by mělo fungovat pro většinu uživatelů, ale existují vzácné případy, kdy uživatel nemůže úspěšně kalibrovat. Kalibrace může selhat z různých důvodů, mimo jiné:

  • Uživatel se dříve odhlásil z procesu kalibrace.
  • Uživatel se vyrušil a nesledoval cíle kalibrace.
  • Uživatel má určité typy kontaktních čoček a brýlí, které systém zatím nepodporuje.
  • Uživatel má určitou fyziologii očí nebo oční stavy nebo prodělal oční operaci, kterou systém zatím nepodporuje.
  • Vnější faktory bránící spolehlivému sledování očí, jako jsou šmouhy na kšiltu HoloLens nebo brýle, intenzivní přímé sluneční světlo a okluze způsobené vlasy před očima.

Vývojáři by měli zajistit, aby poskytovali odpovídající podporu uživatelům, pro které nemusí být k dispozici data sledování očí (kteří nejsou schopni úspěšně kalibrovat). V části v dolní části této stránky jsme uvedli doporučení pro náhradní řešení.

Další informace o kalibraci a o tom, jak zajistit hladký průběh, najdete na stránce o kalibraci uživatelů sledování očí .


Dostupná data sledování očí

Sledování očí na HoloLens 2 umožňuje vývojářům navrhovat přirozené a intuitivní scénáře zadávání a interakce. Rozhraní API pro sledování očí poskytuje informace o tom, na co se uživatel dívá jako na jeden pohled (původ a směr pohledu) při přibližně 30 FPS (30 Hz). Aby sledování očí fungovalo přesně, musí každý uživatel projít kalibrací uživatele sledování očí. Podrobnější informace o tom, jak získat přístup k datům sledování očí, najdete v našich vývojářských příručkách pro použití zrakového pohledu v Rozhraní DirectX a pohledem v Unity.

Predikovaný pohled je přibližně v rozmezí 1,5 stupně ve vizuálním úhlu kolem skutečného cíle (viz obrázek níže). Očekává se mírné nepřesnost, takže vývojáři by měli naplánovat určitou rezervu kolem této dolní hodnoty (například 2,0–3,0 stupňů může vést k mnohem pohodlnějšímu prostředí). O tom, jak řešit výběr malých cílů, si probereme podrobněji níže.

Optimální velikost cíle na vzdálenost 2 metry
Optimální velikost cíle na vzdálenost 2 metry


Data rozšířeného sledování očí

Rozšířená rozhraní API pro sledování očí umožňují vývojářům odemknout další úroveň inovativních scénářů, jako je hodnocení stavu, monitorování a terapie, tím, že poskytují podrobnější informace o zrakovém pohledu uživatele.

Rozšířená rozhraní API pro sledování očí poskytují přístup k existujícím hodnotám sledování očí a novým funkcím, jako jsou jednotlivé vektory pohledu (levé a pravé), podporované snímkové frekvence a možnost nastavit snímkovou frekvenci sledování očí na 30, 60 nebo 90 snímků za sekundu. Pokud chcete používat rozhraní API rozšířeného sledování očí, projděte si naše příručky pro vývojáře, kde můžete používat rozšířená rozhraní API pro sledování očí pro nativní nebo Unity.

Případy použití

Sledování očí umožňuje aplikacím sledovat, kde se uživatel dívá, v reálném čase. Následující případy použití popisují některé interakce, které jsou možné se sledováním očí na HoloLens 2 v hybridní realitě. Tyto případy použití ještě nejsou součástí prostředí Holographic Shell (rozhraní, které uvidíte při spuštění HoloLens 2). Některé z nich můžete vyzkoušet v sadě nástrojů Mixed Reality. Sada nástrojů poskytuje několik zajímavých a výkonných příkladů pro použití sledování očí, jako jsou rychlé a snadné výběry cílových objektů s podporou očí a automatické posouvání textu na základě toho, na co se uživatel dívá.

Záměr uživatele

Informace o tom, kde a na co se uživatel dívá, poskytují výkonný kontext pro další vstupy, jako jsou hlas, ruce a ovladače. Dá se použít pro různé úkoly. Uživatel může například rychle a bez námahy cílit na celou scénu tak, že se podívá na hologram a řekne "select" (také viz pohled a potvrzení) nebo "vložte to..." a pak se podívá na místo, kam chce hologram umístit, a řekne "... tam". Příklady najdete v sadě Mixed Reality Toolkit – Výběr cíle s podporou očí a sada Mixed Reality Toolkit – Umístění cíle s podporou očí.

Příkladem záměru uživatele může být také použití informací o tom, na co se uživatelé dívají, aby se zvýšilo zapojení pomocí vtělených virtuálních agentů a interaktivních hologramů. Například virtuální agenti můžou přizpůsobit dostupné možnosti a jejich chování na základě aktuálně zobrazeného obsahu.

Implicitní akce

Kategorie implicitních akcí úzce souvisí se záměrem uživatele. Myšlenka spočívá v tom, že hologramy nebo prvky uživatelského rozhraní reagují instinktivním způsobem, který nemusí mít ani pocit, že uživatel vůbec komunikuje se systémem, ale spíše, že systém a uživatel jsou synchronizovaní. Jedním z příkladů je automatické posouvání založené na zrakovém pohledu , kde uživatel může číst dlouhý text, který se automaticky začne posouvat, jakmile se uživatel dostane na konec textového pole. Díky tomu bude uživatel ve čtení bez zvednutí prstu. Klíčovým aspektem je, že rychlost posouvání se přizpůsobí rychlosti čtení uživatele.

Dalším příkladem je přiblížení s podporou očí a posouvání tam, kde uživatel může mít pocit, že se potápí přesně na to, na co se zaměřuje.

Aktivaci a ovládání rychlosti přiblížení lze ovládat hlasovým nebo ručním vstupem, což je důležité pro zajištění pocitu ovládání uživateli a zároveň se vyhnout zahlcení. O těchto aspektech návrhu se budeme podrobněji zabývat níže. Po přiblížení může uživatel plynule sledovat například průběh ulice a zkoumat své okolí pomocí zrakového pohledu. Ukázkové příklady pro tyto typy interakcí najdete v ukázce Mixed Reality Toolkit – Navigace s podporou očí.

Mezi další případy použití implicitních akcí patří:

  • Inteligentní oznámení: Naštví vás někdy oznámení, která se objeví přímo uprostřed vašeho zobrazení? Toto prostředí můžete vylepšit tím, že nastavíte nastavení oznámení z místa, kde se uživatel právě dívá. Tím se omezí rušivé prvky a jakmile uživatel dokončí čtení, automaticky je zavře.
  • Pozorné hologramy: Jedná se o hologramy, které při pohledu na ně jemně reagují. To může být v rozsahu od mírně zářících prvků uživatelského rozhraní až po pomalu rozkvetlou květinu až po virtuálního psa, který se začne dívat zpět na uživatele a máchá ocasem. Tato interakce může poskytnout zajímavý pocit připojení a spokojenost ve vaší aplikaci.

Sledování pozornosti

Informace o tom, kde a na co se uživatelé dívají, můžou být nesmírně výkonným nástrojem. Může vám pomoct vyhodnotit použitelnost návrhů a identifikovat problémy v pracovních postupech, aby byly efektivnější. Vizualizace a analýzy sledování očí jsou běžným postupem v různých oblastech aplikací. S HoloLens 2 poskytujeme tomuto porozumění nový rozměr. 3D hologramy lze umístit do reálných kontextů a odpovídajícím způsobem vyhodnotit.

Sada Mixed Reality Toolkit poskytuje základní příklady pro protokolování a načítání dat sledování očí a jejich vizualizaci.

Společnost Microsoft se zaměřuje na usnadnění inovací a zároveň zajišťuje, aby uživatelé měli informované a transparentní zkušenosti s používáním informací o sledování očí. Budeme i nadále spolupracovat s našimi vývojáři a uživatelskými týmy, abychom poskytli pokyny pro třetí strany, abychom zajistili, že prostředí budou zaměřená na uživatele.

Další aplikace v této oblasti mohou zahrnovat:

  • Vzdálená vizualizace pohledem: Vizualizujte, na co se vzdálení spolupracovníci dívají. To může poskytnout okamžitou zpětnou vazbu a usnadnit přesnější zpracování informací.
  • Uživatelské výzkumné studie: Sledování pozornosti může poskytnout přehled o tom, jak uživatelé vnímá přírodní prostředí a zasahují do jeho přirozeného prostředí, aniž by to zasahovalo. To může vývojářům pomoct navrhovat instinktivnější interakce člověka a počítače. Sledování očí může poskytnout informace, které nejsou přímo vyjádřeny účastníky studie a mohou být výzkumníkem snadno vynechány.
  • Školení a monitorování výkonu: Procvičte si a optimalizujte provádění úloh tím, že efektivněji identifikujete kritické body v toku provádění. Sledování očí může poskytovat přirozené, v reálném čase a objektivní informace, které pomáhají zlepšit školení, produktivitu a bezpečnost na pracovišti.
  • Hodnocení návrhu, marketing a spotřebitelský výzkum: Sledování očí umožňuje komerčním společnostem provádět marketingové a spotřebitelské studie v reálných prostředích nebo analyzovat, co upoutá pozornost uživatele, aby zlepšily návrh produktu nebo prostoru.

Další případy použití

  • Herní: Chtěli jste někdy mít superschopnosti? Tady je vaše šance!

Hologramy můžete levitovat tak, že na ně zíráte.

Vystřelte laserové paprsky z očí – vyzkoušejte si to v RoboRaidu pro HoloLens 2.

Proměňte nepřátele na kámen nebo je zmrazte.

Pomocí rentgenového obrazu prozkoumejte budovy.

Vaše představivost je limit! Dávejte si však pozor, aby uživatel nezahlcuje. Další informace najdete v našich pokynech pro návrh vstupů založených na zrakovém pohledu.

  • Výrazné avatary: Pomůcky pro sledování očí v expresivnějších 3D avatarech díky použití živých dat sledování očí k animaci očí avatara a jejich sledování toho, na co se uživatel dívá.

  • Zadání textu: Sledování očí lze použít jako alternativu pro zadávání textu s nízkým úsilím, zejména pokud je používání řeči nebo rukou nepohodlné.


Použití zrakového pohledu pro interakci

Vytvoření interakce, která využívá rychle se pohybujícího cílení zrakem, může být náročné. Vzhledem k tomu, že se oči můžou rychle pohybovat, pokud nejste opatrní, jak používat vstupy pohledem, může být pro uživatele prostředí ohromující nebo rušivé. Ale to stojí za výzvu, protože sledování očí vám umožní vytvářet opravdu magické zážitky, které nadchnou vaše uživatele! Abychom vám pomohli, podívejte se na náš přehled klíčových výhod, výzev a doporučení návrhu pro interakci pohledem.

Náhradní řešení, když sledování očí není k dispozici

Ve výjimečných případech nemusí být data sledování očí dostupná. K tomu může dojít z několika důvodů – nejběžnější jsou uvedené níže:

  • Systému se nepodařilo kalibrovat uživatele.
  • Uživatel vynechal kalibraci.
  • Uživatel je kalibrovaný, ale rozhodl se, že vaší aplikaci neudělí oprávnění k používání dat sledování očí.
  • Uživatel má jedinečné brýle nebo nějaké oční onemocnění, které systém zatím nepodporuje.
  • Vnější faktory bránící spolehlivému sledování očí, jako jsou šmouhy na kšiltu HoloLens nebo brýle, intenzivní přímé sluneční světlo a okluze kvůli vlasům před očima.

Vývojáři by měli zajistit, aby pro tyto uživatele byla k dispozici odpovídající náhradní podpora. Na stránce Sledování očí v Rozhraní DirectX vysvětlujeme rozhraní API potřebná ke zjištění, jestli jsou k dispozici data sledování očí.

Někteří uživatelé se můžou rozhodnout, že větší ochrana osobních údajů je pro ně důležitější než vylepšené prostředí, které může sledování očí poskytovat, a proto záměrně odvolají přístup ke svým datům sledování očí. V některých případech však může být toto odvolání neúmyslné. Pokud vaše aplikace používá sledování očí, což je důležitá součást prostředí, doporučujeme, abyste to uživateli jasně sdělili. Když uživateli vysvětlíte, jak sledování očí odemkne plný potenciál vaší aplikace, pomůže mu lépe pochopit, čeho se vzdát. Pokud je sledování očí zapnuté, ale nefunguje, pomozte uživateli identifikovat a vyřešit problém pomocí výše uvedeného kontrolního seznamu. Pokud například zjistíte, že systém podporuje sledování očí a uživatel je kalibrovaný a udělil svolení, ale žádná data o sledování očí se nepřijme, může to ukazovat na problémy, jako jsou šmouhy nebo zakrývání očí.

Existují vzácné případy, kdy sledování očí prostě někomu nefunguje a není k tomu žádný zřejmý důvod. Respektujte to tím, že uživateli povolíte zavřít nebo zakázat připomenutí pro povolení sledování očí ve vaší aplikaci.

Návrat k aplikacím, které jako primární ukazatel vstupu používají pohled z očí

Pokud vaše aplikace používá zrakový pohled jako vstup ukazatele k rychlému výběru hologramů v celé scéně, ale data o sledování očí nejsou k dispozici, doporučujeme vrátit se zpět k pohledu hlavou a zobrazit kurzor pohledu. Doporučujeme použít časový limit (například 500–1500 ms) k určení, jestli se má přepnout nebo ne. Tato akce zabrání tomu, aby se kurzory zobrazovaly pokaždé, když systém může krátce ztratit sledování kvůli rychlým pohybům zrakem nebo mrkání a mrkání. Pokud jste vývojář Unity, automatický návrat do hlavy je již zpracován v Mixed Reality Toolkit. Pokud jste vývojář rozhraní DirectX, musíte tento přepínač zpracovat sami.

Návrat k jiným aplikacím specifickým pro sledování očí

Vaše aplikace může používat pohled z očí jedinečným způsobem, který je speciálně přizpůsoben očím – například animování očí avatara nebo heatmap založených na pozornosti očí, které jsou závislé na přesných informacích o vizuální pozornosti. V tomto typu případu neexistuje žádná jasná záložní varianta. Pokud sledování očí není k dispozici, může být potřeba tyto funkce zakázat. Opět doporučujeme, abyste to jasně sdělili uživateli, který si nemusí být vědom, že funkce nefunguje.


Tato stránka vám snad poskytla dobrý přehled, který vám umožní začít porozumět roli sledování očí a zadávání pohledem pro HoloLens 2. Pokud chcete začít vyvíjet, podívejte se na naše informace o roli očního pohledu při interakci s hologramy, pohledem v Unity a pohledem v Rozhraní DirectX.

Viz také