Szemkövetés HoloLens 2
HoloLens 2 a holografikus felületen új kontextust és emberi megértést tesz lehetővé azáltal, hogy a fejlesztőknek lehetőségük van arra, hogy információkat használjanak arról, hogy mit néznek a felhasználó. Ez az oldal bemutatja, hogyan használhatják a fejlesztők a szemkövetés előnyeit a különböző használati esetekhez, és mit kell keresni a tekintetalapú felhasználói interakciók tervezésekor.
A Eye Tracking API-t a felhasználók adatvédelmi szem előtt tartásával tervezték; elkerüli az azonosítható információk, különösen a biometrikus adatok átadását. A szemkövetésre képes alkalmazásokhoz a felhasználónak engedélyt kell adnia az alkalmazásnak a szemkövetési információk használatára.
Eszköztámogatás
| Szolgáltatás | HoloLens (1. generációs) | HoloLens 2 | Modern headsetek |
| Szempillantás | ❌ | ✔️ | ❌ |
Fej- és szemkövetés tervezési fogalmai – bemutató
Ha szeretné működés közben látni a Fej- és szemkövetés tervezési fogalmait, tekintse meg az alábbi Hologramok tervezése – Fejkövetés és Szemkövetés videó bemutatót. Ha végzett, folytassa az adott témakörök részletesebb bemutatásával.
Ez a videó a "Hologramok tervezése" HoloLens 2 alkalmazásból származik. Töltse le és élvezze a teljes élményt itt.
Kalibrációs
Ahhoz, hogy a szemkövetés pontosan működjön, minden felhasználónak át kell mennie egy szemkövető felhasználói kalibráción , amelyhez a felhasználónak holografikus célokat kell megvizsgálnia. Ez lehetővé teszi, hogy az eszköz beállítsa a rendszert, ami kényelmesebb és jobb minőségű megtekintési élményt eredményez a felhasználó számára, és egyidejűleg biztosítja a pontos szemkövetést.
A szemkövetésnek a legtöbb felhasználónál működnie kell, de vannak olyan ritka esetek, amikor a felhasználó nem tudja sikeresen kalibrálni a kalibrált elemet. A kalibrálás több okból is meghiúsulhat, többek között a következőkre:
- A felhasználó korábban kikapcsolta a kalibrálási folyamatot.
- A felhasználó elvonta a figyelmét, és nem követte a kalibrációs célokat.
- A felhasználó bizonyos típusú kontaktlencsékkel és szemüvegekkel rendelkezik, amelyeket a rendszer még nem támogat.
- A felhasználó bizonyos szemfiziológiával vagy szemkörülményekkel rendelkezik, vagy szemműtétet kapott, amelyet a rendszer még nem támogat.
- A megbízható szemkövetést gátló külső tényezők, például a HoloLens-szemüvegen vagy szemüvegen elmosódott foltok, intenzív közvetlen napfény és elzáródások a szem előtt lévő haj miatt.
A fejlesztőknek gondoskodniuk kell arról, hogy megfelelő támogatást nyújtsanak azoknak a felhasználóknak, akik szemkövető adatai nem érhetők el (akik nem tudnak sikeresen kalibrálni). A tartalék megoldásokra vonatkozó javaslatokat a lap alján található szakasz tartalmazza.
A kalibrálással és a zökkenőmentes élmény biztosításával kapcsolatos további információkért tekintse meg a szemkövető felhasználó kalibrációs oldalát.
Elérhető szemkövető adatok
A szemkövetés HoloLens 2 lehetővé teszi, hogy a fejlesztők természetes és intuitív beviteli és interakciós forgatókönyveket tervezzen. A Eye Tracking API információt nyújt arról, hogy mit néz a felhasználó egyetlen szem-tekintetes sugárként (tekintet forrása és iránya) körülbelül 30 FPS (30 Hz) sebességgel. Ahhoz, hogy a szemkövetés pontosan működjön, minden felhasználónak át kell mennie egy szemkövető felhasználó kalibrálásán. A szemkövető adatok elérésével kapcsolatos részletesebb információkért tekintse meg fejlesztői útmutatóinkat, amelyek segítségével szempillantás használható a DirectX-ben és szempillantás a Unityben.
Az előrejelzett szempillantás körülbelül 1,5 fokon belül van a tényleges cél körüli vizuális szögben (lásd az alábbi ábrát). Enyhe pontatlanságok várhatók, ezért a fejlesztőknek érdemes megtervezni az alacsonyabb határérték körüli margót (például a 2,0-3,0 fok sokkal kényelmesebb élményt eredményezhet). Az alábbiakban részletesebben bemutatjuk, hogyan lehet kezelni a kis méretű célok kiválasztását.
Optimális célméret 2 méter távolságban
Kiterjesztett szemkövetési adatok
A kiterjesztett szemkövető API-k lehetővé teszik a fejlesztők számára, hogy újszerű forgatókönyveket oldjanak meg, például az állapotfelmérést, a monitorozást és a terápiát azáltal, hogy részletesebb információkat nyújtanak a felhasználó szemének tekintetéről.
A kiterjesztett szemkövető API-k hozzáférést biztosítanak a meglévő szemkövető értékekhez és az olyan új funkciókhoz, mint az egyéni (bal és jobb oldali) szemnéző vektorok, a támogatott képkockasebesség, valamint a szemkövetési képkocka sebességének 30, 60 vagy 90fps értékre való beállítása. Az Extended Eye Tracking API használatához tekintse meg fejlesztői útmutatóinkat a kiterjesztett szemkövető API-k natív vagy Unity-hez való használatához.
Használati esetek
A szemkövetés lehetővé teszi az alkalmazások számára, hogy valós időben nyomon kövessék, hogy a felhasználó hol keres. Az alábbi használati esetek olyan interakciókat írnak le, amelyek a vegyes valóságban HoloLens 2 szemkövetésével lehetségesek. Ezek a használati esetek még nem részei a Holographic Shell felületének (a felületnek, amelyet a HoloLens 2 indításakor lát). Néhányat kipróbálhat a Mixed Reality Eszközkészletben. Az eszközkészlet számos érdekes és hatékony példát kínál a szemkövetés használatára, például a gyors és könnyed szem által támogatott célkijelöléseket, és automatikusan végiggörgeti a szöveget a felhasználó által megjelenített adatok alapján.
Felhasználói szándék
A felhasználók hol és mit tekintenek meg, hasznos kontextust biztosítanak más bemenetekhez, például a hanghoz, a kézhez és a vezérlőkhöz. Ez különböző feladatokhoz használható. Például a felhasználó gyorsan és könnyedén megcélozhatja a jelenetet egy hologram megtekintésével, és a "kiválasztás" (lásd még a tekintetet és a véglegesítést) vagy a "put this...", majd oda kell néznie, ahol a hologramot el szeretné helyezni, és azt mondja : "... ott". Erre példákat Mixed Reality Eszközkészlet – Szem által támogatott célkijelölés és Mixed Reality Eszközkészlet – Szem által támogatott célhelyezés című témakörben talál.
Emellett a felhasználói szándékra is példa lehet a felhasználók által megjelenített információk felhasználása a megtestesített virtuális ügynökökkel és interaktív hologramokkal való együttműködés fokozása érdekében. A virtuális ügynökök például a jelenleg megtekintett tartalom alapján igazíthatják az elérhető lehetőségeket és azok viselkedését.
Implicit műveletek
Az implicit műveletek kategóriája szorosan kapcsolódik a felhasználói szándékhoz. Az elképzelés az, hogy a hologramok vagy a felhasználói felület elemei ösztönösen reagálnak, és nem is úgy érzik, hogy a felhasználó egyáltalán kommunikál a rendszerrel, hanem a rendszer és a felhasználó szinkronban van. Ilyen például a tekintetalapú automatikus görgetés , ahol a felhasználó elolvashat egy hosszú szöveget, amely automatikusan elkezd görgetni, amint a felhasználó a szövegdoboz aljára kerül. Ez az ujj felemelése nélkül tartja a felhasználót az olvasási folyamatban. Ennek egyik fő jellemzője, hogy a görgetési sebesség igazodik a felhasználó olvasási sebességéhez.
Egy másik példa a szem által támogatott nagyítás és pásztázás , ahol a felhasználó úgy érezheti, hogy éppen arra törekszik, amire összpontosít.
A nagyítási sebesség aktiválása és szabályozása hang- vagy kézbemenettel vezérelhető, ami fontos ahhoz, hogy a felhasználónak olyan vezérlési érzetet biztosítson, amellyel elkerülheti a túlterheltség elkerülését. Ezekről a tervezési szempontokról az alábbiakban részletesebben lesz szó. A nagyítás után a felhasználó zökkenőmentesen követheti például egy utca menetét, hogy felfedezze a környékét a tekintetével. Az ilyen típusú interakciók bemutató példái a Mixed Reality Eszközkészlet – Szem által támogatott navigációs mintában találhatók.
Az implicit műveletek egyéb használati esetei a következők lehetnek:
- Intelligens értesítések: Előfordult már, hogy bosszantották a nézet közepén megjelenő értesítések? Ezt a felhasználói élményt úgy teheti jobbá, ha kikapcsolja az értesítéseket, ahonnan a felhasználó éppen néz. Ez korlátozza a zavaró tényezőket, és automatikusan elveti őket, ha a felhasználó befejezte az olvasást.
- Figyelmes hologramok: Ezek hologramok, amelyek finoman reagálnak, amikor megtekintik őket. Ez a kissé ragyogó felhasználói felületi elemektől a lassan virágzó virágig terjedhet, és egy virtuális kutya kezd visszatekinteni a felhasználóra, és a farkát csóválja. Ez az interakció érdekes kapcsolati és elégedettségi érzést nyújthat az alkalmazásban.
Figyelemkövetés
A felhasználók hol és mit tekinthetnek meg rendkívül hatékony eszköznek. Segítségével felmérheti a tervek használhatóságát, és azonosíthatja a munkafolyamatokban előforduló problémákat, hogy hatékonyabbá tegye őket. A szemkövető vizualizáció és az elemzés gyakori gyakorlat a különböző alkalmazási területeken. A HoloLens 2 új dimenziót biztosítunk ennek megértéséhez; a 3D hologramok valós kontextusba helyezhetők, és ennek megfelelően értékelhetők.
A Mixed Reality eszközkészlet alapvető példákat kínál a szemkövető adatok naplózására és betöltésére, valamint azok vizualizációjára.
A Microsoft elkötelezett az innováció elősegítése mellett, ugyanakkor biztosítja, hogy a felhasználók tájékozott és átlátható tapasztalatokkal rendelkezzenek a szemkövetési adataik felhasználásával kapcsolatban. Továbbra is együttműködünk a fejlesztőkkel és a felhasználói felületi csapatokkal, hogy útmutatást nyújtsunk a harmadik felek számára annak érdekében, hogy a felhasználói élmények a felhasználó köré összpontosuljanak.
Az ezen a területen található egyéb alkalmazások a következők lehetnek:
- Távoli szempillantásos vizualizáció: Vizualizálja, hogy a távoli közreműködők mit néznek. Ez azonnali visszajelzést nyújthat, és pontosabb információfeldolgozást tesz lehetővé.
- Felhasználókutatási tanulmányok: A figyelemkövetés betekintést nyújt abba, hogy a felhasználók hogyan érzékelik és hogyan kommunikálnak a természetes környezettel anélkül, hogy zavarják őket. Ez segíthet a fejlesztőknek abban, hogy ösztönösebb emberi-számítógépes interakciókat tervezhessenek. A szemkövetés olyan információkat nyújthat, amelyeket a vizsgálat résztvevői nem közvetlenül fogalmaznak meg, és amelyeket a kutató könnyen kihagyhat.
- Betanítás és teljesítményfigyelés: A tevékenységek végrehajtásának gyakorlata és optimalizálása a végrehajtási folyamatban a szűk keresztmetszetek hatékonyabb azonosításával. A szemkövetés természetes, valós idejű és objektív információkat biztosít a képzés, a termelékenység és a biztonság javításához a munkahelyen.
- Tervezési értékelések, marketing és fogyasztói kutatások: A szemkövetés lehetővé teszi a kereskedelmi vállalatok számára, hogy marketing- és fogyasztói tanulmányokat végezzenek valós környezetekben, vagy elemezzék, hogy mi ragadja meg a felhasználó figyelmét a termék vagy a tér kialakításának javítása érdekében.
Egyéb használati esetek
- Gaming: Akartál valaha szupererőket? Itt a lehetőség!
A hologramok lebegtethetők, ha bámulja őket.
Lőj lézersugarakat a szemedből- próbáld ki RoboRaid-ban HoloLens 2.
Alakítsa az ellenséget kővé, vagy fagyasztsa le őket.
A röntgenkép segítségével felfedezheti az épületeket.
A képzeleted a határ! Ügyeljen arra, hogy ne terhelje túl a felhasználót. További információért tekintse meg a szempillantáson alapuló bemeneti tervezési irányelveinket.
Kifejező avatarok: Szemkövető segédletek kifejezőbb 3D avatarok segítségével élő szemkövető adatokat animálni az avatar szemét, és hogy kövesse, amit a felhasználó néz.
Szövegbevitel: A szemkövetés az alacsony munkaigényű szövegbevitel alternatívaként használható, különösen akkor, ha a beszéd vagy a kéz használata kényelmetlen.
Szempillantás használata interakcióhoz
A gyorsan mozgó szemcélzás előnyeit kihasználó interakció létrehozása kihívást jelenthet. Mivel a szemek gyorsan mozoghatnak, ha nem vigyáz a szem-tekintet bevitelére, a felhasználók elsöprő vagy zavaró élményt tapasztalhatnak. Ez azonban megéri a kihívást, mert a szemkövetés lehetővé teszi, hogy valóban varázslatos élményeket hozzon létre, amelyek felizgatják a felhasználókat! Ha segítségre van szüksége, tekintse át a legfontosabb előnyöket, kihívásokat és tervezési javaslatokat az interakcióra való tekintethez.
Tartalék megoldások, ha a szemkövetés nem érhető el
Ritka esetekben előfordulhat, hogy a szemkövetési adatok nem érhetők el. Ez számos okból történhet – a leggyakoribbak az alábbiak:
- A rendszer nem tudta kalibrálni a felhasználót.
- A felhasználó kihagyta a kalibrálást.
- A felhasználó kalibrálva van, de úgy döntött, hogy nem ad engedélyt az alkalmazásnak a szemkövetési adataik használatára.
- A felhasználó egyedi szemüveget vagy valamilyen olyan szemkörnyéki állapotot kap, amelyet a rendszer még nem támogat.
- A megbízható szemkövetést gátló külső tényezők, mint például a HoloLens-viszkon vagy szemüvegen, intenzív közvetlen napfény és elzáródások a szem előtt lévő haj miatt.
A fejlesztőknek gondoskodniuk kell arról, hogy megfelelő tartaléktámogatást biztosítsanak ezeknek a felhasználóknak. A Szemkövetés a DirectX-ben lapon ismertetjük a szemkövetési adatok rendelkezésre állásának észleléséhez szükséges API-kat.
Egyes felhasználók dönthetnek úgy, hogy a nagyobb adatvédelem fontosabb számukra, mint a szemkövetés által nyújtott továbbfejlesztett élmény, így szándékosan visszavonják a szemkövetési adataikhoz való hozzáférést. Bizonyos esetekben azonban ez a visszavonás nem szándékos lehet. Ha az alkalmazás szemkövetést használ, és ez fontos része a felületnek, javasoljuk, hogy ezt egyértelműen közölje a felhasználóval. Ha elmagyarázzuk a felhasználónak, hogy a szemkövetés hogyan oldja fel az alkalmazás teljes potenciálját, könnyebben megértheti, hogy mit adnak fel. Ha a szemkövetés be van kapcsolva, de nem működik, segítsen a felhasználónak azonosítani és megoldani a problémát a fenti ellenőrzőlista segítségével útmutatóként. Ha például azt észleli, hogy a rendszer támogatja a szemkövetést, és a felhasználó kalibrálva van, és megadta az engedélyét, de nem érkezik szemkövetési adat, ez olyan problémákra utalhat, mint a folt vagy a szemek elzárva.
Vannak olyan ritka esetek, amikor a szemkövetés egyszerűen nem működik valakinek, és nincs nyilvánvaló oka. Tartsa tiszteletben ezt, ha lehetővé teszi a felhasználó számára, hogy elutasítsa vagy letiltsa az emlékeztetőket a szemkövetés engedélyezéséhez az alkalmazásban.
Visszaesés az alkalmazásokhoz szempillantás elsődleges bemeneti mutatóként
Ha az alkalmazás szem-tekintetet használ mutató bemenetként a hologramok gyors kiválasztásához a jelenetben, de a szemkövetési adatok nem érhetők el, javasoljuk, hogy térjen vissza a tekintetre, és mutasson a fej-tekintet kurzorára. Javasoljuk, hogy használjon időtúllépést (például 500–1500 ms) annak meghatározásához, hogy váltson-e vagy sem. Ez a művelet megakadályozza, hogy a kurzorok minden alkalommal megjelenjenek, amikor a rendszer rövid időre elveszítheti a nyomkövetést a gyors szemmozgások vagy a kacsintások és villogások miatt. Ha Ön Unity-fejlesztő, az automatikus visszalépést már a Mixed Reality Eszközkészlet kezeli. Ha Ön DirectX-fejlesztő, ezt a kapcsolót saját maga kell kezelnie.
Visszaesés más szemkövetés-specifikus alkalmazásokhoz
Az alkalmazás a szempillantást egyedi módon használhatja, amely kifejezetten a szemre van szabva – például egy avatar szemének animálása vagy szemalapú figyelem hőtérképek, amelyek a vizuális figyelem pontos információira támaszkodnak. Ebben az esetben nincs egyértelmű tartalék. Ha a szemkövetés nem érhető el, előfordulhat, hogy le kell tiltani ezeket a képességeket. Javasoljuk, hogy ezt egyértelműen közölje a felhasználóval, aki esetleg nem tud arról, hogy a képesség nem működik.
Ez az oldal remélhetőleg jó áttekintést adott Önnek, hogy megismerje a szemkövetés és a szem-tekintet bemenet szerepét a HoloLens 2. A fejlesztés megkezdéséhez tekintse meg a szempillantás szerepét a hologramokkal való interakcióhoz, a Szem-tekintet a Unityben és a tekintet a DirectX-ben.