Pohled a potvrzení
Pohled a potvrzení je základní vstupní model, který úzce souvisí se způsobem interakce s počítači pomocí myši: Ukažte & kliknutí. Na této stránce představujeme dva typy vstupu pohledem (pohled z hlavy a očí) a různé typy akcí potvrzení. Pohled a potvrzení se považují za model vzdáleného vstupu s nepřímou manipulací. Je nejvhodnější pro interakci s holografickým obsahem, který je mimo dosah.
Náhlavní soupravy pro hybridní realitu můžou pomocí polohy a orientace hlavy uživatele určit vektor směru hlavy. Pohled si můžete představit jako laser směřující přímo dopředu přímo mezi očima uživatele. Jedná se o poměrně přibližnou aproximaci místa, kde uživatel hledá. Aplikace může tento paprsek protínnout s virtuálními nebo skutečnými objekty a na toto místo nakreslit kurzor, aby uživatel věděl, na co cílí.
Některé náhlavní soupravy pro hybridní realitu, jako je například HoloLens 2, obsahují kromě pohledu do hlavy systémy sledování očí, které vytvářejí vektor pohledu. Poskytuje podrobné měření místa, kde uživatel hledá. V obou případech pohled představuje důležitý signál pro záměr uživatele. Čím lépe systém dokáže interpretovat a predikovat zamýšlené akce uživatele, tím větší spokojenost uživatelů a výkon se zlepší.
Níže je několik příkladů, jak můžete jako vývojáři s hybridní realitou těžit z pohledu do hlavy nebo do očí:
- Aplikace může protínat pohled s hologramy ve scéně a určit tak, kde se nachází pozornost uživatele (přesněji s pohledem očí).
- Vaše aplikace může na základě pohledu uživatele channelovat gesta a stisknutí ovladače, což uživateli umožňuje bezproblémový výběr, aktivaci, chytání, posouvání nebo jinou interakci s hologramy.
- Vaše aplikace může uživateli umožnit umísťování hologramů na reálné povrchy tím, že jejich paprsky protínají se sítí prostorového mapování.
- Vaše aplikace může zjistit, když se uživatel nedívá směrem k důležitému objektu, což může aplikaci vést k vizuálnímu a zvukovému vodítku, aby se k danému objektu obrátila.
Podpora zařízení
| Vstupní model | HoloLens (1. generace) | HoloLens 2 | Imerzivní náhlavní soupravy |
| Pohled do hlavy a potvrzení | ✔️ Doporučené | ✔️ Doporučeno (třetí možnost – zobrazit další možnosti) | ➕ Alternativní možnost |
| Upřený pohled a potvrzení | ❌ Není k dispozici | ✔️ Doporučeno (třetí možnost – zobrazit další možnosti) | ❌ Není k dispozici |
Ukázka konceptů návrhu pro sledování hlavy a očí
Pokud chcete vidět koncepty návrhu sledování hlavy a očí v akci, podívejte se na video s ukázkou návrhu hologramů – sledování hlavy a sledování očí níže. Až budete hotovi, pokračujte, abyste se podrobněji ponořili do konkrétních témat.
Toto video bylo převzato z aplikace "Navrhování hologramů" HoloLens 2. Stáhněte si a užijte si kompletní prostředí zde.
Pohled
Pohled z očí nebo do hlavy?
Při úvahách o tom, jestli byste měli použít vstupní model "pohled a potvrzení" nebo "pohled do očí a potvrzení", je potřeba vzít v úvahu několik aspektů. Pokud vyvíjíte pro imerzivní náhlavní soupravu nebo Pro HoloLens (1. generace), je volba jednoduchá: Pohled na hlavu a potvrzení. Pokud vyvíjíte pro HoloLens 2, bude výběr trochu obtížnější. Je důležité pochopit výhody a výzvy, které s sebou přináší. V následující tabulce jsme zkompilovali několik širokých profíků a konvergů, které kontrastují proti zaměření head- a eye-gaze. To ještě zdaleka není hotové a doporučujeme, abyste se o cílení pohledem na oči v hybridní realitě dozvěděli více tady:
- Sledování očí na HoloLens 2: Obecné představení naší nové funkce sledování očí na HoloLens 2 včetně pokynů pro vývojáře.
- Interakce pohledem a pohledem očí: Při plánování použití sledování očí jako vstupu navrhujete aspekty a doporučení.
| Zaměřování pohledem na oči | Zaměření pohledem do hlavy |
| Rychle! | Pomalejší |
| Nízké úsilí (téměř žádné pohyby těla nutné) | Může být fatiguing - Možné nepohodlí (například napětí krku) |
| Nevyžaduje kurzor, ale doporučuje se jemná zpětná vazba. | Vyžaduje zobrazení kurzoru. |
| Žádné plynulé pohyby očí – například nejsou vhodné pro kreslení. | Ovládanější a explicitnější |
| Obtížné pro malé cíle (například malá tlačítka nebo webové odkazy) | Spolehlivé! Skvělá záložní! |
| ... | ... |
Bez ohledu na to, jestli pro vstupní model pohledu a potvrzení používáte upřený pohled nebo pohled z očí, každý z nich má různé sady omezení návrhu. Ty jsou popsány samostatně v článcích upřených pohledem a potvrzení a upřeným pohledem a potvrzením .
Kurzor
Pro pohled hlavou by většina aplikací měla používat kurzor nebo jinou zvukovou/vizuální indikaci, aby uživatel získal důvěru v to, s čím se chystá pracovat.
Tento kurzor obvykle umístíte do světa, kde jejich pohledu hlavy nejprve protíná objekt, což může být hologram nebo skutečný povrch.
Pro pohled do očí obecně doporučujeme neukazovat kurzor, protože to může uživatele rychle rušit a obtěžovat.
Místo toho zvýrazněte vizuální cíle nebo použijte slabý kurzor očí, abyste zajistili jistotu o tom, s čím chce uživatel pracovat. Další informace najdete v našich doprovodných materiálech k návrhu HoloLens 2.
Obrázek: Příklad vizuálního kurzoru pro zobrazení pohledu
Potvrzení
Poté, co jsme mluvili o různých způsobech pohledu na cíl, si pojďme promluvit trochu více o části potvrzení pohledem a potvrzením. Po cílení na objekt nebo prvek uživatelského rozhraní může uživatel interagovat nebo na něj kliknout pomocí sekundárního vstupu. Tento postup se označuje jako krok potvrzení vstupního modelu.
Podporují se následující metody potvrzení:
- Gesto ruky pro klepnutí ve vzduchu (to znamená, že zvednete ruku před sebou a spojíte ukazováček a palec)
- Řekněte "select" nebo některý z cílových hlasových příkazů.
- Stisknutí jednoho tlačítka na HoloLens Clickeru
- Stisknutí tlačítka "A" na gamepadu Xboxu
- Stisknutí tlačítka "A" na adaptivním ovladači pro Xbox
Gesto pohledem a klepnutím ve vzduchu
Klepnutí ve vzduchu je gesto klepnutí s rukou přidrženou vzpřímenou. Pokud chcete použít klepnutí ve vzduchu, zvedněte ukazováček do připravené pozice, pak ho stáhněte palcem a zvedněte ukazováček zpět nahoru, abyste ho uvolnili. Na HoloLensu (1. generace) je nejčastějším sekundárním vstupem klepnutí ve vzduchu.
Prst v připravené poloze
Klepnutím nebo kliknutím prstem dolů
Na HoloLens 2 je k dispozici také klepnutí ve vzduchu. Od původní verze byla uvolněna. Téměř všechny typy palců jsou nyní podporovány, pokud je ruka vzpřímená a drží nehybně. To uživatelům výrazně usnadňuje učení a používání gesta. Toto nové klepnutí vzduchem nahrazuje staré prostřednictvím stejného rozhraní API, takže stávající aplikace budou mít nové chování automaticky po opětovném zkompilování pro HoloLens 2.
Hlasový příkaz Pohled a Vybrat
Hlasové příkazy je jednou z primárních metod interakce v hybridní realitě. Poskytuje výkonný hands-free mechanismus pro ovládání systému. Existují různé typy modelů hlasové interakce:
- Obecný příkaz "Vybrat", který jako sekundární vstup používá akci kliknutím nebo potvrzení.
- Příkazy objektu (například "Zavřít" nebo "Zvětšit") se provádějí a zavádějí do akce jako sekundární vstup.
- Globální příkazy (například "Go to start") nevyžadují cíl.
- Uživatelská rozhraní konverzace nebo entity, jako je Cortana, mají schopnost přirozeného jazyka umělé inteligence.
- Vlastní hlasové příkazy
Další informace o podrobnostech a úplný seznam dostupných hlasových příkazů a jejich používání najdete v našich doprovodných materiálech k hlasovým příkazům .
Gaze a HoloLens Clicker
HoloLens Clicker je první periferní zařízení vytvořené speciálně pro HoloLens. Je součástí edice HoloLens (1. generace) Development Edition. HoloLens Clicker umožňuje uživateli kliknout minimálním pohybem rukou a potvrdit jako sekundární vstup. HoloLens Clicker se připojuje k HoloLensu (1. generace) nebo HoloLens 2 pomocí Bluetooth Low Energy (BTLE).
Další informace a pokyny ke spárování zařízení
Obrázek: HoloLens Clicker
Pohled a Bezdrátový ovladač pro Xbox
Bezdrátový ovladač pro Xbox provede kliknutí jako sekundární vstup pomocí tlačítka "A". Zařízení je namapované na výchozí sadu akcí, které pomáhají v navigaci a řízení systému. Pokud si chcete ovladač přizpůsobit, nakonfigurujte Bezdrátový ovladač pro Xbox pomocí aplikace Příslušenství xboxu.
Jak spárovat ovladač Xbox s počítačem
Obrázek: Bezdrátový ovladač pro Xbox
Pohled a ovladač Xbox Adaptive Controller
Ovladač Xbox Adaptive Controller, navržený primárně tak, aby vyhovoval potřebám hráče s omezenou pohyblivostí, je jednotné centrum pro zařízení, které pomáhá usnadnit přístupnější hybridní realitě.
Ovladač Xbox Adaptive Controller provede ovládání kliknutím jako sekundární vstup pomocí tlačítka "A". Zařízení je namapované na výchozí sadu akcí, které pomáhají v navigaci a řízení systému. Pokud chcete ovladač přizpůsobit, nakonfigurujte adaptivní ovladač pro Xbox pomocí aplikace Příslušenství pro Xbox.
Adaptivní ovladač pro Xbox
Připojte externí zařízení, jako jsou přepínače, tlačítka, úchyty a pákové ovladače, a vytvořte tak vlastní prostředí ovladače, které je jedinečně vaše. Vstupy tlačítek, páčky a spouště jsou řízeny pomocí zařízení pro usnadnění připojených prostřednictvím 3,5mm konektorů a portů USB.
Porty ovladače Xbox Adaptive Controller
Další informace jsou k dispozici na webu Xbox.
Složená gesta
Klepnutí ve vzduchu
Gesto klepnutí vzduchem (a další gesta níže) reaguje pouze na konkrétní klepnutí. Pokud chcete rozpoznat další klepnutí, jako je nabídka nebo uchopení, musí aplikace přímo používat interakce nižší úrovně popsané v části dvě klíčová gesta komponent výše.
Klepněte a podržte
Podržením se jednoduše udržuje pozice prstu směrem dolů u vzduchového kohoutku. Kombinace klepnutí vzduchem a podržení umožňuje různé složitější interakce "kliknutí a přetažení" v kombinaci s pohybem rukou, jako je zvednutí objektu místo jeho aktivace nebo přesunutí myši sekundární interakce, jako je zobrazení místní nabídky. Při navrhování tohoto gesta byste ale měli být opatrní, protože uživatelé mohou být náchylní k uvolnění pozice rukou během jakéhokoli rozšířeného gesta.
Manipulace
Pokud chcete, aby hologram reagoval 1:1 na pohyby rukou uživatele, můžete pomocí gest pro manipulaci s hologramem přesunout hologram, změnit jeho velikost nebo ho otočit. Jedním z použití pro takové pohyby 1:1 je nechat uživatele kreslit nebo malovat na světě. Počáteční cílení pro gesto manipulace by mělo být provedeno pohledem nebo ukazováním. Jakmile klepnutí a podržení začne, manipulace s objekty je zpracována pohyby rukou, což uživateli umožní, aby se při manipulaci rozhlédli.
Navigace
Navigační gesta fungují jako virtuální pákový ovladač a dají se použít k navigaci ve widgetech uživatelského rozhraní, jako jsou kruhové nabídky. Klepnutím a podržením spustíte gesto a pak budete pohybovat rukou v normalizované 3D datové krychli uprostřed kolem počátečního stisknutí. Můžete pohybovat rukou podél osy X, Y nebo Z z hodnoty -1 až 1, přičemž 0 je výchozím bodem. Pomocí navigace můžete vytvářet gesta průběžného posouvání nebo přiblížení na základě rychlosti, podobně jako při posouvání 2D uživatelského rozhraní kliknutím na prostřední tlačítko myši a následným pohybem myši nahoru a dolů.
Navigace pomocí kolejnic označuje schopnost rozpoznávat pohyby na určité ose, dokud se na této ose nedosáhne určité prahové hodnoty. To je užitečné pouze v případě, že vývojář v aplikaci povolí pohyb na více než jedné ose, například pokud je aplikace nakonfigurovaná tak, aby rozpoznala navigační gesta napříč osou X a Y, ale také určenou osu X s kolejnicemi. V tomto případě systém rozpozná pohyby rukou přes osu X, pokud zůstanou v imaginárních kolejnicích (vodítku) na ose X, pokud k pohybu rukou dojde také na ose Y.
Ve 2D aplikacích můžou uživatelé používat svislá navigační gesta k posouvání, přiblížení nebo přetažení uvnitř aplikace. Tím se do aplikace vloží dotyky virtuálními prsty, které simulují dotyková gesta stejného typu. Uživatelé můžou vybrat, které z těchto akcí se mají provést, tak, že přepíná mezi nástroji na panelu nad aplikací, a to buď výběrem tlačítka, nebo vyslovením příkazu "Scroll/Drag/Zoom> Tool"<.
Další informace o složených gestech
Rozpoznávání gest
Jednou z výhod používání rozpoznávání gest je, že můžete nakonfigurovat rozpoznávání gest pouze pro gesta, která může aktuálně cílový hologram přijímat. Platforma pouze rozlišuje nejednoznačnost podle potřeby, aby odlišil konkrétní podporovaná gesta. Tímto způsobem může hologram, který jen podporuje klepnutí vzduchem, přijímat libovolnou dobu mezi stisknutím a uvolněním, zatímco hologram, který podporuje klepnutí i podržení, může zvýšit úroveň klepnutí na přidržení po prahové hodnotě doby blokování.
Rozpoznávání rukou
HoloLens rozpoznává gesta rukou sledováním pozice jedné nebo obou rukou, které jsou viditelné pro zařízení. HoloLens vidí ruce, když jsou buď v připraveném stavu (zadní strana ruky směrem k vám s ukazováčkem nahoru), nebo ve stisknutém stavu (zadní strana ruky směrem k vám s ukazováčkem dolů). Když jsou ruce v jiných pózách, HoloLens je ignoruje. Pro každou ruku, kterou HoloLens detekuje, můžete přistupovat k její poloze bez orientace a jejího stisknutého stavu. Když se ruka blíží k okraji rámečku gest, dostanete také vektor směru, který můžete uživateli ukázat, aby věděl, jak přesunout ruku, aby ji dostal zpět tam, kde ji HoloLens vidí.
Rámeček gest
U gest na HoloLensu musí být ruka v rámečku gest v rozsahu, který kamery snímající gesta správně vidí, od nosu po pas a mezi rameny. Uživatelé musí být v této oblasti uznání vyškoleni jak pro úspěch akce, tak pro jejich vlastní pohodlí. Mnoho uživatelů bude zpočátku předpokládat, že rámeček gesta musí být v jejich zobrazení prostřednictvím HoloLensu, a držet ruce nepohodlně, aby mohli interagovat. Pokud používáte HoloLens Clicker, není nutné, aby ruce byly v rámečku gest.
Zejména u souvislých gest existuje určité riziko, že uživatelé při pohybu holografického objektu přesunou ruce mimo rámec gest, zatímco jsou uprostřed, a ztratí tak zamýšlený výsledek.
Měli byste zvážit tři věci:
Vzdělávání uživatelů o existenci rámečku gest a přibližných hranicích. To se vyučuje během instalace HoloLensu.
Upozorňování uživatelů na blížící se nebo prolomení hranic rámečku gest v aplikaci do té míry, že ztracené gesto vede k nežádoucím výsledkům. Výzkum ukázal klíčové vlastnosti takového systému oznámení. Prostředí HoloLens poskytuje dobrý příklad tohoto typu oznámení – vizuál na centrálním kurzoru, který označuje směr, ve kterém probíhá překračování hranic.
Následky prolomení hranic rámečku gest by měly být minimalizovány. Obecně to znamená, že výsledek gesta by měl být zastaven na hranici, a ne obrácen. Pokud například uživatel přesunuje nějaký holografický objekt přes místnost, měl by se pohyb zastavit při porušení rámečku gesta a neměl by se vrátit do výchozího bodu. Uživatel může zaznamenat určitou frustraci, ale může rychleji porozumět hranicím a nemusí pokaždé restartovat úplné zamýšlené akce.