Pohled a potvrzení
Pohled a potvrzení je základní vstupní model, který úzce souvisí se způsobem interakce s počítači pomocí myši: kliknutí myší&. Na této stránce představujeme dva typy vstupu pohledem (pohled z hlavy a očí) a různé typy akcí potvrzení. Pohled a potvrzení se považují za model vzdáleného vstupu s nepřímou manipulací. Je nejvhodnější pro interakci s holografickým obsahem, který je mimo dosah.
Náhlavní soupravy pro hybridní realitu můžou pomocí polohy a orientace hlavy uživatele určit vektor směru hlavy. Pohled si můžete představit jako laser směřující přímo dopředu přímo mezi očima uživatele. Jedná se o poměrně přibližnou aproximaci místa, kde uživatel hledá. Aplikace může tento paprsek protínnout s virtuálními nebo skutečnými objekty a na toto místo nakreslit kurzor, aby uživatel věděl, na co cílí.
Některé náhlavní soupravy pro hybridní realitu, jako je například HoloLens 2, obsahují kromě pohledu do hlavy systémy sledování očí, které vytvářejí vektor pohledu. To poskytuje podrobné měření místa, kde uživatel hledá. V obou případech pohled představuje důležitý signál pro záměr uživatele. Čím lépe systém dokáže interpretovat a predikovat zamýšlené akce uživatele, tím větší spokojenost uživatelů a výkon se zlepší.
Níže je uvedeno několik příkladů, jak můžete jako vývojáři s hybridní realitou těžit z pohledu hlavy nebo očí:
- Aplikace může protínat pohled s hologramy ve scéně a určit tak, kde se nachází pozornost uživatele (přesněji s pohledem očima).
- Aplikace může na základě pohledu uživatele channelovat gesta a stisknutí ovladače, což uživateli umožňuje bezproblémový výběr, aktivaci, uchopení, posouvání nebo jinou interakci s hologramy.
- Aplikace může uživateli umožnit umísťování hologramů na reálné povrchy tím, že jejich pohledu protíná se sítí prostorového mapování.
- Vaše aplikace může zjistit, když se uživatel nedívá směrem k důležitému objektu, což může aplikaci vést k vizuálnímu a zvukovému vodítku, aby se k danému objektu obrátila.
Podpora zařízení
| Vstupní model | HoloLens (1. generace) | HoloLens 2 | Imerzivní náhlavní soupravy |
| Pohled do hlavy a potvrzení | ✔️ Doporučené | ✔️ Doporučeno (třetí možnost – zobrazit další možnosti) | ➕ Alternativní možnost |
| Upřený pohled a potvrzení | ❌ Není k dispozici | ✔️ Doporučeno (třetí možnost – zobrazit další možnosti) | ❌ Není k dispozici |
Ukázka konceptů návrhu pro sledování hlavy a očí
Pokud chcete vidět koncepty návrhu sledování hlavy a očí v akci, podívejte se na video s ukázkou návrhu hologramů – sledování hlavy a sledování očí níže. Až budete hotovi, pokračujte, abyste se podrobněji ponořili do konkrétních témat.
Toto video bylo převzato z aplikace "Navrhování hologramů" HoloLens 2. Stáhněte si a užijte si kompletní prostředí zde.
Pohled
Pohled z očí nebo do hlavy?
Při použití vstupního modelu "pohledem a potvrzením" nebo "pohledem a potvrzením" je potřeba vzít v úvahu několik aspektů. Pokud vyvíjíte pro imerzivní náhlavní soupravu nebo Pro HoloLens (1. generace), je volba jednoduchá: Pohled na hlavu a potvrzení. Pokud vyvíjíte pro HoloLens 2, bude výběr trochu obtížnější. Je důležité pochopit výhody a výzvy, které s sebou přináší. V následující tabulce jsme zkompilovali několik širokých profíků a konvergů, které kontrastují s cílem head- a eye-gaze. To ještě zdaleka není hotové a doporučujeme, abyste se o cílení pohledem na oči v hybridní realitě dozvěděli více tady:
- Sledování očí na HoloLens 2: Obecné představení naší nové funkce sledování očí na HoloLens 2 včetně pokynů pro vývojáře.
- Interakce pohledem a pohledem očí: Při plánování použití sledování očí jako vstupu navrhujete aspekty a doporučení.
| Zaměřování pohledem na oči | Zaměření pohledem do hlavy |
| Rychle! | Pomalejší |
| Nízké úsilí (téměř žádné pohyby těla nutné) | Může být fatiguing - Možné nepohodlí (například napětí krku) |
| Nevyžaduje kurzor, ale doporučuje se jemná zpětná vazba. | Vyžaduje zobrazení kurzoru. |
| Žádné plynulé pohyby očí – například nejsou vhodné pro kreslení. | Ovládanější a explicitnější |
| Obtížné pro malé cíle (například malá tlačítka nebo webové odkazy) | Spolehlivé! Skvělá záložní! |
| ... | ... |
Bez ohledu na to, jestli pro vstupní model pohledu a potvrzení používáte upřený pohled nebo pohled z očí, každý z nich má různé sady omezení návrhu. Ty jsou popsány samostatně v článcích upřených pohledem a potvrzení a upřeným pohledem a potvrzením .
Kurzor
Pro pohled hlavou by většina aplikací měla používat kurzor nebo jinou zvukovou/vizuální indikaci, aby uživatel získal důvěru v to, s čím se chystá pracovat.
Tento kurzor obvykle umístíte do světa, kde jejich pohledu hlavy nejprve protíná objekt, což může být hologram nebo skutečný povrch.
Pro pohled do očí obecně doporučujeme neukazovat kurzor, protože to může uživatele rychle rušit a obtěžovat.
Místo toho zvýrazněte vizuální cíle nebo použijte slabý kurzor očí, abyste zajistili jistotu o tom, s čím chce uživatel pracovat. Další informace najdete v našich doprovodných materiálech k návrhu HoloLens 2.
Obrázek: Příklad vizuálního kurzoru pro zobrazení pohledu
Potvrzení
Poté, co jsme mluvili o různých způsobech pohledu na cíl, si pojďme promluvit trochu více o části potvrzení pohledem a potvrzením. Po cílení na objekt nebo prvek uživatelského rozhraní může uživatel interagovat nebo na něj kliknout pomocí sekundárního vstupu. Tento postup se označuje jako krok potvrzení vstupního modelu.
Podporují se následující metody potvrzení:
- Gesto ruky pro klepnutí ve vzduchu (to znamená, že zvednete ruku před sebou a spojíte ukazováček a palec)
- Řekněte "select" nebo některý z cílových hlasových příkazů.
- Stisknutí jednoho tlačítka na HoloLens Clickeru
- Stisknutí tlačítka "A" na gamepadu Xboxu
- Stisknutí tlačítka "A" na adaptivním ovladači pro Xbox
Gesto pohledem a klepnutím ve vzduchu
Klepnutí ve vzduchu je gesto klepnutí s rukou přidrženou vzpřímenou. Pokud chcete použít klepnutí ve vzduchu, zvedněte ukazováček do připravené pozice, pak ho stáhněte palcem a zvedněte ukazováček zpátky nahoru, abyste ho uvolnili. Na HoloLensu (1. generace) je nejčastějším sekundárním vstupem klepnutí ve vzduchu.
Prst v připravené poloze
Klepnutím nebo kliknutím prstem dolů
Na HoloLens 2 je k dispozici také klepnutí ve vzduchu. Od původní verze byla uvolněna. Téměř všechny typy palců jsou nyní podporovány, pokud je ruka vzpřímená a drží nehybně. To uživatelům výrazně usnadňuje učení a používání gesta. Toto nové klepnutí vzduchem nahrazuje staré prostřednictvím stejného rozhraní API, takže stávající aplikace budou mít nové chování automaticky po opětovném zkompilování pro HoloLens 2.
Hlasový příkaz Pohled a Vybrat
Hlasové příkazy je jednou z primárních metod interakce v hybridní realitě. Poskytuje výkonný hands-free mechanismus pro ovládání systému. Existují různé typy modelů hlasové interakce:
- Obecný příkaz "Vybrat", který jako sekundární vstup používá akci kliknutím nebo potvrzení.
- Příkazy objektu (například "Zavřít" nebo "Zvětšit") se provedou a potvrdí do akce jako sekundární vstup.
- Globální příkazy (například "Přejít na start") nevyžadují cíl.
- Konverzační uživatelská rozhraní nebo entity, jako je Cortana, mají schopnost přirozeného jazyka umělé inteligence.
- Vlastní hlasové příkazy
Další informace o podrobnostech a úplný seznam dostupných hlasových příkazů a jejich používání najdete v našich doprovodných materiálech k hlasovým příkazům .
Gaze a HoloLens Clicker
HoloLens Clicker je první periferní zařízení vytvořené speciálně pro HoloLens. Je součástí edice HoloLens (1. generace) Development Edition. HoloLens Clicker umožňuje uživateli kliknout minimálním pohybem ruky a potvrdit jako sekundární vstup. HoloLens Clicker se připojuje k HoloLensu (1. generace) nebo HoloLens 2 pomocí Bluetooth BTLE (Low Energy).
Další informace a pokyny ke spárování zařízení
Obrázek: HoloLens Clicker
Pohled a Bezdrátový ovladač pro Xbox
Bezdrátový ovladač pro Xbox provede ovládání kliknutím jako sekundární vstup pomocí tlačítka A. Zařízení je namapované na výchozí sadu akcí, které pomáhají navigovat a řídit systém. Pokud chcete ovladač přizpůsobit, pomocí aplikace Xbox Accessories nakonfigurujte Bezdrátový ovladač pro Xbox.
Jak spárovat ovladač Xbox s počítačem
Obrázek: Bezdrátový ovladač pro Xbox
Pohled a adaptivní ovladač pro Xbox
Adaptivní ovladač Pro Xbox je navržený primárně tak, aby splňoval potřeby hráčů s omezenou pohyblivostí, a je sjednoceným centrem pro zařízení, které pomáhá usnadnit hybridní realitu.
Adaptivní ovladač Pro Xbox provede ovládání kliknutím jako sekundární vstup pomocí tlačítka "A". Zařízení je namapované na výchozí sadu akcí, které pomáhají navigovat a řídit systém. Pokud chcete ovladač přizpůsobit, pomocí aplikace Xbox Accessories nakonfigurujte adaptivní ovladač pro Xbox.
Adaptivní ovladač pro Xbox
Připojte externí zařízení, jako jsou přepínače, tlačítka, držáky a pákové ovladače, a vytvořte tak vlastní prostředí ovladače, které bude jedinečně vaše. Vstupy tlačítek, thumbsticku a spouště jsou řízeny pomocí pomocných zařízení připojených přes 3,5mm konektory a porty USB.
Porty adaptivního ovladače pro Xbox
Další informace jsou k dispozici na webu Xbox.
Složená gesta
Klepnutí ve vzduchu
Gesto klepnutí ve vzduchu (a další gesta níže) reaguje pouze na konkrétní klepnutí. Pokud chcete rozpoznat další klepnutí, jako je nabídka nebo uchopení, musí aplikace přímo používat interakce na nižší úrovni popsané v části se dvěma klíčovými gesty výše.
Klepnutí a podržení
Podržení je jednoduché udržování polohy prstu směrem dolů po klepnutí na vzduch. Kombinace klepnutí vzduchu a podržení umožňuje různé složitější interakce "kliknutí a přetažení" v kombinaci s pohybem ruky, jako je například zvednutí objektu místo jeho aktivace nebo vedlejší interakce s umístěním myši, jako je zobrazení místní nabídky. Při navrhování tohoto gesta je však potřeba postupovat opatrně, protože uživatelé mohou být náchylní k uvolnění postojů ruky během jakéhokoli rozšířeného gesta.
Manipulace
Pokud chcete, aby hologram reagoval 1:1 na pohyby rukou uživatele, můžete použít gesta pro manipulaci s hologramem, abyste ho mohli přesunout, změnit jeho velikost nebo otočit. Jedním z použití pro takové pohyby 1:1 je nechat uživatele kreslit nebo malovat na světě. Počáteční cílení pro gesto manipulace by mělo být provedeno pohledem nebo pointováním. Jakmile se spustí klepnutí a podržení, manipulace s objekty je řešena pohyby rukou, což uživateli umožňuje rozhlížet se kolem, zatímco manipuluje.
Navigace
Navigační gesta fungují jako virtuální pákový ovladač a dají se použít k navigaci ve widgetech uživatelského rozhraní, jako jsou kruhové nabídky. Klepnutím a podržením spustíte gesto a pak budete pohybovat rukou v normalizované 3D datové krychli uprostřed kolem počátečního stisknutí. Na ose X, Y nebo Z můžete pohybovat rukou z hodnoty -1 až 1, přičemž 0 je výchozím bodem. Pomocí navigace můžete vytvářet gesta nepřetržitého posouvání nebo zvětšování na základě rychlosti, podobně jako při posouvání 2D uživatelského rozhraní kliknutím na prostřední tlačítko myši a následným pohybem myši nahoru a dolů.
Navigace s kolejnicemi označuje schopnost rozpoznávat pohyby v určité ose, dokud není na této ose dosaženo určitého prahu. To je užitečné jenom v případě, že vývojář v aplikaci povolí pohyb ve více než jedné ose, například když je aplikace nakonfigurovaná tak, aby rozpoznávala navigační gesta na osách X a Y, ale také zadaná osa X se zábradlími. V tomto případě systém rozpozná pohyby rukou přes osu X, pokud zůstanou uvnitř imaginární kolejnice (vodítka) na ose X, pokud k pohybu ruky dojde také na ose Y.
Ve 2D aplikacích můžou uživatelé používat svislá navigační gesta k posouvání, přiblížení nebo přetažení uvnitř aplikace. Tím se do aplikace vloží dotyky virtuálními prsty, které simulují dotyková gesta stejného typu. Uživatelé můžou vybrat, které z těchto akcí se mají provést, přepnutím mezi nástroji na panelu nad aplikací, a to buď výběrem tlačítka, nebo vyslovením příkazu "Scroll/Drag/Zoom> Tool"<.
Další informace o složených gestech
Rozpoznávání gest
Jednou z výhod rozpoznávání gest je, že rozpoznávání gest můžete nakonfigurovat jenom pro gesta, která aktuálně cílový hologram dokáže přijmout. Platforma rozlišuje nejednoznačnost pouze podle potřeby, aby odlišil konkrétní podporovaná gesta. Tímto způsobem může hologram, který podporuje jen klepnutí ve vzduchu, mezi stisknutím a uvolněním přijmout libovolnou dobu, zatímco hologram, který podporuje klepnutí i podržení, může zvýšit úroveň klepnutí na podržení po prahové hodnotě doby přidržení.
Rozpoznávání rukou
HoloLens rozpozná gesta rukou sledováním pozice obou rukou, které jsou viditelné pro zařízení. HoloLens vidí ruce, když jsou buď v připraveném stavu (zadní strana ruky směrem k vám s ukazováčkem nahoru), nebo ve stavu stisknutí (zadní strana ruky směrem k vám s ukazováčkem dolů). Když jsou ruce v jiných pozicích, HoloLens je ignoruje. Pro každou ruku, kterou HoloLens detekuje, máte přístup k její poloze bez orientace a jejího stisknutého stavu. Když se ruka přiblíží k okraji rámečku gesta, budete mít k dispozici také vektor směru, který můžete uživateli ukázat, aby věděl, jak přesunout ruku, aby ji dostal zpátky tam, kde ji HoloLens vidí.
Rámec gesta
U gest na HoloLensu musí být ruka v rámečku gest v rozsahu, který fotoaparáty s rozpoznáváním gest správně vidí, od nosu po pas a mezi rameny. Uživatelé musí být na tuto oblast uznání vyškoleni jak pro úspěch akce, tak pro jejich vlastní pohodlí. Mnoho uživatelů zpočátku předpokládá, že rámeček gesta musí být v jejich zobrazení prostřednictvím HoloLensu, a nespokojeně držet ruce, aby mohli interagovat. Při použití HoloLens Clickeru není nutné, aby ruce byly v rámečku gesta.
Zejména u nepřetržitých gest existuje určité riziko, že se uživatelé budou pohybovat rukama mimo rámec gest, zatímco jsou uprostřed gesta, například při přesouvání holografického objektu, a ztratí zamýšlený výsledek.
Měli byste zvážit tři věci:
Uživatelské vzdělání týkající se existence rámečku gesta a přibližných hranic. To se učí při nastavování HoloLensu.
Upozorňování uživatelů, když se jejich gesta přiblíží nebo prolomí hranice rámce gesta v rámci aplikace do té míry, že ztracené gesto vede k nežádoucím výsledkům. Výzkum ukázal klíčové vlastnosti takového systému oznámení. Prostředí HoloLens nabízí dobrý příklad tohoto typu oznámení – vizuál na centrálním kurzoru, který označuje směr, ve kterém dochází k překračování hranic.
Následky porušení hranic rámečku gest by měly být minimalizovány. Obecně to znamená, že výsledek gesta by měl být zastaven na hranici a neměl by být obrácený. Pokud například uživatel přesouvá nějaký holografický objekt přes místnost, měl by se pohyb při porušení rámečku gesta zastavit a neměl by se vrátit do výchozího bodu. Uživatel může zaznamenat určitou frustraci, ale může rychleji pochopit hranice a nemusí pokaždé restartovat úplné zamýšlené akce.