Pohled a potvrzení

Pohled a potvrzení je základní vstupní model, který úzce souvisí se způsobem, jakým pracujeme s našimi počítači pomocí myši: Kliknutí myší&. Na této stránce představíme dva typy vstupu pohledů (hlava a pohled) a různé typy akcí potvrzení. Pohled a potvrzení se považuje za daleko vstupní model s nepřímou manipulací. Nejlépe se používá pro interakci s holografickým obsahem, který není dostupný.

Náhlavní soupravy hybridní reality můžou použít polohu a orientaci hlavy uživatele k určení vektoru směru hlavy. Představte si pohled jako laser směřující přímo před oči uživatele. Jedná se o poměrně hrubou aproximaci místa, kde uživatel hledá. Aplikace může tento paprsek protínat s virtuálními nebo skutečnými objekty a nakreslit kurzor na toto místo, aby uživatel věděl, na co cílí.

Kromě pohledů hlavy zahrnují některé náhlavní soupravy hybridní reality, například HoloLens 2, systémy sledování očí, které vytvářejí vektor očí. To poskytuje jemně odstupňované měření místa, kde uživatel hledá. V obou případech představuje pohled důležitý signál pro záměr uživatele. Čím lepší systém dokáže interpretovat a predikovat zamýšlené akce uživatele, tím větší spokojenost uživatelů a výkon se zlepší.

Níže je několik příkladů, jak můžete jako vývojář hybridní reality těžit z přehledu hlavy nebo očí:

  • Aplikace může protínat pohledy s hologramy ve vaší scéně a určit, kde je pozornost uživatele (přesnější pohledem).
  • Aplikace může channelovat gesta a ovladače stisknuté na základě pohledu uživatele, což uživateli umožňuje bezproblémově vybrat, aktivovat, pochytit, posunout nebo jinak pracovat s hologramy.
  • Vaše aplikace může umožnit uživateli umístit hologramy na reálné povrchy tím, že protíná své pohledové paprsky s prostorovou mapovací sítí.
  • Vaše aplikace může vědět, kdy uživatel nehledává směr důležitého objektu, což může vést k tomu, aby aplikace poskytla vizuální a zvukové vodítko, aby se k ho objektu obrátil.

Podpora zařízení

Vstupní model HoloLens (1. generace) HoloLens 2 Asistivní náhlavní soupravy
Pohled na hlavu a potvrzení ✔️ Doporučené ✔️ Doporučené (třetí volba – Zobrazit další možnosti) ➕ Alternativní možnost
Pohled na oči a potvrzení ❌ Není k dispozici ✔️ Doporučené (třetí volba – Zobrazit další možnosti) ❌ Není k dispozici

Ukázka konceptů návrhu pro sledování hlavy a očí

Pokud se chcete podívat na koncepty návrhu head and eye tracking v akci, podívejte se na Hologramy ukázku videa sledování hlavy a sledování očí níže. Až budete hotovi, pokračujte podrobnějšími informacemi o konkrétních tématech.

Toto video bylo převzato z aplikace "Návrh Hologramy" HoloLens 2. Stáhněte si a dopřejte si kompletní zážitek zde.

Pohled

Oči nebo pohled na hlavu?

Je potřeba vzít v úvahu několik aspektů, pokud byste měli použít vstupní model "pohled na oči a potvrzení" nebo "head-gaze and commit". Pokud vyvíjíte pro imerzivní náhlavní soupravu nebo pro HoloLens (1. generace), je volba jednoduchá: Pohled na hlavu a potvrzení. Pokud vyvíjíte pro HoloLens 2, bude volba trochu těžší. Je důležité pochopit výhody a výzvy, které s nimi přicházejí. Zkompilovali jsme některé široké profesionály a cony v tabulce níže, abychom kontrastovali s hlavou vs. cílením na oči. To je daleko od dokončení a doporučujeme se dozvědět více o cílení na oči v hybridní realitě zde:

  • Sledování očí na HoloLens 2: Obecné představení naší nové funkce sledování očí na HoloLens 2, včetně některých pokynů pro vývojáře.
  • Interakce pohledem na oči: Aspekty návrhu a doporučení při plánování použití sledování očí jako vstupu
Cílení na oči Cílení na hlavu
Rychle! Pomalejší
Nízké úsilí (téměř žádné pohyby těla nezbytné) Může být fatiguing - Možné nepohodlí (například kmen krku)
Nevyžaduje kurzor, ale doporučuje se malá zpětná vazba. Vyžaduje, aby se zobrazil kurzor.
Žádné hladké pohyby očí – například není vhodné pro kreslení Více řízené a explicitní
Obtížné pro malé cíle (například malá tlačítka nebo webové odkazy) Spolehlivé! Skvělý náhradní!
... ...

Bez ohledu na to, jestli používáte pohled hlavy nebo pohled na pohled pro vstupní model pohledů a potvrzení, každý z nich má různé sady omezení návrhu. Jsou pokryty samostatně v očích pohled a potvrzení ahlava-pohled a potvrzení články.



Kurzor

Pro pohled hlavy by většina aplikací měla používat kurzor nebo jinou sluchovou nebo vizuální indikaci, aby uživateli poskytla jistotu, s čím se chystá pracovat. Tento kurzor obvykle umístíte na svět, kde se jejich pohled hlavy poprvé protíná objekt, což může být hologram nebo skutečný povrch.

Pro pohled očí obecně doporučujeme nezobrazovat kurzor, protože to může rychle být rušivé a otravné pro uživatele. Místo toho zvýrazněte cíle vizuálu nebo použijte slabý kurzor oka, abyste zajistili jistotu o tom, s čím se uživatel chystá pracovat. Další informace najdete v našich doprovodných materiálech k návrhu pro vstup na základě očí na HoloLens 2.

An example visual cursor to show gaze
Obrázek: Příklad vizuálního kurzoru pro zobrazení pohledu



Potvrzení

Když mluvíme o různých způsobech , jak se podívat na cíl, pojďme si trochu promluvit o části potvrzení pohledem a potvrzením. Po cílení na objekt nebo prvek uživatelského rozhraní může uživatel pracovat nebo na něj kliknout pomocí sekundárního vstupu. Tento postup se označuje jako krok potvrzení vstupního modelu.

Podporují se následující metody potvrzení:

  • Gesto ručního klepnutí vzduchem (to znamená zvednutí ruky před vámi a spojení indexového prstu a palce)
  • Řekněte "select" nebo jeden z cílových hlasových příkazů.
  • Stiskněte jedno tlačítko na HoloLens Clickeru.
  • Stiskněte tlačítko A na herním panelu xboxu.
  • Stiskněte tlačítko A na adaptivním ovladači Xboxu.

Gesto klepnutí na pohled a vzduch

Air tap je gesto klepnutí rukou přidrženou rukou. Pokud chcete použít vzduchový klepnutím, zvedněte indexový prst na připravenou pozici, pak táhněte palcem a zvedněte indexový prst nahoru, aby se uvolnil. Na HoloLens (1. generace) je vzduchový klepnutím nejběžnější sekundární vstup.

Finger in the ready position
Prst na připravené pozici

Press finger down to tap or click
Klepnutím nebo kliknutím prstem dolů

Air tap je k dispozici také na HoloLens 2. Bylo uvolněno z původní verze. Téměř všechny typy palců jsou nyní podporovány, pokud je ruka vzpřímená a drží stále. Díky tomu se uživatelé mnohem snadněji učí a používají gesto. Tento nový vzduchový klepnutím nahradí starý prostřednictvím stejného rozhraní API, takže stávající aplikace budou mít nové chování automaticky po dokončení HoloLens 2.



Pohled a hlasový příkaz "Vybrat"

Hlasové příkazy jsou jednou z primárních metod interakce v hybridní realitě. Poskytuje výkonný hands-free mechanismus pro řízení systému. Existují různé typy modelů hlasové interakce:

  • Obecný příkaz Vybrat, který jako sekundární vstup používá akci kliknutí nebo potvrzení.
  • Příkazy objektů (například "Zavřít" nebo "Zvětšit") provádějí a zavádějí akci jako sekundární vstup.
  • Globální příkazy (například Přejít na začátek) nevyžadují cíl.
  • Uživatelská rozhraní konverzací nebo entity, jako je Cortana, mají schopnost přirozeného jazyka AI.
  • Vlastní hlasové příkazy

Další informace o podrobnostech a komplexním seznamu dostupných hlasových příkazů a jejich používání najdete v našich doprovodných materiálech pro hlasové příkazy .



Pohled a HoloLens Clicker

HoloLens Clicker je první periferní zařízení vytvořené speciálně pro HoloLens. Je součástí HoloLens (1. generace) Development Edition. Nástroj HoloLens Clicker umožňuje uživateli kliknout s minimálním pohybem rukou a potvrdit jako sekundární vstup. HoloLens Clicker se připojuje k HoloLens (1. generace) nebo HoloLens 2 pomocí Bluetooth nízké energie (BTLE).

Další informace a pokyny ke spárování zařízení

Obrázek: HoloLens Clicker

HoloLens Clicker



Pohled a Bezdrátový ovladač pro Xbox

Bezdrátový ovladač pro Xbox provede akci kliknutí jako sekundární vstup pomocí tlačítka A. Zařízení je namapované na výchozí sadu akcí, které pomáhají při navigaci a řízení systému. Pokud chcete ovladač přizpůsobit, nakonfigurujte Bezdrátový ovladač pro Xbox pomocí aplikace Příslušenství pro Xbox.

Jak spárovat ovladač Xboxu s počítačem

Obrázek: Bezdrátový ovladač pro Xbox

Xbox Wireless Controller



Pohled a adaptivní ovladač xboxu

Navržená primárně tak, aby vyhovovala potřebám hráčů s omezenou pohyblivostí, je adaptivní ovladač Xboxu jednotným centrem pro zařízení, která pomáhají zajistit přístupnost hybridní reality.

Adaptivní ovladač Xboxu provádí akci kliknutí jako sekundární vstup pomocí tlačítka A. Zařízení je namapované na výchozí sadu akcí, které pomáhají při navigaci a řízení systému. Pokud chcete ovladač přizpůsobit, nakonfigurujte adaptivní ovladač Xbox pomocí aplikace Příslušenství pro Xbox.

Xbox Adaptive Controller
Adaptivní ovladač xboxu

Připojení externích zařízeních, jako jsou přepínače, tlačítka, připojení a joysticky, a vytvořit tak vlastní prostředí kontroleru, které je jedinečné. Vstupy tlačítek, kryptograficky a aktivačních událostí jsou řízeny zařízeními pro usnadnění připojenými přes 3,5 mm konektory a porty USB.

Xbox Adaptive Controller ports
Porty adaptivního ovladače xboxu

Pokyny ke spárování zařízení

Další informace dostupné na webu Xbox



Složená gesta

Klepnutí ve vzduchu

Gesto klepnutí vzduchem (a další gesta níže) reaguje pouze na konkrétní klepnutí. Pokud chcete zjistit další klepnutí, jako je nabídka nebo uchopení, musí aplikace přímo používat interakce nižší úrovně popsané v části s gesty dvou klíčových komponent výše.

Klepněte a podržte

Podržení jednoduše udržuje pozici prstu směrem dolů vzduchového klepnutí. Kombinace klepnutí na vzduch a přidržení umožňuje různé složitější interakce "kliknutí a přetažení" v kombinaci s pohybem ramene, jako je vyzvednutí objektu místo aktivace nebo vedlejší interakce myši, jako je zobrazení místní nabídky. Při návrhu tohoto gesta by se ale měla používat opatrnost, protože uživatelé můžou být náchylní k uvolnění postojů rukou během jakéhokoli rozšířeného gesta.

Manipulace

Gesta manipulace se dají použít k přesunutí, změně velikosti nebo otočení hologramu, pokud chcete, aby hologram reagoval 1:1 na pohyby rukou uživatele. Jedním z použití pro takové pohyby 1:1 je umožnit uživateli kreslit nebo malovat na světě. Počáteční cílení na gesto manipulace by mělo být provedeno pohledem nebo nasměrováním. Po spuštění klepnutí a přidržování se jakákoli manipulace s objekty zpracovává pohyby rukou, což uvolní uživatele, aby se podíval při manipulaci.

Navigační gesta fungují jako virtuální joystick a dají se použít k navigaci ve widgetech uživatelského rozhraní, jako jsou kruhové nabídky. Když klepnete a podržíte, spustíte gesto a pak prstem přesunete ruku do normalizované 3D datové krychle na střed kolem počátečního stisknutí. Ruku můžete přesunout podél osy X, Y nebo Z z hodnoty -1 až 1 s hodnotou 0 jako výchozí bod. Navigace se dá použít k vytváření gest průběžného posouvání nebo přiblížení založené na rychlosti, podobně jako při posouvání 2D uživatelského rozhraní kliknutím na prostřední tlačítko myši a přesunutím myši nahoru a dolů.

Navigace se zábradlí označuje schopnost rozpoznat pohyby v určité ose, dokud se na této ose nedosáhne určité prahové hodnoty. To je užitečné jenom v případě, že vývojář povolí pohyb ve více než jedné ose v aplikaci, například pokud je aplikace nakonfigurovaná tak, aby rozpoznala navigační gesta napříč Osou X, Y, ale také zadanou osou X se zábradlími. V tomto případě systém rozpozná pohyb rukou na ose X, pokud zůstanou v imaginárních zábradlích (vodítko) na ose X, pokud se pohyb rukou vyskytuje také na ose Y.

V rámci 2D aplikací můžou uživatelé používat svislá navigační gesta k posouvání, přiblížení nebo přetažení uvnitř aplikace. Tím se do aplikace vloží virtuální prst, který simuluje gesta dotykového ovládání stejného typu. Uživatelé můžou vybrat, které z těchto akcí se provádějí, přepnutím mezi nástroji na panelu nad aplikací, a to buď tak, že vyberete tlačítko nebo řeknete< "Scroll/Drag/Zoom> Tool".

Další informace o složených gestech

Rozpoznávání gest

Jednou z výhod rozpoznávání gest je, že rozpoznávání gest můžete nakonfigurovat jenom pro gesta, která aktuálně cílený hologram může přijmout. Platforma rozlišuje pouze nejednoznačnost podle potřeby k rozlišení těchto konkrétních podporovaných gest. Hologram, který podporuje jen klepnutí vzduchem, může tímto způsobem přijmout libovolnou dobu mezi tiskem a uvolněním, zatímco hologram, který podporuje klepnutí i přidržování, může po uplynutí prahové hodnoty doby blokování podržet klepnutím.

Rozpoznávání rukou

HoloLens rozpozná gesta rukou sledováním polohy obou rukou, které jsou viditelné pro zařízení. HoloLens uvidí ruce, když jsou v připraveném stavu (zpět ruky směrem nahoru) nebo na stisknutém stavu (zadní straně ruky, která je směrem dolů). Když jsou ruce v jiných pozicích, HoloLens je ignoruje. Pro každou ruku, která HoloLens rozpozná, můžete získat přístup k jeho poloze bez orientace a jeho stisknutého stavu. Když se ruka blíží okraji rámečku gest, máte k dispozici také směrový vektor, který můžete uživateli ukázat, aby věděli, jak ji přesunout, aby ji získal zpět tam, kde ho HoloLens uvidí.

Snímek gesta

U gest na HoloLens musí být ruka v rámci gest v rozsahu, ve které fotoaparáty pro rozpoznávání gest vidí správně, od nosu po pas a mezi rameny. Uživatelé musí být natrénovaní v této oblasti uznání jak pro úspěch akce, tak pro jejich vlastní pohodlí. Mnoho uživatelů zpočátku předpokládá, že rámeček gesta musí být v jejich zobrazení prostřednictvím HoloLens a držet ruce bez nepříjemně interakce. Při použití nástroje HoloLens Clicker není nutné, aby ruce byly v rámci gesta.

U souvislých gest zejména existuje riziko, že uživatelé přesunou ruce mimo rámec gesta, zatímco uprostřed gesta při přesouvání holografického objektu, například a ztratí zamýšlený výsledek.

Měli byste zvážit tři věci:

  • Vzdělávání uživatelů na existenci gest a přibližných hranicích. To se naučí během HoloLens nastavení.

  • Upozorňování uživatelů na to, že se jejich gesta blíží nebo rozbití hranic gest v rámci aplikace na stupeň, kdy ztracené gesto vede k nežádoucím výsledkům. Výzkum ukázal klíčové vlastnosti takového systému oznámení. Prostředí HoloLens poskytuje dobrý příklad tohoto typu oznámení ---visual, na centrálním kurzoru označující směr, ve kterém se provádí hraniční přechod.

  • Důsledky porušení hranic gest by měly být minimalizované. Obecně to znamená, že výsledek gesta by měl být zastaven na hranici a ne obráceně. Pokud například uživatel přesouvá nějaký holografický objekt do místnosti, měl by se pohyb zastavit, když dojde k narušení snímku gesta, a nevrací se do výchozího bodu. Uživatel může mít určité zklamání, ale může rychleji pochopit hranice a nemusí pokaždé restartovat jejich úplné zamýšlené akce.

Viz také