Představujeme instinktivní interakce
Filozofie jednoduchých, instinktivních interakcí je protkána celou platformou hybridní reality (MR). Udělali jsme tři kroky, abychom zajistili, že návrháři aplikací a vývojáři můžou svým zákazníkům poskytovat jednoduchou a intuitivní interakci.
Nejprve jsme zajistili, že se naše senzory a vstupní technologie zkombinují do modelů multimodální interakce. Tyto modely interakce zahrnují sledování rukou a očí spolu se vstupem v přirozeném jazyce. Na základě našeho výzkumu je navrhování a vývoj v rámci multimodálního prostředí (a ne na základě individuálních vstupů) klíčem k vytváření instinktivních zkušeností.
Zadruhé si uvědomujeme, že mnoho vývojářů cílí na více zařízení HoloLens, jako jsou HoloLens 2 a HoloLens (1. generace) nebo HoloLens a VR. Proto jsme naše modely interakce navrhli tak, aby fungovaly na různých zařízeních, i když se vstupní technologie na každém zařízení liší. Například dalekou interakci s náhlavní soupravou Windows Immersive headset s ovladačem 6DoF a HoloLens 2 používat stejné možnosti a vzory. To usnadňuje vývoj aplikací napříč zařízeními a poskytuje přirozený dojem z interakcí uživatelů.
I když si uvědomujeme, že v mr existují tisíce efektivních, poutavých a magických interakcí, zjistili jsme, že záměrné použití jediného modelu interakce v aplikaci je nejlepším způsobem, jak zajistit, aby uživatelé byli úspěšní a měli skvělé prostředí. Za tímto účelem jsme do těchto pokynů k interakci zahrnuli tři věci:
- Konkrétní pokyny týkající se tří primárních modelů interakce a komponent a vzorů požadovaných pro každý z nich
- Doplňující pokyny k dalším výhodám, které naše platforma poskytuje.
- Obecné pokyny, které vám pomůžou vybrat vhodný model interakce pro váš vývojový scénář.
Ukázka základního sledování rukou a instinktivní interakce
Podívejte se na video s ukázkou návrhu hologramů – sledování hlavy a sledování očí níže a pak přejděte k konkrétnějším tématům:
Toto video bylo převzato z aplikace "Navrhování hologramů" HoloLens 2. Stáhněte si a užijte si kompletní prostředí zde.
Modely multimodální interakce
Na základě našeho průzkumu a zpětné vazby od zákazníků jsme zjistili, že většině prostředí hybridní reality vyhovují tři primární modely interakce. Model interakce je v mnoha ohledech mentálním modelem uživatele pro dokončení pracovního postupu. Každý z těchto modelů interakce je optimalizovaný pro sadu potřeb zákazníků a je pohodlný, výkonný a použitelný při správném použití.
Následující graf je zjednodušený přehled. Podrobné informace o použití jednotlivých modelů interakce jsou propojeny na následujících stránkách s obrázky a vzorovými kódy.
| Modelování | Příklady scénářů | Vhodnost | Hardware |
| Ruce a ovladače pohybu | Prostorová prostředí, jako je prostorové rozložení nebo návrh, manipulace s obsahem nebo simulace | Ideální pro nové uživatele, kteří můžou prostředí ovládat hlasem, pohledem nebo pohyby hlavou. Rychlé osvojení. Konzistentní uživatelské prostředí při ručním ovládání a používání 6DoF ovladačů. | HoloLens 2 Imerzivní náhlavní soupravy |
| Bez použití rukou | Kontextové prostředí, kde jsou ruce uživatele zaměstnané, například při praktické výuce nebo údržbě | Vyžaduje určité osvojení. Pro případ, že uživatel nemůže používat ruce, podporuje zařízení hlasové ovládání přirozeným jazykem. | HoloLens 2 HoloLens (1. generace) Imerzivní náhlavní soupravy |
| Pohled a potvrzení | Proklikávací prostředí, například 3D prezentace nebo ukázky | Vyžaduje trénování na HMD, ale ne na mobilních zařízeních. Nejvhodnější pro ovladače pro usnadnění. Nejlepší pro HoloLens (1. generace). | HoloLens 2 HoloLens (1. generace) Imerzivní náhlavní soupravy Mobilní rozšířená rozšířená verze |
Abyste se vyhnuli mezerám v prostředí pro interakci s uživatelem, je nejlepší postupovat podle pokynů pro jeden model od začátku do konce.
Následující části vás provedou postupem výběru a implementace jednoho z těchto modelů interakce.
Na konci této stránky budete rozumět našim pokynům k:
- Volba modelu interakce pro zákazníka
- Implementace modelu interakce
- Přechod mezi modely interakce
- Návrh dalších kroků
Volba modelu interakce pro zákazníka
Vývojáři a tvůrci obvykle promyslejí typy interakcí, které mohou jejich zákazníci mít. Pokud chcete podpořit přístup k návrhu zaměřený na zákazníky, doporučujeme následující doprovodné materiály pro výběr modelu interakce, který je optimalizovaný pro zákazníka.
Proč postupovat podle těchto pokynů?
- Naše modely interakce testujeme z hlediska objektivních a subjektivních kritérií, včetně fyzického a kognitivního úsilí, intuitivnosti a srozumitelnosti.
- Vzhledem k tomu, že se interakce liší, můžou se u modelů interakce lišit vizuální a zvukové možnosti a chování objektů.
- Kombinování částí více modelů interakce vytváří riziko konkurenčních cenových cen, jako jsou souběžné paprsky rukou a kurzor pohledu hlavou. To může uživatele zahltit nebo zmást.
Tady je několik příkladů optimalizace cen a chování pro každý model interakce. Často vidíme, že noví uživatelé mají podobné otázky, například "jak poznám, že systém funguje", "jak poznám, co můžu dělat" a "jak poznám, jestli rozumí tomu, co jsem právě udělal?"
| Modelování | Návody víte, že to funguje? | Návody vědět, co můžu dělat? | Návody vědět, co jsem právě udělal? |
| Ruce a ovladače pohybu | Vidím síť na ruce, cenovou dostupnost prstu nebo paprsky ruky/ovladače. | Vidím úchyty, které se dají uchopit, nebo se zobrazí ohraničující rámeček, když je moje ruka poblíž objektu. | Slyším slyšitelné tóny a vidím animace při uchopení a uvolnění. |
| Pohled do hlavy a potvrzení | Ve středu zorného pole vidím kurzor. | Kurzor změní stav, když je nad určitými objekty. | Při provedení akce vidím nebo slyším vizuální a slyšitelné potvrzení. |
| Bez rukou (pohled ze hlavy a setrvání) | Ve středu zorného pole vidím kurzor. | Když setrvám na interagovatelném objektu, zobrazí se indikátor průběhu. | Při provedení akce vidím nebo slyším vizuální a slyšitelné potvrzení. |
| Hands-free (hlasové příkazy) | Vidím indikátor naslouchání a titulky, které ukazují, co systém slyšel. | Dostávám hlasové výzvy a rady. Když řeknu: "Co můžu říct?" Vidím zpětnou vazbu. | Když dávám příkaz, vidím nebo slyším vizuální a slyšitelné potvrzení nebo v případě potřeby dostávám nejednoznačné uživatelské prostředí. |
Níže jsou otázky, které jsme našli, pomáhají týmům vybrat model interakce:
Otázka: Chtějí se mí uživatelé dotýkat hologramů a provádět přesné holografické manipulace?
O: Pokud ano, podívejte se na model interakce rukou a ovladače pohybu pro přesné cílení a manipulaci.Otázka: Musí mít uživatelé volné ruce pro skutečné úkoly?
O: Pokud ano, podívejte se na model interakce bez použití rukou, který poskytuje skvělé prostředí bez použití rukou prostřednictvím pohledů a hlasových interakcí.Otázka: Mají moji uživatelé čas naučit se interakce s aplikací MR, nebo potřebují interakce s nejnižší možnou křivkou učení?
O: Pro nejnižší křivku učení a nejintuitivnější interakce doporučujeme model Ruce a ovladače pohybu, pokud uživatelé můžou k interakci používat své ruce.Otázka: Používají moji uživatelé ovladače pohybu k ukazování a manipulaci?
O: Model Ručičky a ovladače pohybu obsahuje všechny pokyny pro skvělé zkušenosti s ovladači pohybu.Otázka: Používají moji uživatelé ovladač přístupnosti nebo běžný ovladač Bluetooth, jako je klikač?
O: Pro všechny nesledované kontrolery doporučujeme model Head-gaze a commit. Je navržený tak, aby uživateli umožňoval procházet celé prostředí pomocí jednoduchého mechanismu "cíl a potvrzení".Otázka: Postupují moji uživatelé v prostředí jenom tak, že "kliknou" (například v prostředí podobném 3D prezentaci), a ne naopak přecházením hustých rozložení ovládacích prvků uživatelského rozhraní?
O: Pokud uživatelé nepotřebují ovládat velké množství uživatelského rozhraní, nabízí přehledný pohled a potvrzení o tom, že se uživatelé nemusí starat o cílení.Otázka: Používají moji uživatelé imerzivní náhlavní soupravy (VR) HoloLens (1. generace) i HoloLens 2/Windows Mixed Reality?
O: Vzhledem k tomu, že pro HoloLens (1. generace) je model interakce pohledem hlavou a potvrzením, doporučujeme, aby tvůrci, kteří podporují HoloLens (1. generace), používali pohled hlavou a potvrzovali všechny funkce nebo režimy, které budou uživatelé používat na náhlavní soupravě HoloLens (1. generace). Podrobnosti o vytvoření skvělého prostředí pro více generací HoloLens najdete v další části věnované přechodu modelů interakce .Otázka: A co uživatelé, kteří jsou mobilní, kteří pokrývají velký prostor nebo se pohybují mezi prostory, a uživatelé, kteří mají tendenci pracovat v jednom prostoru?
O: Pro tyto uživatele bude fungovat kterýkoli z modelů interakce.
Poznámka
Připravujeme další doprovodné materiály týkající se návrhu aplikací.
Přechod modelů interakce
Existují také případy použití, které můžou vyžadovat použití více než jednoho modelu interakce. Například tok vytváření vaší aplikace používá model interakce "ruce a ovladače pohybu" , ale chcete použít režim hands-free pro techniky v terénu. Pokud vaše prostředí vyžaduje více modelů interakce, můžou mít uživatelé potíže s přechodem z jednoho modelu na jiný, zejména v případě, že jsou v hybridní realitě novinkou.
Poznámka
Neustále pracujeme na dalších doprovodných materiálech, které budou k dispozici vývojářům a návrhářům a které je informují o tom, jak, kdy a proč používat více modelů interakce MR.