Mutatás és véglegesítés kézzel
A kézzel történő pont- és véglegesítés olyan bemeneti modell, amely lehetővé teszi a felhasználók számára a 2D és 3D tartalmak célzását, kiválasztását és manipulálását. Ez a "távoli" interakciós technika egyedülálló a vegyes valóságban, mert az emberek nem természetes módon kommunikálnak a való világgal. Például, a szuper hős film, X-Men, a karakter Magneto képes manipulálni távoli tárgyakat a távolban a kezével. Ez nem olyasmi, amit az emberek a valóságban tehetnek. A HoloLens (AR) és a Mixed Reality (MR) esetében is ezzel a mágikus erővel látjuk el a felhasználókat, hogy megtörjük a valós világ fizikai kényszerét. Nem csak szórakoztató holografikus élmény, hanem hatékonyabbá és hatékonyabbá teszi a felhasználói interakciókat is.
Eszköztámogatás
| Bemeneti modell | HoloLens (1. generációs) | HoloLens 2 | Modern headsetek |
| Mutatás és véglegesítés kézzel | ❌ Nem támogatott | ✔️ Ajánlott | ✔️ Ajánlott |
A "Pont és véglegesítés kézzel" az egyik új funkció, amely az új csuklós kézkövető rendszert használja. Ez a bemeneti modell a modern mikrofonos fejhallgatók elsődleges bemeneti modellje mozgásvezérlők használatával.
Kézi sugarak
A HoloLens 2 létrehoztunk egy kézi sugarat, amely a felhasználó tenyerének közepéről lő ki. Ezt a sugarat a kéz kiterjesztéseként kezelik. A sugár végéhez fánk alakú kurzor van csatolva, amely jelzi azt a helyet, ahol a sugár egy célobjektummal metszik egymást. A kurzor által rárakott objektum ezután gestural-parancsokat kaphat a kéztől.
Ezt az alapszintű gestural-parancsot a hüvelykujj és a mutatóujja használatával aktiválja a levegőbe koppintásos művelet végrehajtásához. A kézi sugár használatával rámutathat a véglegesítésre, a felhasználók pedig aktiválhatnak egy gombot vagy egy hivatkozást. Összetettebb kézmozdulatokkal a felhasználók távolról is navigálhatnak a webes tartalmakon, és módosíthatják a 3D objektumokat. A kézsugár vizuális kialakításának is reagálnia kell ezekre a pontokra és véglegesítési állapotokra, az alábbiak szerint:
Mutatóállapot
A mutató állapotban a sugár egy kötőjelvonal, a kurzor pedig fánk alakzat.
Véglegesítés állapota
Véglegesítési állapotban a sugár folytonos vonalrá változik, és a kurzor egy pontra zsugorodik.
Váltás a közel és a távoli között
Ahelyett, hogy konkrét kézmozdulatokat használnánk, például "mutatóujjal mutatunk" a sugár irányítására, úgy terveztük meg a sugarat, hogy a felhasználó tenyerének közepéről irányítsa a sugarat. Így kiadtuk és fenntartottuk az Ötujjas elemet a manipulatívabb kézmozdulatokhoz, például csippentéshez és megragadáshoz. Ezzel a kialakítással csak egy mentális modellt hozunk létre – ugyanazt a kézmozdulat-készletet használjuk közel- és távoli interakciókhoz is. Ugyanazt a kézmozdulatot használhatja az objektumok különböző távolságokban történő módosításához. A sugarak meghívása automatikus és közelségi alapú az alábbiak szerint:
Közel manipuláció
Ha egy objektum karhosszon belül van (körülbelül 50 cm), a sugarak automatikusan ki vannak kapcsolva, ami a közel interakciót ösztönzi.
Távoli manipuláció
Ha az objektum 50 cm-nél távolabb van, a sugarak be vannak kapcsolva. Az áttűnésnek zökkenőmentesnek és zökkenőmentesnek kell lennie.
2D pala interakció
A 2D pala egy holografikus tároló, amely 2D-s alkalmazástartalmakat, például webböngészőt üzemeltet. A 2D-s palával való messzemenő interakció tervezési koncepciója a kézi sugarak használata a célzáshoz és a légi koppintáshoz a kiválasztáshoz. A kézi sugárral végzett célzás után a felhasználók koppintással aktiválhatnak egy hivatkozást vagy egy gombot. Egy kézzel "levegő koppintással és húzással" görgetheti a palatartalmat felfelé és lefelé. Az a relatív mozgás, hogy két kézzel a levegőbe koppintással és húzással nagyíthatja és kicsinyítheti a pala tartalmát.
Célzás a kéz sugara a sarkok és élek felfedi a legközelebbi manipuláció megfizethetőség. A "megragad és húzza" manipuláció megfizethetőség, a felhasználók nem egységes skálázás a sarkon megfizethetőség, és újracsordulhat a pala keresztül a perem megfizethetőségeket. Megragadja és húzza a holobar tetején a 2D pala lehetővé teszi a felhasználók mozgatni az egész pala.
Kattintson
Lapozzunk
Zoom
A 2D pala manipulálására
- A felhasználók a kéz sugarát a sarkokra vagy élekre mutatják, hogy felfedik a legközelebbi manipulációs megfizethetőség.
- Azáltal, hogy egy manipulációs kézmozdulatot alkalmaz a megfizethetőségre, a felhasználók egységes skálázást végezhetnek a sarki megfizethetőségen keresztül, és újracsordulhatnak a pala a perem megfizethetőségen keresztül.
- A 2D pala tetején található holobarra alkalmazott manipulációs kézmozdulattal a felhasználók áthelyezhetik az egész palat.
3D objektummanipuláció
Közvetlen manipuláció esetén a felhasználók kétféleképpen manipulálhatják a 3D objektumokat: a megfizethetőség-alapú manipulációt és a nem megfizethetőségalapú manipulációt. A pont- és véglegesítési modellben a felhasználók pontosan ugyanazokat a feladatokat érhetik el a kéz sugarain keresztül. Nincs szükség további tanulásra.
Megfizethetőség-alapú manipuláció
A felhasználók kézi sugarakkal mutatnak, és felfedik a határolókeretet és a manipulációs megfizethetőségeket. A felhasználók alkalmazhatják a manipulációs kézmozdulatot a határolókereten, hogy az egész objektumot áthelyezik, a peremhálózati megfizethetőségeket elforgatják, és a sarokbeli megfizethetőségeket egységesen skálázhatják.
Mozgatni
Forgatni
Méretezés
Nem megfizethetőségi alapú manipuláció
A felhasználók kézzel mutatnak, hogy felfedik a határolókeretet, majd közvetlenül alkalmazzák rajta a manipulációs kézmozdulatokat. Egyrészről az objektum fordítása és forgatása a kéz mozgásához és tájolásához van társítva. Két kézzel a felhasználók lefordíthatják, skálázhatják és elforgathatják a két kéz egymáshoz viszonyított mozgásai szerint.
Ösztönös kézmozdulatok
A pont és a véglegesítés ösztönös kézmozdulatainak fogalma hasonló a kézzel történő közvetlen manipulációhoz. A 3D-objektumokon a felhasználók által a felhasználói felületi megfizethetőség kialakításával elvégezhető kézmozdulatok vezérlik. Egy kis vezérlőpont például arra ösztönözheti a felhasználókat, hogy a hüvelykujjukkal és a mutatóujjukkal csippentsék, míg a felhasználók az ötujjas ujjal egy nagyobb objektumot szeretnének megragadni.
Kis objektum
Közepes objektum
Nagy objektum
Szimmetrikus kialakítás a kezek és a 6 DoF-vezérlő között
A pont- és véglegesítés fogalmát a Mixed Reality portál (MRP) számára hozták létre és definiálták. Ebben a forgatókönyvben a felhasználó magával ragadó headsetet visel, és mozgásvezérlők segítségével kommunikál a 3D-s objektumokkal. A mozgásvezérlők sugarakat lőnek ki a távoli objektumok rámutatására és manipulálására. A vezérlőken gombok találhatók a különböző műveletek további véglegesítéséhez. Alkalmazzuk a sugarak interakciós modelljét, és mindkét kézhez csatoljuk őket. Ezzel a szimmetrikus kialakítással az MRP-t ismerő felhasználóknak nem kell megtanulniuk egy másik interakciós modellt, amely messze mutat és manipulál, amikor HoloLens 2 használnak, és fordítva.
Vezérlő sugarai
Kézi sugarak
Hand ray in MRTK (Mixed Reality Toolkit) for Unity
Az MRTK alapértelmezés szerint egy kézsugaras előfabot (DefaultControllerPointer.prefab) biztosít, amelynek vizualizációs állapota megegyezik a rendszerhéj kézi sugarával. Az MRTK Bemeneti profiljában, a Mutatók területen van hozzárendelve. Egy modern headsetben ugyanazokat a sugarakat használják a mozgásvezérlőkhöz.