Tekintet és véglegesítés
A tekintet és a véglegesítés egy alapvető bemeneti modell, amely szorosan kapcsolódik ahhoz, ahogyan az egérrel kommunikálunk a számítógépeinkkel: Pont & kattintással. Ezen az oldalon kétféle tekintetbemenetet (fej- és szempillantás) és különböző típusú véglegesítési műveleteket mutatunk be. A tekintet és a véglegesítés messzemenő bemeneti modellnek számít közvetett manipulációval. A legjobban a nem elérhető holografikus tartalmakkal való interakcióhoz használható.
A vegyes valóságú headsetek a felhasználó fejének pozícióját és tájolását használhatják a fej irányvektorának meghatározásához. Gondoljon úgy a tekintetre, mint egy lézer, amely egyenesen előre mutat a felhasználó szeme között. Ez egy meglehetősen durva közelítés, ahol a felhasználó keres. Az alkalmazás képes metszeni ezt a sugarat virtuális vagy valós objektumokkal, és egy kurzort húzva tudathatja a felhasználóval, hogy mit céloz meg.
A fej tekintete mellett néhány vegyes valóságú headset, például a HoloLens 2 is tartalmaz szemkövető rendszereket, amelyek szem-tekintet vektort hoznak létre. Ez részletes mérést biztosít arról, hogy a felhasználó hol keres. Mindkét esetben a tekintet fontos jelzést jelent a felhasználó szándékának szempontjából. Minél jobb a rendszer értelmezni és előrejelezni a felhasználó kívánt műveleteit, annál nagyobb a felhasználói elégedettség és a teljesítmény.
Az alábbiakban néhány példát mutatunk be arra, hogyan használhatja a vegyes valóság fejlesztőjeként a fej- vagy szempillantás előnyeit:
- Az alkalmazás összekapcsolhatja a tekintetet a jelenet hologramjaival, hogy megállapítsa, hol van a felhasználó figyelmének helye (pontosabban szem-tekintet).
- Az alkalmazás a felhasználó tekintete alapján képes a kézmozdulatokat és a vezérlőnyomásokat csatornázni, így a felhasználó zökkenőmentesen választhatja ki, aktiválhatja, megragadhatja, görgetheti vagy más módon használhatja a hologramokat.
- Az alkalmazás lehetővé teszi, hogy a felhasználó hologramokat helyezzen a valós felületekre úgy, hogy a tekintet sugarát a térbeli leképezési hálóval metszi.
- Az alkalmazás tudja, ha a felhasználó nem egy fontos objektum irányába néz, így az alkalmazás vizuális és hangjelzéseket adhat az objektum felé.
Eszköztámogatás
| Bemeneti modell | HoloLens (1. generációs) | HoloLens 2 | Modern headsetek |
| Tekintet és véglegesítés | ✔️ Ajánlott | ✔️ Ajánlott (harmadik lehetőség – Lásd a többi lehetőséget) | ➕ Alternatív lehetőség |
| Szempillantás és véglegesítés | ❌ Nem érhető el | ✔️ Ajánlott (harmadik lehetőség – Lásd a többi lehetőséget) | ❌ Nem érhető el |
Fej- és szemkövetési tervezési fogalmak bemutatója
Ha szeretné működés közben látni a Fej- és szemkövetés tervezési fogalmait, tekintse meg a Tervezés hologramok – Fejkövetés és Szemkövetés videó bemutatót alább. Ha végzett, folytassa az egyes témakörök részletesebb bemutatásával.
Ez a videó a "Hologramok tervezése" HoloLens 2 alkalmazásból származik. Töltse le és élvezze a teljes élményt itt.
Tekintete
Szem- vagy fej-tekintet?
Több szempontot is figyelembe kell venni, amikor felmerül a kérdés, hogy a "szem-tekintet és véglegesítés" vagy a "head-gaze and commit" bemeneti modellt kell-e használnia. Ha modern headsethez vagy HoloLenshez (1. generációs) fejleszt, akkor a választás egyszerű: Fej-tekintet és véglegesítés. Ha HoloLens 2 fejleszt, a választás egy kicsit nehezebbé válik. Fontos megérteni azokat az előnyöket és kihívásokat, amelyek mindegyikével járnak. Összeállítottunk néhány széles profit és con-t az alábbi táblázatban, hogy kontrasztos fej- és szempillantásos célzást állítson össze. Ez messze nem teljes, és azt javasoljuk, hogy többet tanuljon a szem-tekintet célzás a vegyes valóság itt:
- Szemkövetés a HoloLens 2: Új szemkövetési funkciónk általános bemutatása a HoloLens 2, beleértve néhány fejlesztői útmutatást is.
- Szem-tekintet interakció: Tervezési szempontok és javaslatok a szemkövetés bemenetként való használatának tervezésekor.
| Szempillantás célzása | Szempillantás célzása |
| Gyors! | Lassabb |
| Alacsony erőfeszítés (alig van szükség testmozgásra) | Lehet zsíros - Lehetséges kényelmetlenség (például nyaki törzs) |
| Nincs szükség kurzorra, de finom visszajelzést ajánlunk | A kurzor megjelenítésére van szükség |
| Nincs sima szemmozgás – például nem jó a rajzoláshoz | Szabályozottabb és explicitebb |
| Kis célok (például apró gombok vagy weblinkek) esetében nehéz | Megbízható! Nagy tartalék! |
| ... | ... |
Akár fej-tekintetet, akár szem-tekintetet használ a tekintet- és véglegesítési bemeneti modellhez, mindegyik különböző tervezési kényszerekkel rendelkezik. Ezek külön-külön szerepelnek a szem-tekintet és a véglegesítés , valamint a fej-tekintet és a véglegesítési cikkek.
Kurzor
A fő tekintethez a legtöbb alkalmazásnak egy kurzort vagy más halló/vizuális jelzést kell használnia, hogy a felhasználó magabiztos legyen abban, amit használni fog.
Ezt a kurzort általában abban a világban helyezi el, ahol a fejkitekintés sugara először metsz egy objektumot, amely lehet hologram vagy valós felület.
Szempillantás esetén általában azt javasoljuk, hogy ne mutasson kurzort, mivel ez gyorsan zavaróvá és bosszantóvá válhat a felhasználó számára.
Ehelyett finoman jelölje ki a vizuális célokat, vagy használjon halvány szemkurzort, hogy biztos legyen abban, hogy a felhasználó mit fog használni. További információért tekintse meg a tervezési útmutatónkat, amely a HoloLens 2 szemen alapuló bemenetét ismerteti.
Kép: Példa vizuális kurzorra a tekintet megjelenítéséhez
Véglegesítés
Miután beszéltünk a cél különböző módjairól, beszéljünk egy kicsit többet a véglegesítési részről a tekintetben és a véglegesítésben. Miután megcélzott egy objektumot vagy felhasználói felületi elemet, a felhasználó használhatja vagy rákattinthat rá egy másodlagos bemenet használatával. Ezt nevezzük a bemeneti modell véglegesítési lépésének.
A következő véglegesítési módszerek támogatottak:
- Légcsapás kézmozdulat (azaz emelje fel a kezét előtted, és hozza össze a mutatóujját és a hüvelykujját)
- Mondja ki a "select" vagy a célzott hangparancsok egyikét
- Egyetlen gomb lenyomása Egy HoloLens-kattintáson
- Nyomja le az "A" gombot egy Xbox gamepadon
- Az "A" gomb lenyomása xboxos adaptív vezérlőn
Tekintet és a levegő koppintás kézmozdulata
A légcsapolás egy koppintási kézmozdulat, a kéz függőlegesen tartva. Légcsapás használatához emelje fel a mutatóujját a kész pozícióba, majd csippentsen a hüvelykujjával, és emelje fel a mutatóujját a felengedés érdekében. HoloLens (1. generációs) rendszeren a levegőcsap a leggyakoribb másodlagos bemenet.
Ujj a kész pozícióban
Koppintson vagy kattintson az ujjával lefelé
A HoloLens 2 légcsap is elérhető. Az eredeti verziótól kezdve nyugodt volt. Most már szinte minden csippentés támogatott, ha a kéz függőlegesen van, és továbbra is tartja. Így a felhasználók sokkal könnyebben tanulhatják meg és használhatják a kézmozdulatot. Ez az új levegőcsapolás lecseréli a régit ugyanazon az API-ra, így a meglévő alkalmazások automatikusan új viselkedést kapnak a HoloLens 2 újrafordítása után.
Tekintet és "Kiválasztás" hangparancs
A hangparancsolás a vegyes valóság egyik elsődleges interakciós módszere. Hatékony kihangosító mechanizmust biztosít a rendszer vezérléséhez. A hang-interakciós modelleknek különböző típusai vannak:
- Az általános "Select" parancs, amely kattintás-működtetést vagy véglegesítést használ másodlagos bemenetként.
- Az objektumparancsok (például a "Bezárás" vagy a "Nagyobbsá tétele") másodlagos bemenetként hajtanak végre és véglegesítenek egy műveletet.
- A globális parancsokhoz (például "Ugrás a kezdéshez") nincs szükség célra.
- A beszélgetés felhasználói felületei vagy entitásai, például Cortana, természetes nyelvi AI-képességgel rendelkeznek.
- Egyéni hangparancsok
Ha többet szeretne megtudni a részletekről és az elérhető hangparancsok átfogó listájáról és azok használatáról, tekintse meg a hangparancsokkal kapcsolatos útmutatónkat.
Tekintet és HoloLens clicker
A HoloLens Clicker az első olyan perifériás eszköz, amely kifejezetten a HoloLenshez készült. A HoloLens (1. generációs) Development Edition tartalmazza. A HoloLens clicker lehetővé teszi, hogy a felhasználó minimális kézmozdulattal kattintson, és másodlagos bemenetként véglegesítse a elemet. A HoloLens clicker csatlakozik a HoloLenshez (1. generációs) vagy HoloLens 2 Bluetooth Low Energy (BTLE) használatával.
További információk és utasítások az eszköz párosításához
Kép: HoloLens Clicker
Tekintet és Vezeték nélküli Xbox kontroller
A Vezeték nélküli Xbox kontroller az "A" gombbal másodlagos bemenetként hajtja végre a kattintás-működtetést. Az eszköz olyan alapértelmezett műveletkészletre van leképezve, amely segít a rendszer navigálásában és szabályozásában. Ha testre szeretné szabni a vezérlőt, használja az Xbox Accessories alkalmazást a Vezeték nélküli Xbox kontroller konfigurálásához.
Xbox-vezérlő párosítása a pc-vel
Kép: Vezeték nélküli Xbox kontroller
Tekintet és Xbox adaptív vezérlő
Az Xbox Adaptive Controller egy egységes központ az olyan eszközökhöz, amelyek segítenek a vegyes valóság akadálymentesítésében, elsősorban a korlátozott mozgásképességű játékosok igényeinek kielégítésére.
Az Xbox adaptív vezérlő egy kattintásos működtetést hajt végre másodlagos bemenetként az "A" gomb használatával. Az eszköz olyan alapértelmezett műveletkészletre van leképezve, amely segít a rendszer navigálásában és szabályozásában. Ha testre szeretné szabni a vezérlőt, az Xbox Accessories alkalmazás használatával konfigurálhatja az Xbox adaptív vezérlőt.
Xbox adaptív vezérlő
Külső eszközök, például kapcsolók, gombok, csatlakoztatások és botkormányok csatlakoztatásával egyedi vezérlőélményt hozhat létre. A gomb-, ujjlenyomat- és triggerbemeneteket a 3,5 mm-es csatlakozókon és USB-portokon keresztül csatlakoztatott kisegítő eszközök vezérlik.
Xbox adaptív vezérlő portok
Az eszköz párosítására vonatkozó utasítások
További információ az Xbox webhelyen
Összetett kézmozdulatok
Légi koppintás
A légcsapásos kézmozdulat (és az alábbi többi kézmozdulat) csak egy adott koppintásra reagál. Más koppintások,például a Menu vagy a Grasp észleléséhez az alkalmazásnak közvetlenül kell használnia a fenti két fő összetevő kézmozdulatainak szakaszában leírt alacsonyabb szintű interakciókat.
Koppintson és tartsa lenyomva
A hold egyszerűen fenntartja a levegőcsap lefelé mutató ujját. A légcsapolás és a fogópont kombinációja lehetővé teszi a különböző összetettebb "kattintás és húzás" interakciókat karmozgatással kombinálva, például egy objektum aktiválása helyett, vagy a másodlagos interakciók, például a helyi menü megjelenítése helyett. A kézmozdulat tervezésekor azonban körültekintően kell eljárni, mivel a felhasználók hajlamosak lehetnek arra, hogy a kiterjesztett kézmozdulatok során lazítsák a kéztartásukat.
Manipuláció
A manipulációs kézmozdulatokkal áthelyezheti, átméretezheti vagy elforgathatja a hologramot, ha azt szeretné, hogy a hologram 1:1-re reagáljon a felhasználó kézmozdulataira. Az ilyen 1:1-es mozgások egyik célja, hogy a felhasználó rajzoljon vagy festsen a világon. A manipulációs kézmozdulat kezdeti célzását tekintet vagy rámutatás útján kell végrehajtani. A koppintás és a fogópont elindulása után minden objektummanipulációt kézmozdulatok kezelnek, ami lehetővé teszi a felhasználó számára, hogy körülnézz, miközben manipulálják.
Navigáció
A navigációs kézmozdulatok virtuális joystickként működnek, és a felhasználói felületi vezérlők, például a tárcsamenük navigálására használhatók. A kézmozdulat elindításához koppintson és tartsa lenyomva a kézmozdulatot, majd mozgassa a kezét egy normalizált 3D kockán belül, középre igazítva a kezdeti nyomat köré. A kezét az X, az Y vagy a Z tengely mentén mozgathatja -1-ről 1-re, és a 0 a kiindulási pont. A navigációval sebességalapú folyamatos görgetési vagy nagyítási kézmozdulatok hozhatók létre, hasonlóan a kétdimenziós felhasználói felület görgetéséhez. Ehhez kattintson a középső egérgombra, majd mozgassa az egeret felfelé és lefelé.
A sínekkel való navigáció arra utal, hogy felismerhetők a bizonyos tengelyen lévő mozgások, amíg el nem éri az adott tengelyen egy bizonyos küszöbértéket. Ez csak akkor hasznos, ha a fejlesztő egy alkalmazásban több tengelyen is engedélyezi a mozgást, például ha egy alkalmazás úgy van konfigurálva, hogy felismerje a navigációs kézmozdulatokat az X, Y tengelyen, de az X tengelyt is sínekkel. Ebben az esetben a rendszer felismeri az X tengelyen áthaladó kézmozdulatokat mindaddig, amíg az X tengelyen egy képzeletbeli sínen (segédvonalon) belül maradnak, ha az Y tengelyen is történik kézmozdulat.
A 2D alkalmazásokon belül a felhasználók függőleges navigációs kézmozdulatokkal görgethetnek, nagyíthatnak vagy húzhatnak az alkalmazásban. Ez a virtuális ujj érintéseket injektál az alkalmazásba, hogy azonos típusú érintéses kézmozdulatokat szimuláljon. A felhasználók kiválaszthatják, hogy ezek közül melyik műveletet hajtják végre, ha az alkalmazás fölötti sávon lévő eszközök között váltanak. Ehhez válassza a gombot, vagy mondja a "Scroll/Drag/Zoom Tool"< (Görgetés/húzás/nagyítás> eszköz) szöveget.
További információ az összetett kézmozdulatokról
Kézmozdulat-felismerők
A kézmozdulat-felismerés egyik előnye, hogy a kézmozdulat-felismerőt csak azokhoz a kézmozdulatokhoz konfigurálhatja, amelyeket a jelenleg megcélzott hologram elfogad. A platform csak az adott támogatott kézmozdulatok megkülönböztetéséhez szükséges egyértelműsítést végez. Ily módon egy olyan hologram, amely csak a levegős koppintást támogatja, bármilyen időtartamot elfogadhat a lenyomás és a kioldás között, míg a koppintást és a tartást támogató hologramok a visszatartási idő küszöbértéke után visszatarthatják a koppintást.
Kézfelismerés
A HoloLens felismeri a kézmozdulatokat, ha nyomon követi az eszköz számára látható vagy mindkét kéz helyzetét. A HoloLens akkor látja a kezeket, ha kész állapotban vannak (a kéz hátoldala, amely a mutatóujjával felfelé mutat) vagy a megnyomott állapotban (a kéz hátoldalán, lefelé mutató ujjal). Amikor a kezek más pózokban vannak, a HoloLens figyelmen kívül hagyja őket. Minden kézhez, amelyet a HoloLens észlel, tájolás és megnyomott állapot nélkül érheti el a helyzetét. Ahogy a kéz közel van a kézmozdulatkeret széléhez, egy irányvektort is kap, amelyet megjeleníthet a felhasználónak, hogy tudják, hogyan helyezhetik el a kezüket, hogy visszajuttathassák oda, ahol HoloLens láthatja.
Kézmozdulat kerete
A HoloLens kézmozdulatai esetében a kéznek egy kézmozdulatkereten belül kell lennie, olyan tartományban, amelyet a kézmozdulat-érzékelő kamerák megfelelően láthatnak az orrtól a derékig és a vállak között. A felhasználókat a siker és a saját kényelmük érdekében is be kell tanítani a felismerési területre. Sok felhasználó kezdetben azt feltételezi, hogy a kézmozdulatkeretnek a HoloLensen keresztül a nézetükbe kell tartoznia, és kényelmetlenül kell tartania a karját az interakcióhoz. A HoloLens Clicker használatakor nem szükséges, hogy a kézmozdulatkereten belül legyenek a kezek.
Különösen a folyamatos kézmozdulatok esetében fennáll annak a kockázata, hogy a felhasználók a kézmozdulatkereten kívülre helyezik a kezüket, miközben a kézmozdulat közepén egy holografikus objektumot helyeznek át, és elveszítik a kívánt eredményt.
Három dolgot kell figyelembe vennie:
Felhasználói oktatás a kézmozdulatkeret létezéséről és hozzávetőleges határairól. Ezt a HoloLens beállítása során tanítjuk.
Értesíti a felhasználókat, ha a kézmozdulataik közelednek vagy megtörik a kézmozdulat keretének határait az alkalmazásban olyan mértékben, hogy egy elveszett kézmozdulat nem kívánt eredményeket eredményez. A kutatások bemutatták az ilyen értesítési rendszerek legfontosabb tulajdonságait. A HoloLens-rendszerhéj jó példát nyújt az ilyen típusú értesítési-vizualizációkra a központi kurzoron, jelezve a határátlépés irányát.
Minimálisra kell csökkenteni a kézmozdulatkeret határainak megszegésének következményeit. Ez általában azt jelenti, hogy a kézmozdulat eredményét a határnál kell leállítani, és nem kell megfordítani. Ha például egy felhasználó holografikus objektumot helyez át egy helyiségben, a mozgásnak le kell állnia, amikor a kézmozdulat kerete be van törve, és nem tér vissza a kiindulási ponthoz. Előfordulhat, hogy a felhasználó némi frusztrációt tapasztal, de gyorsabban megértheti a határokat, és nem kell minden alkalommal újraindítania a teljes tervezett műveleteket.