Ösztönös interakciók bemutatása
Az egyszerű, ösztönös interakciók filozófiája átfonódik a vegyes valóság (MR) platformon. Három lépést tettünk annak érdekében, hogy az alkalmazástervezők és a fejlesztők egyszerű és intuitív interakciókat biztosítsanak ügyfeleiknek.
Először is gondoskodtunk arról, hogy érzékelőink és bemeneti technológiáink multimodális interakciós modellekké legyenek kombinálva. Ezek az interakciós modellek közé tartozik a kéz- és szemkövetés, valamint a természetes nyelvi bevitel. Kutatásaink alapján a multimodális (és nem egyéni bemeneteken alapuló) keretrendszeren belül történő tervezés és fejlesztés az ösztönös élmények létrehozásának kulcsa.
Másodszor, tudjuk, hogy sok fejlesztő több HoloLens-eszközt céloz meg, például HoloLens 2 és HoloLens (1. generációs) vagy HoloLens és VR. Ezért úgy terveztük meg az interakciós modelleket, hogy az eszközök között működjenek, még akkor is, ha a bemeneti technológia minden eszközön eltérő. Például egy 6DoF-vezérlővel ellátott Windows Modern headseten való távoli interakció és HoloLens 2 azonos megfizethetőségeket és mintákat használnak. Ez megkönnyíti az eszközök közötti alkalmazásfejlesztést, és természetes érzetet biztosít a felhasználói interakciókhoz.
Bár tisztában vagyunk azzal, hogy az MR-ben több ezer hatékony, megnyerő és varázslatos interakció lehetséges, azt észleltük, hogy az egyetlen interakciós modell alkalmazáson belüli szándékos alkalmazása a legjobb módja annak, hogy a felhasználók sikeresek legyenek, és nagy tapasztalattal rendelkezzenek. Ebből a célból három dolgot vettünk fel ebben az interakciós útmutatóban:
- Konkrét útmutatás a három elsődleges interakciós modellhez, valamint az egyes összetevőkhöz és mintákhoz.
- Kiegészítő útmutató a platform által nyújtott egyéb előnyökről.
- Általános útmutatás a fejlesztési forgatókönyvnek megfelelő interakciós modell kiválasztásához.
Alapszintű kézkövetés és ösztönös interakciók bemutatója
Tekintse meg alább a Designing Holograms - Head Tracking and Eye Tracking (Hologramok tervezése – Fejkövetés és Szemkövetés ) videó bemutatót, majd folytassa a további témakörökkel:
Ez a videó a "Hologramok tervezése" HoloLens 2 alkalmazásból származik. Töltse le és élvezze a teljes élményt itt.
Multimodális interakciós modellek
Az ügyfelektől származó kutatásaink és visszajelzéseink alapján felfedeztük, hogy három elsődleges interakciós modell felel meg a legtöbb vegyes valósági élménynek. Az interakciós modell sok szempontból a felhasználó mentális modellje a munkafolyamatok befejezéséhez. Ezen interakciós modellek mindegyike az ügyfelek igényeinek megfelelően van optimalizálva, és kényelmes, hatékony és használható, ha megfelelően használják.
Az alábbi diagram egyszerűsített áttekintést nyújt. Az egyes interakciós modellek használatának részletes információit az alábbi oldalakon találja képek és kódminták segítségével.
| Modellezés | Példaforgatókönyvek | Alkalmazás | Hardver |
| Kéz-és mozgásvezérlők | 3D-s térbeli élmények, például térbeli elrendezés és dizájn, tartalommanipuláció vagy szimuláció. | Kiváló új felhasználóknak; hang-, szemmozgás- vagy fejmozgásalapú vezérléssel kiegészítve. Gyorsan megtanulható. Konzisztens felhasználói élmény kézkövetés és 6DOF-vezérlők esetén. | HoloLens 2 Modern headsetek |
| Kézhasználat nélkül | Környezetfüggő élmény azokra az esetekre, amikor a felhasználó keze foglalt, például a feladat közben végzett tanuláskor vagy karbantartáskor. | Némi tanulásra szükség van. Ha a kezek nem szabadok, az eszköz hanggal és természetes nyelvvel is jól vezérelhető. | HoloLens 2 HoloLens (1. generációs) Modern headsetek |
| Tekintet és véglegesítés | Átkattintási élmények, például 3D-prezentációk, bemutatók. | A HMD-k betanítását igényli, mobileszközökön nem. Akadálymentes vezérlők esetében ideális. Legjobb a HoloLens (1. generációs) számára. | HoloLens 2 HoloLens (1. generációs) Modern headsetek Mobil AR |
A felhasználói interakciós élmény hiányosságainak elkerülése érdekében érdemes követni az egyetlen modellre vonatkozó útmutatást az elejétől a végéig.
Az alábbi szakaszok végigvezetik ezen interakciós modellek egyikének kiválasztásának és implementálásának lépésein.
A lap végére megértheti a következőkkel kapcsolatos útmutatónkat:
- Interakciós modell kiválasztása az ügyfél számára
- Az interakciós modell megvalósítása
- Váltás interakciós modellek között
- A következő lépések megtervezése
Válasszon egy interakciós modellt az ügyfél számára
A fejlesztők és az alkotók általában végiggondolták, milyen típusú interakciókat végezhetnek az ügyfeleik. Az ügyfélközpontú tervezés ösztönzése érdekében az alábbi útmutatást javasoljuk az ügyfél számára optimalizált interakciós modell kiválasztásához.
Miért érdemes követni ezt az útmutatót?
- Az interakciós modelleket objektív és szubjektív kritériumok alapján teszteljük, beleértve a fizikai és kognitív erőfeszítést, az intuitívságot és a tanulhatóságot.
- Mivel az interakciók eltérőek, a vizuális/hangbeli megfizethetőség és az objektum viselkedése eltérhet az interakciós modellek között.
- A több interakciós modell részeinek kombinálása a versengő megfizethetőség, például az egyidejű kézsugarak és a fej-tekintet kurzor kockázatát teremti meg. Ez túlterhelheti és összezavarhatja a felhasználókat.
Íme néhány példa arra, hogyan vannak optimalizálva a megfizethetőség és a viselkedés az egyes interakciós modellekhez. Gyakran látjuk, hogy az új felhasználóknak hasonló kérdéseik vannak, például "honnan tudhatom, hogy a rendszer működik", "honnan tudhatom, mit tehetek", és "honnan tudhatom, hogy megértettem-e, amit tettem?"
| Modellezés | Hogyan tudom, hogy működik? | Hogyan tudom, mit tehetek? | Hogyan tudom, mit tettem? |
| Kéz-és mozgásvezérlők | Látok egy kézi hálót, egy ujjbegyet, vagy egy kéz/kontroller sugarakat. | Megragadható fogópontokat látok, vagy határolókeret jelenik meg, amikor a kezem egy objektum közelében van. | Hallok hallható hangokat, és látom animációk megragad és kiadás. |
| Tekintet és véglegesítés | Egy kurzort látok a nézetmező közepén. | A kurzor bizonyos objektumok felett módosítja az állapotot. | Látom/hallom a vizuális és hallható megerősítéseket, amikor cselekedek. |
| Kihangosító (fej-tekintet és lakoma) | Egy kurzort látok a nézetmező közepén. | Egy folyamatjelzőt látok, amikor egy kommunikálható objektumon lakom. | Látom/hallom a vizuális és hallható megerősítéseket, amikor cselekedek. |
| Kihangosító (hangparancsolás) | Látok egy figyelési jelzőt és feliratokat, amelyek azt mutatják, amit a rendszer hallott. | Hangüzeneteket és tippeket kapok. Amikor azt mondom: "Mit mondhatok?" Visszajelzést látok. | Látom/hallom a vizuális és hallható megerősítéseket, amikor parancsot adok, vagy ha szükséges, egyértelműsítő felhasználói felület jelenik meg. |
Az alábbiakban olyan kérdéseket találunk, amelyek segítségével a csapatok kiválaszthatják az interakciós modellt:
K: Szeretnének-e a felhasználók hologramokat megérinteni, és precíziós holografikus műveleteket végezni?
A: Ha igen, tekintse meg a kéz- és mozgásvezérlők interakciós modelljét a pontossági célzáshoz és a manipulációhoz.K: A felhasználóknak szabad kezet kell tartaniuk a valós feladatokhoz?
A: Ha igen, tekintse meg a Kéz nélküli interakciós modellt, amely a tekintet és a hangalapú interakciók révén kiváló kéz nélküli élményt nyújt.K: A felhasználóimnak van idejük az MR-alkalmazásom interakcióinak megismerésére, vagy a lehető legalacsonyabb tanulási görbével való interakcióra van szükségük?
A: A legalacsonyabb tanulási görbe és a leg intuitívabb interakciók esetében a Kéz és mozgásvezérlők modellt javasoljuk, amennyiben a felhasználók használhatják a kezüket az interakcióhoz.K: A felhasználóim mozgásvezérlőket használnak a rámutatáshoz és a manipulációhoz?
A: A Kéz és mozgásvezérlők modell minden útmutatást tartalmaz a mozgásvezérlők nagyszerű élményéhez.K: A felhasználóim használnak akadálymentességi vezérlőt vagy egy közös Bluetooth-vezérlőt, például egy kattintásos vezérlőt?
A: A head-gaze és a commit modellt javasoljuk az összes nem követett vezérlőhöz. Úgy tervezték, hogy lehetővé tegye a felhasználó számára, hogy egy egyszerű "cél- és véglegesítési" mechanizmussal lépjen át egy teljes felületen.K: A felhasználóim csak az "átkattintással" haladnak tovább (például 3D diavetítésszerű környezetben), nem pedig a felhasználói felület vezérlőinek sűrű elrendezései között?
A: Ha a felhasználóknak nem kell sok felhasználói felületet szabályozniuk, a head-gaze és a commit egy tanulható lehetőséget kínál, ahol a felhasználóknak nem kell aggódniuk a célzás miatt.K: A felhasználók holoLens (1. generációs) és HoloLens 2/Windows Mixed Reality magával ragadó headseteket (VR) használnak?
A: Mivel a Head-tekintet és a véglegesítés a HoloLens (1. generációs) interakciós modellje, javasoljuk, hogy a HoloLens (1. generációs) szolgáltatást támogató alkotók használják a Head-tekintetet és véglegesítést minden olyan funkcióhoz vagy módhoz, amelyet a felhasználók a HoloLens (1. generációs) headseten tapasztalnak. Az interakciós modellek áttűnéséről szóló következő szakaszból megtudhatja, hogy több HoloLens-generáció számára is nagyszerű élményt nyújt-e.K: Mi a helyzet a mobil felhasználók, amelyek nagy területet fednek le, vagy szóközök között mozognak, szemben azokkal a felhasználókval, akik általában egyetlen térben dolgoznak?
A: Az interakciós modellek bármelyike működni fog ezeknél a felhasználóknál.
Megjegyzés
Hamarosan további útmutatást talál az alkalmazástervezéssel kapcsolatban.
Interakciós modellek áttűnése
Vannak olyan használati esetek is, amelyek több interakciós modellt is igényelhetnek. Az alkalmazás létrehozási folyamata például a "kéz- és mozgásvezérlők" interakciós modellt használja, de a helyszíni technikusok számára kihangosító üzemmódot szeretne használni. Ha a felhasználói élmény több interakciós modellt igényel, előfordulhat, hogy a felhasználók nehezen váltanak egyik modellről a másikra, különösen akkor, ha újak a vegyes valóságban.
Megjegyzés
Folyamatosan dolgozunk a fejlesztők és tervezők számára elérhető további útmutatáson, és tájékoztatjuk őket arról, hogyan, mikor és miért használhatnak több MR interakciós modellt.