Peka och genomför med händerna
Punkt- och incheckning med händerna är en indatamodell som låter användarna rikta in sig på, välja och manipulera 2D- och 3D-innehåll. Denna "långt" interaktionsteknik är unik för mixad verklighet eftersom människor inte naturligt interagerar med den verkliga världen på det sättet. I superhjältefilmen X-Men kan till exempel karaktären Magneto manipulera avlägsna objekt i fjärran med händerna. Det här är inget människor kan göra i verkligheten. I både HoloLens (AR) och Mixed Reality (MR) utrustar vi användare med denna magiska kraft för att bryta den fysiska begränsningen i den verkliga världen. Det är inte bara en rolig holografisk upplevelse, utan den gör även användarinteraktioner effektivare och effektivare.
Stöd för enheter
| Indatamodell | HoloLens (första generationen) | HoloLens 2 | Integrerande headset |
| Peka och genomför med händerna | ❌ Stöds inte | ✔️ Rekommenderas | ✔️ Rekommenderas |
"Punkt och incheckning med händerna" är en av de nya funktionerna som använder det nya ledade handspårningssystemet. Den här indatamodellen är också den primära indatamodellen på uppslukande headset med hjälp av rörelsestyrenheter.
Handstrålar
På HoloLens 2 skapade vi en handstråle som skjuter ut från mitten av användarens handflata. Denna stråle behandlas som en förlängning av handen. En ringformad markör är fäst vid strålens ände för att ange platsen där strålen korsar ett målobjekt. Objektet som markören landar på kan sedan ta emot gesturalkommandon från handen.
Det här grundläggande gesturalkommandot utlöses med hjälp av tummen och pekfingret för att utföra lufttryckningsåtgärden. Genom att använda handstrålen för att peka och trycka på luft för att checka in kan användarna aktivera en knapp eller en hyperlänk. Med mer sammansatta gester kan användare navigera i webbinnehåll och manipulera 3D-objekt på avstånd. Handstrålens visuella design bör också reagera på dessa punkt- och incheckningstillstånd, enligt beskrivningen och visas nedan:
Pektillstånd
I pekläget är strålen en strecklinje och markören är en ringform.
Incheckningstillstånd
I incheckningstillståndet förvandlas strålen till en solid linje och markören krymper till en punkt.
Övergång mellan när och fjärran
Istället för att använda specifika gester som att "peka med pekfinger" för att dirigera strålen, designade vi strålen för att komma ut från mitten av användarnas handflata. På så sätt har vi släppt och reserverat Five Fingers för mer manipulativa gester som att nypa och ta tag i. Med den här designen skapar vi bara en mental modell – samma uppsättning handgester används för både när och fjärran interaktion. Du kan använda samma greppsgest för att manipulera objekt på olika avstånd. Anropet av strålarna är automatiskt och närhetsbaserat enligt följande:
Nära manipulering
När ett objekt är inom armlängds avstånd (ungefär 50 cm), stängs strålarna av automatiskt, vilket uppmuntrar till nära interaktion.
Långt manipulering
När objektet är längre än 50 cm slås strålarna på. Övergången ska vara smidig och sömlös.
2D-skifferinteraktion
En 2D-skiffer är en holografisk container som är värd för 2D-appinnehåll, till exempel en webbläsare. Designkonceptet för långt interagerar med en 2D-skiffer är att använda handstrålar för att rikta och lufttryck för att välja. Efter att ha riktat in sig med en handstråle kan användarna lufttrycka för att utlösa en hyperlänk eller en knapp. De kan använda en hand för att "lufta tryck och dra" för att rulla skifferinnehåll upp och ner. Den relativa rörelsen av att använda två händer för att lufta tryck och dra kan zooma in och ut skifferinnehållet.
Att rikta in sig på handstrålen i hörnen och kanterna avslöjar den närmaste manipuleringsrelevansen. Genom att "ta tag i och dra" manipuleringstips kan användarna göra enhetlig skalning genom hörnpriserna och kan flöda om skiffern via gränsenheterna. Genom att ta tag i och dra holobaren överst i 2D-skiffern kan användarna flytta hela skiffern.
Klicka på
Skrollar
Zoom
För att manipulera 2D-skiffer
- Användare pekar handstrålen i hörnen eller kanterna för att avslöja den närmaste manipuleringsgränsen.
- Genom att tillämpa en manipuleringsgest på priset kan användarna göra enhetlig skalning genom hörnpriserna och kan flöda om skiffern via gränsen.
- Genom att använda en manipulationsgest på holobaren överst i 2D-skiffern kan användarna flytta hela skiffern.
3D-objektmanipulering
Vid direkt manipulering finns det två sätt för användare att manipulera 3D-objekt: affordance-baserad manipulering och icke-affordance-baserad manipulation. I punkt- och incheckningsmodellen kan användarna utföra exakt samma uppgifter via handstrålarna. Ingen extra inlärning krävs.
Affordance-baserad manipulering
Användare använder handstrålar för att peka och avslöja avgränsningslådan och manipulationspriserna. Användare kan använda manipuleringsgesten på avgränsningsrutan för att flytta hela objektet, på gränsenheter som ska roteras och på hörnpriserna för att skala enhetligt.
Flytta
Rotera
Skalning
Icke-affordance-baserad manipulering
Användare pekar med handstrålar för att avslöja avgränsningsrutan och tillämpar sedan direkt manipulationsgester på den. Med en hand associeras översättningen och rotationen av objektet med rörelse och handorientering. Med två händer kan användarna översätta, skala och rotera den enligt relativa rörelser i två händer.
Instinktiva gester
Begreppet instinktiva gester för punkt och incheckning liknar det för direkt manipulering med händer. De gester som användarna gör på ett 3D-objekt styrs av utformningen av gränssnittstips. En liten kontrollpunkt kan till exempel motivera användare att nypa ihop med tummen och pekfingret, medan en användare kanske vill använda alla Fem fingrar för att ta tag i ett större objekt.
Litet objekt
Mellanmörkt objekt
Stort objekt
Symmetrisk design mellan händer och 6 DoF-styrenheter
Begreppet punkt och incheckning för långt interaktion skapades och definierades för Mixed Reality Portal (MRP). I det här scenariot bär en användare ett uppslukande headset och interagerar med 3D-objekt via rörelsestyrenheter. Rörelsekontrollanterna skjuter ut strålar för att peka och manipulera avlägsna föremål. Det finns knappar på kontrollanterna för att ytterligare utföra olika åtgärder. Vi tillämpar interaktionsmodellen för strålar och fäst dem på båda händerna. Med den här symmetriska designen behöver användare som är bekanta med MRP inte lära sig en annan interaktionsmodell för långt pekande och manipulering när de använder HoloLens 2 och tvärtom.
Styrenhetsstrålar
Handstrålar
Handstråle i MRTK (Mixed Reality Toolkit) för Unity
Som standard tillhandahåller MRTK en handstråleprefab (DefaultControllerPointer.prefab) som har samma visuella tillstånd som gränssnittets systemhandstråle. Den tilldelas i MRTK:s indataprofil under Pekare. I ett uppslukande headset används samma strålar för rörelsestyrenheterna.