Modelli di interazione
Il Mixed Reality Toolkit permette di utilizzare input da una varietà di origini, come controller, mani articolate o voce. La scelta del modello di interazione più adatto per l'esperienza di realtà mista richiede di identificare l'utente e i relativi obiettivi e prendere in considerazione eventuali fattori situazioneali o ambientali che potrebbero influire sulla loro esperienza. In questa unità verranno illustrati i tre modelli di interazione principali per le esperienze di realtà mista e come simulare l'input in Unity.
Modelli di interazione
Esistono tre modelli di interazione principali che soddisfano la maggior parte delle esperienze di realtà mista.
| Modello | Scenari di esempio | Ambito d'uso |
|---|---|---|
| Mani e controller del movimento | Esperienze spaziali 3D, ad esempio progettazione e layout spaziali, manipolazione del contenuto o simulazione. | Ideale per i nuovi utenti in combinazione con la voce, il tracciamento oculare o lo sguardo fisso con la testa. Curva di apprendimento bassa. Esperienza utente coerente tra il tracciamento delle mani e i controller 6DoF. |
| Mani libere | Esperienze contestuali in cui le mani di un utente sono occupate, ad esempio manutenzione e apprendimento sul lavoro. | È necessario apprendere alcune nozioni. Se le mani non sono disponibili, il dispositivo funziona bene con la voce e il linguaggio naturale. |
| Sguardo fisso e commit | Esperienze click-through; ad esempio presentazioni 3D o demo. | Richiede l'addestramento sui dispositivi indossabili sulla testa, ma non sui dispositivi mobili. Ideale per i controller accessibili. |
Sebbene sia possibile combinare parti di più modelli di interazione nell'esperienza di realtà mista, tenere presente che questa operazione crea il rischio di conflitti tra gli input utente, ad esempio raggi della mano e un cursore dello sguardo con la testa simultanei. Ciò può confondere gli utenti.
Se l'esperienza richiede più modelli di interazione, tenere presente che molti utenti potrebbero riscontrare difficoltà durante la transizione da un modello a un altro, in particolare gli utenti che non hanno familiarità con la realtà mista.
Modello con mani e controller del movimento
Il modello con mani e controller del movimento richiede che gli utenti usino una o due mani per interagire con il mondo olografico. Questo modello rimuove il limite tra virtuale e fisico.
Ecco alcuni scenari specifici:
- Fornire agli Information Worker schermate virtuali 2D con inviti dell'interfaccia utente per visualizzare e controllare il contenuto
- Fornire al personale sul campo esercitazioni e guide per le catene di montaggio in fabbrica
- Sviluppare strumenti professionali per l'assistenza e la formazione per professionisti medici
- Usare oggetti virtuali 3D per decorare il mondo reale o per creare un altro mondo
- Creare servizi e giochi basati sulla posizione usando il mondo reale come sfondo
Per il modello con mani e controller del movimento sono disponibili tre modalità:
- Manipolazione diretta con le mani
- Puntamento e commit con le mani
- Controller del movimento
Modello a mani libere
Il modello a mani libere consente agli utenti di interagire con i contenuti olografici senza usare le mani. Questo approccio è preferibile usare se l'utente potrebbe dover usare le mani per raggiungere i propri obiettivi reali e avrà difficoltà a interagire con un'interfaccia basata su mani e controller.
Ecco alcuni scenari specifici:
- Farsi guidare nello svolgimento di un'attività mentre si hanno le mani occupate
- Fare riferimento a materiali mentre si hanno le mani occupate
- Affaticamento delle mani
- Guanti che non consentono il tracciamento
- Trasportare qualcosa con le mani
- Imbarazzo sociale di fare gesti di grandi mani
- Spazi ristretti
Esistono due modalità senza mani:
- Input vocale
- Sguardo fisso e attesa
Sguardo fisso e commit
Il modello di input di sguardo fisso e commit è strettamente correlato al modo in cui si interagisce con i computer usando un mouse per puntamento e clic. Il modello di sguardo fisso e commit è considerato un modello di input a distanza con manipolazione indiretta. È quindi preferibile usare il modello di sguardo fisso e commit quando si interagisce con un contenuto olografico fuori portata. Ci sono due tipi di input con sguardo fisso (con la testa e con gli occhi) e diverse azioni di commit.
Dopo che l'utente usa lo sguardo fisso per specificare come destinazione un oggetto o un elemento dell'interfaccia utente, l'utente può interagire con o selezionarlo usando un input secondario. Questo processo è noto come passaggio di commit del modello di input. I metodi di commit includono i comandi vocali, la pressione di un pulsante o un gesto con le mani.
Simulazione dell'input nell'editor di Unity
La simulazione di input all'interno dell'editor di Unity consente di testare il comportamento degli oggetti olografici quando si interagisce manualmente o utilizzando il movimento degli occhi.
Come spostarsi nella scena:
- Usare i tasti W/A/S/D per spostare la videocamera in avanti, a sinistra, indietro e a destra.
- Usare i tasti Q/E per spostare la fotocamera verticalmente.
- Premere e tenere premuto il pulsante destro del mouse per ruotare la telecamera.
Come simulare l'input con mani:
- Premere e tenere premuta la barra spaziatrice per abilitare la mano destra.
- Tenendo premuta la barra spaziatrice, spostare il mouse per spostare la mano.
- Usare la rotellina del mouse per regolare l'intensità per la mano.
- Fare clic sul pulsante sinistro del mouse per simulare un movimento di avvicinamento delle dita.
- Usare i tasti T/Y per rendere persistente la mano nella visualizzazione.
- Tenere premuto CTRL e spostare il mouse per ruotare la mano.
- Tenere premuto il tasto MAIUSC a sinistra per abilitare la mano sinistra.