Ce cos'è la realtà mista?
La realtà mista è la prossima ondata di elaborazione che segue mainframe, PC e smartphone. La realtà mista sta andando mainstream per i consumatori e le aziende. Ci libera dalle esperienze associate allo schermo offrendo interazioni istintive con i dati nei nostri spazi di vita e con i nostri amici. Gli esploratori online, in centinaia di milioni di persone in tutto il mondo, hanno sperimentato la realtà mista attraverso i loro dispositivi palmari. Mobile AR offre oggi le soluzioni di realtà mista più mainstream sui social media. Persone potrebbero anche non rendersi conto che i filtri AR che usano su Instagram sono esperienze di realtà mista. Windows Mixed Reality porta tutte queste esperienze utente al livello successivo con straordinarie rappresentazioni olografiche di persone, modelli olografici 3D ad alta fedeltà e il mondo reale intorno a loro.
La realtà mista è una miscela di mondi fisici e digitali, sbloccando interazioni umane, computer e ambientali 3D naturali e intuitive. Questa nuova realtà si basa sui progressi della visione artificiale, dell'elaborazione grafica, delle tecnologie di visualizzazione, dei sistemi di input e del cloud computing. Il termine "realtà mista" è stato introdotto in un documento del 1994 di Paul Milgram e Fumio Kishino, "A Taxonomy of Mixed reality Visual Display". Il loro documento ha esaminato il concetto di continuum di virtualità e la tassonomia degli schermi visivi. Da allora, l'applicazione della realtà mista ha superato le visualizzazioni per includere:
- Comprensione ambientale: mapping spaziale e ancoraggi.
- Comprensione umana: tracciamento delle mani, tracciamento oculare e input vocale.
- Suono spaziale.
- Posizioni e posizionamento in spazi fisici e virtuali.
- Collaborazione su asset 3D in spazi di realtà mista.
Immagine: la realtà mista è il risultato della fusione del mondo fisico con il mondo digitale.
Input e percezione ambientali
Negli ultimi decenni, la relazione tra esseri umani e computer ha continuato a evolversi tramite metodi di input. È emersa una nuova disciplina nota come interazione tra computer umano o "HCI". L'input umano può ora includere tastiere, mouse, tocco, input penna, voce e tracciamento scheletrico kinect .
I progressi nei sensori e nella potenza di elaborazione creano nuove percezioni del computer degli ambienti basati su metodi di input avanzati. Ecco perché i nomi delle API in Windows che rivelano informazioni ambientali sono denominate API di percezione. Gli input ambientali possono acquisire:
- posizione del corpo di una persona nel mondo fisico (tracciamento della testa)
- oggetti, superfici e limiti (mapping spaziale e comprensione della scena)
- illuminazione ambientale e suono
- riconoscimento degli oggetti
- posizioni fisiche
Immagine: interazioni tra computer, persone e ambienti.
Una combinazione di tre elementi essenziali imposta la fase per la creazione di vere esperienze di realtà mista:
- Elaborazione di computer basata sul cloud
- Metodi di input avanzati
- Percezioni ambientali
Mentre passiamo attraverso il mondo fisico, i nostri movimenti sono mappati in una realtà digitale. I limiti fisici influiscono sulle esperienze di realtà mista, ad esempio giochi o linee guida basate su attività in un impianto di produzione. Con l'input ambientale e le percezioni, le esperienze iniziano a fondersi tra realtà fisiche e digitali.
Spettro della realtà mista
La realtà mista combina mondi fisici e digitali. Queste due realtà contrassegnano le estremità polari di uno spettro noto come continuum di virtualità. Si fa riferimento a questo spettro di realtà come spettro della realtà mista. In una parte dello spettro, abbiamo la realtà fisica che noi come esseri umani esistono. Dall'altra parte dello spettro, abbiamo la realtà digitale corrispondente.
Realtà aumentata e realtà virtuale
La maggior parte dei telefoni cellulari sul mercato oggi ha poco a nessuna capacità di percezione ambientale. Le esperienze offerte da questi telefoni non possono combinare realtà fisiche e digitali.
Le esperienze che sovrappongono grafica, flussi video o ologrammi nel mondo fisico sono chiamate realtà aumentata. Le esperienze che occludeno la visualizzazione per presentare un'esperienza digitale completamente immersiva sono la realtà virtuale. Le esperienze che possono passare tra realtà aumentata e virtuale formano realtà mista, dove è possibile:
- Posizionare un oggetto digitale, ad esempio un ologramma, nel mondo fisico come se fosse fisicamente presente.
- Essere personalmente e digitalmente presenti nel mondo fisico, sotto forma di avatar, per collaborare in modo asincrono con altri in momenti diversi.
Quando un utente è in realtà virtuale, gli ostacoli fisici nell'ambiente circostante, ad esempio pareti e mobili, sono rappresentati digitalmente all'interno dell'esperienza in modo che l'utente possa evitare di scontrarsi con tali ostacoli fisici.
Immagine: spettro della realtà mista
La maggior parte delle esperienze di realtà aumentata e realtà virtuale attualmente disponibili rappresenta un piccolo subset dello spettro di realtà mista più grande. Windows 10 è stato creato tenendo conto dell'intero spettro e consente di combinare rappresentazioni digitali di persone, luoghi e cose con il mondo reale.
Dispositivi ed esperienze
Esistono due tipi principali di dispositivi che offrono esperienze Windows Mixed Reality:
- I dispositivi olografici sono caratterizzati dalla capacità del dispositivo di visualizzare oggetti digitali come se fossero presenti nel mondo reale.
- I dispositivi VR immersive sono caratterizzati dalla capacità del dispositivo di creare un senso di presenza bloccando il mondo fisico e sostituendolo con un'esperienza digitale completamente immersiva.
| Caratteristica | Dispositivi olografici | Dispositivi immersive |
|---|---|---|
| Dispositivo di esempio | Microsoft HoloLens | Samsung HMD Odyssey+ |
| Schermo | Display trasparente. Consente all'utente di visualizzare l'ambiente fisico mentre indossa il visore VR. | Display opaco. Blocca la vista dell'ambiente fisico mentre si indossa il visore VR. |
| Movement | Movimento di sei gradi di libertà, con rotazione e traslazione. | Movimento di sei gradi di libertà, con rotazione e traslazione. |
Nota
Indipendentemente dal fatto che un dispositivo sia dotato di tethering in un PC separato (tramite cavo USB o Wi-Fi) o senza tethering non riflette se un dispositivo è olografico o immersivo. Le funzionalità che migliorano la mobilità spesso offrono esperienze migliori. I dispositivi olografici e immersive possono essere con tethering o senza tethering.
Le esperienze di realtà mista sono il risultato dei progressi tecnologici. Windows 10 fornisce una piattaforma di realtà mista comune sia per i produttori di dispositivi che per gli sviluppatori. Qualsiasi dispositivo specifico può attualmente supportare un intervallo specifico all'interno dello spettro della realtà mista. In futuro, sono previsti nuovi dispositivi con una gamma più ampia: i dispositivi olografici saranno più immersive e i dispositivi immersive saranno più olografici.
Immagine: posizione dei dispositivi nello spettro della realtà mista
In qualità di sviluppatore di applicazioni o giochi, quale tipo di esperienze si vuole creare? Le esperienze in genere indicano un punto o una parte specifica dello spettro. È necessario considerare le funzionalità dei dispositivi di destinazione. Le esperienze che si basano sul mondo fisico verranno eseguite in modo ottimale in HoloLens.
- Verso sinistra (in prossimità della realtà fisica). Gli utenti rimangono presenti nella loro realtà fisica e non sono fatti a credere di aver lasciato quella realtà.
- Al centro (realtà completamente mista). Queste esperienze fondono il mondo reale e il mondo digitale. Ad esempio, nel film Jumanji, la struttura fisica della casa in cui si è svolta la storia è stata mescolata con un ambiente della giungla.
- Verso destra (in prossimità della realtà digitale). Gli utenti sperimentano una realtà digitale e non sono consapevoli della realtà fisica intorno a loro.
Prossima stazione di scoperta
Sei all'inizio del viaggio di scoperta che abbiamo disposto per te e esplora le nozioni di base della realtà mista. Da qui è possibile continuare con l'argomento di base successivo: