Esperienze condivise nella realtà mista

Ologrammi non è necessario rimanere privati per un solo utente. Le app olografiche possono condividere ancoraggi nello spazio da un dispositivo HoloLens, iOS o Android a un altro, consentendo agli utenti di eseguire il rendering di un ologramma nello stesso posto nel mondo reale in più dispositivi.

Sei domande per definire scenari condivisi

Prima di iniziare a progettare per le esperienze condivise, è importante definire gli scenari di destinazione. Questi scenari consentono di chiarire cosa si sta progettando e stabilire un vocabolario comune per confrontare e confrontare le funzionalità necessarie nell'esperienza. Comprendere il problema principale e le diverse vie per le soluzioni è fondamentale per scoprire le opportunità intrinseche in questo nuovo mezzo.

Attraverso prototipi interni ed esplorazioni provenienti dalle nostre agenzie partner HoloLens, abbiamo creato sei domande che consentono di definire scenari condivisi. Queste domande costituiscono un framework, non destinato a essere esaustivo, per facilitare la distillazione degli attributi importanti degli scenari.

1. Come stanno condividendo?

Una presentazione può essere guidata da un singolo utente virtuale, mentre più utenti possono collaborare o un insegnante potrebbe fornire indicazioni agli studenti virtuali che lavorano con materiali virtuali: la complessità delle esperienze aumenta in base al livello di agenzia che un utente ha o può avere in uno scenario.

Man and women with holograph on table

Esistono molti modi per condividere, ma abbiamo scoperto che la maggior parte di esse rientra in tre categorie:

  • Presentazione: quando lo stesso contenuto viene visualizzato a più utenti. Ad esempio: un professore sta dando una lezione a più studenti usando lo stesso materiale olografico presentato a tutti. Il professore, tuttavia, potrebbe avere i suoi suggerimenti e note che potrebbero non essere visibili agli altri.
  • Collaborazione: quando le persone lavorano insieme per raggiungere alcuni obiettivi comuni. Ad esempio: il professore ha dato un progetto per imparare a fare un intervento cardiaco. Gli studenti si associano e creano un'esperienza di laboratorio di competenze condivisa, che consente agli studenti medici di collaborare sul modello cardiaco e imparare.
  • Indicazioni: quando una persona aiuta qualcuno a risolvere un problema in un'interazione di tipo uno-a-uno. Ad esempio: il professore fornisce indicazioni a uno studente quando esegue il laboratorio di competenze di chirurgia cardiaca nell'esperienza condivisa.

2. Qual è la dimensione del gruppo?

Le esperienze di condivisione uno-a-uno possono fornire una linea di base solida e idealmente è possibile creare prove di concetto a questo livello. Tuttavia, tenere presente che la condivisione con gruppi di grandi dimensioni (oltre sei persone) può portare a difficoltà sia tecniche (dati e reti) che sociali (l'impatto dell'essere in una stanza con diversi avatar). La complessità aumenta in modo esponenziale man mano che si passa da gruppi piccoli a grandi.

È stato rilevato che le esigenze dei gruppi possono rientrare in tre categorie di dimensioni:

  • 1:1
  • Piccolo < 7
  • Grande >= 7

La dimensione del gruppo fa per una domanda importante perché influenza:

  • Rappresentazioni di persone nello spazio olografico
  • Scala di oggetti
  • Scalabilità dell'ambiente

3. Dove sono tutti?

La forza della realtà mista entra in gioco quando un'esperienza condivisa può avvenire nella stessa posizione. Lo chiamiamo colocated. Al contrario, quando il gruppo viene distribuito e almeno un partecipante non si trova nello stesso spazio fisico (come accade spesso con la realtà virtuale) chiamiamo esperienza remota. Spesso, si tratta del caso in cui il gruppo disponga di partecipanti sia collegati che remoti (ad esempio, due gruppi in sale riunioni).

Three people with holograph on table

Le categorie seguenti consentono di comunicare dove si trovano gli utenti:

  • Percorso condiviso: tutti gli utenti si troveranno nello stesso spazio fisico.
  • Remoto: tutti gli utenti si troveranno in spazi fisici separati.
  • Entrambi: gli utenti saranno una combinazione di spazi remoti e con percorso condiviso.

Questa domanda è fondamentale perché influenza:

  • Come comunicano le persone?
    • Ad esempio: Se devono avere avatar?
  • Oggetti visualizzati. Tutti gli oggetti sono condivisi?
  • Se dobbiamo adattarci al loro ambiente?

4. Quando condividono?

Si pensa in genere a esperienze sincrone quando vengono a mente esperienze condivise: stiamo facendo tutto insieme. Tuttavia, se si include un singolo elemento virtuale aggiunto da un altro utente, è disponibile uno scenario asincrono . Imagine una nota o una nota vocale, lasciata in un ambiente virtuale. Come si gestiscono 100 note virtuali lasciate nel design? E se provenissero da decine di persone con diversi livelli di privacy?

Considerare le esperienze come una di queste categorie di tempo:

  • In modo sincrono: condivisione dell'esperienza olografica contemporaneamente. Ad esempio: due studenti che eseguono contemporaneamente il lab di competenze.
  • In modo asincrono: condivisione dell'esperienza olografica in momenti diversi. Ad esempio: due studenti che eseguono il lab di competenze, ma lavorano su sezioni separate in momenti diversi.
  • Entrambi: gli utenti a volte condivideranno in modo sincrono, ma altre volte in modo asincrono. Ad esempio: un professore che classifica l'assegnazione eseguita dagli studenti in un secondo momento e lascia note per gli studenti per il giorno successivo.

Questa domanda è importante perché influenza:

  • Persistenza di oggetti e ambienti. Ad esempio: archiviazione degli stati in modo che possano essere recuperati.
  • Prospettiva utente. Ad esempio: forse ricordare ciò che l'utente stava guardando quando lascia le note.

5. Quanto sono simili gli ambienti fisici?

La probabilità di due ambienti reali identici, al di fuori delle esperienze di condivisione, è sottile a meno che tali ambienti non siano stati progettati per essere identici. È più probabile che si disponga di ambienti simili . Ad esempio, le sale riunioni sono simili, in genere hanno un tavolo situato centralmente circondato da sedie. I salotti, d'altra parte, sono dissimili** e possono includere qualsiasi numero di mobili in una gamma infinita di layout.

Holograph on table

Prendere in considerazione le esperienze di condivisione che rientrano in una di queste due categorie:

  • Simile: gli ambienti che tendono ad avere mobili simili, luce ambientale e suono, dimensioni della stanza fisica. Ad esempio: il professore si trova nella sala conferenze A e gli studenti si trovano nella sala conferenze B. Lezione A potrebbero avere meno sedie rispetto a B, ma entrambi possono avere una scrivania fisica per posizionare gli ologrammi.
  • Dissimilar: ambienti diversi nelle impostazioni di arredamento, dimensioni della stanza, luce e considerazioni sonore. Ad esempio: un professore si trova in una sala messa a fuoco, ma gli studenti si trovano in una grande sala conferenze, piena di studenti e insegnanti.

È importante considerare l'ambiente, perché influirà:

  • Modalità di esperienza di questi oggetti da parte degli utenti. Ad esempio: se l'esperienza funziona meglio in una tabella e l'utente non ha una tabella? Oppure su una superficie piano piano ma l'utente ha uno spazio disordinato.
  • Scala degli oggetti. Ad esempio: l'inserimento di un modello umano di sei piedi su un tavolo potrebbe risultare difficile, ma un modello cardiaco funziona bene.

6. Quali dispositivi usano?

Oggi è spesso probabile che si vedano esperienze condivise tra due dispositivi immersive (questi dispositivi potrebbero differire leggermente per i pulsanti e la funzionalità relativa, ma non molto) o due dispositivi olografici in base alle soluzioni destinate a questi dispositivi. Tuttavia, valutare se i dispositivi 2D (partecipante o osservatore per dispositivi mobili/desktop) saranno una considerazione necessaria, soprattutto in situazioni di dispositivi 2D e 3D misti. Comprendere i tipi di dispositivi usati dai partecipanti è importante, non solo perché sono dotati di vincoli di fedeltà e opportunità diversi, ma perché gli utenti hanno aspettative uniche per ogni piattaforma.

Esplorazione del potenziale delle esperienze condivise

Le risposte alle domande precedenti possono essere combinate per comprendere meglio lo scenario condiviso, cristallizzando le sfide man mano che si espande l'esperienza. Per il team di Microsoft, questo ha contribuito a stabilire una roadmap per migliorare le esperienze usate oggi, comprendendo le sfumature di questi problemi complessi e come sfruttare le esperienze condivise nella realtà mista.

Si consideri, ad esempio, uno degli scenari di Skype dall'avvio HoloLens: un utente ha lavorato per correggere un interruttore di luce interrotto con l'aiuto di un esperto localizzato in remoto.

Fixing a light switch with assistance via Skype for HoloLens

Un esperto fornisce indicazioni 1:1 dal suo computer 2D, desktop, a un utente di un dispositivo di realtà mista 3D . Le linee guida sono sincrone e gli ambienti fisici sono diversi.

Un'esperienza come questa è un cambiamento di passo dalla nostra esperienza attuale, applicando il paradigma del video e della voce a un nuovo mezzo. Ma quando guardiamo al futuro, dobbiamo definire meglio l'opportunità dei nostri scenari e creare esperienze che riflettono la forza della realtà mista.

Prendere in considerazione lo strumento di collaborazione OnSight sviluppato dal Jet Propulsion Laboratory della NASA. Gli scienziati che lavorano sui dati delle missioni del rover Mars possono collaborare con i colleghi in tempo reale all'interno dei dati del panorama marziano.

Collaborating between colleagues separated remotely to plan work for the Mars Rover

Uno scienziato esplora un ambiente usando un dispositivo di realtà mista 3Dcon un piccolo gruppo di colleghi remoti che usano dispositivi 3D e 2D . La collaborazione è sincrona (ma può essere rivisitata in modo asincrono) e gli ambienti fisici sono (virtualmente) simili.

Esperienze come OnSight presentano nuove opportunità di collaborazione. Dal punto di vista fisico degli elementi nell'ambiente virtuale a stare accanto a un collega e condividere il loro punto di vista come spiegano i risultati. OnSight usa l'obiettivo di immersione e presenza per ripensare la condivisione di esperienze in realtà mista.

La collaborazione intuitiva è la roccia della conversazione, lavorando insieme e comprendendo come possiamo applicare questa intuizione alla complessità della realtà mista è fondamentale. Se non possiamo solo ricreare esperienze di condivisione in realtà mista, ma supercharge loro, sarà un cambio di paradigma per il futuro del lavoro. La progettazione di esperienze condivise in realtà mista è uno spazio nuovo ed emozionante, e siamo solo all'inizio.

Attività iniziali creare esperienze condivise

A seconda dell'applicazione e dello scenario, ci saranno diversi requisiti per ottenere l'esperienza desiderata. tra cui:

  • Match-making: possibilità di creare sessioni, pubblicizzare sessioni, individuare e invitare persone specifiche, sia in locale che in remoto per partecipare alla sessione.
  • Condivisione ancoraggio: possibilità di allineare le coordinate tra più dispositivi in uno spazio locale comune, quindi gli ologrammi vengono visualizzati nello stesso posto per tutte le persone.
  • Rete: possibilità di avere posizioni, interazioni e movimenti di persone e ologrammi sincronizzati in tempo reale tra tutti i partecipanti.
  • Archiviazione stato: possibilità di archiviare le caratteristiche e le posizioni dell'ologramma nello spazio per l'aggiunta a metà sessione, ricordare in un secondo momento e robustezza contro i problemi di rete.

La chiave per le esperienze condivise è avere più utenti che vedono gli stessi ologrammi nel mondo nel proprio dispositivo, spesso eseguiti condividendo ancoraggi per allineare le coordinate tra i dispositivi.

Per condividere ancoraggi, usare ancoraggi nello spazio di Azure:

  • Prima di tutto l'utente inserisce l'ologramma.
  • L'app crea un ancoraggio spaziale, per aggiungere l'ologramma esattamente nel mondo.
  • Gli ancoraggi possono essere condivisi ai dispositivi HoloLens, iOS e Android tramite Ancoraggi nello spazio di Azure.

Con un ancoraggio spaziale condiviso, l'app in ogni dispositivo ha ora un sistema di coordinate comune in cui possono inserire il contenuto. Ora l'app può assicurarsi di posizionare e orientare l'ologramma nella stessa posizione.

Nei dispositivi HoloLens è anche possibile condividere ancoraggi offline da un dispositivo a un altro. Usare i collegamenti seguenti per decidere cosa è meglio per l'applicazione.

Valutazione delle opzioni tecnologiche

Sono disponibili varie opzioni di servizio e tecnologia per creare esperienze di realtà mista multiutente. Può essere difficile scegliere un percorso, quindi prendere una prospettiva orientata allo scenario, alcune opzioni sono dettagliate di seguito.

Ologrammi statici condivisi (nessuna interazione)

Sfruttare ancoraggi nello spazio di Azure nell'app. L'abilitazione e la condivisione degli ancoraggi spaziali tra dispositivi consente di creare un'applicazione in cui gli utenti vedono gli ologrammi nello stesso luogo contemporaneamente. È necessaria una sincronizzazione aggiuntiva tra dispositivi per consentire agli utenti di interagire con gli ologrammi e visualizzare gli aggiornamenti dello stato o degli ologrammi.

Condividere la prospettiva della prima persona

Sfruttare il supporto Miracast predefinito per gli utenti locali quando si dispone di un ricevitore di Miracast supportato, ad esempio un PC o una TV. Non è necessario alcun codice dell'app aggiuntivo.

Esperienza collaborativa multiutente

Iniziare con l'esercitazione sull'apprendimento multiutente, che sfrutta ancoraggi nello spazio di Azure per gli utenti locali e Photon SDK per sincronizzare il contenuto/lo stato nella scena. Creare applicazioni collaborative in locale in cui ogni utente ha la propria prospettiva sugli ologrammi nella scena e può interagire completamente con gli ologrammi. Gli aggiornamenti vengono forniti in tutti i dispositivi e la gestione dei conflitti di interazione viene gestita da Photon.

Nota

Si noti che Photon è un prodotto non Microsoft, quindi una relazione di fatturazione con Photon può essere necessaria per il prodotto e la scalabilità per un utilizzo più elevato.

Lavoro futuro

Le funzionalità e le interfacce dei componenti consentono di fornire una coerenza comune e un supporto affidabile tra i vari scenari e le tecnologie sottostanti. Fino a quel punto, scegliere il percorso migliore che si allinea allo scenario che si sta tentando di ottenere nell'applicazione.

Scenario diverso o desiderio di usare un'altra tecnologia/servizio? Fornire commenti e suggerimenti come GitHub problemi nel repository corrispondente, nella parte inferiore di questa pagina o contattare HoloDevelopers slack.

Vedere anche