Case study - Rappresentare gli esseri umani nella realtà mista

James Turrell progetta con luce. Entrare nel suo lavoro offusca il senso di profondità e messa a fuoco. Le pareti sembrano sia vicine che infinite, la luminosità lascia spazio alle ombre. Percezioni sconosciute progettate bilanciando attentamente il colore e la diffusione della luce. Turrell descrive queste sensazioni come "sensazione con gli occhi", un modo per estendere la propria comprensione della realtà. I mondi fantastici, come quelli immaginati da Turrell, sono strumenti potenti per sfruttare i nostri sensi, non diversamente dagli ambienti immersivi della realtà mista di oggi.

Come si rappresentano ambienti reali complessi nella realtà mista?

Rappresentare il lavoro di Turrell in un'esperienza immersiva è una sfida interessante. Illuminazione, scalabilità e audio spaziale presentano opportunità per rappresentare il suo lavoro. Mentre l'ambiente geometrico della mostra richiederebbe una modellazione 3D relativamente semplice, sono secondari al focus dell'artista: l'impatto della luce sui sensi.

Il minimalismo surreale e rigido di Turrell è il segno distintivo del suo lavoro, ma cosa succede se vogliamo rappresentare una mostra con materiali più complessi nella realtà mista?

Nel 2013, l'artista Ai Weiwei ha presentato un'opera d'arte aggrovigliata con 886 sgabelli antichi alla Biennale di Venezia. Ogni sgabello in legno proveniva da un'epoca in cui l'artigianato cinese era molto apprezzato, dove questi sgabelli sarebbero stati tramandati tra generazioni. Gli sgabelli stessi – la complessità del legno, la precisione dei pezzi, la loro accurata collocazione – sono fondamentali per il commento di Ai sulla cultura moderna.

Gli sgabelli antichi consegnano il messaggio dell'artista attraverso la loro autenticità. La loro rappresentazione realistica è fondamentale per l'esperienza, creando una sfida tecnica: scolpire ognuno degli 886 sgabelli a mano sarebbe enormemente esaustivo e costoso. Quanto tempo ci vorrebbe per modellare e posizionare? Come si manterrà l'autenticità del materiale? Ricreare questi oggetti da zero diventa, per molti aspetti, un'interpretazione dell'opera d'arte stessa. Come puoi preservare l'intento dell'artista?

Metodi di acquisizione di asset di realtà mista

L'alternativa alla creazione di qualcosa da zero è l'acquisizione della cosa reale. Tramite un set sempre più avanzato di metodi di acquisizione, è possibile sviluppare rappresentazioni autentiche di ognuno dei tipi di asset principali presenti nella realtà mista (ambienti, oggetti e persone).

Le categorie più ampie vanno dal video 2D ben consolidato alle forme più recenti di video volumetrici. Nel caso della mostra di Ai Weiwei, la scansione (spesso definita con la sua tecnica fondamentale, la fotogrammetria) potrebbe essere utilizzata durante la creazione della mostra, scansionando ognuno degli sgabelli stessi. L'acquisizione di foto e video a 360° è un altro metodo per virtualizzare l'esperienza utilizzando una fotocamera omnidirezionale di alta qualità posizionata in tutta la mostra. Con queste tecniche, si inizia a capire il senso della scala, idealmente con dettagli sufficienti per vedere l'artigianato di ogni pezzo. Tutto questo mentre è esistente in una forma digitale che consente nuove prospettive e prospettive non possibili nella realtà.

Quali tipi di opportunità emergono quando non solo possiamo creare elementi fantastici, ma anche utilizzare le acquisizioni più realistiche di ambienti, oggetti e persone nella realtà mista? L'esplorazione della sovrapposizione tra questi metodi consente di illuminare la posizione in cui è diretto il mezzo.

Per ambienti e oggetti, il software di imaging a 360° sta evolvendo per includere elementi di fotogrammetria. Isolando le informazioni di profondità dalle scene, i video avanzati a 360° aiutano ad alleviare la sensazione di avere la testa bloccata in un fishbowl quando si guarda intorno a una scena virtuale.

Per le persone, stanno emergendo nuovi metodi che combinano ed estendono l'acquisizione e la scansione del movimento: Motion capture è stato fondamentale per portare un movimento umano dettagliato agli effetti visivi e ai personaggi cinematografici, mentre la scansione è avanzata per catturare oggetti visivi umani dettagliati come visi e mani. Con i progressi nella tecnologia di rendering, un nuovo metodo chiamato video volumetrico si basa su queste tecniche, combinando informazioni visive e di profondità, per creare la nuova generazione di acquisizioni umane 3D.

Video volumetrico e ricerca dell'autentica acquisizione umana

Gli esseri umani sono al centro della narrazione nel senso più letterale: un essere umano che parla, si esibisce o come soggetto della storia. Alcuni dei momenti più coinvolgenti e coinvolgenti delle prime esperienze immersive di oggi sono i social: condividere un'esperienza di realtà mista insieme nel tuo salotto, vedere i tuoi amici in ambienti incredibilmente nuovi. L'elemento umano rende anche la realtà più fantastica, una realtà.

Avatar in esperienze immersive consentono un nuovo tipo di realizzazione nella narrazione. Le app più recenti stanno ripensando al concetto di proprietà del corpo virtuale e configurando un salto generazionale nell'eliminare la distanza tra le persone. Aziende come Mindshow stanno sviluppando strumenti creativi che sfruttano avatar, consentendo agli utenti di assumere personaggi e personaggi completamente nuovi. Altri stanno esplorando metodi di espressione artistica, un'opportunità creativa potenzialmente illimitata per esplorare la natura (e la necessità) di attributi simili a umani. Oggi, questa assenza di realismo aiuta a evitare l'inquietante valle della somiglianza umana insieme a una serie di problemi tecnici per gli sviluppatori di tutti i giorni. Per questi motivi (e altro ancora) è probabile che gli avatar non realistici diventeranno l'impostazione predefinita per il prossimo futuro. Eppure, anche se il realismo rappresenta un'enorme sfida per la realtà mista, esistono scenari chiave che richiedono una rappresentazione autentica degli esseri umani nello spazio 3D.

In Microsoft, un piccolo team nato da Microsoft Research ha trascorso gli ultimi anni a sviluppare un metodo per catturare gli esseri umani attraverso una forma di video volumetrico. Il processo è oggi simile alla produzione video: invece di applicare il movimento a un asset scolpito, è una registrazione 3D completa. Le prestazioni e l'immagine vengono acquisite in tempo reale: non è opera di un artista, è una rappresentazione autentica. E mentre la tecnologia sta appena iniziando a espandersi in applicazioni commerciali, le implicazioni del video volumetrico sono fondamentali per la visione di Microsoft di More Personal Computing.

L'acquisizione umana autentica sblocca nuove categorie uniche di esperienze nella realtà mista. Vedere qualcuno che riconosci, che si tratti di una celebrità, un collega o una persona cara, crea una profondità di intimità mai prima possibile in un mezzo digitale. Il loro volto, le loro espressioni, la sfumatura dei loro movimenti fanno tutti parte di quello che sono. Quali opportunità si sbloccano quando possiamo acquisire queste qualità umane nello spazio 3D?

Oggi il team sta spingendo i limiti del video volumetrico concentrandosi su settori come l'intrattenimento e l'istruzione: Actiongram presenta personaggi creativi e celebrità per creare storie di realtà mista. Destinazione: mostra su Marte, ora al Kennedy Space Center della NASA, presenta un video volumetrico del leggendario astronauta Buzz Aldrin. L'esperienza consente ai visitatori di camminare sulla superficie di Marte con Buzz mentre introduce la ricerca della colonizzazione umana su Marte.

Gli esseri umani sono fondamentali per la realtà mista

La progettazione di modi per far sembrare questi video naturali rappresenta una sfida, ma in cui il team vede un enorme potenziale. E queste opportunità si espanderanno man mano che la tecnologia diventa più accessibile e passa dalle registrazioni all'acquisizione in tempo reale.

Holoportation è uno sforzo di ricerca che si basa sulla stessa tecnologia fondamentale, acquisendo autenticamente informazioni visive e approfondite e rendendo il risultato in tempo reale. Il team sta esplorando il significato della rappresentazione umana realistica per il futuro delle conversazioni e delle esperienze condivise. Cosa accade quando un'acquisizione tridimensionale di qualcuno, da qualsiasi parte del mondo, può essere aggiunta all'ambiente?

Dalla sovrapposizione di un nuovo livello di immersione su app quotidiane come Skype, alla rimodellazione radicale del concetto di riunioni digitali e viaggi d'affari, il video volumetrico apre scenari unici: uno specialista che pratica virtualmente la formazione di medici in un continente lontano o di amici digitali seduti sui divani e sulle sedie del tuo salotto. L'aggiunta di rappresentazioni umane autentiche alle esperienze di realtà mista rimodella radicalmente il concetto di riunioni digitali e viaggi di lavoro.

Proprio come l'arte astratta di James Turrell e il realismo critico di Ai Weiwei offrono le proprie sfide tecniche uniche, così fanno i metodi per rappresentare gli esseri umani come avatar creativi e acquisizioni realistiche. Non si può essere ignorati alla luce dell'altro ed esplorare il potenziale di ognuno ci aiuterà a comprendere l'interazione umana in questo nuovo spazio.

Informazioni sull'autore

Mark Vitazko Designer @Microsoft dell'esperienza utente