La realizzazione dell'esperienza Ford GT40
"Pre-MRTK, lo sviluppo per HoloLens 2 l'uso di Unreal era un po'noioso perché tutte le interazioni spaziali dovevano essere codificate manualmente, in C++. MrTK per Unreal ha fatto molte di queste stesse attività semplici. Stimarei che il tempo necessario per il prototipo iniziale fosse ridotto a metà". - Jose Miguel, Sviluppatore di software
"L'esperienza Ford GT40 è la prova che un'app HoloLens 2 ad alta fedeltà può essere completata in pochi mesi, con un budget modesto, ma ancora offrire risultati estremamente interessati". - Daniel Cheetham, Chief Innovation Officer, Happy Finish
Utilizzando il Realtà mista Toolkit (MRTK) per Unreal, società di produzione creativa Happy Finish ha offerto un'esperienza HoloLens 2 che offre una nuova prospettiva sulla Ford GT40, la leggendaria auto da corsa che ha battuto Ferrari alle 24 Ore di Le Mans!
Usando una gamma di interazioni spaziali naturali e intuitive, gli utenti possono esplorare la bellezza, le prestazioni e l'ingegneria di GT40, tutto offerto in modo da sfruttare la massima fedeltà visiva fornita dal Unreal Engine. Lo sviluppo di software per l'intero progetto è stato completato da un singolo sviluppatore in meno di tre mesi, reso possibile da MRTK per lo scripting visivo e l'ambiente di progettazione di Unreal.
Scaricare l'app da Microsoft Store in HoloLens 2
Se hai HoloLens 2 dispositivo, puoi scaricare e installare direttamente l'app nel dispositivo.
La domanda
Happy Finish è una delle principali aziende di produzione creativa al mondo, con una base clienti che include, Ford, Microsoft, Nike, Netflix, Vodafone e altri nomi familiari. L'azienda ha iniziato come agenzia di fotoritocco di fascia alta, diramazione in film e CGI prima di estendere la sua dedizione all'eccellenza nella narrazione immersiva con design spaziale 3D e interazione.
A metà del 2020, Microsoft si è avvicinato a Happy Finish per produrre un'app demo che potrebbe aiutare a mostrare le possibilità abilitate dal nuovo Realtà mista Toolkit (MRTK) per Unreal, che si basa sul supporto per HoloLens 2 nel Unreal Engine. A questo punto, l'azienda aveva già due progetti unreal-on-HoloLens 2 di successo sotto la sua cintura. Entrambi erano per un marchio consumer riconosciuto a livello globale, che ha scelto Unreal su HoloLens 2 per un R interno&strumento di vendita D/B2B per la sua alta fedeltà visiva, come richiesto per presentare al meglio i propri prodotti di fascia alta del cliente.
Anche se la soluzione stessa sarebbe stata lasciata a Happy Finish, doveva soddisfare alcune linee guida chiave. In primo luogo, ha dovuto concentrarsi su uno scenario aziendale per illustrare l'utilità di Unreal su HoloLens 2 al di fuori del settore dei giochi. In secondo luogo, doveva essere solo dispositivo, ovvero potrebbe fungere da demo autonoma, senza richiedere una connessione di rete e una potenza di elaborazione esterna per ottenere la frequenza dei fotogrammi di destinazione e la qualità visiva. In terzo luogo, dovrebbe fondere la gamma di interazioni intuitive supportate da MRTK in un'esperienza semplice e naturale. Infine, la soluzione proposta dovrebbe presentare la fedeltà visiva intrinseca e altri vantaggi della Unreal Engine stessa, ad esempio le efficienze dello shader.
Data queste linee guida, Happy Finish ha iniziato a brainstormare le possibilità, arrivando all'idea di un'esperienza di realtà mista che ha usato l'interazione spaziale per comunicare la pena di un prodotto di marca e di valore elevato. Dopo aver preso in considerazione una gamma di oggetti che includevano orologi, telecamere, automobili e jet privati, Happy Finish ha deciso alla fine il Ford GT40, una leggenda automobilistica che ha raggiunto la fama nel 1966 quando Ford ha battuto Ferrari alle 24 Ore di Le Mans, come mostrato nel film di blocco Ford del 2019 Ford contro Ferrari.
Dopo aver ottenuto l'acquisto da Ford, un cliente Happy Finish esistente, l'azienda ha stabilito di offrire una nuova prospettiva sull'icona automobilistica classica.
Soluzione
Il lavoro è iniziato il 7 maggio 2020. Dopo aver ottenuto i file del modello GT40, un artista 3D ha trascorso tre settimane ottimizzando i modelli poligoni, il mapping UV, la riproduzione delle mappe delle trame e condensando tali mappe in un minor numero possibile di trame. Un artista tecnico ha lavorato in parallelo per confrontare l'output dell'artista 3D, determinare le dimensioni ottimali delle trame date le frequenze dei fotogrammi di destinazione e determinare il modo migliore per applicare shader personalizzati in Unreal. Tutto questo lavoro di preproduzione è stato fatto per ottimizzare l'esperienza sul dispositivo.
Il direttore creativo Alex Lambert entrò nell'immagine al termine del lavoro di preproduzione. Ha iniziato guardando Ford vs. Ferrari, pensando a come tessere insieme una narrazione intorno agli scenari e alle interazioni. Ha anche raccolto riferimenti visivi per l'artista dell'interfaccia utente, come immagini del dashboard GT40 e oggetti visivi della pista di Le Mans, e ha raccolto registrazioni audio del GT40 in azione per il sound designer.
Con la narrazione definita e ottimizzata asset di preproduzione in mano, lo sviluppatore di software freelance Jose Miguel è stato arruolato per riunire tutto. È stato lo sviluppatore dei due precedenti progetti Unreal-on-HoloLens 2 che Happy Finish aveva fatto, prima che il MRTK per Unreal fosse stato rilasciato.
Il valore fornito dal MRTK per Unreal è diventato evidente all'inizio, contribuendo a consegnare un prototipo iniziale in una settimana. Ha implementato tre scenari unici, uno per ognuno degli aspetti chiave del GT40 che Lambert aveva identificato: la sua bellezza, le sue prestazioni e la sua ingegneria. Per ogni scenario, Viene usato MrTK per integrare gli asset 3D ottimizzati dalla fase di preproduzione in una gamma di interazioni spaziali.
Con MRTK per Unreal, Storm ha creato ogni scenario usando l'interfaccia utente UMG (Visual Motion Graphics) Designer invece di dover implementare tutti gli elementi in C++. UX Tools for Unreal, il plug-in contenente componenti e blocchi predefiniti dell'esperienza utente all'interno di MRTK, gli ha dato Progetti Unreal per la simulazione di input, scriptando visivamente le interazioni con le mani, i pulsanti pressabili, la manipolazione delle immagini 3D, il magnetismo della superficie e altro ancora, tutto all'interno di un ambiente di progettazione senza codice, trascinamento della selezione.
"Pre-MRTK, lo sviluppo per HoloLens 2 l'uso di Unreal era un po'noioso perché tutte le interazioni spaziali dovevano essere codificate manualmente, in C++", afferma Directory. "MrTK per Unreal ha fatto molte di queste stesse attività semplici. Stimarei che il tempo necessario per il prototipo iniziale fosse ridotto a metà".
Con un prototipo in mano, il team ha iniziato le iterazioni settimanali per perfezionare l'esperienza. "Questo è quando la funzionalità di acquisizione Realtà mista e Windows Device Portal è diventata molto utile", ricorda Lambert. "Li ho usati per acquisire le mie recensioni di design, trasmettere il mio feedback ad altri e collaborare alle modifiche. Lavorare in isolamento come questo sarebbe stato impossibile fare senza tali strumenti".
Man mano che Lambert ha richiesto modifiche, ad esempio il riposizionamento degli elementi dell'interfaccia utente o la modifica del comportamento di un pulsante, Vengono implementate da Runtime. Sebbene alcune delle modifiche richiedano piccole modifiche al codice, la maggior parte di esse è stata gestita nella finestra di progettazione visiva Unreal. "Sono rimasto sorpreso di quanto avrei potuto eseguire l'iterazione", dice Rodriguez. "Nessun tempo sprecato; Farei una modifica nella finestra di progettazione e quindi premere play per visualizzarla immediatamente sul dispositivo. MrTK ha davvero semplificato il mio lavoro."
Viene inoltre ricordato come l'ambiente di produzione sia stato pronto per tutto lo sviluppo. "Siamo passati senza problemi dal prototipo iniziale alla produzione finale, senza dover tornare indietro e riabilitare o ottimizzare gli elementi nel codice", afferma.
Build finale
Happy Finish ha completato la produzione della Ford GT40 Experience per HoloLens 2 il 28 luglio 2020, offrendo una nuova prospettiva sulla leggendaria auto da corsa. L'esperienza inizia con una schermata iniziale, quindi guida l'utente a configurare un ancoraggio afferrando il logo Ford e posizionandolo su una superficie piatta come una tabella o un desktop.
Bellezza
Il segmento di bellezza porta l'utente a un configuratore GT40, che visualizza gt40 su un piedistallo rotante, simile a come un'auto fisica potrebbe essere visualizzata in una mostra automobilistica. L'utente può applicare diverse opzioni di ruota, scegliere tra combinazioni di colori diverse, e aprire e chiudere le porte e il tronco (o stivali, come lo chiamano nel Regno Unito). Durante l'esperienza di bellezza, l'utente può prendere la macchina e manipolarla liberamente per un aspetto più vicino.
Prestazioni
Il segmento prestazioni presenta la velocità e la durabilità di GT40. Il voiceover inizia descrivendo come l'auto è stata sviluppata e messo attraverso i suoi ritmi a Ford's Kingman, arizona prove, con oggetti visivi 3D che mostrano gt40 in movimento sulla pista di test. Come conclude l'introduzione al segmento di prestazioni, il voiceover chiede all'utente di premere il pulsante "Le Mans per colpire il circuito".
La seconda parte del segmento prestazioni presenta la GT40 sotto la gamma di condizioni che i piloti potrebbero sperimentare alle 24 Ore di Le Mans, che si tiene annualmente al Circuito de la Sarthe vicino a Le Mans, Francia. Una visualizzazione 3D mostra l'auto in movimento sulla pista di Le Mans, con pulsanti forniti per rendere l'auto più veloce o più lenta. Immagini del tachimetro analogico e del tachometro gt40 galleggiano sopra la visualizzazione del circuito, con più telemetria delle gare visualizzate in background. L'utente può alternare le viste giornaliere e notturne e tra condizioni di guida asciutte e bagnate, fornendo una prospettiva realistica e realistica di ciò che Ken Miles e gli altri piloti GT40 hanno sperimentato nella gara effettiva.
Engineering
Il segmento di ingegneria della Ford GT40 Experience presenta una delle innovazioni di ingegneria che hanno aiutato Ford a vincere la gara: la capacità di cambiare rotori e pad di freno in meno di un minuto, rispetto ai 20-30 minuti necessari per tutti gli altri team. Usando movimenti intuitivi, l'utente può modificare un modello 3D dettagliato della ruota GT40 e dell'assemblaggio del freno. Per espandere l'assemblaggio, l'utente preleva una chiave di spostamento, la allinea al blocco centrale sulla ruota, lo trasforma in senso antiorario, quindi lo tira via dalla ruota. Altri movimenti vengono usati per rimuovere i rotori e i cuscinetti del freno indossati, sostituirli con quelli nuovi, comprimere l'assemblaggio e bloccare il blocco centrale. In background, un timer visualizza il tempo trascorso, consentendo all'utente di verificare se è possibile completare il processo con la stessa rapidità dell'equipaggio del pit a Le Mans.
L'esperienza Ford GT40 può essere scaricata da Microsoft Store, consentendo a chiunque abbia un HoloLens 2 di esplorare come Happy Finish ha portato una nuova prospettiva alla leggendaria auto da corsa.
Ottenere una fedeltà visiva impressionante
Mentre la gamma di interazioni spaziali supportate da Ford GT40 Experience sono impressionanti autonomamente, la creatività e la fedeltà visiva che l'esperienza offre è ciò che lo rende davvero brillante. Grazie all'ottimizzazione dei modelli 3D e all'uso di shader personalizzati Unreal, Happy Finish ha raggiunto il suo obiettivo di 60 fotogrammi al secondo, anche con il segmento di prestazioni dell'app che si avvicina a 315.000 poligoni di dimensioni.
"Sono davvero felice di come siamo riusciti a riunire una serie di interazioni fluide e intuitive in una narrazione coerente e coinvolgente", afferma Lambert. "Chiaramente, il potere di Unreal Engine su HoloLens 2 apre un nuovo mondo di opportunità per esperienze di realtà mista più sorprendenti ed emozionanti. La fedeltà visiva non compromessa non è sempre l'obiettivo finale per le applicazioni aziendali su HoloLens 2, ma quando è, il supporto per Unreal su HoloLens 2 diventa prezioso".
Distribuzione rapida delle soluzioni
Come impressionante come l'utente finale Ford GT40 Experience è la velocità con cui Happy Finish lo ha consegnato, con l'intero progetto, dalla preproduzione alla consegna finale, completata in poco meno di 12 settimane. In sintesi, il progetto ha utilizzato 1088 ore di lavoro, suddiviso come segue: direttore creativo (80 ore), designer dell'esperienza utente (56 ore), ui designer (40 ore), sound designer (40 ore), 3D/artista tecnico (328 ore), sviluppatore software (408 ore), direttore tecnico (40 ore), produttore (56 ore) e garanzia di qualità (40 ore).
"Nel complesso, siamo arrivati abbastanza vicini alle nostre stime originali del progetto", afferma Daniel Cheetham, Chief Innovation Officer presso Happy Finish, che dirige la divisione interattiva dell'azienda. "L'esperienza Ford GT40 è la prova che un'app HoloLens 2 ad alta fedeltà può essere completata in pochi mesi, con un budget modesto, ma ancora offrire risultati estremamente interessati".
Dal punto di vista dello sviluppo, sulla base della sua precedente esperienza con Unreal su HoloLens 2, Viene stimato che il MRTK per Unreal ha tagliato il tempo totale e lo sforzo richiesto da parte sua in metà. Nota anche come MRTK può aiutare gli sviluppatori che non hanno mai lavorato con HoloLens 2 iniziare. "Quando altri sviluppatori dicono di essere interessati alla realtà mista, li invito a saltare, installare lo stack di sviluppo HoloLens 2 e MRTK e andare per questo. MRTK semplifica la creazione di un'app e l'editor di oggetti visivi Unreal funziona così bene che non è necessario nemmeno un dispositivo HoloLens 2 per iniziare. Non è affatto complicato, tutto funziona.
Potenziali miglioramenti dei servizi di Azure
Lambert vede diversi modi in cui è possibile usare i servizi di realtà mista di Azure per migliorare l'esperienza Ford GT40, ad esempio l'uso di Ancoraggi nello spazio di Azure per offrire un'esperienza multiutente ancorata nel mondo reale. "Dal punto di vista creativo, Ancoraggi nello spazio di Azure apre una gamma completamente nuova di possibilità grazie alla capacità di mappare, rendere persistente e ripristinare contenuti 3D o punti di interesse all'interno del nostro mondo fisico", afferma.
Lambert prevede anche come usare Azure Rendering remoto o trasmettere l'app da Azure per ottenere le frequenze di fotogrammi desiderate usando modelli 3D più dettagliati e complessi. "Abbiamo dovuto implementare alcuni shader personalizzati altamente ottimizzati in Unreal per raggiungere la destinazione sul dispositivo di 60 fotogrammi al secondo", spiega. "Con Azure Rendering remoto, potremmo fare molto di più e farlo molto più facilmente, senza il lavoro necessario per ottimizzare i modelli poligoni, riintare le mappe delle trame e così via".
Infinite nuove possibilità
Allora, cosa c'è di seguito per Happy Finish? Il feedback di Ford sull'esperienza Ford GT40 è stato estremamente positivo, portando a ulteriori discussioni tra Happy Finish e Ford su progetti futuri HoloLens 2. Al di fuori della relazione con Ford, Happy Finish sta già avviando un nuovo progetto su HoloLens 2, dove MRTK per Unreal sarà un blocco predefinito fondamentale per la maggior parte dell'esperienza utente.
"Abbiamo sempre mantenuto un approccio indipendente dalla tecnologia per ogni nuovo progetto, proporre qualsiasi set di strumenti sia più adatto per aiutare il cliente a raggiungere i risultati desiderati", afferma Cheetham. "Detto questo, HoloLens 2 è emerso come standard d'oro de facto per la realtà mista, in particolare nell'azienda, testa e spalle in piedi soprattutto in tutte le altre opzioni in termini di capacità del dispositivo e la diffusione dell'ecosistema di supporto".
Secondo Cheetham, la pandemia globale ha alimentato un enorme interesse per la realtà mista immersiva tra i potenziali clienti. "Siamo più trafficati che mai, con circa il 50% dei potenziali clienti aperti a discutere di un'opzione di realtà mista", afferma. "La chiave è quella di far provare la gente. Puoi raccontargli la realtà mista tutto il giorno, ma quando li mano un HoloLens 2 per sperimentare per se stessi, ottengono immediatamente come può essere un gioco-cambiamento. Il supporto per Unreal Engine in HoloLens 2 aumenta solo il valore che possiamo offrire, consentendoci di offrire esperienze visivamente straordinarie che sono sicuri di soddisfare anche i clienti più esigenti."
Verifica
Vedere l'introduzione allo sviluppo di Realtà mista su HoloLens 2 o MRTK per Unreal su GitHub.