Skapandet av Ford GT40-upplevelsen
"Pre-MRTK, utveckla för HoloLens 2 använda Unreal var lite omständlig eftersom alla rumsliga interaktioner måste kodas för hand, i C ++. MRTK för Unreal gjorde många av samma uppgifter triviala. Jag skulle uppskatta att det minskade den tid som krävs för den första prototypen på mitten." - Jose Rodriguez, programvaruutvecklare
"Ford GT40 Experience är ett bevis på att en hög återgivning HoloLens 2 app kan slutföras på bara några månader, med en blygsam budget, men ändå leverera mycket effektfulla resultat." - Daniel Cheetham, Chief Innovation Officer, Happy Finish
Med hjälp av Mixed Reality Toolkit (MRTK) för Unreal levererade det kreativa produktionsföretaget Happy Finish en HoloLens 2 upplevelse som ger ett nytt perspektiv på Ford GT40, den legendariska racerbilen som slog Ferrari på 24 Hours of Le Mans!
Med hjälp av en rad naturliga och intuitiva rumsliga interaktioner kan användarna utforska GT40:s skönhet, prestanda och teknik – allt levereras på ett sätt som utnyttjar den höga visuella återgivningen som tillhandahålls av Unreal Engine. Programvaruutveckling för hela projektet slutfördes av en enda utvecklare på mindre än tre månader, vilket möjliggjordes av MRTK för Unreals visuella skript- och designmiljö.
Ladda ned appen från Microsoft Store i HoloLens 2
Om du har HoloLens 2 enhet kan du ladda ned och installera appen direkt på enheten.
Frågan
Happy Finish är ett av världens ledande kreativa produktionsföretag, med en kundbas som inkluderar Ford, Microsoft, Nike, Netflix, Vodafone och andra hushållsnamn. Företaget fick sin start som en avancerad fotoretuscheringsbyrå, som förgrenade sig till film och CGI innan det utökade sitt engagemang för excellens inom uppslukande berättande med 3D spatial design och interaktion.
I mitten av 2020 kontaktade Microsoft Happy Finish för att skapa en demoapp som kan hjälpa dig att visa upp möjligheterna med den nya Mixed Reality Toolkit (MRTK) för Unreal, som bygger på stödet för HoloLens 2 i Unreal Engine. Vid denna tidpunkt hade företaget redan två framgångsrika Unreal-on-HoloLens 2 projekt under bältet. Båda var för ett globalt erkänt konsumentvarumärke, som valde Unreal på HoloLens 2 för ett internt R-&D/B2B-försäljningsverktyg för sin höga visuella återgivning, som krävs för att bäst visa upp kundens egna avancerade produkter.
Även om själva lösningen skulle lämnas upp till Happy Finish, var den tvungen att uppfylla några viktiga riktlinjer. Först var det tvunget att fokusera på ett företagsscenario för att illustrera nyttan av Unreal på HoloLens 2 utanför spelindustrin. För det andra måste det vara endast för enheter, vilket innebär att det kan fungera som en fristående demo – utan att kräva en nätverksanslutning och extern bearbetningskraft för att få målramhastigheter och visuell kvalitet. För det tredje bör det blanda de intuitiva interaktioner som stöds av MRTK till en sömlös och naturlig upplevelse. Slutligen bör den föreslagna lösningen visa den inneboende visuella återgivningen och andra fördelar med själva Unreal Engine, till exempel skuggningseffektivitet.
Med tanke på dessa riktlinjer började Happy Finish brainstorma möjligheterna och kom på idén till en mixad verklighetsupplevelse som använde rumslig interaktion för att kommunicera värdet av en varumärkesprodukt med högt värde. Efter att ha övervägt en rad objekt som inkluderade klockor, kameror, bilar och privatjetplan, bestämde Happy Finish slutligen på Ford GT40, en fordonslegend som uppnådde ryktbarhet 1966 när Ford slog Ferrari på 24 Hours of Le Mans - som visas i 2019 års blockbusterfilm Ford vs. Ferrari.
Efter att ha fått inköp från Ford, en befintlig Happy Finish-kund, gav sig företaget ut för att leverera ett nytt perspektiv på den klassiska fordonsikonen.
Lösningen
Arbetet inleddes den 7 maj 2020. Efter att ha hämtat GT40-modellfilerna tillbringade en 3D-konstnär tre veckor med att optimera polygonmodeller, UV-mappning, måla om texturkartor och kondensera dessa kartor till så få texturer som möjligt. En teknisk konstnär arbetade parallellt för att jämföra 3D-konstnärens utdata, fastställa optimala texturstorlekar givet målramhastigheter och ta reda på det bästa sättet att tillämpa anpassade skuggor i Unreal. Allt detta förproduktionsarbete utfördes för att optimera upplevelsen på enheten.
Creative Director Alex Lambert kom in i bilden efter att förproduktionsarbetet var klart. Han började med att titta på Ford mot Ferrari och tänkte på hur man väver ihop en berättelse kring scenarier och interaktioner. Han samlade också in visuella referenser för UI-artisten, till exempel bilder av GT40-instrumentpanelen och visuella objekt på Le Mans-racerbanan, och samlade in ljudinspelningar av GT40 i aktion för ljuddesignern.
Med de narrativa definierade och optimerade förproduktionstillgångarna i handen värvades frilansprogramutvecklaren Jose Rodriguez för att sammanföra allt. Rodriguez hade varit utvecklare på de två tidigare Unreal-on-HoloLens 2 projekt som Happy Finish hade gjort, innan MRTK för Unreal hade släppts.
Värdet från MRTK för Unreal blev tydligt tidigt och hjälpte Rodriguez att leverera en första prototyp på en vecka. Han implementerade tre unika scenarier, ett för var och en av de viktigaste aspekterna av GT40 som Lambert hade identifierat: dess skönhet, dess prestanda och dess teknik. För varje scenario använde Rodriguez MRTK för att integrera de optimerade 3D-tillgångarna från förproduktionsfasen i en rad rumsliga interaktioner.
Med MRTK för Unreal skapade Rodriguez varje scenario med hjälp av användargränssnittet för visuell Unreal Motion Graphics (UMG) Designer istället för att behöva implementera allt i C++. UX Tools for Unreal, plugin-programmet som innehåller UX-byggstenar och komponenter i MRTK, gav honom Unreal Blueprints för indatasimulering, visuellt skriptande handinteraktioner, tryckbara knappar, 3D-bildmanipulering, ytmagnetism med mera – allt inom en designmiljö utan kod, dra och släpp.
" Pre-MRTK, att utveckla för HoloLens 2 med Unreal var lite omständligt eftersom alla rumsliga interaktioner måste kodas för hand, i C++," säger Rodriguez. "MRTK för Unreal gjorde många av dessa uppgifter triviala. Jag skulle uppskatta att det minskade den tid som krävs för den första prototypen på mitten."
Med en prototyp i handen började teamet varje vecka iterationer för att förfina upplevelsen. "Det var då Mixed Reality Capture-funktionen och Windows-enhetsportalen blev till stor hjälp", minns Lambert. "Jag använde dem för att fånga mina designrecensioner, sända min feedback till andra och samarbeta om ändringar. Att arbeta isolerat på det viset hade varit omöjligt att göra utan sådana verktyg."
Eftersom Lambert begärde ändringar, till exempel ompositionering av gränssnittselement eller ändring av en knapps beteende, implementerade Rodriguez dem. Vissa av ändringarna krävde små kodjusteringar, men de flesta av dem hanterades i den visuella unreal-designern. – Jag blev förvånad över hur snabbt jag kunde iterera, säger Rodriguez. "Ingen tid slösades bort; Jag skulle göra en ändring i designern och sedan trycka på spela upp för att omedelbart visa den på enheten. MRTK effektiviserade verkligen mitt arbete."
Rodriguez minns också att han var imponerad av hur produktionsklar all utvecklingsverktyg var. – Vi gick smidigt från den första prototypen till slutproduktionen, utan att behöva komma tillbaka och genomföra om eller optimera saker i kod, säger han.
Den slutliga versionen
Happy Finish slutförde produktionen av Ford GT40 Experience for HoloLens 2 den 28 juli 2020, vilket ger ett nytt perspektiv på den legendariska racerbilen. Upplevelsen börjar med en välkomstskärm och vägleder sedan användaren att sätta upp ett ankare genom att ta tag i Ford-logotypen och placera den på en plan yta som ett bord eller skrivbord.
Skönhet
Skönhetssegmentet tar användaren till en GT40-konfigurerare, som visar GT40 på en roterande piedestal, liknande hur en fysisk bil kan visas på en bilutställning. Användaren kan använda olika hjulalternativ, välja mellan olika färgscheman och öppna och stänga dörrar och bagageutrymme (eller starta, som de kallar det i Storbritannien). Under hela skönhetsupplevelsen kan användaren plocka upp bilen och fritt manipulera den för en närmare titt.
Prestanda
Prestandasegmentet visar GT40:s hastighet och hållbarhet. Berättarrösten börjar med att beskriva hur bilen utvecklades och gick igenom sina steg på Fords Kingman, Arizona bevisgrunder, med 3D-visuella objekt som visar GT40 i rörelse på testbanan. När introduktionen till prestandasegmentet avslutas uppmanar voiceover användaren att "trycka på Le Mans-knappen för att trycka på racerbanan."
Den andra delen av prestandasegmentet visar GT40 under de förhållanden som förare kan uppleva vid Le Mans 24-timmar, som hålls årligen på Circuit de la Sarthe nära Le Mans, Frankrike. En 3D-vy visar bilen i rörelse på Le Mans-banan, med knappar som tillhandahålls för att få bilen att gå snabbare eller långsammare. Bilder av GT40:s analoga hastighetsmätare och tachometer flyter ovanför racerbanans vy, med mer racetelemetri som visas i bakgrunden. Användaren kan växla mellan dag- och nattvyer och mellan torra och våta körförhållanden, vilket ger ett realistiskt och verklighetstroget perspektiv på vad Ken Miles och de andra GT40-förarna upplevde i själva loppet.
Teknik
Det tekniska segmentet av Ford GT40 Experience visar en av de tekniska innovationer som hjälpte Ford att vinna loppet: förmågan att byta bromsrotorer och kuddar på mindre än en minut, jämfört med de 20-30 minuter som behövs av alla andra lag. Med intuitiva gester kan användaren manipulera en detaljerad 3D-modell av GT40-hjulet och bromsmonteringen. För att expandera sammansättningen plockar användaren upp en lugnyckel, justerar den mot mittlåset på hjulet, vrider den moturs och drar sedan bort den från hjulet. Andra gester används för att ta bort de slitna bromsrotorerna och kuddarna, ersätta dem med nya, komprimera sammansättningen och sätta tillbaka mittlåset. I bakgrunden visar en timer den förflutna tiden, så att användaren kan se om de kan slutföra processen lika snabbt som depåbesättningen på Le Mans.
Ford GT40 Experience kan laddas ned från Microsoft Store, vilket gör det möjligt för alla med en HoloLens 2 att utforska hur Happy Finish gav ett nytt perspektiv till den legendariska racerbilen.
Få imponerande visuell återgivning
Även om utbudet av rumsliga interaktioner som stöds av Ford GT40 Experience är imponerande på egen hand, är den kreativitet och visuell återgivning som upplevelsen ger det som verkligen får det att lysa. Genom optimeringen av 3D-modeller och användningen av Unreal-anpassade skuggor nådde Happy Finish sitt mål på 60 bildrutor per sekund, även om prestandasegmentet för appen närmar sig 315 000 polygoner i storlek.
"Jag är verkligen nöjd med hur vi kunde samla en uppsättning flytande, intuitiva interaktioner till en sammanhängande och engagerande berättelse", säger Lambert. "Det är uppenbart att kraften i Unreal Engine på HoloLens 2 öppnar upp en ny värld av möjligheter för mer överraskande och spännande upplevelser med mixad verklighet. Okompromenterad visuell återgivning är inte alltid slutmålet för företagsprogram på HoloLens 2, men när det är det blir stödet för Unreal på HoloLens 2 ovärderligt."
Snabb leverans av lösningar
Lika imponerande som slutanvändaren Ford GT40 Experience är hur snabbt Happy Finish levererade det, med hela projektet – från förproduktion till slutleverans – slutfört på knappt 12 veckor. Sammanfattningsvis förbrukade projektet 1088 timmars arbete, uppdelat på följande sätt: kreativ chef (80 timmar), UX-designer (56 timmar), UI-designer (40 timmar), ljuddesigner (40 timmar), 3D/teknisk konstnär (328 timmar), programvaruutvecklare (408 timmar), teknisk direktör (40 timmar), producent (56 timmar) och kvalitetssäkring (40 timmar).
"Sammantaget kom vi ganska nära våra ursprungliga projektuppskattningar", säger Daniel Cheetham, Chief Innovation Officer på Happy Finish, som leder företagets interaktiva division. "Ford GT40 Experience är ett bevis på att en hög återgivning HoloLens 2 app kan slutföras på bara några månader, med en blygsam budget, men ändå leverera mycket effektfulla resultat."
Ur ett utvecklingsperspektiv, baserat på hans tidigare erfarenhet av Unreal på HoloLens 2, uppskattar Rodriguez att MRTK för Unreal minskade den totala tid och ansträngning som krävdes från hans sida i hälften. Han noterar också hur MRTK kan hjälpa utvecklare som aldrig har arbetat med HoloLens 2 komma igång. "När andra utvecklare säger att de är intresserade av mixad verklighet uppmuntrar jag dem att bara hoppa in, installera HoloLens 2 utvecklingsstack och MRTK och gå för det. MRTK gör det snabbt och enkelt att skapa en app, och Det visuella Unreal-redigeraren fungerar så bra att du inte ens behöver en HoloLens 2 enhet för att komma igång. Det är inte alls komplicerat – allt fungerar bara."
Potentiella förbättringar av Azure-tjänsten
Lambert ser flera sätt som Azure Mixed Reality-tjänster kan användas för att förbättra Ford GT40 Experience, till exempel att använda Azure Spatial Anchors för att leverera en upplevelse för flera användare som är förankrad i den verkliga världen. " Ur ett kreativt perspektiv öppnar Azure Spatial Anchors upp ett helt nytt utbud av möjligheter genom den förmåga de tillhandahåller för att mappa, bevara och återställa 3D-innehåll eller intressanta platser i vår fysiska värld", säger han.
Lambert föreställer sig också hur antingen Azure Remote Rendering eller direktuppspelning av appen från Azure kan användas för att uppnå önskade bildfrekvenser samtidigt som du arbetar med mer detaljerade och komplexa 3D-modeller. "Vi var tvungna att implementera några mycket optimerade anpassade skuggor i Unreal för att nå vårt mål på 60 bildrutor per sekund", förklarar han. "Med Azure Remote Rendering kan vi göra mycket mer – och göra det mycket enklare, utan så mycket arbete som krävs för att optimera polygonmodeller, måla om texturkartor och så vidare."
Oändliga nya möjligheter
Så vad händer härnäst för Happy Finish? Fords feedback på Ford GT40-upplevelsen har varit överväldigande positiv, vilket har lett till ytterligare diskussioner mellan Happy Finish och Ford om framtida HoloLens 2 projekt. Utanför sin relation med Ford startar Happy Finish redan ett nytt projekt på HoloLens 2, där MRTK för Unreal kommer att vara en grundläggande byggsten för de flesta användarupplevelsen.
"Vi har alltid upprätthållit en teknikagnostisk strategi för varje nytt projekt och föreslagit vilken verktygsuppsättning som passar bäst för att hjälpa kunden att uppnå önskade resultat", säger Cheetham. "Som sagt, HoloLens 2 har vuxit fram som den de facto guldstandarden för mixad verklighet, särskilt i företaget, stående huvud och axlar framför alla andra alternativ när det gäller både enhetsfunktioner och genomgripande i det stödjande ekosystemet."
Enligt Cheetham har den globala pandemin underblåst ett enormt nytt intresse för uppslukande mixad verklighet bland potentiella kunder. " Vi är mer upptagna än någonsin, med cirka 50 procent av potentiella kunder som är öppna för att diskutera ett alternativ för mixad verklighet", säger han. " Nyckeln är att få folk att prova det. Du kan berätta för dem om mixad verklighet hela dagen, men när du ger dem en HoloLens 2 att uppleva för sig själva får de omedelbart hur det kan vara en game-changer. Stödet för Unreal Engine i HoloLens 2 ökar bara det värde vi kan erbjuda, vilket gör att vi kan leverera visuellt fantastiska upplevelser som säkert kommer att tillfredsställa även de mest krävande kunderna."
prova!
Läs vår introduktion till Mixed Reality utveckling på HoloLens 2 eller MRTK för Unreal på GitHub.