Die Herstellung der Ford GT40-Erfahrung
"Vor dem MRTK war die Entwicklung für HoloLens 2 mit Unreal etwas mühsam, da alle räumlichen Interaktionen in C++ von Hand codiert werden mussten. Das MRTK für Unreal machte viele dieser Aufgaben trivial. Ich würde schätzen, dass die Zeit, die für den ersten Prototyp erforderlich ist, halbieren." - Jose Rodriguez, Softwareentwickler
"Die Ford GT40 Experience ist der Beweis dafür, dass eine high-fidelity HoloLens 2 App in nur wenigen Monaten mit einem bescheidenen Budget fertiggestellt werden kann, aber dennoch äußerst wirkungsvolle Ergebnisse liefert." - Daniel Cheetham, Chief Innovation Officer, Happy Finish
Mit dem Mixed Reality Toolkit (MRTK) für Unreal lieferte das kreative Produktionsunternehmen Happy Finish eine HoloLens 2 Erfahrung, die eine neue Perspektive auf den Ford GT40 bietet, den legendären Rennwagen, der Ferrari bei den 24 Stunden von Le Mans schlug!
Mithilfe einer Reihe natürlicher und intuitiver räumlicher Interaktionen können Benutzer die Schönheit, Leistung und Technik des GT40 erkunden – alles auf eine Weise, die die hohe visuelle Genauigkeit der Unreal Engine. Die Softwareentwicklung für das gesamte Projekt wurde von einem einzelnen Entwickler in weniger als drei Monaten abgeschlossen, ermöglicht durch MRTK für die visuelle Skript- und Entwurfsumgebung von Unreal.
Herunterladen der App aus dem Microsoft Store in HoloLens 2
Wenn Sie über HoloLens 2 Gerät verfügen, können Sie die App direkt herunterladen und auf Ihrem Gerät installieren.
Die Frage
Happy Finish ist eines der weltweit führenden kreativen Produktionsunternehmen mit einem Kundenstamm, der Ford, Microsoft, Nike, Netflix, Vodafone und andere bekannte Namen umfasst. Das Unternehmen hat seinen Anfang als High-End-Foto-Retouch-Agentur, verzweigt sich in Film und CGI, bevor es sein Engagement auf Exzellenz im immersiven Geschichtenerzählen mit 3D-Raumdesign und Interaktion erweitert.
Mitte 2020 wandte sich Microsoft an Happy Finish, um eine Demo-App zu erstellen, mit der die Möglichkeiten des neuen Mixed Reality Toolkit (MRTK) für Unreal vorgestellt werden können, das auf der Unterstützung für HoloLens 2 im Unreal Engine aufbaut. Zu diesem Zeitpunkt hatte das Unternehmen bereits zwei erfolgreiche Unreal-on-HoloLens 2 Projekte in der Gürtellinie. Beide waren für eine weltweit anerkannte Verbrauchermarke, die Unreal auf HoloLens 2 für ein internes R&D/B2B-Vertriebstool für seine hohe visuelle Genauigkeit entschied, um die high-end-Produkte dieses Kunden optimal zu präsentieren.
Obwohl die Lösung selbst Happy Finish überlassen würde, musste sie einige wichtige Richtlinien erfüllen. Zunächst musste sie sich auf ein Unternehmensszenario konzentrieren, um den Nutzen von Unreal auf HoloLens 2 außerhalb der Spielebranche zu veranschaulichen. Zweitens musste es nur gerätegeschützt sein, was bedeutet, dass es als eigenständige Demo dienen konnte – ohne dass eine Netzwerkverbindung und externe Verarbeitungsleistung erforderlich sind, um die Zielbildfrequenzen und die visuelle Qualität zu erhalten. Drittens sollte die Palette der intuitiven Interaktionen, die vom MRTK unterstützt werden, zu einer nahtlosen und natürlichen Erfahrung kombiniert werden. Schließlich sollte die vorgeschlagene Lösung die inhärente visuelle Genauigkeit und andere Vorteile der Unreal Engine selbst, wie z. B. Shadereffizienzen, darstellen.
Angesichts dieser Richtlinien begann Happy Finish mit dem Brainstorming der Möglichkeiten und kam auf die Idee für eine Mixed Reality-Erfahrung, die räumliche Interaktion nutzte, um den Wert eines hochwertigen Markenprodukts zu kommunizieren. Nach einer Reihe von Objekten, die Uhren, Kameras, Autos und Privatjets umfassten, entschied sich Happy Finish letztendlich für den Ford GT40, eine Automobillegende, die 1966 Bekanntheit erlangte, als Ford Ferrari bei den 24 Stunden von Le Mans schlug – wie im Blockbuster-Film Ford vs. Ferrari aus dem Jahr 2019 gezeigt.
Nach dem Kauf von Ford, einem bestehenden Happy Finish-Kunden, wollte das Unternehmen eine neue Perspektive auf das klassische Automobilsymbol bieten.
Die Lösung
Die Arbeiten begannen am 7. Mai 2020. Nachdem er die GT40-Modelldateien erhalten hatte, verbrachte ein 3D-Künstler drei Wochen damit, Polygonmodelle zu optimieren, UV-Mappings zu optimieren, Texturkarten neu zu zeichnen und diese Karten in so wenige Texturen wie möglich zu verdichten. Ein technischer Künstler hat parallel gearbeitet, um die Ausgabe des 3D-Künstlers zu vergleichen, die optimalen Texturgrößen anhand der Zielbildraten zu bestimmen und die beste Methode zum Anwenden von benutzerdefinierten Shadern in Unreal zu finden. All diese Vorproduktionsarbeiten wurden durchgeführt, um die Erfahrung auf dem Gerät zu optimieren.
Creative Director Alex Lambert trat das Bild nach Abschluss der Vorproduktion an. Er begann mit ford vs. Ferrari und dachte darüber nach, wie man eine Erzählung über die Szenarien und Interaktionen miteinander weben kann. Er sammelte auch visuelle Referenzen für den UI-Künstler, wie Bilder der GT40 Dashboard und Visuals der Le Mans Rennstrecke, und sammelte Audioaufnahmen des GT40 in Aktion für den Sounddesigner.
Mit den narrativen definierten und optimierten Präproduktionsressourcen in der Hand, wurde der freiberufliche Softwareentwickler Jose Rodriguez verpflichtet, alles zusammenzubringen. Rodriguez war der Entwickler der vorherigen beiden Unreal-on-HoloLens 2 Projekte, die Happy Finish durchgeführt hatte, bevor das MRTK für Unreal veröffentlicht wurde.
Der Wert, der vom MRTK für Unreal bereitgestellt wurde, wurde früh deutlich, was Rodriguez half, einen ersten Prototyp in einer Woche zu liefern. Er implementierte drei einzigartige Szenarien, eines für jeden der Schlüsselaspekte des GT40, den Lambert identifiziert hatte: seine Schönheit, seine Leistung und seine Technik. Für jedes Szenario verwendete Rodriguez das MRTK, um die optimierten 3D-Ressourcen aus der Präproduktionsphase in eine Reihe räumlicher Interaktionen zu integrieren.
Mit dem MRTK für Unreal hat Rodriguez jedes Szenario mithilfe der visuellen Benutzeroberfläche von Unreal Motion Graphics (UMG) Designer erstellt, anstatt alles in C++ implementieren zu müssen. UX Tools for Unreal, das Plug-In mit UX-Bausteinen und -Komponenten im MRTK, gab ihm Unreal Blueprints für Eingabesimulationen, visuelle Skripterstellung für Handinteraktionen, druckbare Schaltflächen, 3D-Bildbearbeitung, Oberflächenmagnetismus und vieles mehr – alles in einer Designumgebung ohne Code, Drag-and-Drop.
"Vor dem MRTK war die Entwicklung für HoloLens 2 mit Unreal etwas mühsam, da alle räumlichen Interaktionen in C++ von Hand codiert werden mussten", sagt Rodriguez. "Das MRTK für Unreal machte viele dieser Aufgaben trivial. Ich würde schätzen, dass die Zeit, die für den ersten Prototyp erforderlich ist, halbieren."
Mit einem Prototyp in der Hand begann das Team mit wöchentlichen Iterationen, um die Erfahrung zu verfeinern. "Dies ist der Zeitpunkt, an dem das feature Mixed Reality Capture und das Windows-Geräteportal wirklich hilfreich wurden", erinnert sich Lambert. "Ich habe sie verwendet, um meine Designbewertungen zu erfassen, mein Feedback an andere zu senden und an Änderungen zusammenzuarbeiten. So isoliert zu arbeiten, wäre ohne solche Tools unmöglich gewesen."
Da Lambert Änderungen anforderte, z. B. das Neupositionieren von UI-Elementen oder das Ändern des Verhaltens einer Schaltfläche, implementierte Rodriguez diese. Während einige der Änderungen kleine Codeoptimierungen erforderten, wurden die meisten von ihnen im visuellen Designer von Unreal verarbeitet. "Ich war überrascht, wie schnell ich iterieren konnte", sagt Rodriguez. "Es wurde keine Zeit vergeudet; Ich würde eine Änderung im Designer vornehmen und dann die Wiedergabe drücken, um es sofort auf dem Gerät anzuzeigen. Das MRTK hat meine Arbeit wirklich optimiert."
Rodriguez erinnert sich auch daran, beeindruckt zu sein, wie produktionsbereit alle Entwicklungswerkzeuge waren. "Wir sind vom ersten Prototyp bis zur endgültigen Produktion reibungslos vorangekommen, ohne dass wir die Dinge im Code erneut implementieren oder optimieren mussten", sagt er.
Der endgültige Build
Happy Finish hat die Produktion der Ford GT40 Experience für HoloLens 2 am 28. Juli 2020 abgeschlossen und damit eine neue Perspektive auf den legendären Rennwagen erhalten. Die Benutzeroberfläche beginnt mit einem Willkommensbildschirm und führt den Benutzer dann dazu, einen Anker einzurichten, indem er das Ford-Logo greift und es auf einer flachen Oberfläche wie einem Tisch oder Desktop platziert.
Schönheit
Das Beauty-Segment bringt den Benutzer zu einem GT40-Konfigurator, der den GT40 auf einem rotierenden Podest zeigt, ähnlich wie ein physisches Auto auf einer Automobilmesse. Der Benutzer kann verschiedene Radoptionen anwenden, aus verschiedenen Farbschemas wählen und die Türen und den Kofferraum (oder den Kofferraum, wie es in Großbritannien genannt wird) öffnen und schließen. Während der gesamten Schönheitserfahrung kann der Benutzer das Auto aufnehmen und es für einen genaueren Blick frei manipulieren.
Leistung
Das Leistungssegment zeigt die Geschwindigkeit und Haltbarkeit des GT40. Der Voiceover beschreibt zunächst, wie das Auto entwickelt wurde und auf dem Testgelände von Ford es Kingman, Arizona, auf Herz und Nieren geprüft wurde, mit 3D-Visuals, die den GT40 in Bewegung auf der Teststrecke zeigen. Als die Einführung in das Leistungssegment endet, fordert das Voiceover den Benutzer auf, "Die Le Mans-Taste zu drücken, um die Rennstrecke zu erreichen."
Der zweite Teil des Leistungssegments zeigt den GT40 unter den Bedingungen, die Fahrer bei den 24 Stunden von Le Mans erleben können, die jährlich auf dem Circuit de la Sarthe in der Nähe von Le Mans, Frankreich, stattfinden. Eine 3D-Ansicht zeigt das Auto in Bewegung auf der Le Mans Strecke, mit Schaltflächen, die das Auto schneller oder langsamer machen. Bilder des analogen Geschwindigkeitsmessers und Tachometers des GT40 schweben über der Rennstreckenansicht, wobei mehr Renntelemetriedaten im Hintergrund angezeigt werden. Der Benutzer kann zwischen Tag- und Nachtansichten und zwischen trockenen und nassen Fahrbedingungen umschalten und bietet eine realistische und lebensechte Perspektive auf das, was Ken Miles und die anderen GT40-Fahrer im eigentlichen Rennen erlebt haben.
Entwicklung
Das Engineering-Segment der Ford GT40 Experience zeigt eine der technischen Innovationen, die Ford halfen, das Rennen zu gewinnen: die Fähigkeit, Bremsrotoren und -pads in weniger als einer Minute zu wechseln, im Vergleich zu den 20-30 Minuten, die von allen anderen Teams benötigt werden. Mit intuitiven Gesten kann der Benutzer ein detailliertes 3D-Modell des GT40-Rad- und Bremsenbaus bearbeiten. Um die Baugruppe zu erweitern, nimmt der Benutzer einen Schraubenschlüssel, richtet ihn an der Mittelsperre am Rad aus, dreht es gegen den Uhrzeigersinn und zieht ihn dann vom Rad weg. Andere Gesten werden verwendet, um die abgenutzten Bremsrotoren und -pads zu entfernen, sie durch neue zu ersetzen, die Montage zu reduzieren und die Mittelsperre wieder zu versichern. Im Hintergrund zeigt ein Timer die verstrichene Zeit an, sodass der Benutzer sehen kann, ob er den Prozess so schnell abschließen kann wie die Boxencrew in Le Mans.
Die Ford GT40 Experience kann aus dem Microsoft Store heruntergeladen werden, sodass jeder mit einem HoloLens 2 erkunden kann, wie Happy Finish dem legendären Rennwagen eine neue Perspektive brachte.
Erzielen von beeindruckender visueller Genauigkeit
Während die Bandbreite der räumlichen Interaktionen, die von der Ford GT40 Experience unterstützt werden, für sich allein beeindruckend ist, sind die Kreativität und visuelle Genauigkeit, die das Erlebnis bietet, was es wirklich zum Leuchten bringt. Durch die Optimierung von 3D-Modellen und die Verwendung von benutzerdefinierten Unreal-Shadern hat Happy Finish sein Ziel von 60 Frames pro Sekunde erreicht, selbst wenn das Leistungssegment der App 315.000 Polygone in der Größe annäherte.
"Ich bin wirklich glücklich, wie wir eine Reihe von flüssigen, intuitiven Interaktionen zu einer kohärenten und ansprechenden Erzählung zusammenführen konnten", sagt Lambert. "Klar, die Kraft der Unreal Engine auf HoloLens 2 eröffnet eine neue Welt der Möglichkeiten für überraschendere und spannendere Mixed Reality-Erfahrungen. Die uneingeschränkte Visuelle Genauigkeit ist nicht immer das Endziel für Unternehmensanwendungen auf HoloLens 2, aber wenn dies der Fall ist, wird die Unterstützung von Unreal auf HoloLens 2 von unschätzbarem Wert."
Schnelle Lösungsbereitstellung
So beeindruckend wie der Endbenutzer Ford GT40 Experience ist, wie schnell Happy Finish es geliefert hat, wobei das gesamte Projekt – von der Vorproduktion bis zur Endlieferung – in knapp 12 Wochen abgeschlossen wurde. Zusammenfassend hat das Projekt 1.088 Stunden Aufwand verbraucht, unterteilt wie folgt: Creative Director (80 Stunden), UX-Designer (56 Stunden), UI-Designer (40 Stunden), Sounddesigner (40 Stunden), 3D/Technical Artist (328 Stunden), Softwareentwickler (408 Stunden), technischer Direktor (40 Stunden), Producer (56 Stunden) und Qualitätssicherung (40 Stunden).
"Insgesamt sind wir unseren ursprünglichen Projektschätzungen ziemlich nahe gekommen", sagt Daniel Cheetham, Chief Innovation Officer bei Happy Finish, der den interaktiven Bereich des Unternehmens leitet. "Die Ford GT40 Experience ist der Beweis dafür, dass eine high-fidelity HoloLens 2 App in nur wenigen Monaten mit einem bescheidenen Budget fertiggestellt werden kann, aber dennoch äußerst wirkungsvolle Ergebnisse liefert."
Aus Entwicklungssicht schätzt Rodriguez, dass das MRTK für Unreal den Gesamtaufwand für unreal halbiert, basierend auf seinen bisherigen Erfahrungen mit Unreal am HoloLens 2. Er stellt auch fest, wie das MRTK Entwicklern, die noch nie mit HoloLens 2 gearbeitet haben, den Einstieg erleichtern kann. "Wenn andere Entwickler sagen, dass sie an Mixed Reality interessiert sind, ermutige ich sie, einfach einzuspringen, den HoloLens 2 Entwicklungsstapel und MRTK zu installieren und dafür zu gehen. Das MRTK macht das Erstellen einer App schnell und einfach, und der visuelle Editor von Unreal funktioniert so gut, dass Sie nicht einmal ein HoloLens 2 Gerät benötigen, um loszulegen. Es ist überhaupt nicht kompliziert – alles funktioniert einfach."
Potenzielle Azure-Diensterweiterungen
Lambert sieht mehrere Möglichkeiten, wie Azure Mixed Reality-Dienste verwendet werden können, um die Ford GT40-Erfahrung zu verbessern, z. B. die Verwendung von Azure Spatial Anchors, um eine in der realen Welt verankerte Mehrbenutzererfahrung bereitzustellen. "Aus einer kreativen Perspektive eröffnen Azure Spatial Anchors eine völlig neue Palette von Möglichkeiten, da sie 3D-Inhalte oder Points of Interest in unserer physischen Welt zuordnen, beibehalten und wiederherstellen können", sagt er.
Lambert stellt sich auch vor, wie entweder Azure Remote Rendering oder das Streaming der App aus Azure verwendet werden kann, um die gewünschten Bildfrequenzen zu erzielen, während sie mit detaillierteren und komplexeren 3D-Modellen arbeiten. "Wir mussten einige hochoptimierte benutzerdefinierte Shader in Unreal implementieren, um unser Ziel auf dem Gerät von 60 Bildern pro Sekunde zu erreichen", erklärt er. "Mit Azure Remote Rendering könnten wir viel mehr tun – und dies viel einfacher tun, ohne so viel Aufwand zum Optimieren von Polygonmodellen, zum Neumalen von Texturkarten usw.
Endlose neue Möglichkeiten
Was kommt also als Nächstes für Happy Finish? Das Feedback von Ford zur Ford GT40-Erfahrung war überwältigend positiv, was zu weiteren Diskussionen zwischen Happy Finish und Ford über zukünftige HoloLens 2 Projekte führte. Außerhalb der Beziehung zu Ford startet Happy Finish bereits ein neues Projekt auf HoloLens 2, wobei das MRTK für Unreal ein grundlegender Baustein für die meisten Benutzerfreundlichkeit sein wird.
"Wir haben immer einen technologieunabhängigen Ansatz für jedes neue Projekt beibehalten und jedes Tool-Set vorgeschlagen, das am besten geeignet ist, um dem Kunden zu helfen, die gewünschten Ergebnisse zu erzielen", sagt Cheetham. "Das heißt, HoloLens 2 hat sich zum de-facto-Goldstandard für Mixed Reality entwickelt, insbesondere im Unternehmen, und steht vor allen anderen Optionen in Bezug auf Gerätefunktionen und die Allgegenwärtigkeit des unterstützenden Ökosystems."
Laut Cheetham hat die globale Pandemie bei potenziellen Kunden ein immenses neues Interesse an immersiver Mixed Reality ausgelöst. "Wir sind beschäftigter als je zuvor, und etwa 50 Prozent der potenziellen Kunden sind offen für die Diskussion über eine Mixed Reality-Option", sagt er. "Der Schlüssel ist, die Leute dazu zu bringen, es auszuprobieren. Sie können ihnen den ganzen Tag über Mixed Reality erzählen, aber wenn Sie ihnen eine HoloLens 2 übergeben, die sie für sich selbst erleben können, bekommen sie sofort, wie es ein Game-Changer sein kann. Die Unterstützung für Unreal Engine in HoloLens 2 erhöht nur den Wert, den wir bieten können, sodass wir visuell beeindruckende Erfahrungen liefern können, die selbst die anspruchsvollsten Kunden zufrieden stellen werden."
Probier es aus!
Sehen Sie sich unsere Einführung in Mixed Reality-Entwicklung auf HoloLens 2 oder MRTK für Unreal auf GitHub an.