La fabrication de l’expérience Ford GT40
« Avant MRTK, le développement pour HoloLens 2 à l’aide d’Unreal était un peu fastidieux, car toutes les interactions spatiales devaient être codées manuellement, en C++. Le MRTK pour Unreal a rendu beaucoup de ces mêmes tâches triviales. J’estime qu’il a réduit de moitié le temps nécessaire pour le prototype initial. - Jose Rodriguez, développeur logiciel
« L’expérience Ford GT40 est la preuve qu’une application HoloLens 2 haute fidélité peut être réalisée en quelques mois, avec un budget modeste, tout en offrant des résultats très percutants. » - Daniel Cheetham, directeur de l’innovation, Happy Finish
En utilisant le Mixed Reality Toolkit (MRTK) pour Unreal, la société de production créative Happy Finish a offert une expérience HoloLens 2 qui offre une nouvelle perspective sur la Ford GT40, la voiture de course légendaire qui a battu Ferrari aux 24 Heures du Mans !
À l’aide d’une gamme d’interactions spatiales naturelles et intuitives, les utilisateurs peuvent explorer la beauté, les performances et l’ingénierie du GT40, le tout fourni de manière à tirer parti de la haute fidélité visuelle fournie par le Unreal Engine. Le développement logiciel pour l’ensemble du projet a été réalisé par un seul développeur en moins de trois mois, rendu possible par MRTK pour l’environnement de création et de script visuel d’Unreal.
Télécharger l’application à partir du Microsoft Store dans HoloLens 2
Si vous avez HoloLens 2 appareil, vous pouvez télécharger et installer directement l’application sur votre appareil.
La demande
Happy Finish est l’une des principales sociétés de production créative au monde, avec une base de clients qui comprend, Ford, Microsoft, Nike, Netflix, Vodafone, et d’autres noms familiers. L’entreprise a commencé en tant qu’agence de retouche photo haut de gamme, s’est étendue au cinéma et à CGI avant d’étendre son dévouement à l’excellence dans la narration immersive avec la conception spatiale 3D et l’interaction.
Mi-2020, Microsoft a approché Happy Finish pour produire une application de démonstration qui pourrait vous aider à présenter les possibilités offertes par le nouveau Mixed Reality Toolkit (MRTK) pour Unreal, qui s’appuie sur la prise en charge de HoloLens 2 dans le Unreal Engine. À ce stade, l’entreprise avait déjà deux projets Unreal-on-HoloLens 2 réussis à son actif. Les deux étaient pour une marque de consommation mondialement reconnue, qui a choisi Unreal sur HoloLens 2 pour un outil de vente interne R&D/B2B pour sa haute fidélité visuelle, comme requis pour présenter au mieux les propres produits haut de gamme de ce client.
Bien que la solution elle-même soit laissée à Happy Finish, elle a dû respecter quelques directives clés. Tout d’abord, elle devait se concentrer sur un scénario d’entreprise pour illustrer l’utilité d’Unreal sur HoloLens 2 en dehors de l’industrie du jeu. Deuxièmement, il devait être uniquement appareil, ce qui signifie qu’il pouvait servir de démonstration autonome, sans nécessiter de connexion réseau et de puissance de traitement externe pour obtenir les fréquences d’images et la qualité visuelle cibles. Troisièmement, il doit fusionner la gamme d’interactions intuitives prises en charge par le MRTK dans une expérience fluide et naturelle. Enfin, la solution proposée doit présenter la fidélité visuelle inhérente et d’autres avantages du Unreal Engine lui-même, tels que l’efficacité des nuanceurs.
Compte tenu de ces directives, Happy Finish a commencé à réfléchir aux possibilités, en montrant l’idée d’une expérience de réalité mixte qui utilisait l’interaction spatiale pour communiquer la valeur d’un produit de marque de grande valeur. Après avoir examiné une gamme d’objets comprenant des montres, des caméras, des voitures et des jets privés, Happy Finish a finalement choisi la Ford GT40, une légende automobile qui a atteint une notoriété en 1966 lorsque Ford a battu Ferrari aux 24 Heures du Mans – comme le montre le film à succès 2019 Ford vs Ferrari.
Après avoir obtenu le rachat de Ford, un client Happy Finish existant, l’entreprise a décidé de fournir une nouvelle perspective sur l’icône automobile classique.
La solution
Les travaux ont commencé le 7 mai 2020. Après avoir obtenu les fichiers de modèle GT40, un artiste 3D a passé trois semaines à optimiser les modèles de polygones, le mappage UV, à repeindre les cartes de textures et à condenser ces cartes en aussi peu de textures que possible. Un artiste technique a travaillé en parallèle pour évaluer la sortie de l’artiste 3D, déterminer les tailles de texture optimales en fonction des fréquences d’images cibles et trouver la meilleure façon d’appliquer des nuanceurs personnalisés dans Unreal. Tout ce travail de préproduction a été effectué pour optimiser l’expérience sur l’appareil.
Le directeur de la création Alex Lambert est entré dans le tableau une fois le travail de préproduction terminé. Il a commencé par regarder Ford vs Ferrari, réfléchissant à la façon de tisser ensemble un récit autour des scénarios et des interactions. Il a également collecté des références visuelles pour l’artiste de l’interface utilisateur, telles que des images du tableau de bord GT40 et des visuels de l’hippodrome du Mans, et a collecté des enregistrements audio de la GT40 en action pour le concepteur sonore.
Avec la narration définie et optimisée des ressources de préproduction en main, le développeur de logiciels indépendant Jose Rodriguez a été enrôlé pour rassembler tout cela. Rodriguez avait été le développeur des deux précédents projets Unreal-on-HoloLens 2 que Happy Finish avait fait, avant la sortie du MRTK pour Unreal.
La valeur fournie par le MRTK pour Unreal est devenue évidente dès le début, aidant Rodriguez à livrer un prototype initial en une semaine. Il a mis en œuvre trois scénarios uniques, un pour chacun des aspects clés de la GT40 que Lambert avait identifiés : sa beauté, ses performances et son ingénierie. Pour chaque scénario, Rodriguez a utilisé le MRTK pour intégrer les ressources 3D optimisées de la phase de préproduction dans une gamme d’interactions spatiales.
Avec MRTK pour Unreal, Rodriguez a créé chaque scénario à l’aide de l’interface utilisateur UMG (Visual Unreal Motion Graphics) Designer au lieu d’avoir à tout implémenter en C++. Les outils d’expérience utilisateur pour Unreal, le plug-in contenant des blocs de construction et des composants d’expérience utilisateur au sein du MRTK, lui ont donné des blueprints Unreal pour la simulation d’entrée, l’écriture de scripts visuels, les interactions manuelles, les boutons pressables, la manipulation d’images 3D, le magnétisme de surface, et bien plus encore, le tout dans un environnement de conception sans code, glisser-déplacer.
« Avant MRTK, le développement pour HoloLens 2 à l’aide d’Unreal a été un peu fastidieux, car toutes les interactions spatiales devaient être codées manuellement, en C++ », explique Rodriguez. « Le MRTK pour Unreal a rendu beaucoup de ces mêmes tâches triviales. J’estime qu’il a réduit de moitié le temps nécessaire pour le prototype initial.
Avec un prototype en main, l’équipe a commencé des itérations hebdomadaires pour affiner l’expérience. « C’est à ce moment-là que la fonctionnalité de capture Mixed Reality et le portail d’appareil Windows sont devenus vraiment utiles », se souvient Lambert. « Je les ai utilisés pour capturer mes avis de conception, diffuser mes commentaires aux autres et collaborer sur les modifications. Il aurait été impossible de travailler de manière isolée sans ces outils.
Lorsque Lambert a demandé des modifications, telles que le repositionnement d’éléments d’interface utilisateur ou la modification du comportement d’un bouton, Rodriguez les a implémentées. Bien que certaines modifications nécessitaient de petits ajustements de code, la plupart d’entre elles ont été gérées dans le concepteur visuel Unreal. « J’ai été surpris de la vitesse à laquelle j’ai pu itérer, dit Rodriguez. « Aucun temps n’a été perdu ; J’apporterais une modification dans le concepteur, puis j’appuyais sur play pour l’afficher immédiatement sur l’appareil. Le MRTK a vraiment simplifié mon travail.
Rodriguez se souvient également avoir été impressionné par la façon dont tous les outils de développement étaient prêts pour la production. « Nous avons progressé sans problème du prototype initial jusqu’à la production finale, sans avoir à revenir et à réimplémenter ou à optimiser des éléments dans le code », explique-t-il.
La build finale
Happy Finish a terminé la production de la Ford GT40 Experience pour HoloLens 2 le 28 juillet 2020, offrant une nouvelle perspective sur la voiture de course légendaire. L’expérience commence par un écran d’accueil, puis guide l’utilisateur pour configurer une ancre en saisissant le logo Ford et en le plaçant sur une surface plane, comme une table ou un bureau.
Beauté
Le segment beauté amène l’utilisateur à un configurateur GT40, qui affiche la GT40 sur un piédestal tournant, comme une voiture physique peut être affichée à un salon automobile. L’utilisateur peut appliquer différentes options de roue, choisir parmi différentes couleurs, et ouvrir et fermer les portes et le coffre (ou le coffre, comme ils l’appellent au Royaume-Uni). Tout au long de l’expérience beauté, l’utilisateur peut prendre la voiture et la manipuler librement pour un regard de plus près.
Performances
Le segment de performances présente la vitesse et la durabilité de la GT40. La voix off commence par décrire la façon dont la voiture a été développée et mise à travers son rythme au terrain d’essai de Ford Kingman, Arizona, avec des visuels 3D montrant la GT40 en mouvement sur la piste d’essai. À la fin de l’introduction au segment de performance, la voix off invite l’utilisateur à « Appuyer sur le bouton Le Mans pour atteindre la piste de course ».
La deuxième partie du segment de performance présente la GT40 sous la gamme des conditions que les pilotes peuvent rencontrer aux 24 Heures du Mans, qui se tiennent chaque année au Circuit de la Sarthe près du Mans, en France. Une vue en 3D montre la voiture en mouvement sur la piste du Mans, avec des boutons fournis pour rendre la voiture plus rapide ou plus lente. Les images du compteur de vitesse et du tachymètre analogiques de la GT40 flottent au-dessus de la vue de l’hippodrome, avec des données de télémétrie de course supplémentaires affichées en arrière-plan. L’utilisateur peut basculer entre les vues de jour et de nuit et entre les conditions de conduite sèches et humides, offrant une perspective réaliste et réaliste de ce que Ken Miles et les autres pilotes GT40 ont vécu dans la course réelle.
Ingénierie
Le segment ingénierie de la Ford GT40 Experience présente l’une des innovations d’ingénierie qui a aidé Ford à gagner la course : la possibilité de changer les rotors et les coussinets de frein en moins d’une minute, par rapport aux 20-30 minutes nécessaires à toutes les autres équipes. À l’aide de mouvements intuitifs, l’utilisateur peut manipuler un modèle 3D détaillé de la roue et de l’ensemble de freins GT40. Pour développer l’assembly, l’utilisateur récupère une clé à lug, l’aligne sur la serrure centrale de la roue, la tourne dans le sens inverse des aiguilles d’une montre, puis l’éloigne de la roue. D’autres mouvements sont utilisés pour retirer les rotors de frein usés et les coussinets, les remplacer par de nouveaux, réduire l’assemblage et ressécuriser le verrou central. En arrière-plan, un minuteur affiche le temps écoulé, permettant à l’utilisateur de voir s’il peut effectuer le processus aussi rapidement que l’équipage du Mans.
L’expérience Ford GT40 peut être téléchargée à partir du Microsoft Store, ce qui permet à toute personne disposant d’un HoloLens 2 d’explorer comment Happy Finish a apporté une perspective nouvelle à la voiture de course légendaire.
Obtenir une fidélité visuelle impressionnante
Bien que la gamme d’interactions spatiales prises en charge par la Ford GT40 Experience soit impressionnante à elle seule, la créativité et la fidélité visuelle de l’expérience sont ce qui la fait vraiment briller. Grâce à son optimisation des modèles 3D et à l’utilisation de nuanceurs personnalisés Unreal, Happy Finish a atteint son objectif de 60 images par seconde, même avec le segment de performances de l’application approchant les 315 000 polygones.
« Je suis vraiment heureux de la façon dont nous avons pu rassembler un ensemble d’interactions fluides et intuitives dans un récit cohérent et attrayant , dit Lambert. « De toute évidence, la puissance de Unreal Engine sur HoloLens 2 ouvre un nouveau monde de possibilités pour des expériences de réalité mixte plus surprenantes et passionnantes. La fidélité visuelle sans compromis n’est pas toujours l’objectif final des applications d’entreprise sur HoloLens 2, mais quand c’est le cas, la prise en charge d’Unreal sur HoloLens 2 devient inestimable.
Livraison rapide de solutions
L’expérience Ford GT40 de l’utilisateur final est aussi impressionnante que la rapidité avec laquelle Happy Finish l’a livré, avec l’ensemble du projet( de la préproduction à la livraison finale) terminé en un peu moins de 12 semaines. En résumé, le projet a consommé 1 088 heures d’effort, répartis comme suit : directeur créatif (80 heures), concepteur d’expérience utilisateur (56 heures), concepteur d’interface utilisateur (40 heures), concepteur de sons (40 heures), artiste 3D/artiste technique (328 heures), développeur de logiciels (408 heures), directeur technique (40 heures), producteur (56 heures) et assurance qualité (40 heures).
« Dans l’ensemble, nous nous sommes rapprochés des estimations initiales de notre projet », explique Daniel Cheetham, directeur de l’innovation chez Happy Finish, qui dirige la division interactive de l’entreprise. « L’expérience Ford GT40 est la preuve qu’une application HoloLens 2 haute fidélité peut être réalisée en quelques mois, avec un budget modeste, tout en offrant des résultats très percutants. »
Du point de vue du développement, en se basant sur son expérience précédente avec Unreal sur HoloLens 2, Rodriguez estime que le MRTK pour Unreal a réduit de moitié le temps et les efforts totaux requis de sa part. Il note également comment le MRTK peut aider les développeurs qui n’ont jamais travaillé avec HoloLens 2 commencer. « Lorsque d’autres développeurs disent qu’ils s’intéressent à la réalité mixte, je les encourage à se lancer, à installer la pile de développement HoloLens 2 et MRTK, et à y aller. MrTK permet de créer une application rapidement et facilement, et l’éditeur visuel Unreal fonctionne si bien que vous n’avez même pas besoin d’un appareil HoloLens 2 pour commencer. Ce n’est pas compliqué du tout, tout fonctionne.
Améliorations potentielles du service Azure
Lambert voit plusieurs façons d’utiliser les services de réalité mixte Azure pour améliorer l’expérience Ford GT40, comme l’utilisation d’Azure Spatial Anchors pour offrir une expérience multi-utilisateur ancrée dans le monde réel. « D’un point de vue créatif, Azure Spatial Anchors ouvre une toute nouvelle gamme de possibilités grâce à la possibilité qu’ils offrent de mapper, de conserver et de restaurer du contenu 3D ou des points d’intérêt dans notre monde physique », dit-il.
Lambert envisage également comment Azure Remote Rendering ou la diffusion en continu de l’application à partir d’Azure pourrait être utilisé pour atteindre les fréquences d’images souhaitées tout en utilisant des modèles 3D plus détaillés et complexes. « Nous avons dû implémenter des nuanceurs personnalisés hautement optimisés dans Unreal pour atteindre notre objectif de 60 images par seconde sur l’appareil », explique-t-il. « Avec Azure Remote Rendering, nous pourrions faire beaucoup plus, et le faire beaucoup plus facilement, sans avoir à optimiser les modèles de polygones, à repeindre des cartes de textures, etc. »
De nouvelles possibilités infinies
Alors, quelles sont les prochaines étapes pour Happy Finish ? Les commentaires de Ford sur l’expérience Ford GT40 ont été extrêmement positifs, ce qui a conduit à d’autres discussions entre Happy Finish et Ford sur les futurs projets HoloLens 2. En dehors de sa relation avec Ford, Happy Finish démarre déjà un nouveau projet sur HoloLens 2, où le MRTK pour Unreal sera un bloc de construction fondamental pour la plupart de l’expérience utilisateur.
« Nous avons toujours maintenu une approche indépendante de la technologie pour chaque nouveau projet, en proposant l’ensemble d’outils le mieux adapté pour aider le client à atteindre les résultats souhaités », explique M. Cheetham. « Cela dit, HoloLens 2 est devenu de facto la norme de référence pour la réalité mixte, en particulier dans l’entreprise, se montrant tête et épaules au-dessus de toutes les autres options en termes de capacités des appareils et de l’omniprésence de l’écosystème de soutien. »
Selon M. Cheetham, la pandémie mondiale a suscité un immense intérêt pour la réalité mixte immersive chez les clients potentiels. « Nous sommes plus animés que jamais, avec environ 50 % des clients potentiels qui sont ouverts à discuter d’une option de réalité mixte », dit-il. « La clé est d’amener les gens à l’essayer. Vous pouvez leur parler de la réalité mixte toute la journée, mais quand vous leur donnez un HoloLens 2 à expérimenter pour eux-mêmes, ils obtiennent immédiatement comment cela peut changer la donne. La prise en charge des Unreal Engine dans HoloLens 2 ne fait qu’augmenter la valeur que nous pouvons offrir, ce qui nous permet de fournir des expériences visuellement étonnantes qui sont sûrs de satisfaire même les clients les plus exigeants.
Faites un essai.
Consultez notre introduction au développement Mixed Reality sur HoloLens 2 ou MRTK pour Unreal sur GitHub.