Pembuatan pengalaman Ford GT40

"Pra-MRTK, mengembangkan untuk HoloLens 2 menggunakan Unreal agak melelahkan karena semua interaksi spasial harus dikodekan secara manual, di C++. MRTK untuk Unreal membuat banyak tugas yang sama sepele. Saya akan memperkirakannya memotong waktu yang diperlukan untuk prototipe awal menjadi dua." - Jose Rodriguez, Pengembang Perangkat Lunak

"Ford GT40 Experience adalah bukti bahwa aplikasi HoloLens 2 keakuratan tinggi dapat diselesaikan hanya dalam beberapa bulan, dengan anggaran yang sederhana, namun masih memberikan hasil yang sangat berdampak." - Daniel Cheetham, Chief Innovation Officer, Happy Finish

Menggunakan Mixed Reality Toolkit (MRTK) untuk Unreal, perusahaan produksi kreatif Happy Finish memberikan pengalaman HoloLens 2 yang memberikan perspektif baru pada Ford GT40, mobil balap legendaris yang mengalahkan Ferrari di 24 Hours of Le Mans!

Dengan menggunakan berbagai interaksi spasial alami dan intuitif, pengguna dapat menjelajahi keindahan, performa, dan rekayasa GT40—semuanya disampaikan dengan cara yang memanfaatkan keakuratan visual tinggi yang disediakan oleh Unreal Engine. Pengembangan perangkat lunak untuk seluruh proyek diselesaikan oleh satu pengembang dalam waktu kurang dari tiga bulan, yang dimungkinkan oleh MRTK untuk lingkungan pembuatan skrip dan desain visual Unreal.

Mengunduh aplikasi dari Microsoft Store di HoloLens 2

Jika Anda memiliki perangkat HoloLens 2, Anda dapat langsung mengunduh dan menginstal aplikasi di perangkat Anda.

Permintaan

Happy Finish adalah salah satu perusahaan produksi kreatif terkemuka di dunia, dengan basis klien yang mencakup, Ford, Microsoft, Nike, Netflix, Vodafone, dan nama rumah tangga lainnya. Perusahaan memulainya sebagai agensi retouch foto kelas atas, bercabang menjadi film dan CGI sebelum memperluas dedikasinya untuk keunggulan dalam bercerita imersif dengan desain dan interaksi spasial 3D.

Pada pertengahan 2020, Microsoft mendekati Happy Finish untuk menghasilkan aplikasi demo yang dapat membantu menampilkan kemungkinan yang diaktifkan oleh Mixed Reality Toolkit (MRTK) baru untuk Unreal, yang dibangun berdasarkan dukungan untuk HoloLens 2 di Unreal Engine. Pada titik ini, perusahaan sudah memiliki dua proyek Unreal-on-HoloLens 2 yang sukses di bawah sabuknya. Keduanya untuk merek konsumen yang diakui secara global, yang memilih Unreal pada HoloLens 2 untuk alat penjualan R&D/B2B internal untuk keakuratan visualnya yang tinggi, sebagaimana diperlukan untuk menampilkan produk-produk kelas atas klien sendiri dengan sebaik-baiknya.

Meskipun solusi itu sendiri akan diserahkan ke Happy Finish, itu harus memenuhi beberapa pedoman utama. Pertama, ia harus fokus pada skenario perusahaan untuk mengilustrasikan utilitas Unreal pada HoloLens 2 di luar industri game. Kedua, itu harus hanya perangkat, yang berarti dapat berfungsi sebagai demo mandiri —tanpa memerlukan koneksi jaringan dan daya pemrosesan eksternal untuk mendapatkan kecepatan bingkai target dan kualitas visual. Ketiga, ini harus memadukan berbagai interaksi intuitif yang didukung oleh MRTK menjadi pengalaman yang mulus dan alami. Akhirnya, solusi yang diusulkan harus menampilkan keakuratan visual yang melekat dan manfaat lain dari Mesin Unreal itu sendiri, seperti efisiensi shader.

Mengingat pedoman ini, Happy Finish mulai bertukar pikiran tentang kemungkinan, datang dengan ide untuk pengalaman realitas campuran yang menggunakan interaksi spasial untuk mengomunikasikan nilai produk bernilai tinggi dan nama merek. Setelah mempertimbangkan berbagai objek yang mencakup jam tangan, kamera, mobil, dan jet pribadi, Happy Finish akhirnya memutuskan Ford GT40, legenda otomotif yang mencapai keaslian pada tahun 1966 ketika Ford mengalahkan Ferrari di 24 Hours of Le Mans—seperti yang ditunjukkan dalam film blockbuster 2019 Ford vs. Ferrari.

Setelah mendapatkan pembelian dari Ford, klien Happy Finish yang ada, perusahaan mulai memberikan perspektif baru pada ikon otomotif klasik.

Solusinya

Pekerjaan dimulai pada 7 Mei 2020. Setelah mendapatkan file model GT40, artis 3D menghabiskan waktu tiga minggu untuk mengoptimalkan model poligon, pemetaan UV, mengecat ulang peta tekstur, dan membungkus peta tersebut menjadi tekstur sesedikur mungkin. Seorang seniman teknis bekerja secara paralel untuk menjadi tolok ukur output artis 3D, menentukan ukuran tekstur optimal yang diberikan laju bingkai target, dan mencari cara terbaik untuk menerapkan shader kustom di Unreal. Semua pekerjaan praproduksi ini dilakukan untuk mengoptimalkan pengalaman di perangkat.

Direktur Kreatif Alex Lambert memasuki gambar setelah pekerjaan praproduksi selesai. Dia mulai dengan menonton Ford vs Ferrari, memikirkan cara menenun bersama narasi sekeliling skenario dan interaksi. Dia juga mengumpulkan referensi visual untuk seniman UI, seperti gambar dasbor GT40 dan visual pacuan kuda Le Mans, dan mengumpulkan rekaman audio GT40 yang beraksi untuk perancang suara.

Dengan narasi yang didefinisikan dan dioptimalkan aset praproduksi di tangan, pengembang perangkat lunak freelance Jose Rodriguez terdaftar untuk menyautkan semuanya. Rodriguez telah menjadi pengembang pada dua proyek Unreal-on-HoloLens 2 sebelumnya yang telah dilakukan Happy Finish, sebelum MRTK untuk Unreal dirilis.

Nilai yang disediakan oleh MRTK untuk Unreal menjadi jelas sejak dini, membantu Rodriguez memberikan prototipe awal dalam satu minggu. Dia menerapkan tiga skenario unik, satu untuk masing-masing aspek utama GT40 yang telah diidentifikasi Lambert: keindahannya, performanya, dan rekayasanya. Untuk setiap skenario, Rodriguez menggunakan MRTK untuk mengintegrasikan aset 3D yang dioptimalkan dari fase praproduksi ke dalam berbagai interaksi spasial.

Dengan MRTK untuk Unreal, Rodriguez membangun setiap skenario menggunakan UI Unreal Motion Graphics (UMG) visual Designer alih-alih harus mengimplementasikan semuanya di C++. UX Tools for Unreal, plug-in yang berisi blok penyusun UX dan komponen dalam MRTK, memberinya Unreal Blueprints untuk simulasi input, interaksi tangan skrip visual, tombol yang dapat ditekan, manipulasi gambar 3D, magnetisme permukaan, dan banyak lagi—semuanya dalam lingkungan desain tanpa kode, seret dan letakkan.

"Pra-MRTK, mengembangkan untuk HoloLens 2 menggunakan Unreal agak melelahkan karena semua interaksi spasial harus dikodekan dengan tangan, di C++," kata Rodriguez. "MRTK untuk Unreal membuat banyak tugas yang sama sepele. Saya akan memperkirakannya memotong waktu yang diperlukan untuk prototipe awal menjadi dua."

Dengan prototipe di tangan, tim memulai iterasi mingguan untuk menyempurnakan pengalaman. "Ini adalah ketika fitur Mixed Reality Capture dan Windows Device Portal menjadi sangat membantu," kenang Lambert. "Saya menggunakannya untuk menangkap ulasan desain saya, menyiarkan umpan balik saya kepada orang lain, dan berkolaborasi pada perubahan. Bekerja dalam isolasi seperti itu tidak mungkin dilakukan tanpa alat seperti itu."

Saat Lambert meminta perubahan, seperti memposisikan ulang elemen UI atau mengubah perilaku tombol, Rodriguez menerapkannya. Sementara beberapa perubahan memerlukan tweak kode kecil, sebagian besar ditangani di perancang visual Unreal. "Saya terkejut pada seberapa cepat saya bisa melakukan iterasi," kata Rodriguez. "Tidak ada waktu yang terbuang sia-sia; Saya akan membuat perubahan pada perancang dan kemudian tekan putar untuk segera melihatnya di perangkat. MRTK benar-benar menyederhanakan pekerjaan saya."

Rodriguez juga ingat terkesan dengan seberapa siap produksi semua peralatan pengembangan itu. "Kami berkembang dengan lancar dari prototipe awal melalui produksi akhir, tanpa harus kembali dan melengkapi kembali atau mengoptimalkan hal-hal dalam kode," katanya.

Build akhir

Happy Finish menyelesaikan produksi Ford GT40 Experience untuk HoloLens 2 pada 28 Juli 2020, memberikan perspektif baru pada mobil balap legendaris. Pengalaman dimulai dengan layar selamat datang, kemudian memandu pengguna untuk mengatur jangkar dengan mengambil logo Ford dan menempatkannya di permukaan datar seperti meja atau desktop.

Kecantikan

Segmen kecantikan membawa pengguna ke konfigurator GT40, yang menampilkan GT40 pada alas berputar, mirip dengan bagaimana mobil fisik mungkin ditampilkan di pertunjukan otomotif. Pengguna dapat menerapkan opsi roda yang berbeda, memilih dari skema warna yang berbeda, dan membuka dan menutup pintu dan bagasi (atau boot, saat mereka menyebutnya di Inggris). Sepanjang pengalaman kecantikan, pengguna dapat mengambil mobil dan secara bebas memanipulasinya untuk melihat lebih dekat.

Performa

Segmen performa menampilkan kecepatan dan durabilitas GT40. Pengisi suara dimulai dengan menggambarkan bagaimana mobil dikembangkan dan dimasukkan melalui kecepatannya di Ford's Kingman, Arizona membuktikan alasan, dengan visual 3D menunjukkan GT40 bergerak di trek pengujian. Saat pengenalan segmen performa menyimpulkan, voiceover meminta pengguna untuk "Tekan tombol Le Mans untuk menekan pacuan kuda."

Bagian kedua dari segmen performa menampilkan GT40 dalam berbagai kondisi yang mungkin dialami pembalap di 24 Hours of Le Mans, yang diadakan setiap tahun di Circuit de la Sarthe dekat Le Mans, Prancis. Tampilan 3D menunjukkan mobil bergerak di trek Le Mans, dengan tombol yang disediakan untuk membuat mobil melaju lebih cepat atau lebih lambat. Gambar speedometer dan tachometer analog GT40 mengapung di atas tampilan racetrack, dengan lebih banyak telemetri ras ditampilkan di latar belakang. Pengguna dapat beralih antara pemandangan siang dan malam dan antara kondisi mengemudi kering dan basah, memberikan perspektif yang realistis dan seperti kehidupan dari apa yang dialami Ken Miles dan pengemudi GT40 lainnya dalam balapan yang sebenarnya.

Rekayasa

Segmen teknik Ford GT40 Experience menampilkan salah satu inovasi rekayasa yang membantu Ford memenangkan balapan: kemampuan untuk mengubah rotor dan bantalan rem dalam waktu kurang dari satu menit, dibandingkan dengan 20-30 menit yang diperlukan oleh semua tim lain. Dengan menggunakan gerakan intuitif, pengguna dapat memanipulasi model 3D terperinci dari roda GT40 dan perakitan rem. Untuk memperluas assembly, pengguna mengambil kunci pas lug, menyelaraskannya ke kunci tengah pada roda, memutarnya berlawanan arah jaga jarak, dan kemudian menariknya menjauh dari roda. Gerakan lain digunakan untuk melepas rotor dan bantalan rem yang usang, menggantinya dengan yang baru, menciutkan assembly, dan mengamankan kembali kunci tengah. Di latar belakang, timer menampilkan waktu yang berlalu, membiarkan pengguna melihat apakah mereka dapat menyelesaikan proses secepat kru pit di Le Mans.

Ford GT40 Experience dapat diunduh dari toko Microsoft, memungkinkan siapa saja dengan HoloLens 2 untuk menjelajahi bagaimana Happy Finish menghadirkan perspektif baru untuk mobil balap legendaris.

Mendapatkan keakuratan visual yang mengesankan

Meskipun berbagai interaksi spasial yang didukung oleh Ford GT40 Experience mengesankan sendiri, kreativitas dan keakuratan visual yang diberikan pengalaman adalah apa yang benar-benar membuatnya bersinar. Melalui pengoptimalan model 3D dan penggunaan shader kustom Unreal, Happy Finish mencapai target 60 bingkai per detik, bahkan dengan segmen performa aplikasi mendekati ukuran 315.000 poligon.

"Saya sangat senang dengan bagaimana kami dapat mengumpulkan serangkaian interaksi yang cairan dan intuitif ke dalam narasi yang koheren dan menarik," kata Lambert. "Yang jelas, kekuatan Unreal Engine pada HoloLens 2 membuka dunia peluang baru untuk pengalaman realitas campuran yang lebih mengejutkan dan menarik. Keakuratan visual yang tidak dikompresi tidak selalu menjadi tujuan akhir untuk aplikasi perusahaan di HoloLens 2, tetapi ketika ya, dukungan untuk Unreal pada HoloLens 2 menjadi sangat berharga."

Pengiriman solusi cepat

Sangat mengesankan karena Pengalaman Ford GT40 pengguna akhir adalah seberapa cepat Happy Finish mengirimkannya, dengan seluruh proyek—mulai dari praproduksi hingga pengiriman akhir—selesai hanya dalam waktu kurang dari 12 minggu. Singkatnya, proyek ini menghabiskan 1088 jam upaya, dipecah sebagai berikut: direktur kreatif (80 jam), desainer UX (56 jam), desainer UI (40 jam), perancang suara (40 jam), artis 3D / teknis (328 jam), pengembang perangkat lunak (408 jam), direktur teknis (40 jam), produser (56 jam), dan jaminan kualitas (40 jam).

"Secara keseluruhan, kami berada cukup dekat dengan perkiraan proyek asli kami," kata Daniel Cheetham, Chief Innovation Officer di Happy Finish, yang mengepala divisi interaktif perusahaan. "Ford GT40 Experience adalah bukti bahwa aplikasi HoloLens 2 keakuratan tinggi dapat diselesaikan hanya dalam beberapa bulan, dengan anggaran yang sederhana, namun masih memberikan hasil yang sangat berdampak."

Dari perspektif pengembangan, berdasarkan pengalamannya sebelumnya dengan Unreal on HoloLens 2, Rodriguez memperkirakan bahwa MRTK untuk Unreal memotong total waktu dan upaya yang diperlukan sebagian. Dia juga mencatat bagaimana MRTK dapat membantu pengembang yang belum pernah bekerja dengan HoloLens 2 memulai. "Ketika pengembang lain mengatakan mereka tertarik pada realitas campuran, saya mendorong mereka untuk hanya melompat, menginstal tumpukan pengembangan HoloLens 2 dan MRTK, dan melanjutkannya. MRTK membuat membuat aplikasi cepat dan mudah, dan editor visual Unreal bekerja dengan sangat baik sehingga Anda bahkan tidak memerlukan perangkat HoloLens 2 untuk memulai. Ini tidak rumit sama sekali —semuanya hanya berfungsi."

Potensi peningkatan layanan Azure

Lambert melihat beberapa cara agar layanan realitas campuran Azure dapat digunakan untuk meningkatkan Pengalaman Ford GT40, seperti menggunakan Azure Spatial Anchors untuk memberikan pengalaman multi-pengguna yang berlabuh di dunia nyata. "Dari perspektif kreatif, Azure Spatial Anchors membuka berbagai kemungkinan yang sama sekali baru melalui kemampuan yang mereka berikan untuk memetakan, bertahan, dan memulihkan konten 3D atau tempat menarik dalam dunia fisik kita," katanya.

Lambert juga membayangkan bagaimana Azure Remote Rendering atau streaming aplikasi dari Azure dapat digunakan untuk mencapai kecepatan bingkai yang diinginkan sambil bekerja dengan model 3D yang lebih rinci dan kompleks. "Kami harus menerapkan beberapa shader kustom yang sangat dioptimalkan di Unreal untuk mencapai target on-device kami sebesar 60 frame per detik," jelasnya. "Dengan Azure Remote Rendering, kita dapat melakukan lebih banyak lagi—dan melakukannya jauh lebih mudah, tanpa banyak pekerjaan yang diperlukan untuk mengoptimalkan model poligon, memetakan tekstur repaint, dan sebagainya."

Kemungkinan baru yang tak ada habisnya

Jadi apa selanjutnya untuk Happy Finish? Umpan balik Ford tentang pengalaman Ford GT40 sangat positif, yang mengarah ke diskusi lebih lanjut antara Happy Finish dan Ford tentang proyek HoloLens 2 di masa depan. Di luar hubungannya dengan Ford, Happy Finish sudah memulai proyek baru di HoloLens 2, di mana MRTK untuk Unreal akan menjadi blok penyusun dasar untuk sebagian besar pengalaman pengguna.

"Kami selalu mempertahankan pendekatan agnostik teknologi untuk setiap proyek baru, mengusulkan set alat mana pun yang paling cocok untuk membantu klien mencapai hasil yang diinginkan," kata Cheetham. "Yang mengatakan, HoloLens 2 telah muncul sebagai standar emas de-facto untuk realitas campuran, terutama di perusahaan, kepala dan bahu yang berdiri di atas semua opsi lainnya dalam hal kemampuan perangkat dan pervasifitas ekosistem pendukung."

Menurut Cheetham, pandemi global telah mendorong minat baru yang besar dalam realitas campuran imersif di antara calon pelanggan. "Kami lebih sibuk dari sebelumnya, dengan sekitar 50 persen klien potensial terbuka untuk membahas opsi realitas campuran," katanya. "Kuncinya adalah membuat orang mencobanya. Anda dapat memberi tahu mereka tentang realitas campuran sepanjang hari, tetapi ketika Anda menyerahkannya HoloLens 2 untuk dialami sendiri, mereka segera mendapatkan bagaimana hal itu bisa menjadi pengubah permainan. Dukungan untuk Unreal Engine di HoloLens 2 hanya meningkatkan nilai yang dapat kami tawarkan, memungkinkan kami untuk memberikan pengalaman memukau secara visual yang pasti akan memuaskan bahkan klien yang paling menuntut."

Silakan mencoba!

Unduh aplikasi Ford GT40

Lihat pengenalan kami tentang pengembangan Mixed Reality pada HoloLens 2 atau MRTK for Unreal di GitHub.