Pembuatan Galaxy Explorer untuk HoloLens 2

Selamat datang di Galaxy Explorer yang diperbarui untuk aplikasi HoloLens 2! Galaxy Explorer awalnya dikembangkan sebagai aplikasi sumber terbuka untuk HoloLens (generasi pertama) melalui program Share Your Idea, dan merupakan salah satu pengalaman realitas campuran pertama yang dimiliki banyak orang. Sekarang kami memperbaruinya untuk kemampuan HoloLens 2 yang baru dan menarik.

Sebagai salah satu Microsoft Mixed Reality Studios, kami biasanya mengembangkan solusi kelas komersial dan mengembangkan pengujian & pada platform target sepanjang proses kreatif dan pengembangan. Kami memulai proyek ini menggunakan kerangka kerja dan alat (seperti MRTK) saat tersedia bagi kami dan komunitas - dan kami ingin membawa Anda untuk perjalanan.

Sama seperti Galaxy Explorer asli, tim kami akan membuka sumber proyek di GitHub untuk memastikan komunitas memiliki akses penuh. Kami juga akan mendokumentasikan perjalanan kami di sini dalam transparansi lengkap tentang bagaimana kami port dari MRTK v1 ke MRTK v2, meningkatkan pengalaman dengan fitur baru yang tersedia di HoloLens 2, dan memastikan bahwa Galaxy Explorer tetap menjadi pengalaman multi-platform. Baik Anda melihat Galaxy Explorer di HoloLens (generasi pertama), HoloLens 2, headset Windows Mixed Reality atau di desktop Windows 10 Anda, kami ingin memastikan Anda menikmati perjalanan sebanyak kami!

Halaman ini akan berkembang seiring kemajuan kami melalui proyek dengan tautan ke artikel, kode, artefak desain, dan dokumentasi MRTK tambahan yang lebih rinci untuk memberi Anda tampilan orang dalam pada proyek.

Mengunduh aplikasi dari Microsoft Store di HoloLens 2

Jika Anda memiliki perangkat HoloLens 2, Anda dapat langsung mengunduh dan menginstal aplikasi di perangkat Anda.

Memikirkan interaksi

Sebagai studio kreatif, kami sangat senang tentang hak istimewa untuk port Galaxy Explorer untuk HoloLens 2. Kami tahu sejak awal bahwa kami ingin pengalaman menjadi perayaan perangkat baru dan untuk menunjukkan bahwa pemberdayaan Mixed Reality hanya dibatasi oleh imajinasi.

HoloLens 2 memungkinkan pengguna untuk menyentuh, memahami, dan memindahkan hologram dengan cara yang terasa alami - mereka merespons banyak hal seperti objek nyata. Model tangan yang sepenuhnya diartikulasikan luar biasa, karena memungkinkan pengguna melakukan apa yang terasa alami. Misalnya, semua orang mengambil cangkir sedikit berbeda - dan alih-alih menegakkan satu cara tertentu untuk melakukannya, HoloLens 2 memungkinkan Anda melakukannya dengan cara Anda.

Ini adalah perubahan signifikan dari antarmuka berbasis Air Tap pada perangkat HoloLens generasi pertama. Alih-alih berinteraksi dengan hologram dari kejauhan, pengguna sekarang bisa mendapatkan "dari dekat dan pribadi". Saat memindahkan pengalaman yang ada ke HoloLens 2 atau merencanakan yang baru, penting untuk membuat diri Anda terbiasa dengan manipulasi langsung hologram.

Manipulasi langsung vs. jarak luas dalam ruang

Ini adalah pengalaman ajaib untuk menjangkau, mengambil planet dan memegangnya di tangan Anda. Tantangan dengan pendekatan ini adalah ukuran tata surya - sangat besar! Pengguna harus berjalan di sekitar kamar mereka untuk mendekati setiap planet untuk berinteraksi dengannya.

Untuk memungkinkan pengguna berinteraksi dengan objek yang lebih jauh, MRTK menawarkan sinar tangan yang menembak keluar dari tengah telapak tangan pengguna, bertindak sebagai ekstensi tangan. Kursor berbentuk donat dilampirkan ke akhir sinar untuk menunjukkan di mana sinar bersinggungan dengan objek target. Objek tempat kursor mendarat kemudian dapat menerima perintah gestural dari tangan.

Dalam versi asli Galaxy Explorer, pengguna akan menargetkan planet dengan kursor tatapan dan kemudian ketukan udara untuk menyebutnya lebih dekat. Cara term mudah untuk memindahkan pengalaman ke HoloLens 2 adalah dengan mengambil perilaku ini dan menggunakan sinar tangan untuk memilih planet. Meskipun ini berfungsi, itu membuat kami menginginkan lebih.

Kembali ke papan gambar

Kami datang bersama-sama untuk memahami apa yang bisa dibangun di atas interaksi yang ada. Pemikirannya adalah: Meskipun HoloLens 2 memungkinkan pengguna untuk berinteraksi dengan hologram dengan cara alami, realistis, hologram adalah dengan definisi yang tidak nyata. Jadi selama interaksi masuk akal bagi pengguna, tidak masalah apakah interaksi itu akan mungkin dengan objek nyata atau tidak - kita dapat membuatnya mungkin.

Salah satu konsep yang kami jelajahi didasarkan pada telekinesis - kekuatan untuk memanipulasi objek dengan pikiran seseorang. Sering terlihat dalam film pahlawan super, seseorang akan menjangkau pikiran mereka dan memanggil objek ke tangan terbuka mereka. Kami bermain-main dengan ide beberapa lagi dan datang dengan sketsa cepat tentang bagaimana konsep bisa bekerja.

Pengguna akan mengarahkan sinar tangan ke planet, yang akan memberikan umpan balik target. Ketika pengguna kemudian memperluas tangan terbuka mereka, planet akan ditarik ke arah pengguna oleh kekuatan ajaib sampai cukup dekat untuk mengambilnya. Oleh karena itu nama kami untuk interaksi: ambil paksa. Ketika pengguna akan mendorong pergi planet dengan tangan terbuka mereka, itu akan kembali lagi ke orbitnya.

Paksa ambil prototipe

Kami kemudian membuat beberapa prototipe untuk menguji konsep: Bagaimana interaksi terasa secara keseluruhan? Haruskah objek yang disebut berhenti di depan pengguna atau menempel di tangan mereka sampai ditempatkan? Haruskah objek yang disebut mengubah ukuran atau skala saat dipanggil?

Menerapkan force grab ke dalam aplikasi

Ketika kami mencoba penangkapan paksa di planet- planet, kami menyadari bahwa kami harus mengubah skala tata surya. Ternyata representasi tata surya yang akurat dan berukuran sedang sulit dipahami dan dinavigasi oleh pengguna - mereka tidak tahu harus mencari ke mana. Namun, representasi berukuran kecil membuat beberapa planet terlalu kecil untuk dipilih dengan mudah. Akibatnya, ukuran planet dan jarak antara objek surya dirancang untuk merasa nyaman dalam ruangan berukuran sedang sambil menjaga akurasi relatif.

Selama tahap selanjutnya dari sprint pengembangan kami, kami cukup beruntung memiliki sesama ahli MSFT Mixed Reality di rumah, jadi kami harus bekerja mendapatkan masukan mereka sebagai penguji ahli dan melakukan iterasi cepat pada interaksi force grab.

Dalam gambar: Jenny Kam, Senior Design Lead, menguji pekerjaan yang sedang berlangsung di Galaxy Explorer.

Menambahkan ketahanan untuk penargetan

Saat kami bereksperimen pada HoloLens 2, kami menemukan bahwa meskipun interaksi baru bersifat alami dan intuitif, hologram tetap sama: tanpa sensasi berat atau taktil. Karena hologram tidak memberikan umpan balik alami yang digunakan manusia untuk menerima ketika mereka berinteraksi dengan objek, kami perlu membuatnya.

Kami memikirkan umpan balik visual dan audio yang akan diberikan pengguna untuk berbagai tahap interaksi mereka, dan karena mekanisme penangkapan paksa adalah pusat untuk berinteraksi dengan Galaxy Explorer, kami melakukan banyak iterasi. Tujuannya adalah untuk menemukan keseimbangan umpan balik audio dan visual yang tepat untuk setiap tahap interaksi: berfokus pada objek yang dimaksudkan, memanggilnya kepada pengguna, lalu merilisnya. Apa yang kami pelajari adalah bahwa lebih banyak umpan balik audio dan visual diperlukan untuk memperkuat interaksi daripada yang biasa kami lakukan untuk HoloLens (generasi pertama).

Menambahkan kecukupan untuk force grab

  Setelah kami memiliki mekanisme penangkapan paksa dasar dengan kemampuan audio dan visual, kami melihat cara membuat pemilihan planet lebih ramah pengguna. Ada dua hal utama yang harus ditangani: Karena tata surya adalah antarmuka pemindahan 3D, ada kompleksitas tambahan bagi pengguna untuk mempelajari cara menargetkan objek secara konsisten. Ini diperburuk oleh fakta bahwa sinar tangan cepat dalam memilih objek, membuat planet bergerak menuju pengguna dengan sangat cepat.

Kami mendekati ini dengan solusi tiga-berlapis. Yang pertama cukup intuitif: memperlambat proses seleksi sehingga planet mendekati pengguna dengan kecepatan yang lebih alami. Setelah kecepatan disesuaikan, kami harus mengunjungi kembali kesediaan audio dan visual, menambahkan umpan balik audio saat planet dilacak ke arah pengguna.

Bagian kedua dari solusi ini adalah membuat visualisasi seluruh interaksi force grab nyata. Kami memvisualisasikan garis tebal yang bergerak menuju objek yang ditargetkan setelah sinar tangan terhubung dengannya, dan kemudian membawa objek kembali ke pengguna - seperti lasso.

Akhirnya, kami mengoptimalkan skala tata surya sehingga planet-planet itu cukup besar untuk tatapan pengguna dan sinar tangan untuk menargetkannya.

Ketiga peningkatan ini memungkinkan pengguna untuk membuat pilihan yang akurat, memanggil planet kepada mereka dengan cara yang intuitif. Secara keseluruhan, efek dari penangkapan kekuatan akhir adalah pengalaman yang lebih imersif dan interaktif dalam tata surya.

Sorotan di Jupiter

Menciptakan tubuh surya Bima Sakti adalah pengalaman yang merendahkan. Secara khusus, karakteristik unik Jupiter membuatnya menjadi pemandangan untuk dilihat. Ini adalah terbesar dan paling berwarna-warni dari gas raksasa, dan mengandung lebih banyak massa daripada semua planet lain digabungkan. Ukurannya yang sangat besar dan pita turbulensi dan dinamika cloud yang memikat adalah prefek untuk perhatian artistik khusus.

Geometri dan jala

Sebagai raksasa gas, cangkang luar Jupiter terdiri dari lapisan gas. Kombinasi kecepatan rotasi yang cepat, pertukaran panas dalam, dan gaya Koriolis menciptakan lapisan dan aliran berwarna-warni yang terbentuk menjadi sabuk dan vortik cloud yang berputar-putar. Menangkap keindahan rumit ini adalah kunci dalam menciptakan tata surya kita.

Segera jelas bahwa menggunakan teknik visualisasi seperti simulasi cairan dan tekstur animasi dengan aliran yang telah dikomputasi tidak dipertanyakan. Daya komputasi yang diperlukan untuk mensimulasikan ini dalam kombinasi dengan segala sesuatu yang lain yang terjadi secara bersamaan akan memiliki dampak yang signifikan merugikan pada performa.

Pendekatan berikutnya adalah solusi 'smoke-and-mirror', yang terdiri dari overlay lapisan tekstur transparan, yang masing-masing membahas aspek tertentu dari gerakan atmosfer, dikompilasi pada komposisi jala berputar.

Pada gambar di bawah ini, Anda dapat melihat shell dalam di sebelah kiri. Lapisan tiang ini memberikan latar belakang komposisi untuk menjaga terhadap celah kecil di antara beberapa lapisan yang membentuk awan. Karena rotasi lapisan yang lambat, ini juga berfungsi sebagai buffer visual antara pita bergerak yang lebih cepat untuk membantu membangun persatuan visual di seluruh lapisan.

Setelah mengatur jangkar ini ke model, lapisan cloud yang bergerak kemudian diproyeksikan pada jala tengah dan kanan yang terlihat di bawah ini.

Texturing

Tekstur yang ada dipisahkan menjadi atlas tekstur tiga bagian: Host ketiga atas lapisan awan tanpa gerakan dengan celah untuk memberikan efek paralaks, bagian tengah berisi aliran luar yang bergerak cepat, dan sepertiga bagian bawah berisi lapisan dasar dalam yang berputar secara perlahan.

Karakteristik Great Red Spot juga dipisahkan menjadi berbagai bagian yang bergerak dan kemudian dimasukkan ke dalam area tekstur yang tidak terlihat. Komponen-komponen ini dapat dilihat sebagai bintik-bintik merah di bagian tengah gambar di bawah ini.

Karena setiap pita memiliki arah dan kecepatan tertentu, tekstur diterapkan pada setiap jala satu per satu. Jala kemudian memiliki pusat umum dan titik pivot, yang memungkinkan untuk secara konsentrasi menganimasikan seluruh permukaan.

Perilaku rotasi dan tekstur

Setelah komposisi visual Jupiter ditetapkan, kami perlu memastikan kecepatan rotasi dan orbit dihitung dan diterapkan dengan benar. Dibutuhkan sekitar 9 jam bagi Jupiter untuk menyelesaikan rotasi penuh. Ini adalah masalah definisi karena Rotasi Diferensialnya. Oleh karena itu aliran khatulistiwa telah ditetapkan sebagai 'aliran master', mengambil 3600 bingkai untuk rotasi penuh. Setiap lapisan lain perlu memiliki kecepatan rotasi sebagai faktor 3600 untuk mencocokkan posisi awalnya, memungkinkan, misalnya, 600, 900, 1200, 1800 dll.

Titik Merah Agung

Aliran yang berputar secara individual memberikan kesan visual yang baik, tetapi tidak memiliki detail ketika diamati pada jarak dekat.

Bagian yang paling menarik perhatian adalah Jupiter Great Red Spot, jadi kami membuat satu set jala dan tekstur khusus untuk menampilkannya.   Kami menggunakan mekanisme yang sama seperti band Jupiter: satu set bagian berputar terdiri atas satu sama lain, sementara juga dikelompokkan di bawah 'lapisan master' untuk memastikan mereka tetap berada di posisi tidak peduli seberapa cepat sisanya bergerak.

Ketika jala disiapkan dan di tempat, lapisan pusaran badai yang berbeda diterapkan dan setiap disk kemudian dianimasikan secara individual, bagian tengah bergerak tercepat, dengan sisanya semakin melambat saat bergerak keluar.

Komposisinya juga memiliki pivot yang sama dengan setiap jala lainnya, sambil juga menjaga kemiringannya dari sumbu y aslinya (!) untuk memungkinkan kebebasan dalam menganimasikan rotasi. 3600 bingkai adalah laju dasar, dengan setiap lapisan memiliki faktor ini sebagai periode rotasi.

Mendapatkannya tepat di Unity

Ada beberapa hal penting yang perlu diingat saat menerapkan ini di Unity.

Unity mudah bingung saat berhadapan dengan set besar lapisan transparan. Solusinya adalah menduplikasi bahan tekstur untuk setiap jala dan menerapkan nilai Antrean Render naik secara progresif dari bagian dalam ke luar sebesar 5 ke setiap materi.

Hasilnya adalah shell dalam memiliki nilai Render Queue 3000 (default), outer statis red-toned kemudian memiliki nilai 3005, awan luar putih cepat memiliki 3010. Great Red Spot (berkembang dari lapisan dalam ke luar), selesai dengan nilai 3025 dalam model ini.

Sentuhan akhir

Lapisan Jupiter bertekstur disiapkan pada awalnya, yang terbukti tidak mencukupi untuk implementasi.

Shader Planet Standard asli, dan semua variasinya, menerima informasi pencahayaan mereka melalui skrip, SunLightReceiver, yang tidak didukung oleh shader MRTK Standard.

Menukar shader bukanlah solusi karena shader Planet Standard tidak mendukung peta tekstur dengan transparansi. Kami mengedit shader ini untuk membuat build Jupiter berfungsi seperti yang diinginkan.

Terakhir, Alpha Blends perlu diatur dengan mengatur Blend Sumber ke 10 dan Destination Blend ke 5.

Anda dapat melihat penyajian akhir Jupiter di Galaxy Explorer!

Perkenalan tim

Tim studio Mixed Reality kami terdiri dari desainer, seniman 3D, spesialis UX, pengembang, manajer program, dan kepala studio. Kami berasal dari seluruh dunia: Belgia, Kanada, Jerman, Israel, Jepang, Inggris, dan Amerika Serikat. Kami adalah tim multidisiplin yang berasal dari beragam latar belakang: game - baik tradisional maupun indie, pemasaran digital, perawatan kesehatan, dan sains.

Kami sangat senang membuat Galaxy Explorer untuk HoloLens 2, dan memperbarui Versi HoloLens (gen pertama), VR, dan desktop.

Di atas dari kiri ke kanan: Artemis Tsouflidou (Pengembang), Angie Teickner (Visual Designer), David Janer (UX Designer), Laura Garrett (Delivery & Production Lead), Yasushi Zonno (Creative Lead), Eline Ledent (Developer), dan Ben Turner (Sr. Developer). Bawah dari kiri ke kanan: Amit Rojtblat (Seniman Teknis), Martin Wettig (Artis 3D), dan Dirk Songuer (Kepala Studio). Tidak ditampilkan: Tim Gerken (Tech Lead) dan Oscar Salandin (Visual Designer).

Informasi Tambahan

Mixed Reality Studios

Tim Microsoft Mixed Reality Studio - yang terletak di Amerika, Eropa, dan Asia-Pacific - adalah pakar dalam desain pengalaman pengguna, komputasi holografik, teknologi AR/VR, dan pengembangan 3D; termasuk pembuatan aset 3D, DirectX, Unity, dan Unreal. Kami membantu membayangkan masa depan yang diinginkan, merancang, membangun, dan memberikan solusi, sekaligus memungkinkan pelanggan untuk menciptakan dampak yang terukur di seluruh organisasi mereka. Studio bekerja sama dengan lebih dari 22.000 profesional Microsoft Services untuk integrasi, adopsi, operasi, dan dukungan aplikasi perusahaan.