Manipulasi langsung dengan tangan
Manipulasi langsung adalah model input yang melibatkan menyentuh hologram langsung dengan tangan Anda. Ide di balik konsep ini adalah bahwa objek bertingkah seperti yang mereka lakukan di dunia nyata. Tombol dapat diaktifkan hanya dengan menekannya, objek dapat diambil dengan mengambilnya, dan konten 2D berperilaku seperti layar sentuh virtual. Manipulasi langsung berbasis kesediaan, yang berarti ramah pengguna. Tidak ada gerakan simbolis untuk mengajarkan pengguna. Semua interaksi dibangun di sekitar elemen visual yang dapat Anda sentuh atau ambil. Ini dianggap sebagai model input "dekat" karena paling baik digunakan untuk berinteraksi dengan konten dalam jangkauan lengan.
Dukungan perangkat
| Model input | HoloLens (generasi ke-1) | HoloLens 2 | Headset imersif |
| Manipulasi langsung dengan tangan | ❌ Tidak didukung | ✔️ Direkomendasikan | ➕ Didukung. Untuk UI, kami merekomendasikan titik dan penerapan dengan tangan sebagai gantinya. |
Manipulasi langsung adalah model input utama pada HoloLens 2, yang menggunakan sistem pelacakan tangan artikulasi baru. Model input juga tersedia pada headset imersif dengan menggunakan pengontrol gerakan, tetapi tidak disarankan sebagai sarana utama interaksi di luar manipulasi objek. Manipulasi langsung tidak tersedia di HoloLens (generasi ke-1).
Pelacakan tangan dasar dan demo interaksi insting
Jika Anda ingin melihat konsep desain Pelacakan Kepala dan Mata beraksi, lihat demo video Designing Holograms - Pelacakan Kepala dan Pelacakan Mata kami di bawah ini. Setelah selesai, lanjutkan untuk penyelaman yang lebih rinci tentang topik tertentu.
Video ini diambil dari aplikasi HoloLens 2 "Merancang Hologram". Unduh dan nikmati pengalaman lengkapnya di sini.
Ujung jari yang dapat dibenamkan
Pada HoloLens 2, tangan pengguna dikenali dan ditafsirkan sebagai model kerangka kiri dan kanan. Untuk mengimplementasikan gagasan menyentuh hologram secara langsung dengan tangan, idealnya, lima tabrakan dapat melekat pada lima ujung jari dari setiap model kerangka tangan. Namun, karena kurangnya umpan balik taktil, 10 ujung jari yang dapat bertabrakan dapat menyebabkan tabrakan yang tidak terduga dan tidak dapat diprediksi dengan hologram.
Kami sarankan hanya menempatkan collider pada setiap jari indeks. Ujung jari indeks yang dapat dibenturkan masih dapat berfungsi sebagai titik sentuh aktif untuk beragam gerakan sentuh yang melibatkan jari-jari lain. Gerakan sentuh termasuk Tekan satu jari, Ketuk satu jari, Tekan dua jari, dan Tekan lima jari, seperti yang ditunjukkan di bawah ini:
Ujung jari yang dapat dibenamkan
Tekan satu jari
Ketuk satu jari
Tekan lima jari
Collider sphere
Alih-alih menggunakan bentuk generik acak, kami sarankan Anda menggunakan collider sphere. Kemudian Anda dapat merendernya secara visual untuk memberikan isjin yang lebih baik untuk penargetan dekat. Diameter bola harus cocok dengan ketebalan jari telunjuk untuk meningkatkan akurasi sentuhan. Lebih mudah untuk mengambil variabel ketebalan jari dengan memanggil API tangan.
Kursor ujung jari
Selain merender bola yang dapat bertabrakan pada ujung jari indeks, kami telah membuat kursor ujung jari tingkat lanjut untuk mencapai pengalaman mendekati penargetan yang lebih baik. Ini adalah kursor berbentuk donat yang melekat pada ujung jari indeks. Menurut kedekatan, secara dinamis bereaksi terhadap target untuk orientasi dan ukuran seperti yang dijelaskan di bawah ini:
- Ketika jari telunjuk bergerak menuju hologram, kursor selalu sejajar dengan permukaan hologram dan secara bertahap menyusutkan ukurannya.
- Segera setelah jari menyentuh permukaan, kursor menyusut menjadi titik dan memancarkan peristiwa sentuhan.
Dengan umpan balik interaktif, pengguna dapat mencapai tugas presisi tinggi yang mendekati penargetan, seperti memicu hyperlink atau menekan tombol seperti yang ditunjukkan di bawah ini.
Kursor ujung jari jauh
Kursor ujung jari dekat
Kontak kursor ujung jari
Kotak pembatas dengan shader kedekatan
Hologram itu sendiri juga membutuhkan kemampuan untuk memberikan umpan balik visual dan audio untuk mengimbangi kurangnya umpan balik taktil. Untuk itu, kami menghasilkan konsep kotak pembatas dengan shader kedekatan. Kotak pembatas adalah area volumetrik minimum yang mencakup objek 3D. Kotak pembatas memiliki mekanisme penyajian interaktif yang disebut shader kedekatan. Shader kedekatan berprilaku:
Mengambang (jauh)
Saat jari telunjuk berada dalam rentang, sorotan ujung jari dilemparkan di permukaan kotak pembatas.
Hover (di dekat)
Ketika ujung jari semakin dekat ke permukaan, sorotan menyusut.
Kontak dimulai
Segera setelah ujung jari menyentuh permukaan, seluruh kotak pembatas berubah warna atau menghasilkan efek visual untuk mencerminkan status sentuhan.
Kontak berakhir
Efek suara juga dapat diaktifkan untuk meningkatkan umpan balik sentuhan visual.
Tombol yang dapat ditekan
Dengan ujung jari yang dapat bertabrakan, pengguna sekarang siap untuk berinteraksi dengan komponen UI holografik mendasar, seperti tombol yang dapat ditekan. Tombol yang dapat ditekan adalah tombol holografik yang disesuaikan untuk penekanan jari langsung. Sekali lagi, karena kurangnya umpan balik taktil, tombol yang dapat ditekan membekali beberapa mekanisme untuk mengatasi masalah terkait umpan balik taktil.
- Mekanisme pertama adalah kotak pembatas dengan shader kedekatan, yang dirinci di bagian sebelumnya. Ini memberi pengguna rasa kedekatan yang lebih baik ketika mereka mendekati dan melakukan kontak dengan tombol.
- Mekanisme kedua adalah depresi. Depresi menciptakan rasa menekan ke bawah setelah ujung jari menghubungi tombol. Mekanisme memastikan bahwa tombol bergerak erat dengan ujung jari di sepanjang sumbu kedalaman. Tombol dapat dipicu ketika mencapai kedalaman yang dipilih (saat ditekan) atau meninggalkan kedalaman (saat dilepaskan) setelah melewatinya.
- Efek suara harus ditambahkan untuk meningkatkan umpan balik ketika tombol dipicu.
Jari jauh
Pendekatan jari
Kontak dimulai
Tekan ke bawah
Interaksi slate 2D
Slate 2D adalah kontainer holografik yang digunakan untuk menghosting konten aplikasi 2D, seperti browser web. Konsep desain untuk berinteraksi dengan slate 2D melalui manipulasi langsung sama dengan berinteraksi dengan layar sentuh fisik.
Untuk berinteraksi dengan kontak slate
Sentuhan
Gunakan jari indeks untuk menekan hyperlink atau tombol.
Gulir
Gunakan jari telunjuk untuk menggulir konten slate ke atas dan ke bawah.
Zoom
Dua jari telunjuk pengguna digunakan untuk memperbesar dan memperkecil konten slate, sesuai dengan gerakan relatif jari.
Untuk memanipulasi slate 2D itu sendiri
Bergerak
Gerakkan tangan Anda ke sudut dan tepi untuk mengungkapkan keseimbangan manipulasi terdekat. Ambil Holobar di bagian atas garis miring 2D, yang memungkinkan Anda memindahkan seluruh garis miring.
Skala
Ambil keseimbangan manipulasi dan lakukan penskalaan seragam melalui keseimbangan sudut.
Reflow
Dapatkan keterlibatan manipulasi dan lakukan reflow melalui keterlibatan.
Manipulasi objek 3D
HoloLens 2 memungkinkan pengguna mengaktifkan tangan mereka untuk mengarahkan dan memanipulasi objek holografik 3D dengan menerapkan kotak pembatas ke setiap objek 3D. Kotak pembatas memberikan persepsi kedalaman yang lebih baik melalui shader kedekatannya. Dengan kotak pembatas, ada dua pendekatan desain untuk manipulasi objek 3D.
Manipulasi berbasis keseimbangan
Manipulasi berbasis keseimbangan memungkinkan Anda memanipulasi objek 3D melalui kotak pembatas bersama dengan keseimbangan manipulasi di sekitarnya.
Bergerak
Segera setelah tangan pengguna dekat dengan objek 3D, kotak pembatas, dan kesediaan terdekat terungkap. Pengguna dapat mengambil kotak pembatas untuk memindahkan seluruh objek.
Putar
Pengguna dapat mengambil keseimbangan tepi untuk diputar.
Skala
Pengguna dapat mengambil keseimbangan sudut untuk diskalakan secara seragam.
Manipulasi berbasis non-kesewaan
Manipulasi berbasis non-ketersediaan tidak melampirkan ke kotak pembatas. Pengguna hanya dapat mengungkapkan kotak pembatas, lalu langsung berinteraksi dengannya. Jika kotak pembatas diambil dengan satu tangan, terjemahan dan rotasi objek dikaitkan dengan gerakan dan orientasi tangan. Ketika objek diambil dengan dua tangan, pengguna dapat menerjemahkan, menskalakan, dan memutarnya sesuai dengan gerakan relatif dua tangan.
Manipulasi tertentu membutuhkan presisi. Kami menyarankan agar Anda menggunakan manipulasi berbasis kesediaan karena memberikan tingkat granularitas yang tinggi. Untuk manipulasi yang fleksibel, kami sarankan Anda menggunakan manipulasi non-affordance karena memungkinkan pengalaman instan dan menyenangkan.
Gerakan insting
Dengan HoloLens (generasi ke-1), kami mengajarkan beberapa gerakan yang telah ditentukan sebelumnya kepada pengguna, seperti mekar dan keran udara. Untuk HoloLens 2, kami tidak meminta pengguna untuk menghafal gerakan simbolis apa pun. Semua gerakan pengguna yang diperlukan, di mana pengguna perlu berinteraksi dengan hologram dan konten, bersifat insting. Cara untuk mencapai gerakan insting adalah dengan membantu pengguna melakukan gerakan melalui desain keseimbangan UI.
Misalnya, jika kami mendorong pengguna untuk mengambil objek atau titik kontrol dengan jepitan dua jari, objek atau titik kontrol harus kecil. Jika kita ingin pengguna melakukan pegangan lima jari, objek atau titik kontrol harus relatif besar. Mirip dengan tombol, tombol kecil akan membatasi pengguna untuk menekannya dengan satu jari. Tombol besar akan mendorong pengguna untuk menekannya dengan telapak tangan mereka.
Objek kecil
Objek sedang
Objek besar
Desain simetris antara tangan dan 6 pengontrol DoF
Anda mungkin telah memperhatikan bahwa ada paralel interaksi yang dapat kita gambar antara tangan di AR dan pengontrol gerakan di VR. Kedua input dapat digunakan untuk memicu manipulasi langsung di lingkungan masing-masing. Dalam HoloLens 2, meraih dan menyeret dengan tangan pada jarak dekat bekerja jauh dengan cara yang sama seperti yang dilakukan tombol ambil pada pengontrol gerakan WMR. Ini memberi pengguna keakraban interaksi antara kedua platform, yang mungkin terbukti berguna jika Anda pernah memutuskan untuk memindahkan aplikasi Anda antar platform.
Optimalkan dengan pelacakan mata
Manipulasi langsung dapat terasa magis jika berfungsi seperti yang diinginkan. Tetapi itu juga bisa menjadi frustrasi jika Anda tidak dapat menggerakkan tangan Anda di mana saja tanpa sengaja memicu hologram. Pelacakan mata berpotensi membantu mengidentifikasi niat pengguna dengan lebih baik.
- Kapan: Kurangi pemicu respons manipulasi secara tidak sengaja. Pelacakan mata memungkinkan pemahaman yang lebih baik tentang apa yang saat ini dilibatkan pengguna. Misalnya, bayangkan Anda membaca teks holografik (instruksi) saat menjangkau untuk mengambil alat kerja dunia nyata Anda.
Dengan demikian, Anda secara tidak sengaja menggerakkan tangan Anda melintasi beberapa tombol holografik interaktif yang bahkan belum pernah Anda perhatikan sebelumnya. Misalnya, mungkin berada di luar bidang pandang pengguna (FoV).
Jika pengguna belum melihat hologram untuk sementara waktu, namun peristiwa sentuhan atau pemahaman telah terdeteksi untuk itu, interaksi kemungkinan tidak disengaja.
Yang mana: Selain mengatasi aktivasi positif palsu, contoh lain termasuk mengidentifikasi hologram mana yang lebih baik untuk diambil atau disadap sebagai titik persimpangan yang tepat mungkin tidak jelas dari perspektif Anda, terutama jika beberapa hologram diposisikan dekat satu sama lain.
Meskipun pelacakan mata pada HoloLens 2 memiliki keterbatasan berdasarkan seberapa akurat itu dapat menentukan tatapan mata Anda, ini masih dapat membantu untuk interaksi dekat karena perbedaan kedalaman saat berinteraksi dengan input tangan. Ini berarti terkadang sulit untuk menentukan apakah tangan Anda berada di belakang atau di depan hologram untuk secara tepat mengambil widget manipulasi, misalnya.
Tempat: Gunakan informasi tentang apa yang dilihat pengguna dengan gerakan melempar cepat. Ambil hologram dan kira-kira mengarahkannya ke tujuan yang Anda maksudkan.
Meskipun ini kadang-kadang bekerja, dengan cepat melakukan gerakan tangan dapat mengakibatkan tujuan yang sangat tidak akurat. Namun, pelacakan mata dapat meningkatkan akurasi gerakan.
Manipulasi di MRTK (Mixed Reality Toolkit) untuk Unity
Dengan MRTK, Anda dapat dengan mudah mencapai perilaku manipulasi umum menggunakan skrip ObjectManipulator. Dengan ObjectManipulator, Anda dapat mengambil dan memindahkan objek langsung dengan tangan atau dengan sinar tangan. Ini juga mendukung manipulasi dua tangan untuk penskalaan dan memutar objek.