Interaksi berbasis tatapan mata pada HoloLens 2
Salah satu kemampuan baru kami yang menarik di HoloLens 2 adalah pelacakan mata. Pada halaman Pelacakan mata di HoloLens 2, kami menyebutkan kebutuhan setiap pengguna untuk melalui Kalibrasi, memberikan beberapa panduan pengembang, dan kasus penggunaan yang disorot untuk pelacakan mata. Input tatapan mata masih merupakan jenis input pengguna baru dan ada banyak hal yang perlu dipelajari.
Meskipun input tatapan mata hanya digunakan secara halus dalam pengalaman Holographic Shell kami (antarmuka pengguna yang Anda lihat saat memulai HoloLens 2), beberapa aplikasi, seperti "HoloLens Playground", menampilkan contoh hebat tentang bagaimana input tatapan mata dapat menambah keajaiban pengalaman holografik Anda. Pada halaman ini, kami membahas pertimbangan desain untuk mengintegrasikan input tatapan mata untuk berinteraksi dengan aplikasi holografik Anda.
Anda akan belajar tentang keuntungan utama dan juga tantangan unik yang datang dengan input tatapan mata. Berdasarkan ini, kami memberikan beberapa rekomendasi desain untuk membantu Anda membuat antarmuka pengguna yang didukung tatapan mata yang memuaskan.
Dukungan perangkat
| Fitur | HoloLens (generasi ke-1) | HoloLens 2 | Headset imersif |
| Tatapan mata | ❌ | ✔️ | ❌ |
Demo konsep desain pelacakan kepala dan mata
Jika Anda ingin melihat konsep desain Pelacakan Kepala dan Mata beraksi, lihat demo video Designing Holograms - Pelacakan Kepala dan Pelacakan Mata kami di bawah ini. Setelah selesai, lanjutkan untuk penyelaman yang lebih rinci tentang topik tertentu.
Video ini diambil dari aplikasi HoloLens 2 "Merancang Hologram". Unduh dan nikmati pengalaman lengkapnya di sini.
Pedoman desain input tatapan mata
Membangun interaksi yang memanfaatkan penargetan mata yang bergerak cepat bisa menjadi tantangan. Di bagian ini, kami meringkas keuntungan dan tantangan utama yang perlu dipertimbangkan saat merancang aplikasi Anda.
Manfaat input tatapan mata
Kecepatan tinggi menunjuk. Otot mata adalah otot bereaksi tercepat dalam tubuh manusia.
Usaha rendah. Hampir tidak ada gerakan fisik yang diperlukan.
Implisit. Sering kali digambarkan oleh pengguna sebagai "bacaan pikiran", informasi tentang pergerakan mata pengguna memungkinkan sistem mengetahui target mana yang akan dilibatkan pengguna.
Saluran input alternatif. Tatapan mata dapat memberikan masukan pendukung yang kuat untuk membangun input tangan dan suara pada pengalaman bertahun-tahun dari pengguna berdasarkan koordinasi mata tangan mereka.
Perhatian visual. Manfaat penting lainnya adalah kemungkinan untuk menyimpulkan apa yang diperhatikan pengguna. Ini dapat membantu di berbagai area aplikasi mulai dari mengevaluasi desain yang berbeda secara lebih efektif hingga membantu antarmuka pengguna yang lebih cerdas dan isti sosial yang ditingkatkan untuk komunikasi jarak jauh.
Singkatnya, menggunakan tatapan mata sebagai input menawarkan sinyal input kontekstual yang cepat dan mudah. Ini kuat ketika dikombinasikan dengan input lain seperti input suara dan manual untuk mengonfirmasi niat pengguna.
Tantangan tatapan mata sebagai input
Meskipun tatapan mata dapat digunakan untuk menciptakan pengalaman pengguna yang memuaskan, yang membuat Anda merasa seperti pahlawan super, penting juga untuk mengetahui apa yang tidak baik untuk mempertanyakan hal ini dengan tepat. Daftar berikut membahas beberapa tantangan yang perlu dipertimbangkan dan cara mengatasinya saat bekerja dengan input tatapan mata:
Tatapan matamu "selalu menyala" Saat Anda membuka tutup mata Anda, mata Anda mulai terpaku pada hal-hal di lingkungan. Bereaksi terhadap setiap tampilan yang Anda buat dan secara tidak sengaja mengeluarkan tindakan, karena Anda melihat sesuatu terlalu lama, akan mengakibatkan pengalaman yang tidak memuaskan. Sebaiknya gabungkan tatapan mata dengan perintah suara, gerakan tangan, klik tombol , atau tinggalan yang diperluas untuk memicu pemilihan target (untuk informasi selengkapnya, lihat tatapan mata dan penerapan). Solusi ini juga memungkinkan mode di mana pengguna dapat dengan bebas melihat-lihat tanpa kewalahan dengan memicu sesuatu secara tidak sengaja. Masalah ini juga harus dipertimbangkan saat merancang umpan balik visual dan auditory saat melihat target. Cobalah untuk tidak membuat pengguna kewalahan dengan efek pop-out langsung atau suara hover. Kelenjar adalah kuncinya. Kita akan membahas beberapa praktik terbaik untuk ini lebih lanjut di bawah ini ketika berbicara tentang rekomendasi desain.
Pengamatan vs. kontrol Bayangkan bahwa Anda ingin meluruskan foto di dinding Anda dengan tepat. Anda melihat perbatasan dan sekitarnya untuk melihat apakah sejajar dengan baik. Sekarang bayangkan bagaimana Anda akan melakukan itu ketika Anda ingin menggunakan tatapan mata Anda sebagai input untuk memindahkan gambar. Sulit, bukan? Ini menjelaskan peran ganda tatapan mata ketika diperlukan baik untuk input maupun kontrol.
Biarkan sebelum mengklik: Untuk pemilihan target cepat, penelitian telah menunjukkan bahwa tatapan mata pengguna dapat melanjutkan sebelum menyimpulkan klik manual (misalnya, ketukan udara). Beri perhatian khusus untuk menyinkronkan sinyal tatapan mata cepat dengan input kontrol yang lebih lambat (misalnya, suara, tangan, pengontrol).
Target kecil: Apakah Anda tahu perasaan ketika Anda mencoba membaca teks yang hanya sedikit terlalu kecil untuk dibaca dengan nyaman? Perasaan yang menegangkan pada mata Anda ini dapat menyebabkan Anda merasa lelah dan usang, karena Anda mencoba untuk menyesatkan mata Anda untuk fokus lebih baik. Ini adalah perasaan yang mungkin Anda panggil pada pengguna Anda saat memaksa mereka untuk memilih target yang terlalu kecil dalam aplikasi Anda menggunakan penargetan mata. Untuk desain Anda, untuk menciptakan pengalaman yang menyenangkan dan nyaman bagi pengguna Anda, sebaiknya target harus minimal 2° dalam sudut visual, sebaiknya lebih besar.
Gerakan tatapan mata yang takjub Mata kita melakukan gerakan cepat dari fiksasi hingga fiksasi. Jika Anda melihat jalur pemindaian pergerakan mata yang direkam, Anda dapat melihat bahwa mereka terlihat mengamuk. Mata Anda bergerak cepat dan dalam lompatan spontan dibandingkan dengan tatapan kepala atau gerakan tangan.
Keandalan pelacakan: Akurasi pelacakan mata dapat sedikit menurup dalam mengubah cahaya saat mata Anda menyesuaikan diri dengan kondisi baru. Meskipun ini seharusnya tidak selalu memengaruhi desain aplikasi Anda, karena akurasinya harus berada dalam batasan 2°, pengguna mungkin perlu mengkalibrasi lagi.
Rekomendasi desain
Berikut ini adalah daftar rekomendasi desain tertentu berdasarkan keuntungan dan tantangan yang dijelaskan untuk input tatapan mata:
Tatapan mata tidak sama dengan Tatapan kepala:
Pertimbangkan apakah pergerakan mata yang cepat namun kasar sesuai dengan tugas input Anda: Meskipun pergerakan mata kami yang cepat dan kasar sangat bagus dalam memilih target dengan cepat di seluruh bidang pandang kami, itu kurang berlaku untuk tugas yang memerlukan lintasan input yang halus (misalnya, menggambar atau mengelilingi anotasi). Dalam hal ini, penunjuk tangan atau kepala harus lebih disukai.
Hindari melampirkan sesuatu langsung ke tatapan mata pengguna (misalnya, slider atau kursor). Dengan kursor, ini dapat mengakibatkan efek "kursor melarikan diri" karena sedikit offset dalam sinyal tatapan mata yang diproyeksikan. Dengan slider, slider dapat berkonflik dengan peran ganda mengontrol slider dengan mata Anda sambil juga ingin memeriksa apakah objek berada di lokasi yang benar. Untuk contoh slider, lebih masuk akal untuk menggunakan tatapan mata dalam kombinasi dengan gerakan tangan. Ini berarti bahwa pengguna dapat dengan cepat dan mudah beralih di antara banyak slider, mengangkat tangan mereka dan mencubit jempol dan jari telunjuk mereka untuk mengambil dan memindahkannya. Saat pinch dilepaskan, slider berhenti bergerak. Pengguna bisa menjadi kewalahan dan terganggu, terutama jika sinyal tidak tepat untuk pengguna tersebut.
Gabungkan tatapan mata dengan input lain: Integrasi pelacakan mata dengan input lain, seperti gerakan tangan, perintah suara, atau penekanan tombol, memberikan beberapa keuntungan:
Izinkan pengamatan gratis: Mengingat bahwa peran utama mata kita adalah mengamati lingkungan kita, penting bahwa pengguna diizinkan untuk melihat-lihat tanpa memicu umpan balik atau tindakan (visual, pendiringan, dan sebagainya). Menggabungkan pelacakan mata dengan kontrol input lain memungkinkan transisi yang lancar antara pengamatan pelacakan mata dan mode kontrol input.
Penyedia konteks yang kuat: Menggunakan informasi tentang di mana dan apa yang dilihat pengguna saat mengucapkan perintah suara atau menggunakan gerakan tangan memungkinkan saluran input dengan mulus di seluruh bidang pandang. Misalnya: Katakan "letakkan di sana" untuk memilih dan memposisikan hologram dengan cepat dan lancar di seluruh adegan dengan melihat target dan tujuan yang dimaksudkan.
Perlu menyinkronkan input multimodal: Menggabungkan pergerakan mata yang cepat dengan input yang lebih kompleks, seperti perintah suara panjang atau gerakan tangan, menanggung risiko bahwa pengguna sudah terus melihat-lihat sebelum perintah input tambahan selesai dan dikenali. Jika Anda membuat kontrol input Anda sendiri (misalnya, gerakan tangan kustom), pastikan untuk mencatat onset input ini atau perkiraan durasi untuk menghubungkannya dengan apa yang telah dilihat pengguna di masa lalu.
Umpan balik halang untuk input pelacakan mata: Sangat berguna untuk memberikan umpan balik ketika target dilihat untuk menunjukkan bahwa sistem berfungsi seperti yang dimaksudkan tetapi harus tetap halus. Ini dapat mencakup perlahan-lahan memadukan masuk dan keluar, sorotan visual, atau melakukan perilaku target halus lainnya, seperti gerakan lambat, seperti sedikit meningkatkan ukuran target. Ini menunjukkan bahwa sistem mendeteksi dengan benar bahwa pengguna melihat target tanpa perlu mengganggu alur kerja pengguna saat ini.
Hindari memberlakukan gerakan mata yang tidak wajar sebagai input: Jangan paksa pengguna untuk menggunakan gerakan mata tertentu (gerakan tatapan) untuk memicu tindakan di aplikasi Anda.
Akun untuk ketidaktepatan: Kami membedakan dua jenis ketidaktepatan, yang terlihat oleh pengguna: offset dan jitter. Cara termampu untuk mengatasi offset adalah dengan menyediakan target yang cukup besar untuk berinteraksi. Disarankan agar Anda menggunakan sudut visual yang lebih besar dari 2° sebagai referensi. Misalnya, gambar mini Anda sekitar 2° dalam sudut visual saat Anda merentangkan lengan Anda. Ini mengarah ke panduan berikut:
- Jangan paksa pengguna untuk memilih target kecil. Penelitian telah menunjukkan bahwa jika target cukup besar dan sistem dirancang dengan baik, pengguna menggambarkan interaksi mereka sebagai mudah, dan magis. Jika target menjadi terlalu kecil, pengguna menggambarkan pengalaman sebagai melelahkan dan membuat frustrasi.
Halaman ini memberi Anda gambaran umum yang baik untuk membuat Anda mulai memahami tatapan mata sebagai input dalam realitas campuran. Untuk mulai mengembangkan, lihat informasi kami tentang tatapan mata di Unity dan tatapan mata di DirectX.