Tatapan dan penerapan
Tatapan dan penerapan adalah model input mendasar yang terkait erat dengan cara kita berinteraksi dengan komputer kita menggunakan mouse: Titik & klik. Pada halaman ini, kami memperkenalkan dua jenis input tatapan (tatapan kepala dan mata) dan berbagai jenis tindakan penerapan. Tatapan dan penerapan dianggap sebagai model input yang jauh dengan manipulasi tidak langsung. Ini paling baik digunakan untuk berinteraksi dengan konten holografik yang berada di luar jangkauan.
Headset realitas campuran dapat menggunakan posisi dan orientasi kepala pengguna untuk menentukan vektor arah kepala mereka. Anggap tatapan sebagai laser yang menunjuk lurus ke depan dari langsung di antara mata pengguna. Ini adalah perkiraan yang cukup kasar di mana pengguna mencari. Aplikasi Anda dapat menyilangkan sinar ini dengan objek virtual atau dunia nyata, dan menggambar kursor di lokasi tersebut untuk memberi tahu pengguna apa yang mereka targetkan.
Selain tatapan kepala, beberapa headset realitas campuran, seperti HoloLens 2, termasuk sistem pelacakan mata yang menghasilkan vektor tatapan mata. Ini memberikan pengukuran mendasar tentang di mana pengguna mencari. Dalam kedua kasus, tatapan mewakili sinyal penting untuk niat pengguna. Semakin baik sistem dapat menafsirkan dan memprediksi tindakan yang dimaksudkan pengguna, semakin banyak kepuasan dan performa pengguna meningkat.
Di bawah ini adalah beberapa contoh bagaimana Anda sebagai pengembang realitas campuran dapat memperoleh manfaat dari tatapan kepala atau mata:
- Aplikasi Anda dapat bersinggungan tatapan dengan hologram di adegan Anda untuk menentukan di mana perhatian pengguna (lebih tepat dengan tatapan mata).
- Aplikasi Anda dapat menyalurkan gerakan dan menekan pengontrol berdasarkan tatapan pengguna, yang memungkinkan pengguna memilih, mengaktifkan, mengambil, menggulir, atau berinteraksi dengan hologram mereka dengan lancar.
- Aplikasi Anda dapat memungkinkan pengguna menempatkan hologram di permukaan dunia nyata dengan berpotongan sinar tatapan mereka dengan jala pemetaan spasial.
- Aplikasi Anda dapat mengetahui kapan pengguna tidak melihat ke arah objek penting, yang dapat mengarahkan aplikasi Anda untuk memberikan isyarat visual dan audio untuk berbalik ke arah objek tersebut.
Dukungan perangkat
| Model input | HoloLens (generasi ke-1) | HoloLens 2 | Headset imersif |
| Tatapan kepala dan penerapan | ✔️ Direkomendasikan | ✔️ Direkomendasikan (pilihan ketiga - Lihat opsi lainnya) | ➕ Opsi alternatif |
| Tatapan mata dan penerapan | ❌ Tidak tersedia | ✔️ Direkomendasikan (pilihan ketiga - Lihat opsi lainnya) | ❌ Tidak tersedia |
Demo konsep desain pelacakan kepala dan mata
Jika Anda ingin melihat konsep desain Head and Eye Tracking beraksi, lihat demo video Designing Holograms - Pelacakan Kepala dan Pelacakan Mata kami di bawah ini. Setelah selesai, lanjutkan untuk menyelami topik tertentu yang lebih rinci.
Video ini diambil dari aplikasi HoloLens 2 "Merancang Hologram". Unduh dan nikmati pengalaman lengkapnya di sini.
Pandangan
Mata atau tatapan kepala?
Ada beberapa pertimbangan ketika dihadapkan dengan pertanyaan apakah Anda harus menggunakan model input "tatapan mata dan penerapan" atau "tatapan kepala dan penerapan". Jika Anda mengembangkan untuk headset imersif atau untuk HoloLens (generasi ke-1), maka pilihannya sederhana: Tatapan kepala dan penerapan. Jika Anda mengembangkan untuk HoloLens 2, pilihannya menjadi sedikit lebih sulit. Penting untuk memahami keuntungan dan tantangan yang datang dengan masing-masing dari mereka. Kami mengkompilasi beberapa pro luas dan con dalam tabel di bawah ini untuk kontras penargetan kepala-vs. tatapan mata. Ini jauh dari lengkap dan kami sarankan untuk mempelajari lebih lanjut tentang penargetan tatapan mata dalam realitas campuran di sini:
- Pelacakan mata pada HoloLens 2: Pengenalan umum kemampuan pelacakan mata baru kami pada HoloLens 2 termasuk beberapa panduan pengembang.
- Interaksi tatapan mata: Pertimbangan desain dan rekomendasi saat berencana menggunakan pelacakan mata sebagai input.
| Penargetan tatapan mata | Penargetan tatapan kepala |
| Cepat! | Lambat |
| Upaya rendah (hampir tidak ada gerakan tubuh yang diperlukan) | Bisa melelahkan - Kemungkinan ketidaknyamanan (misalnya, ketegangan leher) |
| Tidak memerlukan kursor, tetapi umpan balik halus disarankan | Mengharuskan untuk menampilkan kursor |
| Tidak ada gerakan mata halus - misalnya, tidak baik untuk menggambar | Lebih terkontrol dan eksplisit |
| Sulit untuk target kecil (misalnya, tombol kecil atau tautan web) | Dapat diandalkan! Fallback besar! |
| ... | ... |
Baik Anda menggunakan tatapan kepala atau tatapan mata untuk model input tatapan dan penerapan Anda, masing-masing dilengkapi dengan set batasan desain yang berbeda. Ini dibahas secara terpisah dalam tatapan mata dan penerapan dan tatapan kepala dan menerapkan artikel.
Kursor
Untuk tatapan kepala, sebagian besar aplikasi harus menggunakan kursor atau indikasi pendengaran/visual lainnya untuk memberi pengguna kepercayaan pada apa yang akan berinteraksi dengan mereka.
Anda biasanya memposisikan kursor ini di dunia di mana sinar tatapan kepala mereka pertama kali bersinggungan dengan objek, yang mungkin merupakan hologram atau permukaan dunia nyata.
Untuk tatapan mata, kami umumnya menyarankan untuk tidak menunjukkan kursor, karena ini dapat dengan cepat menjadi mengganggu dan mengganggu pengguna.
Alih-alih menyoroti target visual secara haltum atau menggunakan kursor mata samar untuk memberikan keyakinan tentang apa yang akan berinteraksi dengan pengguna. Untuk informasi lebih lanjut, silakan lihat panduan desain kami untuk input berbasis mata pada HoloLens 2.
Gambar: Contoh kursor visual untuk menampilkan tatapan
Menjalankan
Setelah berbicara tentang berbagai cara untuk menatap target, mari kita bicarakan sedikit lebih banyak tentang bagian penerapan dalam tatapan dan penerapan. Setelah menargetkan objek atau elemen UI, pengguna dapat berinteraksi atau mengkliknya menggunakan input sekunder. Hal ini dikenal sebagai langkah penerapan dari model input.
Metode penerapan berikut didukung:
- Gerakan tangan ketuk udara (yaitu, angkat tangan Anda di depan Anda dan satukan jari telunjuk dan jempol Anda)
- Ucapkan "pilih" atau salah satu perintah suara yang ditargetkan
- Tekan satu tombol pada HoloLens Clicker
- Tekan tombol 'A' pada gamepad Xbox
- Tekan tombol 'A' pada pengontrol adaptif Xbox
Tatapan dan gerakan ketukan udara
Ketukan udara adalah gerakan mengetuk dengan tangan dipegang tegak. Untuk menggunakan ketukan udara, angkat jari telunjuk Anda ke posisi siap, lalu jepit dengan ibu jari Anda, dan angkat jari telunjuk Anda kembali ke atas untuk melepaskan. Pada HoloLens (generasi ke-1), ketukan udara adalah input sekunder yang paling umum.
Jari dalam posisi siap
Tekan jari ke bawah untuk mengetuk atau mengklik
Air tap juga tersedia di HoloLens 2. Ini telah dilonggarkan dari versi aslinya. Hampir semua jenis pinch sekarang didukung selama tangan tegak dan diam. Ini membuatnya jauh lebih mudah bagi pengguna untuk belajar dan menggunakan gerakan. Ketukan udara baru ini menggantikan yang lama melalui API yang sama, sehingga aplikasi yang ada akan memiliki perilaku baru secara otomatis setelah kompilasi ulang untuk HoloLens 2.
Tatapan dan perintah suara "Pilih"
Perintah suara adalah salah satu metode interaksi utama dalam realitas campuran. Ini menyediakan mekanisme hands-free yang kuat untuk mengontrol sistem. Ada berbagai jenis model interaksi suara:
- Perintah "Pilih" generik yang menggunakan aktuasi klik atau penerapan sebagai input sekunder.
- Perintah objek (misalnya, "Tutup" atau "Jadikan lebih besar") melakukan dan berkomitmen pada tindakan sebagai input sekunder.
- Perintah global (misalnya, "Buka mulai") tidak memerlukan target.
- Antarmuka atau entitas pengguna percakapan seperti Cortana memiliki kemampuan bahasa alami AI.
- Perintah suara kustom
Untuk mengetahui selengkapnya tentang detail dan daftar lengkap perintah suara yang tersedia dan cara menggunakannya, lihat panduan perintah suara kami.
Tatapan dan HoloLens Clicker
HoloLens Clicker adalah perangkat periferal pertama yang dibuat khusus untuk HoloLens. Ini termasuk dengan Edisi Pengembangan HoloLens (generasi ke-1). HoloLens Clicker memungkinkan pengguna mengklik dengan gerakan tangan minimal, dan berkomitmen sebagai input sekunder. HoloLens Clicker terhubung ke HoloLens (generasi ke-1) atau HoloLens 2 menggunakan Bluetooth Low Energy (BTLE).
Informasi dan instruksi selengkapnya untuk memasangkan perangkat
Gambar: HoloLens Clicker
Tatapan dan Pengontrol Nirkabel Xbox
Pengontrol Nirkabel Xbox melakukan aktuasi klik sebagai input sekunder dengan menggunakan tombol 'A'. Perangkat dipetakan ke serangkaian tindakan default yang membantu menavigasi dan mengontrol sistem. Jika Anda ingin menyesuaikan pengontrol, gunakan aplikasi Aksesori Xbox untuk mengonfigurasi Pengontrol Nirkabel Xbox Anda.
Cara memasangkan pengontrol Xbox dengan PC Anda
Gambar: Pengontrol Nirkabel Xbox
Tatapan dan Pengontrol Adaptif Xbox
Dirancang terutama untuk memenuhi kebutuhan gamer dengan mobilitas terbatas, Xbox Adaptive Controller adalah hub terpadu untuk perangkat yang membantu membuat realitas campuran lebih mudah diakses.
Pengontrol Adaptif Xbox melakukan aktuasi klik sebagai input sekunder dengan menggunakan tombol 'A'. Perangkat dipetakan ke serangkaian tindakan default yang membantu menavigasi dan mengontrol sistem. Jika Anda ingin menyesuaikan pengontrol, gunakan aplikasi Aksesori Xbox untuk mengonfigurasi Pengontrol Adaptif Xbox Anda.
Pengontrol Adaptif Xbox
Sambungkan perangkat eksternal seperti sakelar, tombol, dudukan, dan joystick untuk membuat pengalaman pengontrol kustom yang unik milik Anda. Input tombol, thumbstick, dan pemicu dikontrol dengan perangkat bantu yang terhubung melalui jack 3,5 mm dan port USB.
Port Pengontrol Adaptif Xbox
Instruksi untuk memasangkan perangkat
Info selengkapnya tersedia di situs Xbox
Gerakan komposit
Ketuk udara
Gerakan ketukan udara (dan gerakan lainnya di bawah) hanya bereaksi terhadap ketukan tertentu. Untuk mendeteksi ketukan lain, seperti Menu atau Grasp, aplikasi Anda harus langsung menggunakan interaksi tingkat bawah yang dijelaskan di bagian dua gerakan komponen utama di atas.
Ketuk dan tahan
Pegangan hanya mempertahankan posisi jari bawah keran udara. Kombinasi ketuk dan tahan udara memungkinkan berbagai interaksi "klik dan seret" yang lebih kompleks saat dikombinasikan dengan gerakan lengan seperti mengambil objek alih-alih mengaktifkannya atau menelusuri interaksi sekunder seperti menampilkan menu konteks. Perhatian harus digunakan saat merancang untuk gerakan ini, karena pengguna dapat rentan untuk melonggarkan postur tangan mereka selama gerakan yang diperluas.
Manipulasi
Gerakan manipulasi dapat digunakan untuk memindahkan, mengubah ukuran, atau memutar hologram saat Anda ingin hologram bereaksi 1:1 terhadap gerakan tangan pengguna. Salah satu penggunaan untuk gerakan 1:1 seperti itu adalah membiarkan pengguna menggambar atau melukis di dunia. Penargetan awal untuk gerakan manipulasi harus dilakukan dengan tatapan atau penunjuk. Setelah ketuk dan tahan dimulai, manipulasi objek apa pun ditangani oleh gerakan tangan, yang membebaskan pengguna untuk melihat-lihat saat mereka memanipulasi.
Navigasi
Gerakan navigasi beroperasi seperti joystick virtual, dan dapat digunakan untuk menavigasi widget UI, seperti menu radial. Anda mengetuk dan menahan untuk memulai gerakan lalu menggerakkan tangan Anda dalam kubus 3D yang dinormalisasi, berpusat di sekitar tekan awal. Anda dapat menggerakkan tangan Anda di sepanjang sumbu X, Y, atau Z dari nilai -1 hingga 1, dengan 0 menjadi titik awal. Navigasi dapat digunakan untuk membangun gerakan pengguliran atau pembesaran tampilan berkelanjutan berbasis kecepatan, mirip dengan menggulir UI 2D dengan mengklik tombol mouse tengah lalu menggerakkan mouse ke atas dan ke bawah.
Navigasi dengan rel mengacu pada kemampuan mengenali gerakan di sumbu tertentu sampai ambang batas tertentu tercapai pada sumbu tersebut. Ini hanya berguna ketika pergerakan di lebih dari satu sumbu diaktifkan dalam aplikasi oleh pengembang, seperti jika aplikasi dikonfigurasi untuk mengenali gerakan navigasi di sumbu X, Y tetapi juga menentukan sumbu X dengan rel. Dalam hal ini, sistem akan mengenali gerakan tangan di sumbu X selama mereka tetap berada dalam rel imajiner (panduan) pada sumbu X, jika gerakan tangan juga terjadi pada sumbu Y.
Dalam aplikasi 2D, pengguna dapat menggunakan gerakan navigasi vertikal untuk menggulir, memperbesar, atau menyeret ke dalam aplikasi. Ini menyuntikkan sentuhan jari virtual ke aplikasi untuk mensimulasikan gerakan sentuh dengan jenis yang sama. Pengguna dapat memilih tindakan mana yang terjadi dengan beralih di antara alat pada bilah di atas aplikasi, baik dengan memilih tombol atau mengatakan '<Gulir/Seret/Alat Zoom> '.
Informasi selengkapnya tentang gerakan komposit
Pengenal gerakan
Salah satu manfaat menggunakan pengenalan gerakan adalah Anda dapat mengonfigurasi pengenal gerakan hanya untuk gerakan yang dapat diterima hologram yang saat ini ditargetkan. Platform ini hanya melakukan disambiguasi seperlunya untuk membedakan gerakan tertentu yang didukung. Dengan cara ini, hologram yang hanya mendukung ketukan udara dapat menerima durasi waktu antara tekan dan lepaskan, sementara hologram yang mendukung ketukan dan tahan dapat mempromosikan ketukan ke penangguhan setelah ambang waktu penangguhan.
Pengenalan tangan
HoloLens mengenali gerakan tangan dengan melacak posisi salah satu atau kedua tangan yang terlihat oleh perangkat. HoloLens melihat tangan ketika mereka dalam keadaan siap (punggung tangan menghadap Anda dengan jari telunjuk ke atas) atau keadaan tertekan (punggung tangan menghadap Anda dengan jari telunjuk ke bawah). Ketika tangan berada di pose lain, HoloLens mengabaikannya. Untuk setiap tangan yang dideteksi HoloLens, Anda dapat mengakses posisinya tanpa orientasi dan statusnya yang ditekan. Saat tangan mendekati tepi bingkai gerakan, Anda juga dilengkapi dengan vektor arah, yang dapat Anda tunjukkan kepada pengguna sehingga mereka tahu cara menggerakkan tangan mereka untuk mendapatkannya kembali di mana HoloLens dapat melihatnya.
Bingkai gerakan
Untuk gerakan pada HoloLens, tangan harus berada dalam bingkai gerakan, dalam rentang yang dapat dilihat kamera pengira gerakan dengan tepat, dari hidung hingga pinggang dan di antara bahu. Pengguna perlu dilatih pada area pengenalan ini baik untuk keberhasilan tindakan maupun untuk kenyamanan mereka sendiri. Banyak pengguna awalnya akan berasumsi bahwa bingkai gerakan harus berada dalam pandangan mereka melalui HoloLens, dan memegang lengan mereka secara tidak nyaman untuk berinteraksi. Saat menggunakan HoloLens Clicker, tangan tidak perlu berada dalam bingkai gerakan.
Untuk gerakan berkelanjutan khususnya, ada beberapa risiko pengguna menggerakkan tangan mereka di luar bingkai gerakan saat berada di tengah gerakan saat memindahkan objek holografik, misalnya, dan kehilangan hasil yang dimaksudkan.
Ada tiga hal yang harus Anda pertimbangkan:
Edukasi pengguna tentang keberadaan bingkai gerakan dan perkiraan batasan. Ini diajarkan selama pengaturan HoloLens.
Memberi tahu pengguna ketika gerakan mereka mendekati atau melanggar batas bingkai gerakan dalam aplikasi hingga tingkat yang hilang menyebabkan hasil yang tidak diinginkan. Penelitian telah menunjukkan kualitas utama dari sistem pemberitahuan tersebut. Shell HoloLens memberikan contoh yang baik dari jenis pemberitahuan ini--visual, pada kursor pusat, menunjukkan arah di mana persimpangan batas berlangsung.
Konsekuensi melanggar batas bingkai gerakan harus diminimalkan. Secara umum, ini berarti bahwa hasil gerakan harus dihentikan di batas, dan tidak dibalik. Misalnya, jika pengguna memindahkan beberapa objek holografik di seluruh ruangan, gerakan harus berhenti ketika bingkai gerakan dilanggar, dan tidak dikembalikan ke titik awal. Pengguna mungkin mengalami beberapa frustrasi, tetapi mungkin lebih cepat memahami batasan, dan tidak harus memulai ulang tindakan yang dimaksudkan sepenuhnya setiap kali.