Emulator HoloLens Tingkat Lanjut dan input Simulator Mixed Reality
Sebagian besar pengguna emulator hanya perlu menggunakan kontrol input dasar untuk Emulator HoloLens atau simulator Windows Mixed Reality. Detail di bawah ini adalah untuk pengguna tingkat lanjut yang telah menemukan kebutuhan untuk mensimulasikan jenis input yang lebih kompleks.
Konsep
Untuk mulai mengontrol input virtual ke Emulator HoloLens dan simulator Windows Mixed Reality, Anda harus terlebih dahulu memahami beberapa konsep.
Gerakan mengacu pada pengendalian dan perubahan posisi dan orientasi sesuatu di adegan. Untuk objek yang dapat dikontrol yang ditargetkan, gerakan dikontrol dengan rotasi dan terjemahan (gerakan) bersama tiga sumbu.
- Yaw: Belok kiri atau kanan.
- Pitch: Naik atau turun.
- Roll: Gulung berdampingan.
- X: Pindah ke kiri atau kanan.
- Y: Pindah ke atas atau ke bawah.
- Z: Bergerak maju atau mundur.
Gerakan dan input pengontrol gerakan dipetakan dengan cermat ke perangkat fisik:
- Tindakan: Mensimulasikan tindakan menekan forefinger ke jempol atau menarik tombol tindakan pada pengontrol. Misalnya, input Tindakan dapat digunakan untuk mensimulasikan gerakan ketukan udara, untuk menggulir konten, dan untuk menekan dan menahan.
- Gerakan Bloom/System atau Home: Gerakan mekar/sistem HoloLens atau tombol Home pengontrol digunakan untuk kembali ke shell dan untuk menembakkan tindakan sistem.
Tangan memiliki representasi yang kaya dalam HoloLens 2. Selain dilacak/tidak dilacak dan dapat digunakan untuk gerakan mengemudi, tangan sekarang memiliki model kerangka artikulasi yang sesuai dengan mereka dan diekspos ke pengembang. Model kerangka memiliki 26 titik terlacak di setiap tangan.
- Joint: Salah satu dari 20 posisi terlacak untuk tangan terlacak tertentu dengan titik terkait dalam ruang 3d.
- Pose: Koleksi lengkap semua Sendi di tangan terlacak, 26 Sendi di semua.
Saat ini kami tidak mengekspos kontrol langsung posisi bersama individu melalui emulator, tetapi Anda dapat mengaturnya melalui API simulasi. Kami memiliki seperangkat pose perwakilan yang berguna yang memungkinkan Anda beralih emulator.
Anda juga dapat mengontrol status input sensor yang disimulasikan:
- Reset: Mengembalikan semua sensor yang disimulasikan ke nilai defaultnya. Dimulai dengan emulator HoloLens 2, reset dapat dicakup ke satu atau kedua tangan. Libatkan tangan yang diinginkan menggunakan tombol pengubah atau tombol (Kiri dan/atau Kanan Alt, atau bumper kiri dan/atau kanan pada gamepad).
- Pelacakan: Menelusuri mode pelacakan posisi, termasuk:
- Default: OS memilih mode pelacakan terbaik berdasarkan permintaan yang dibuat dari sistem.
- Orientasi: Memaksa pelacakan khusus Orientasi, apa pun permintaan sistemnya.
- Posisi: Memaksa pelacakan Posisi, apa pun permintaan sistem.
Jenis input
Tabel berikut menunjukkan bagaimana setiap jenis peta input ke pengontrol keyboard, mouse, dan Xbox. Setiap jenis memiliki pemetaan yang berbeda tergantung pada mode kontrol input. Anda dapat menemukan informasi lebih lanjut tentang mode kontrol input nanti di dokumen ini.
| Input | Keyboard | Mouse | Pengontrol Xbox |
|---|---|---|---|
| Yaw | Panah kiri/kanan | Seret ke Kiri / Kanan | Thumbstick kanan kiri/ kanan |
| Kemiringan | Panah atas/bawah | Seret ke atas / ke bawah | Thumbstick kanan atas / bawah |
| Roll | T / E | DPad kiri / kanan | |
| X | A / D | Thumbstick kiri/ kanan | |
| Y | Halaman atas / halaman ke bawah | DPad atas/bawah | |
| Z | W / S | Jempol kiri ke atas/ ke bawah | |
| Tindakan | Masukkan atau spasi | Tombol kanan | Tombol atau pemicu |
| Bloom/System | Kunci F2 atau Windows | Tombol B | |
| Tombol genggaman pengontrol / Genggaman tangan | G | ||
| Tombol menu pengontrol | M | ||
| Sentuhan touchpad pengontrol | U | ||
| Tekan touchpad pengontrol | P | ||
| Tekan thumbstick pengontrol | K | ||
| Status pelacakan pengontrol kiri | F9 | ||
| Status pelacakan pengontrol kanan | F10 | ||
| Pose 'Tutup' Tangan | 7 | ||
| Pose 'Buka' Tangan (default) | 8 | ||
| Pose 'Titik' Tangan | 9 | ||
| Pose 'Cubit' Tangan | 0 | ||
| Mengatur ulang | Kunci escape | Tombol Mulai | |
| Pelacakan | T atau F3 | Tombol X |
Catatan: Tombol pengontrol dapat ditargetkan ke satu tangan/pengontrol atau yang lain menggunakan pengubah penargetan tangan.
Penargetan
Beberapa konsep input di atas berdiri sendiri. Tindakan, Bloom/System, Reset, dan Tracking adalah konsep lengkap, tidak perlu, dan tidak terpengaruh oleh, pengubah tambahan untuk penargetan. Konsep yang tersisa dapat diterapkan ke salah satu dari beberapa target. Kami telah memperkenalkan cara bagi Anda untuk menentukan target mana yang dimaksudkan yang harus diterapkan oleh perintah Anda. Dalam semua kasus, dimungkinkan untuk menentukan melalui UI atau melalui penekanan keyboard, objek mana yang akan ditargetkan. Dalam beberapa kasus, dimungkinkan juga untuk menentukan dengan pengontrol xbox secara langsung.
Tabel berikut ini menjelaskan opsi untuk penargetan, dan cara mengaktifkan masing-masing.
| Object | Pengubah Keyboard | Pengubah Pengontrol | Pengubah UI Emulator |
|---|---|---|---|
| Isi | (default) | (default) | (default) |
| Kepala | Tahan H | (Tidak tersedia) | (Tidak tersedia) |
| Tangan Kiri/Pengontrol | Tombol Tahan Alt Kiri | Tahan Tombol Shoulder Kiri | Left-Hand pushpin |
| Tangan Kanan/Pengontrol | Tahan Tombol Alt Kanan | Tahan Tombol PenahanAnah Kanan | Right-Hand pushpin |
| Mata | Tahan Y | (Tidak tersedia) | Pushpin Mata |
Tabel berikut menunjukkan bagaimana setiap pengubah target memetakan setiap konsep input gerakan inti
| Input | Default (Isi) | Hand/controller (Tahan Alt, tahan tombol bahu gamepad, atau alihkan pushpin UI) | Kepala (Tahan H) | Mata (Tahan Y atau alihkan UI pushpin) |
|---|---|---|---|---|
| Yaw | Belokkan badan ke kiri/kanan | Pindahkan tangan ke kiri/ kanan | Belok kiri/ kanan | Tatapan mata terlihat kiri/kanan |
| Kemiringan | Membelokkan kepala ke atas / ke bawah | Pindahkan tangan ke atas / ke bawah | Belokkan kepala ke Atas / ke bawah | Tatapan mata melihat ke atas/ke bawah |
| Roll | Kepala gulung kiri / kanan | Kepala gulung kiri / kanan | (Tidak ada tindakan) | |
| X | Geser isi ke kiri/kanan | Pindahkan tangan/pengontrol ke kiri/kanan | Belok kiri/ kanan | (Tanpa Tindakan) |
| Y | Pindahkan isi ke atas/ke bawah | Pindahkan tangan/pengontrol ke atas /ke bawah | Membelokkan kepala ke atas / ke bawah | (Tanpa Tindakan) |
| Z | Memindahkan isi ke depan/mundur | Pindahkan tangan/pengontrol ke depan/mundur | Membelokkan kepala ke atas / ke bawah | (Tanpa Tindakan) |
Mengontrol aplikasi
Kumpulan kontrol berikut disarankan untuk penggunaan sehari-hari:
| Operasi | Keyboard dan mouse | Pengontrol |
|---|---|---|
| Isi X | A / D | Thumbstick kiri/kanan |
| Tubuh Y | Halaman atas/ halaman ke bawah | DPad atas/bawah |
| Isi Z | W / S | Jempol kiri ke atas / ke bawah |
| Yaw Tubuh | Seret mouse ke kiri/ kanan | Thumbstick kanan kiri / kanan |
| Kepala Yaw | H + seret mouse ke kiri/ kanan | H (pada Keyboard) + thumbstick kanan kiri / kanan |
| Pitch Kepala | Seret mouse ke atas/ ke bawah | Thumbstick kanan ke atas/ ke bawah |
| Head Roll | T / E | DPad kiri/ kanan |
| Tangan/Pengontrol X | Alt + A / D | Bahu + thumbstick kiri / kanan |
| Tangan/Pengontrol Y | Alt + Page up / page down | Bahu + DPad ke atas / ke bawah |
| Tangan/Pengontrol Z | Alt + W / S | Bahu + Jempol kiri ke atas / ke bawah |
| Tangan/Pengontrol Yaw | Alt + seret mouse ke kiri / kanan | Bahu + thumbstick kanan kiri / kanan |
| Pitch Tangan/Pengontrol | Alt + seret mouse ke atas / ke bawah | Bahu + thumbstick kanan ke atas / ke bawah |
| Roll Tangan/Pengontrol | Alt + Q / E | Bahu + DPad kiri / kanan |
| Tindakan | Tombol kanan mouse | Pemicu |
| Bloom / System / Home | Kunci F2 atau Windows | Tombol B |
| Mengatur ulang | Escape | Tombol Mulai |
| Pelacakan | T | Tombol X |
| Pengguliran | Tombol Alt + kanan mouse + seret mouse ke atas / ke bawah | Bahu + pemicu + thumbstick kanan ke atas / ke bawah |
| Pindahkan/putar lebih cepat | Tombol Shift kiri atau kanan | Tekan dan tahan thumbstick kanan |
| Pindahkan/putar lambat | Tombol Ctrl kiri atau kanan | Tekan dan tahan thumbstick kiri |
Menggunakan headset dan pengontrol gerakan imersif Windows Mixed Reality dengan emulator HoloLens 2
Saat menggunakan headset imersif Windows Mixed Reality dengan emulator HoloLens 2, gerakan dan rotasi secara otomatis dipetakan ke gerakan headset dan rotasi. Posisi dan orientasi pengontrol gerakan secara otomatis dipetakan ke posisi tangan dan orientasi di emulator. Tabel di bawah ini mencantumkan tindakan tambahan yang tersedia saat menggunakan pengontrol gerakan.
Catatan
Saat menggunakan headset, keyboard standar, mouse, dan kontrol gamepad diabaikan secara otomatis.
| Operasi | Tindakan | Catatan |
|---|---|---|
| Isi X | Thumbstick Kiri / Kanan | |
| Isi Z | Thumbstick Maju / Mundur | |
| Tubuh Y | Halaman Keyboard Atas /Bawah | Pastikan Windows Mixed Reality memiliki fokus. Tekan Win+Y jika fokus ada pada Desktop Windows untuk mengembalikan fokus ke Windows Mixed Reality. |
| Mata Terlihat Kiri / Kanan | DPad Kiri / Kanan | |
| Tatap Mata Ke Atas / Bawah | DPad Ke Atas/Bawah | |
| Ketuk | Pemicu | |
| Jepit/Genggam | Tombol pegangan | |
| Gerakan Sistem | Tombol menu | |
| Reset Posisi | Klik thumbstick |
Simulasi Persepsi Panel Kontrol pintasan keyboard
Anda dapat mengakses panel Kontrol Simulasi Perception dan mengaktifkan atau menonaktifkan perangkat input PC dengan pintasan keyboard berikut.
| Operasi | Pintasan | Deskripsi/Catatan |
|---|---|---|
| Alihkan 'Gunakan keyboard untuk simulasi' | F4 | Saat dimatikan, input keyboard masuk ke aplikasi HoloLens atau Windows Mixed Reality. |
| Alihkan 'Gunakan mouse untuk simulasi' | F5 | Saat dimatikan, input mouse masuk ke lingkungan Mixed Reality (hanya Windows Mixed Reality) |
| Alihkan 'Gunakan gamepad untuk simulasi' | F6 | Saat dimatikan, input gamepad diabaikan oleh simulasi |
| Perlihatkan atau sembunyikan panel kontrol | F7 | |
| Mengatur fokus keyboard ke panel kontrol | F8 | Jika panel saat ini tidak terlihat, panel akan ditampilkan terlebih dahulu. |
| Dok atau lepaskan panel ke/dari jendela emulator atau portal Mixed Reality | F9 | Jika jendela ditutup saat dilepas, jendela akan ditampung dan disembunyikan. |