Pengontrol gerakan

Artikel
03/21/2023

Pengontrol gerakan adalah aksesori perangkat keras yang memungkinkan pengguna untuk mengambil tindakan dalam realitas campuran. Keuntungan pengontrol gerakan dibandingkan gerakan adalah bahwa pengontrol memiliki posisi yang tepat di ruang angkasa, memungkinkan interaksi berbutir halus dengan objek digital. Untuk Windows Mixed Reality headset imersif, pengontrol gerakan adalah cara utama pengguna akan mengambil tindakan di dunia mereka.

Gambar: Pengontrol gerakan Windows Mixed Reality

Windows Mixed Reality pengontrol gerakan

Dukungan perangkat

Fitur	HoloLens (generasi ke-1)	HoloLens 2	Headset imersif
Pengontrol gerakan	❌	❌	✔️

Detail perangkat keras

Windows Mixed Reality pengontrol gerakan menawarkan pelacakan gerakan yang tepat dan responsif di bidang pandang Anda menggunakan sensor di headset imersif. Tidak perlu menginstal perangkat keras di dinding di ruang Anda. Pengontrol gerakan ini akan menawarkan kemudahan pengaturan dan portabilitas yang sama dengan headset Windows Mixed Reality imersif. Mitra perangkat kami berencana untuk memasarkan dan menjual pengontrol ini di rak ritel liburan ini.

Mengenal pengontrol Anda

Fitur:

Pelacakan optik
Pemicu
Tombol Ambil
Thumbstick
Touchpad

Siapkan

Sebelum Anda mulai

Anda akan membutuhkan:

Satu set dua pengontrol gerakan.
Empat baterai AA.
PC dengan dukungan Bluetooth 4.0.

Periksa pembaruan Windows, Unity, dan driver

Kunjungi Instal alat untuk versi Windows, Unity, dan sebagainya yang disukai, untuk pengembangan realitas campuran.
Pastikan Anda memiliki driver headset dan pengontrol gerakan terbaru.

Pengontrol pemasangan

Pengontrol gerakan dapat diikat dengan PC host menggunakan pengaturan Windows seperti perangkat Bluetooth lainnya.

Masukkan dua baterai AA ke bagian belakang pengontrol. Biarkan penutup baterai mati untuk saat ini.
Jika Anda menggunakan Adaptor Bluetooth USB eksternal alih-alih radio Bluetooth bawaan, tinjau praktik terbaik Bluetooth sebelum melanjutkan. Untuk konfigurasi desktop dengan radio bawaan, pastikan antena tersambung.
Buka Pengaturan Windows ->Perangkat ->Tambahkan Bluetooth atau perangkat lain ->Bluetooth dan hapus instans sebelumnya dari "Pengontrol Gerakan - Kanan" dan "Pengontrol Gerakan - Kiri". Periksa juga Kategori perangkat lain di bagian bawah daftar.
Pilih Tambahkan Bluetooth atau perangkat lain dan lihat mulai menemukan perangkat Bluetooth.
Tekan dan tahan tombol Windows pengontrol untuk menyalakan pengontrol, lepaskan setelah berdengung.
Tekan dan tahan tombol pemasangan (tab di kompartemen baterai) hingga LED mulai berkilau.

Tunggu "Pengontrol gerakan - Kiri" atau "Pengontrol gerakan - Kanan" untuk muncul di bagian bawah daftar. Pilih untuk dipasangkan. Pengontrol akan bergetar sekali ketika tersambung.

Gambar: Pilih "Pengontrol gerakan" untuk dipasangkan; jika ada beberapa instans, pilih satu dari bagian bawah daftar

Pilih Pengontrol gerakan untuk dipasangkan, jika beberapa instans pilih satu dari bagian bawah daftar yang muncul

Anda akan melihat pengontrol muncul di pengaturan Bluetooth di bawah kategori "Mouse, keyboard, & pena" sebagai Tersambung. Pada titik ini, Anda mungkin mendapatkan pembaruan firmware - lihat bagian berikutnya.
Memasang kembali penutup baterai.
Ulangi langkah 1-9 untuk pengontrol kedua.

Setelah berhasil memasangkan kedua pengontrol, pengaturan Anda akan terlihat seperti berikut ini, di bawah kategori "Mouse, keyboard, & pena"

Gambar: Pengontrol gerakan tersambung

Pengontrol gerakan tersambung

Jika pengontrol dimatikan setelah pemasangan, statusnya akan muncul sebagai Dipasangkan. Untuk pengontrol secara permanen di bawah kategori "Perangkat lain", pemasangan mungkin hanya selesai sebagian. Dalam hal ini, jalankan langkah-langkah pemasangan lagi untuk mendapatkan fungsional pengontrol.

Memperbarui firmware pengontrol

Jika headset imersif terhubung ke PC Anda dengan firmware pengontrol baru tersedia, firmware akan didorong ke pengontrol gerakan Anda secara otomatis saat Anda menyalakannya di lain waktu. Pembaruan firmware pengontrol ditunjukkan oleh pola kuadran LED yang menerangi dalam gerakan melingkar, dan memakan waktu 1-2 menit.

Setelah pembaruan firmware selesai, pengontrol akan me-reboot dan menyambungkan kembali. Kedua pengontrol harus terhubung sekarang.

Gambar: Pengontrol yang tersambung dalam pengaturan Bluetooth

Pengontrol tersambung

Pastikan pengontrol Anda berfungsi dengan baik:
1. Luncurkan portal Mixed Reality dan masukkan Beranda Mixed Reality Anda.
2. Pindahkan pengontrol Anda dan verifikasi pelacakan, tombol uji, dan verifikasi pekerjaan teleportasi . Jika tidak, lihat pemecahan masalah pengontrol gerakan.

Menatap dan menunjuk

Windows Mixed Reality mendukung dua model kunci untuk interaksi; tatap dan penerapan serta titik dan penerapan:

Dengan tatap dan penerapan, pengguna menargetkan objek dengan pandangan mereka, lalu memilih objek dengan ketukan udara tangan, gamepad, clicker, atau suara mereka.
Dengan titik dan penerapan, pengguna dapat memicu pengontrol gerakan berkemampu menunjuk pada objek target lalu memilih objek dengan pemicu pengontrol.

Aplikasi yang mendukung menunjuk dengan pengontrol gerakan juga harus memungkinkan interaksi berbasis tatapan jika memungkinkan, untuk memberi pengguna pilihan dalam perangkat input apa yang mereka gunakan.

Mengelola recoil saat menunjuk

Saat menggunakan pengontrol gerakan untuk mengarahkan dan menerapkan, pengguna Anda akan menggunakan pengontrol untuk menargetkan dan berinteraksi dengan menarik pemicunya. Pengguna yang menarik pemicu dengan keras mungkin akhirnya membidik pengontrol lebih tinggi di akhir penarikan pemicu mereka daripada yang mereka inginkan.

Untuk mengelola recoil seperti itu yang mungkin terjadi saat pengguna menarik pemicu, aplikasi Anda dapat memposisikan sinar penargetannya saat nilai sumbu analog pemicu naik di atas 0,0. Anda kemudian dapat mengambil tindakan menggunakan sinar penargetan tersebut beberapa bingkai kemudian setelah nilai pemicu mencapai 1,0, selama pers akhir terjadi dalam jangka waktu singkat. Saat menggunakan gerakan Ketuk komposit tingkat lebih tinggi, Windows akan mengelola tangkapan sinar penargetan dan batas waktu untuk Anda.

Pose genggaman vs. pose menunjuk

Windows Mixed Reality mendukung pengontrol gerakan dalam berbagai faktor bentuk, dengan desain setiap pengontrol berbeda dalam hubungannya antara posisi tangan pengguna dan arah "maju" alami yang harus digunakan aplikasi untuk menunjuk saat merender pengontrol.

Untuk mewakili pengontrol ini dengan lebih baik, ada dua jenis pose yang dapat Anda selidiki untuk setiap sumber interaksi; pose genggaman dan pose pointer.

Pose genggaman

Pose genggaman mewakili lokasi telapak tangan yang terdeteksi oleh HoloLens, atau telapak tangan memegang pengontrol gerakan.

Pada headset imersif, pose genggaman paling baik digunakan untuk merender tangan pengguna atau objek yang dipegang di tangan pengguna, seperti pedang atau pistol. Pose genggaman juga digunakan saat memvisualisasikan pengontrol gerakan, karena model yang dapat dirender yang disediakan oleh Windows untuk pengontrol gerakan menggunakan pose genggaman sebagai asal dan pusat rotasinya.

Pose genggaman didefinisikan secara khusus sebagai berikut:

Posisi genggaman: Sentroid telapak tangan saat memegang pengontrol secara alami, disesuaikan ke kiri atau kanan untuk memusatkan posisi di dalam pegangan. Pada pengontrol gerakan Windows Mixed Reality, posisi ini umumnya selaras dengan tombol Genggam.
Sumbu kanan orientasi genggaman: Ketika Anda benar-benar membuka tangan Anda untuk membentuk pose lima jari datar, sinar yang normal ke telapak tangan Anda (maju dari telapak tangan kiri, mundur dari kanan telapak tangan)
Sumbu Teruskan orientasi genggaman: Saat Anda menutup sebagian tangan Anda (seolah-olah memegang pengontrol), sinar yang menunjuk "maju" melalui tabung yang dibentuk oleh jari-jari anda yang bukan jempol.
Sumbu Atas orientasi genggaman: Sumbu Atas tersirat oleh definisi Kanan dan Teruskan.

Pose penunjuk

Pose penunjuk mewakili ujung pengontrol yang menunjuk ke depan.

Pose pointer yang disediakan sistem paling baik digunakan untuk raycast saat Anda merender model pengontrol itu sendiri. Jika Anda merender beberapa objek virtual lain sebagai pengganti pengontrol, seperti pistol virtual, Anda harus menunjuk dengan sinar yang paling alami untuk objek virtual tersebut, seperti sinar yang berjalan di sepanjang laras model senjata yang ditentukan aplikasi. Karena pengguna dapat melihat objek virtual dan bukan pengontrol fisik, menunjuk dengan objek virtual kemungkinan akan lebih alami bagi mereka yang menggunakan aplikasi Anda.

Status pelacakan pengontrol

Seperti headset, pengontrol gerakan Windows Mixed Reality tidak memerlukan pengaturan sensor pelacakan eksternal. Sebaliknya, pengontrol dilacak oleh sensor di headset itu sendiri.

Jika pengguna memindahkan pengontrol keluar dari bidang pandang headset, dalam banyak kasus Windows akan terus menyimpulkan posisi pengontrol dan menyediakannya ke aplikasi. Ketika pengontrol telah kehilangan pelacakan visual cukup lama, posisi pengontrol akan turun ke posisi perkiraan akurasi.

Pada titik ini, sistem akan mengunci pengontrol ke pengguna, melacak posisi pengguna saat mereka bergerak, sambil tetap mengekspos orientasi sejati pengontrol menggunakan sensor orientasi internalnya. Banyak aplikasi yang menggunakan pengontrol untuk mengarahkan dan mengaktifkan elemen UI dapat beroperasi secara normal saat dalam perkiraan akurasi tanpa memperhatikan pengguna.

Penalaran tentang status pelacakan secara eksplisit

Aplikasi yang ingin memperlakukan posisi secara berbeda berdasarkan status pelacakan dapat melaju lebih jauh dan memeriksa properti pada status pengontrol, seperti SourceLossRisk dan PositionAccuracy:

Status pelacakan	SourceLossRisk	PositionAccuracy	TryGetPosition
Akurasi tinggi	< 1.0	Tinggi	TRUE
Akurasi tinggi (berisiko kehilangan)	== 1.0	Tinggi	TRUE
Perkiraan akurasi	== 1.0	Perkiraan	TRUE
Tidak ada posisi	== 1.0	Perkiraan	salah

Status pelacakan pengontrol gerakan ini didefinisikan sebagai berikut:

Akurasi tinggi: Meskipun pengontrol gerakan berada dalam bidang pandang headset, umumnya akan memberikan posisi akurasi tinggi, berdasarkan pelacakan visual. Pengontrol bergerak yang sesaat meninggalkan bidang pandang atau sesaat dikaburkan dari sensor headset (misalnya, oleh sisi lain pengguna) akan terus mengembalikan pose akurasi tinggi untuk waktu yang singkat, berdasarkan pelacakan inertial pengontrol itu sendiri.
Akurasi tinggi (berisiko kalah): Ketika pengguna memindahkan pengontrol gerakan melewati tepi bidang pandang headset, headset akan segera tidak dapat melacak posisi pengontrol secara visual. Aplikasi ini tahu kapan pengontrol telah mencapai batas FOV ini dengan melihat SourceLossRisk mencapai 1.0. Pada saat itu, aplikasi dapat memilih untuk menjeda gerakan pengontrol yang memerlukan aliran pose berkualitas tinggi yang stabil.
Perkiraan akurasi: Ketika pengontrol telah kehilangan pelacakan visual cukup lama, posisi pengontrol akan turun ke posisi perkiraan akurasi. Pada titik ini, sistem akan mengunci pengontrol ke pengguna, melacak posisi pengguna saat mereka bergerak, sambil tetap mengekspos orientasi sejati pengontrol menggunakan sensor orientasi internalnya. Banyak aplikasi yang menggunakan pengontrol untuk mengarahkan dan mengaktifkan elemen UI dapat beroperasi seperti biasa saat dalam perkiraan akurasi tanpa memperhatikan pengguna. Aplikasi dengan persyaratan input yang lebih berat dapat memilih untuk merasakan penurunan ini dari Akurasi tinggi ke Perkiraan akurasi dengan memeriksa properti PositionAccuracy , misalnya untuk memberi pengguna hitbox yang lebih murah pada target di luar layar selama waktu ini.
Tidak ada posisi: Meskipun pengontrol dapat beroperasi pada perkiraan akurasi untuk waktu yang lama, kadang-kadang sistem tahu bahwa bahkan posisi terkunci tubuh tidak berarti saat ini. Misalnya, pengontrol yang diaktifkan mungkin belum pernah diamati secara visual, atau pengguna dapat meletakkan pengontrol yang kemudian diambil oleh orang lain. Pada saat-saat itu, sistem tidak akan memberikan posisi apa pun ke aplikasi, dan TryGetPosition akan mengembalikan false.

Interaksi: Input spasial tingkat rendah

Interaksi inti di seluruh pengontrol tangan dan gerakan adalah Select, Menu, Grasp, Touchpad, Thumbstick, dan Home.

Pilih adalah interaksi utama untuk mengaktifkan hologram, yang terdiri dari pers diikuti oleh rilis. Untuk pengontrol gerakan, Anda melakukan tekan Pilih menggunakan pemicu pengontrol. Cara lain untuk melakukan Pilih adalah dengan mengucapkan perintah suara "Pilih". Interaksi pilih yang sama dapat digunakan dalam aplikasi apa pun. Pikirkan Pilih sebagai yang setara dengan klik mouse; tindakan universal yang Anda pelajari sekali lalu terapkan di semua aplikasi Anda.
Menu adalah interaksi sekunder untuk bertindak pada objek, digunakan untuk menarik menu konteks atau mengambil beberapa tindakan sekunder lainnya. Dengan pengontrol gerakan, Anda dapat mengambil tindakan menu menggunakan tombol menu pengontrol. (yaitu, tombol dengan ikon "menu" hamburger di atasnya)
Pemahaman adalah bagaimana pengguna dapat langsung mengambil tindakan pada objek di tangan mereka untuk memanipulasi mereka. Dengan pengontrol gerakan, Anda dapat melakukan aksi pegangan dengan meremas tinju anda dengan erat. Pengontrol gerakan dapat mendeteksi Genggaman dengan tombol ambil, pemicu telapak tangan, atau sensor lainnya.
Touchpad memungkinkan pengguna untuk menyesuaikan tindakan dalam dua dimensi di sepanjang permukaan touchpad pengontrol gerakan, melakukan tindakan dengan mengklik bawah pada touchpad. Touchpad memberikan keadaan tertekan, keadaan tersentuh, dan koordinat XY yang dinormalisasi. X dan Y berkisar dari -1 hingga 1 di rentang touchpad melingkar, dengan pusat pada (0, 0). Untuk X, -1 berada di sebelah kiri dan 1 berada di sebelah kanan. Untuk Y, -1 ada di bagian bawah dan 1 ada di atas.
Thumbstick memungkinkan pengguna untuk menyesuaikan tindakan dalam dua dimensi dengan memindahkan thumbstick pengontrol gerakan dalam rentang melingkarnya, melakukan tindakan dengan mengklik thumbstick. Thumbstick juga memberikan status tertekan dan koordinat XY yang dinormalisasi. X dan Y berkisar dari -1 hingga 1 di rentang touchpad melingkar, dengan pusat pada (0, 0). Untuk X, -1 berada di sebelah kiri dan 1 berada di sebelah kanan. Untuk Y, -1 ada di bagian bawah dan 1 ada di atas.
Home adalah tindakan sistem khusus yang digunakan untuk kembali ke Menu Mulai. Ini mirip dengan menekan tombol Windows pada keyboard atau tombol Xbox pada pengontrol Xbox. Anda dapat pergi ke Rumah dengan menekan tombol Windows pada pengontrol gerakan. Catatan, Anda selalu dapat kembali ke Mulai dengan mengatakan "Hey Cortana, Go Home". Aplikasi tidak dapat bereaksi khusus terhadap tindakan Home, karena ini ditangani oleh sistem.

Gerakan komposit: Input spasial tingkat tinggi

Gerakan tangan dan pengontrol gerakan dapat dilacak dari waktu ke waktu untuk mendeteksi serangkaian gerakan komposit tingkat tinggi yang umum. Ini memungkinkan aplikasi Anda mendeteksi ketukan tingkat tinggi, tahan, manipulasi , dan gerakan navigasi , baik pengguna akhirnya menggunakan tangan atau pengontrol.

Merender model pengontrol gerakan

Model pengontrol 3D Windows menyediakan untuk aplikasi model yang dapat dirender dari setiap pengontrol gerakan yang saat ini aktif dalam sistem. Dengan aplikasi Anda secara dinamis memuat dan mengartikulasikan model pengontrol yang disediakan sistem ini saat runtime, Anda dapat memastikan aplikasi Anda kompatibel dengan desain pengontrol di masa mendatang.

Sebaiknya render semua model yang dapat dirender pada pose grip pengontrol, karena asal model selaras dengan titik ini di dunia fisik. Jika Anda merender model pengontrol, Anda mungkin kemudian ingin melakukan raycast ke adegan Anda dari pose pointer, yang mewakili sinar di mana pengguna secara alami akan mengharapkan untuk menunjuk, mengingat desain fisik pengontrol tersebut.

Untuk informasi selengkapnya tentang cara memuat model pengontrol secara dinamis di Unity, lihat bagian Merender model pengontrol gerakan di Unity .

Seni garis pengontrol 2D Meskipun kami merekomendasikan untuk melampirkan tips dan perintah pengontrol dalam aplikasi ke model pengontrol dalam aplikasi itu sendiri, beberapa pengembang mungkin ingin menggunakan representasi seni garis 2D dari pengontrol gerakan dalam UI "tutorial" datar atau "cara". Bagi pengembang tersebut, kami telah membuat file line art pengontrol gerakan .png tersedia dalam warna hitam dan putih di bawah ini (klik kanan untuk menyimpan).

Pratinjau seni garis pengontrol gerakan

Line art pengontrol gerakan resolusi penuh dalam '''putih'''

Line art pengontrol gerakan resolusi penuh dalam '''hitam'''

FAQ

Dapatkah saya memasangkan pengontrol gerakan ke beberapa PC?

Pengontrol gerakan mendukung pemasangan dengan satu PC. Ikuti petunjuk tentang penyiapan pengontrol gerakan untuk memasangkan pengontrol Anda.

Bagaimana cara memperbarui firmware pengontrol gerakan?

Firmware pengontrol gerakan adalah bagian dari driver headset dan akan diperbarui secara otomatis pada koneksi, jika perlu. Pembaruan firmware biasanya memakan waktu 1-2 menit tergantung pada radio Bluetooth dan kualitas tautan. Dalam kasus yang jarang terjadi, pembaruan firmware pengontrol mungkin memakan waktu hingga 10 menit, yang dapat menunjukkan konektivitas Bluetooth yang buruk atau gangguan radio. Lihat Praktik terbaik Bluetooth di Panduan Penggemar untuk memecahkan masalah konektivitas. Setelah pembaruan firmware, pengontrol akan me-reboot dan terhubung kembali ke PC host (Anda mungkin melihat LED cerah untuk pelacakan). Jika pembaruan firmware terganggu (misalnya, pengontrol kehilangan daya), itu akan dicoba lagi saat pengontrol dihidupkan lagi.

Bagaimana saya bisa memeriksa tingkat baterai?

Di rumah Windows Mixed Reality, Anda dapat mengubah pengontrol untuk melihat tingkat baterainya di sisi terbalik model virtual. Tidak ada indikator tingkat baterai fisik.

Dapatkah Anda menggunakan pengontrol ini tanpa headset? Hanya untuk input joystick/trigger/etc?

Bukan untuk Aplikasi Windows Universal.

Pemecahan Masalah

Lihat pemecahan masalah pengontrol gerakan di Panduan Penggemar.

Mengajukan umpan balik/bug pengontrol gerakan

Beri kami umpan balik di Feedback Hub, menggunakan kategori "Mixed Reality -> Input".