Contrôleurs de mouvement
Les contrôleurs de mouvement sont des accessoires matériels qui permettent aux utilisateurs d’agir en réalité mixte. Un avantage des contrôleurs de mouvement par rapport aux mouvements est que les contrôleurs ont une position précise dans l’espace, ce qui permet une interaction affinée avec les objets numériques. Pour Windows Mixed Reality casques immersifs, les contrôleurs de mouvement sont le principal moyen pour les utilisateurs d’agir dans leur monde.
Image : contrôleur de mouvement Windows Mixed Reality
Prise en charge des appareils
| Fonctionnalité | HoloLens (1ère génération) | HoloLens 2 | Casques immersifs |
| Contrôleurs de mouvement | ❌ | ❌ | ✔️ |
Détails du matériel
Windows Mixed Reality contrôleurs de mouvement offrent un suivi des mouvements précis et réactif dans votre champ de vision à l’aide des capteurs du casque immersif. Il n’est pas nécessaire d’installer du matériel sur les murs de votre espace. Ces contrôleurs de mouvement offrent la même facilité de configuration et de portabilité que Windows Mixed Reality casques immersifs. Nos partenaires d’appareils prévoient de commercialiser et de vendre ces contrôleurs sur les étagères de vente au détail ce jour férié.
Apprendre à connaître votre contrôleur
Fonctionnalités :
- Suivi optique
- Déclencheur
- Bouton Récupérer
- Bâton de pouce
- Pavé tactile
Programme d’installation
Avant de commencer
Vous devez disposer des éléments suivants :
- Ensemble de deux contrôleurs de mouvement.
- Quatre piles AA.
- Un PC avec prise en charge de Bluetooth 4.0.
Rechercher les mises à jour de Windows, Unity et des pilotes
- Pour le développement en réalité mixte, consultez Installer les outils pour les versions préférées de Windows, Unity, etc.
- Assurez-vous que vous disposez des pilotes de casque et de contrôleur de mouvement les plus à jour.
Appairage de contrôleurs
Les contrôleurs de mouvement peuvent être liés à un PC hôte à l’aide des paramètres Windows comme tout autre appareil Bluetooth.
- Insérez deux piles AA à l’arrière du contrôleur. Laissez le couvercle de la batterie éteint pour l’instant.
- Si vous utilisez un adaptateur Bluetooth USB externe au lieu d’une radio Bluetooth intégrée, passez en revue les meilleures pratiques Bluetooth avant de continuer. Pour la configuration du bureau avec radio intégrée, vérifiez que l’antenne est connectée.
- Ouvrez Paramètres Windows ->Appareils ->Ajouter Bluetooth ou un autre appareil ->Bluetooth et supprimer toutes les instances antérieures de « Contrôleur de mouvement – Droite » et « Contrôleur de mouvement – Gauche ». Vérifiez également la catégorie Autres appareils en bas de la liste.
- Sélectionnez Ajouter Bluetooth ou un autre appareil et voyez-le commencer à découvrir des appareils Bluetooth.
- Appuyez longuement sur le bouton Windows de la manette pour activer le contrôleur et relâchez-le une fois qu’il buzze.
- Appuyez longuement sur le bouton de couplage (onglet dans le compartiment de la batterie) jusqu’à ce que les LED commencent à pulser.
- Attendez que « Contrôleur de mouvement - Gauche » ou « Contrôleur de mouvement - Droite » apparaisse en bas de la liste. Sélectionnez pour coupler. Le contrôleur vibre une fois lorsqu’il est connecté.
Image : sélectionnez « Contrôleur de mouvement » à associer ; s’il existe plusieurs instances, sélectionnez-en une dans le bas de la liste
- Vous verrez le contrôleur apparaître dans les paramètres Bluetooth sous la catégorie « Souris, clavier & stylet » comme Connecté. À ce stade, vous pouvez obtenir une mise à jour du microprogramme ( voir la section suivante).
- Rattacher à nouveau le couvercle de la batterie.
- Répétez les étapes 1 à 9 pour le deuxième contrôleur.
Après avoir appairé les deux contrôleurs, vos paramètres doivent ressembler à ce qui suit, sous la catégorie « Souris, clavier & stylet »
Image : contrôleurs de mouvement connectés
Si les contrôleurs sont désactivés après l’appairage, leur status s’affiche comme Jumelé. Pour les contrôleurs de façon permanente dans la catégorie « Autres appareils », l’appairage peut ne s’être terminé que partiellement. Dans ce cas, exécutez à nouveau les étapes de couplage pour rendre le contrôleur fonctionnel.
Mise à jour du microprogramme du contrôleur
- Si un casque immersif est connecté à votre PC avec un nouveau microprogramme de contrôleur est disponible, le microprogramme est automatiquement envoyé à vos contrôleurs de mouvement la prochaine fois que vous les activez. Les mises à jour du microprogramme du contrôleur sont indiquées par un modèle d’éclairage des quadrants LED dans un mouvement circulaire et prennent 1 à 2 minutes.
- Une fois la mise à jour du microprogramme terminée, les contrôleurs redémarrent et se reconnectent. Les deux contrôleurs doivent être connectés maintenant.
Image : Contrôleurs connectés dans les paramètres Bluetooth
- Vérifiez que vos contrôleurs fonctionnent correctement :
- Lancez Mixed Reality portail et entrez votre Mixed Reality Accueil.
- Déplacez vos contrôleurs et vérifiez le suivi, les boutons de test et vérifiez le fonctionnement de la téléportation . Si ce n’est pas le cas, case activée résolution des problèmes du contrôleur de mouvement.
Regard et pointage
Windows Mixed Reality prend en charge deux modèles clés pour l’interaction ; regardez et commitez, pointez et commitez :
- Avec le regard et la validation, les utilisateurs ciblent un objet avec leur regard, puis sélectionnent des objets avec des touches d’air à la main, un boîtier de commande, un clicker ou leur voix.
- Avec point et commit, un utilisateur peut cibler un contrôleur de mouvement capable de pointer vers l’objet cible, puis sélectionner des objets avec le déclencheur du contrôleur.
Les applications qui prennent en charge le pointage avec les contrôleurs de mouvement doivent également permettre des interactions pilotées par le regard, dans la limite du possible, pour donner aux utilisateurs le choix des appareils d’entrée qu’ils utilisent.
Gestion du recul lors du pointage
Lorsque vous utilisez des contrôleurs de mouvement pour pointer et valider, vos utilisateurs utilisent le contrôleur pour cibler et interagir en tirant son déclencheur. Les utilisateurs qui tirent vigoureusement la gâchette peuvent finir par viser le contrôleur plus haut à la fin de leur extraction de déclencheur qu’ils ne l’avaient prévu.
Pour gérer un tel recul qui peut se produire lorsque les utilisateurs tirent le déclencheur, votre application peut aligner son rayon de ciblage lorsque la valeur de l’axe analogique du déclencheur dépasse 0,0. Vous pouvez ensuite effectuer une action à l’aide de ce rayon ciblant quelques images plus tard une fois que la valeur du déclencheur atteint 1.0, tant que l’appui final se produit dans une courte fenêtre de temps. Lorsque vous utilisez le mouvement Tap composite de niveau supérieur, Windows gère pour vous cette capture de rayons et ce délai d’expiration.
Pose de prise ou pose pointante
Windows Mixed Reality prend en charge les contrôleurs de mouvement dans différents facteurs de forme, la conception de chaque contrôleur étant différente dans sa relation entre la position de la main de l’utilisateur et la direction « vers l’avant » naturelle que les applications doivent utiliser pour pointer lors du rendu du contrôleur.
Pour mieux représenter ces contrôleurs, il existe deux types de postures que vous pouvez examiner pour chaque source d’interaction ; la pose de la poignée et la pose de pointeur.
Pose de prise en main
La pose de la poignée représente l’emplacement de la paume d’une main détectée par un HoloLens, ou de la paume qui contient un contrôleur de mouvement.
Sur les casques immersifs, la pose de prise est mieux utilisée pour restituer la main de l’utilisateur ou un objet tenu dans la main de l’utilisateur, comme une épée ou un pistolet. La pose de poignée est également utilisée lors de la visualisation d’un contrôleur de mouvement, car le modèle de rendu fourni par Windows pour un contrôleur de mouvement utilise la pose de poignée comme son origine et son centre de rotation.
La pose de la poignée est définie spécifiquement comme suit :
- Position de prise : centroïde de la paume lors de la tenue du contrôleur naturellement, ajusté à gauche ou à droite pour centrer la position à l’intérieur de la poignée. Sur le contrôleur de mouvement Windows Mixed Reality, cette position s’aligne généralement sur le bouton Saisir.
- L’axe droit de la poignée : lorsque vous ouvrez complètement votre main pour former une pose à cinq doigts plats, le rayon qui est normal à votre paume (vers l’avant de la paume gauche, vers l’arrière de la paume droite)
- Axe avant de la poignée : lorsque vous fermez partiellement votre main (comme si vous teniez la manette), le rayon qui pointe « vers l’avant » à travers le tube formé par vos doigts non-pouce.
- Axe Haut de l’orientation de la prise en main : axe Haut impliqué par les définitions Droite et Avant.
Pose du pointeur
La pose de pointeur représente la pointe du contrôleur pointant vers l’avant.
La pose de pointeur fournie par le système est mieux utilisée pour raycast lorsque vous affichez le modèle de contrôleur lui-même. Si vous rendez un autre objet virtuel à la place du contrôleur, comme un pistolet virtuel, vous devez pointer avec un rayon qui est le plus naturel pour cet objet virtuel, tel qu’un rayon qui se déplace le long du canon du modèle d’arme défini par l’application. Étant donné que les utilisateurs peuvent voir l’objet virtuel et non le contrôleur physique, pointer avec l’objet virtuel sera probablement plus naturel pour ceux qui utilisent votre application.
État du suivi du contrôleur
Comme les casques, le contrôleur de mouvement Windows Mixed Reality ne nécessite aucune configuration de capteurs de suivi externes. Au lieu de cela, les contrôleurs sont suivis par des capteurs dans le casque lui-même.
Si l’utilisateur déplace les contrôleurs hors du champ d’affichage du casque, dans la plupart des cas, Windows continue d’inférer les positions de contrôleur et de les fournir à l’application. Lorsque le contrôleur a perdu le suivi visuel pendant suffisamment longtemps, les positions du contrôleur passent à des positions de précision approximative.
À ce stade, le système verrouille le corps du contrôleur à l’utilisateur, en suivant la position de l’utilisateur à mesure qu’il se déplace, tout en exposant l’orientation réelle du contrôleur à l’aide de ses capteurs d’orientation internes. De nombreuses applications qui utilisent des contrôleurs pour pointer et activer des éléments d’interface utilisateur peuvent fonctionner normalement avec une précision approximative sans que l’utilisateur ne le remarque.
Raisonnement sur l’état de suivi explicitement
Les applications qui souhaitent traiter les positions différemment en fonction de l’état de suivi peuvent aller plus loin et inspecter les propriétés de l’état du contrôleur, telles que SourceLossRisk et PositionAccuracy :
| État de suivi | SourceLossRisk | PositionAccuracy | TryGetPosition |
|---|---|---|---|
| Haute précision | < 1.0 | Élevé | true |
| Haute précision (au risque de perdre) | == 1.0 | Élevé | true |
| Précision approximative | == 1.0 | Approximatif | true |
| Aucune position | == 1.0 | Approximatif | false |
Ces états de suivi du contrôleur de mouvement sont définis comme suit :
- Haute précision : Bien que le contrôleur de mouvement se trouve dans le champ de vision du casque, il fournit généralement des positions de haute précision, basées sur le suivi visuel. Un contrôleur mobile qui quitte momentanément le champ de vision ou est momentanément masqué des capteurs du casque (par exemple, par l’autre main de l’utilisateur) continuera à retourner des poses de haute précision pendant une courte période, en fonction du suivi inertiel du contrôleur lui-même.
- Haute précision (au risque de perdre) : Lorsque l’utilisateur déplace le contrôleur de mouvement au-delà du bord du champ de vision du casque, le casque ne pourra bientôt pas suivre visuellement la position du contrôleur. L’application sait quand le contrôleur a atteint cette limite de FOV en voyant sourceLossRisk atteindre 1.0. À ce stade, l’application peut choisir de suspendre les mouvements du contrôleur qui nécessitent un flux stable de poses de haute qualité.
- Précision approximative : Lorsque le contrôleur a perdu le suivi visuel pendant suffisamment longtemps, les positions du contrôleur passent à des positions de précision approximative. À ce stade, le système verrouille le corps du contrôleur à l’utilisateur, en suivant la position de l’utilisateur à mesure qu’il se déplace, tout en exposant l’orientation réelle du contrôleur à l’aide de ses capteurs d’orientation internes. De nombreuses applications qui utilisent des contrôleurs pour pointer et activer des éléments d’interface utilisateur peuvent fonctionner normalement avec une précision approximative sans que l’utilisateur ne le remarque. Les applications avec des exigences d’entrée plus lourdes peuvent choisir de détecter cette baisse de haute précision à précision approximative en inspectant la propriété PositionAccuracy , par exemple pour offrir à l’utilisateur une hitbox plus généreuse sur les cibles hors écran pendant cette période.
- Aucune position : Bien que le contrôleur puisse fonctionner à une précision approximative pendant une longue période, le système sait parfois que même une position verrouillée par le corps n’est pas significative pour le moment. Par exemple, un contrôleur activé n’a peut-être jamais été observé visuellement, ou un utilisateur peut poser un contrôleur qui est ensuite récupéré par quelqu’un d’autre. À ce moment-là, le système ne fournit aucune position à l’application, et TryGetPosition retourne la valeur false.
Interactions : entrée spatiale de bas niveau
Les principales interactions entre les mains et les contrôleurs de mouvement sont Select, Menu, Grasp, Touchpad, Thumbstick et Home.
- Sélectionner est l’interaction principale pour activer un hologramme, constitué d’une pression suivie d’une libération. Pour les contrôleurs de mouvement, vous effectuez une pression Sélectionner à l’aide du déclencheur du contrôleur. D’autres façons d’effectuer une sélection sont en exprimant la commande vocale « Select ». La même interaction de sélection peut être utilisée dans n’importe quelle application. Considérez Sélectionner comme l’équivalent d’un clic de souris ; action universelle que vous apprenez une fois, puis que vous appliquez à toutes vos applications.
- Menu est l’interaction secondaire permettant d’agir sur un objet, utilisée pour extraire un menu contextuel ou effectuer une autre action secondaire. Avec les contrôleurs de mouvement, vous pouvez effectuer une action de menu à l’aide du bouton de menu du contrôleur. (c’est-à-dire le bouton avec l’icône hamburger « menu » sur celui-ci)
- Saisir est la façon dont les utilisateurs peuvent agir directement sur des objets à la main pour les manipuler. Avec les contrôleurs de mouvement, vous pouvez effectuer une action de saisie en serrant votre poing serré. Un contrôleur de mouvement peut détecter une saisie à l’aide d’un bouton de saisie, d’un déclencheur palm ou d’un autre capteur.
- Le pavé tactile permet à l’utilisateur d’ajuster une action en deux dimensions le long de la surface du pavé tactile d’un contrôleur de mouvement, en validant l’action en cliquant sur le pavé tactile. Les pavés tactiles fournissent un état enfoncé, un état tactile et des coordonnées XY normalisées. X et Y vont de -1 à 1 dans la plage du pavé tactile circulaire, avec un centre à (0, 0). Pour X, -1 est à gauche et 1 à droite. Pour Y, -1 est en bas et 1 est en haut.
- Le bâton permet à l’utilisateur d’ajuster une action en deux dimensions en déplaçant le bâton d’un contrôleur de mouvement dans sa plage circulaire, en validant l’action en cliquant sur la touche vers le bas. Les bâtons fournissent également un état enfoncé et des coordonnées XY normalisées. X et Y vont de -1 à 1 dans la plage du pavé tactile circulaire, avec un centre à (0, 0). Pour X, -1 est à gauche et 1 à droite. Pour Y, -1 est en bas et 1 est en haut.
- Accueil est une action système spéciale utilisée pour revenir au menu Démarrer. Cela ressemble à appuyer sur la touche Windows d’un clavier ou sur le bouton Xbox d’une manette Xbox. Vous pouvez accéder à La page d’accueil en appuyant sur le bouton Windows sur un contrôleur de mouvement. Notez que vous pouvez toujours revenir à Démarrer en disant « Hey Cortana, Go Home ». Les applications ne peuvent pas réagir spécifiquement aux actions d’accueil, car elles sont gérées par le système.
Mouvements composites : entrée spatiale de haut niveau
Les mouvements de la main et les contrôleurs de mouvement peuvent être suivis au fil du temps pour détecter un ensemble commun de mouvements composites de haut niveau. Cela permet à votre application de détecter les mouvements d’appui, de conservation, de manipulation et de navigation de haut niveau, que les utilisateurs finissent par utiliser des mains ou des contrôleurs.
Rendu du modèle de contrôleur de mouvement
Modèles de contrôleur 3D Windows met à la disposition des applications un modèle restituable de chaque contrôleur de mouvement actuellement actif dans le système. En faisant en sorte que votre application charge et articule dynamiquement ces modèles de contrôleur fournis par le système au moment de l’exécution, vous pouvez vous assurer que votre application est compatible avec les futures conceptions de contrôleur.
Nous vous recommandons de rendre tous les modèles rendables à la prise en main du contrôleur, car l’origine du modèle est alignée sur ce point dans le monde physique. Si vous effectuez le rendu des modèles de contrôleur, vous pouvez alors souhaiter effectuer un raycast dans votre scène à partir de la pose du pointeur, qui représente le rayon le long duquel les utilisateurs s’attendent naturellement à pointer, compte tenu de la conception physique de ce contrôleur.
Pour plus d’informations sur le chargement dynamique des modèles de contrôleur dans Unity, consultez la section Rendu du modèle de contrôleur de mouvement dans Unity .
Image de ligne du contrôleur 2D Bien que nous vous recommandons d’attacher des conseils et des commandes de contrôleur dans l’application aux modèles de contrôleur dans l’application eux-mêmes, certains développeurs peuvent vouloir utiliser des représentations graphiques en ligne 2D des contrôleurs de mouvement dans l’interface utilisateur « tutoriel » ou « how-to » plat. Pour ces développeurs, nous avons mis .png fichiers graphiques de ligne du contrôleur de mouvement disponibles en noir et blanc ci-dessous (cliquez avec le bouton droit pour enregistrer).
Image de ligne des contrôleurs de mouvement à résolution complète en ' ''white'''
Image de ligne des contrôleurs de mouvement à résolution complète dans '''black'''
Forum aux questions
Puis-je associer des contrôleurs de mouvement à plusieurs PC ?
Les contrôleurs de mouvement prennent en charge le couplage avec un seul PC. Suivez les instructions sur la configuration du contrôleur de mouvement pour associer vos contrôleurs.
Comment faire mettre à jour le microprogramme du contrôleur de mouvement ?
Le microprogramme du contrôleur de mouvement fait partie du pilote du casque et sera mis à jour automatiquement lors de la connexion, si nécessaire. Les mises à jour du microprogramme prennent généralement 1 à 2 minutes en fonction de la radio Bluetooth et de la qualité des liaisons. Dans de rares cas, les mises à jour du microprogramme du contrôleur peuvent prendre jusqu’à 10 minutes, ce qui peut indiquer une connectivité Bluetooth médiocre ou des interférences radio. Pour résoudre les problèmes de connectivité, consultez les meilleures pratiques Bluetooth dans le Guide des passionnés . Après une mise à jour du microprogramme, les contrôleurs redémarrent et se reconnectent au PC hôte (vous remarquerez peut-être que les VOYANTs sont lumineux pour le suivi). Si une mise à jour du microprogramme est interrompue (par exemple, les contrôleurs perdent l’alimentation), elle sera à nouveau tentée la prochaine fois que les contrôleurs seront sous tension.
Comment puis-je case activée niveau de batterie ?
Dans la Windows Mixed Reality maison, vous pouvez activer votre contrôleur pour voir son niveau de batterie sur le côté inverse du modèle virtuel. Il n’y a pas d’indicateur de niveau de batterie physique.
Pouvez-vous utiliser ces contrôleurs sans casque ? Juste pour l’entrée joystick/trigger/etc ?
Pas pour les applications Windows universelles.
Dépannage
Consultez résolution des problèmes liés au contrôleur de mouvement dans le Guide de l’amateur.
Classement des commentaires/bogues du contrôleur de mouvement
Faites-nous part de vos commentaires dans le Hub de commentaires à l’aide de la catégorie « Mixed Reality -> Entrée ».