Partager via


Entrées avancées dans l’émulateur HoloLens et le simulateur de réalité mixte

La plupart des utilisateurs de l’émulateur devront uniquement utiliser les contrôles d’entrée de base pour l’émulateur HoloLens ou le simulateur Windows Mixed Reality. Les détails ci-dessous concernent les utilisateurs avancés qui ont trouvé besoin de simuler des types d’entrée plus complexes.

Concepts

Pour commencer à contrôler l’entrée virtuelle dans l’émulateur HoloLens et le simulateur Windows Mixed Reality, vous devez d’abord comprendre quelques concepts.

Le mouvement fait référence au contrôle et au changement de la position et de l’orientation d’un élément dans la scène. Pour un objet contrôlable ciblé, le mouvement est contrôlé par la rotation et la translation (mouvement) le long de trois axes.

  • Lacet : Tourner à gauche ou à droite.
  • Pitch: Monter ou descendre.
  • Rouleau : rouler côte à côte.
  • X : déplacer vers la gauche ou la droite.
  • Y : Monter ou descendre.
  • Z : Avancer ou reculer.

Les entrées du contrôleur de mouvement et de mouvement sont étroitement mappées aux appareils physiques :

  • Action : simule l’action d’appuyer sur l’indexeur sur le pouce ou d’appuyer sur le bouton d’action d’un contrôleur. Par exemple, l’entrée Action peut être utilisée pour simuler le mouvement d’appui aérien, pour faire défiler le contenu et pour appuyer longuement.
  • Mouvement Bloom/System ou Accueil : le mouvement HoloLens bloom/system ou le bouton Accueil d’un contrôleur est utilisé pour revenir à l’interpréteur de commandes et déclencher des actions système.

Les mains ont une représentation riche dans HoloLens 2. En plus d’être suivies/non suivies et utilisables pour les mouvements de conduite, les mains ont maintenant un modèle de squelette articulé qui leur est adapté et exposé au développeur. Le modèle squelette a 26 points suivis sur chaque main.

  • Jointure : une des 20 positions suivies pour une main suivie donnée avec un point associé dans l’espace 3D.
  • Pose: Une collection complète de tous les joints dans une main suivie, 26 joints en tout.

Nous n’exposons pas actuellement le contrôle direct des positions de jointure individuelles via l’émulateur, mais vous pouvez les définir via l’API de simulation. Nous avons un ensemble de poses représentatives utiles que l’émulateur vous permet de basculer entre.

Vous pouvez également contrôler l’état de l’entrée du capteur simulé :

  • Réinitialiser : retourne tous les capteurs simulés à leurs valeurs par défaut. À compter de l’émulateur HoloLens 2, une réinitialisation peut être limitée à une ou aux deux mains. Engagez la ou les mains souhaitées à l’aide de la ou des touches de modification ou des boutons (Alt gauche et/ou droite, ou du pare-chocs gauche et/ou droit sur le boîtier de commande).
  • Suivi : effectue un cycle dans les modes de suivi positionnel, notamment :
    • Par défaut : le système d’exploitation choisit le meilleur mode de suivi en fonction des demandes effectuées sur le système.
    • Orientation : force le suivi de l’orientation uniquement, quelles que soient les demandes du système.
    • Positionnel : force le suivi positionnel, quelles que soient les demandes du système.

Types d’entrée

Le tableau suivant montre comment chaque type d’entrée est mappé au clavier, à la souris et à la manette Xbox. Chaque type a un mappage différent en fonction du mode de contrôle d’entrée. Vous trouverez plus d’informations sur les modes de contrôle d’entrée plus loin dans ce document.

Entrée Clavier Souris Manette Xbox
Lacet Flèches gauche/droite Faire glisser vers la gauche/ la droite Main droite gauche / droite
Inclinaison Flèches haut/bas Faire glisser vers le haut/vers le bas Main droite vers le haut / bas
Rouleau Q/E DPad gauche /droite
X A / D Main gauche gauche / droite
O Page vers le haut / page vers le bas DPad up/down
Z W / S Main gauche haut /bas
Action Entrée ou espace Bouton droit Un bouton ou un déclencheur
Bloom/System Touche F2 ou Windows Bouton B
Bouton poignée du contrôleur / Poignée manuelle G
Bouton de menu contrôleur M
Contrôleur tactile tactile U
Appuyez sur le pavé tactile du contrôleur P
Manette d’appui K
État de suivi du contrôleur gauche F9
État de suivi du contrôleur droit F10
Main 'Close' Pose 7
Pose 'Ouvrir' main (par défaut) 8
Main 'point' Pose 9
Main 'Pinch' Pose 0
Réinitialiser Clé d’échappement Bouton Démarrer
Suivi T ou F3 Bouton X

Remarque : Les boutons du contrôleur peuvent être ciblés sur une main/contrôleur ou sur l’autre à l’aide des modificateurs ciblant la main.

Ciblage

Certains des concepts d’entrée ci-dessus sont autonomes. Action, Bloom/System, Reset et Tracking sont des concepts complets, qui n’ont pas besoin et ne sont pas affectés par, des modificateurs supplémentaires pour le ciblage. Les autres concepts peuvent être appliqués à l’une des cibles multiples. Nous avons introduit des méthodes permettant de spécifier la cible à laquelle votre commande doit être appliquée. Dans tous les cas, il est possible de spécifier via l’interface utilisateur ou par le biais d’appuis au clavier, l’objet à cibler. Dans certains cas, il est également possible de spécifier directement avec la manette xbox.

Le tableau suivant décrit les options de ciblage et la façon d’activer chacune d’elles.

Object Modificateur de clavier Modificateur de contrôleur Modificateur de l’interface utilisateur de l’émulateur
Corps (par défaut) (par défaut) (par défaut)
Head Maintenir H (Non disponible) (Non disponible)
Main gauche/contrôleur Bouton Maintenez la touche Alt gauche enfoncée Maintenez l’épaule gauche enfoncée Left-Hand épingle
Main droite/contrôleur Bouton Alt enfoncé vers la droite Maintenez l’épaule droite enfoncée Right-Hand épingle
Yeux Maintenez Y enfoncé (Non disponible) Yeux Pushpin

Le tableau suivant montre comment chaque modificateur cible mappe chacun des concepts d’entrée de mouvement de base

Entrée Valeur par défaut (corps) Main/manette (Maintenez la touche Alt enfoncée, maintenez le bouton d’épaule du boîtier de commande ou basculez l’interface utilisateur) Tête (tenir H) Yeux (Maintenez Y ou basculez la broche de l’interface utilisateur)
Lacet Tourner le corps vers la gauche/ la droite Déplacer la main vers la gauche/ la droite Tourner la tête vers la gauche/ la droite Regard regard de gauche/droite
Inclinaison Tourner la tête vers le haut/bas Déplacer la main vers le haut/le bas Tourner la tête haut/bas Le regard regarde vers le haut/vers le bas
Rouleau Rouler la tête gauche/droite Rouler la tête gauche/droite (Aucune action)
X Corps de la diapositive gauche/droite Déplacer la main/le contrôleur vers la gauche/la droite Tourner la tête vers la gauche/ la droite (Aucune action)
O Déplacer le corps vers le haut/vers le bas Déplacer la main/le contrôleur vers le haut/vers le bas Tourner la tête vers le haut/bas (Aucune action)
Z Déplacer le corps vers l’avant/vers l’arrière Déplacer la main/le contrôleur vers l’avant/l’arrière Tourner la tête vers le haut/bas (Aucune action)

Contrôle d’une application

L’ensemble de contrôles suivant est suggéré pour une utilisation quotidienne :

Opération Clavier et souris Contrôleur
Corps X A / D Touche gauche gauche/droite
Corps Y Page haut / page vers le bas DPad haut/bas
Corps Z W / S Baguette gauche haut/bas
Lacet de corps Faire glisser la souris vers la gauche/droite Bâton droit gauche/droite
Lacet de tête H + faire glisser la souris vers la gauche/la droite H (clavier) + bouton droit gauche/droite
Pitch de la tête Faire glisser la souris vers le haut/vers le bas Bâton droit haut/bas
Rouleau de tête Q/E DPad gauche/droite
Main/Contrôleur X Alt + A / D Épaule + pouce gauche gauche / droite
Main/Contrôleur Y Alt + Page haut / page bas Épaule + DPad haut/bas
Main/Contrôleur Z Alt + W / S Épaule + main gauche haut / bas
Main/Lacet du contrôleur Alt + faire glisser la souris vers la gauche/droite Épaule + main droite gauche / droite
Main/Hauteur du contrôleur Alt + faire glisser la souris vers le haut /vers le bas Épaule + main droite haut / bas
Main/Rouleau de contrôleur Alt + Q / E Épaule + DPad gauche / droite
Action Bouton droit de la souris Déclencheur
Bloom / System / Home Touche F2 ou Windows Bouton B
Réinitialiser Caractère d'échappement Bouton Démarrer
Suivi T Bouton X
Défilement Alt + bouton droit de la souris + faire glisser la souris vers le haut / vers le bas Épaule + déclencheur + main droite haut / bas
Déplacer/faire pivoter plus rapidement Touche Maj gauche ou droite Appuyez longuement sur la touche droite
Déplacer/faire pivoter lentement Touche Ctrl gauche ou droite Appuyez longuement sur la touche gauche

Utilisation d’un casque immersif et de contrôleurs de mouvement Windows Mixed Reality avec l’émulateur HoloLens 2

Lors de l’utilisation d’un casque immersif Windows Mixed Reality avec l’émulateur HoloLens 2, le mouvement et la rotation sont automatiquement mappés au mouvement et à la rotation du casque. La position et l’orientation du contrôleur de mouvement sont automatiquement mappées à la position et à l’orientation de la main dans l’émulateur. Le tableau ci-dessous répertorie les actions supplémentaires disponibles lors de l’utilisation d’un contrôleur de mouvement.

Notes

Lors de l’utilisation d’un casque, les contrôles standard du clavier, de la souris et du boîtier de commande sont automatiquement ignorés.

Opération Action Notes
Corps X Touche numérique gauche/droite
Corps Z Manette avant/arrière
Corps Y Clavier Page haut/bas Vérifiez que Windows Mixed Reality a le focus. Appuyez sur Win+Y si le focus est sur le Bureau Windows pour revenir au focus sur Windows Mixed Reality.
Les yeux regardent vers la gauche/ la droite DPad gauche / droite
Les yeux regardent vers le haut / vers le bas DPad haut/bas
Taper Déclencheur
Pincer/saisir Bouton Poignée
Mouvement système Bouton Menu
Réinitialiser la position Clic sur la manette

Simulation de perception Panneau de configuration raccourcis clavier

Vous pouvez accéder au panneau de configuration Simulation de perception et activer ou désactiver les périphériques d’entrée de PC avec les raccourcis clavier suivants.

Opération Raccourci Description/Notes
Activer/désactiver « Utiliser le clavier pour la simulation » F4 Quand elle est désactivée, l’entrée au clavier est envoyée à l’application HoloLens ou Windows Mixed Reality.
Activer/désactiver « Utiliser la souris pour la simulation » F5 Lorsqu’elle est désactivée, l’entrée de la souris accède à l’environnement Mixed Reality (Windows Mixed Reality uniquement)
Bascule « Utiliser le boîtier de commande pour la simulation » F6 Lorsqu’elle est désactivée, l’entrée du boîtier de commande est ignorée par la simulation
Afficher ou masquer le panneau de configuration F7
Définir le focus clavier sur le panneau de configuration F8 Si le panneau n’est actuellement pas visible, il s’affiche en premier.
Ancrer ou détacher le panneau vers/depuis l’émulateur ou Mixed Reality fenêtre du portail F9 Si la fenêtre est fermée lorsqu’elle est dédockée, elle est ancrée et masquée.

Voir aussi