Share via

Service de simulation d’entrée — MRTK2

  • Article

Simulation d’entrée MRTK

Avec la simulation d’entrée de MRTK, vous pouvez tester divers types d’interactions dans l’éditeur Unity sans développement ni déploiement sur un appareil. Cela vous permet d’itérer rapidement vos idées dans le processus de conception et de développement. Utilisez les raccourcis clavier et souris pour contrôler les entrées simulées.

Le service Simulation d’entrée émule le comportement des appareils et des plateformes qui peuvent ne pas être disponibles dans l’éditeur Unity. Voici quelques exemples :

  • Suivi de la tête d’appareil HoloLens ou VR
  • Mouvements de main HoloLens
  • Suivi de main articulée HoloLens 2
  • suivi oculaire HoloLens 2
  • Contrôleurs d’appareil VR

Avertissement

Cela ne fonctionne pas lors de l’utilisation du mode d’émulation > holographique XR d’Unity = « Simuler dans l’éditeur ». La simulation dans l’éditeur Unity prendra le contrôle de la simulation d’entrée de MRTK. Pour utiliser le service de simulation d’entrée MRTK, vous devez définir L’émulation holographique XR sur Mode d’émulation = « None »

Comment utiliser la simulation d’entrée MRTK

La simulation d’entrée est activée par défaut dans les profils fournis avec MRTK. Vous pouvez simplement cliquer sur le bouton Lire pour exécuter la scène avec la prise en charge de la simulation d’entrée.

  • Appuyez sur les touches W, A, S, D, Q, E pour déplacer la caméra.
  • Maintenez le bouton droit de la souris enfoncé et déplacez la souris pour regarder autour de vous.
  • Pour faire apparaître les mains simulées, appuyez sur la barre d’espace (droite) ou sur la touche Maj de gauche
  • Appuyez sur les touches T ou Y pour que les mains simulées restent affichées
  • Pour faire pivoter les mains simulées, appuyez longuement sur la touche Ctrl et déplacez la souris

Dans la feuille de simulation d’entrée de l’éditeur

Appuyez sur Ctrl gauche + H dans la scène HandInteractionExamples pour afficher une feuille de triche avec des contrôles de simulation d’entrée.

Feuille de simulation d’entrée MRTK

Activation du service de simulation d’entrée

Sous la configuration du fournisseur de données du système d’entrée, le service de simulation d’entrée peut être configuré avec les éléments suivants.

  • Le type doit être Microsoft.MixedReality.Toolkit.Input > InputSimulationService.
  • La ou les plateformes prises en charge par défaut incluent toutes les plateformes de l’éditeur , car le service utilise l’entrée du clavier et de la souris.

Notes

Le service De simulation d’entrée peut être utilisé sur d’autres points de terminaison de plateforme, tels que autonomes, en modifiant la propriété Plateforme(s) prise en charge pour inclure les cibles souhaitées.
Plateformes prises en charge par la simulation d’entrée

Contrôle de la caméra

Le mouvement de la tête peut être émulé par le service de simulation d’entrée.

Rotation de l’appareil photo

  1. Pointez sur la fenêtre de l’éditeur de fenêtre d’affichage. Vous devrez peut-être cliquer sur la fenêtre pour lui donner le focus d’entrée si les appuis sur le bouton ne fonctionnent pas.
  2. Appuyez longuement sur le bouton Look de la souris (par défaut : Bouton droit de la souris).
  3. Déplacez la souris dans la fenêtre de fenêtre d’affichage pour faire pivoter l’appareil photo.
  4. Utilisez la roulette de défilement pour faire tourner la caméra dans le sens de vue.

La vitesse de rotation de la caméra peut être configurée en modifiant le paramètre Vitesse de l’apparence de la souris dans le profil de simulation d’entrée.

Vous pouvez également utiliser les axes Look Horizontal/Vertical pour faire pivoter l’appareil photo (par défaut : manette de jeu touche droite).

Déplacement de la caméra

Utilisez les axes déplacer horizontal/vertical pour déplacer l’appareil photo (par défaut : touches WASD ou touche gauche du contrôleur de jeu).

La position de la caméra et les angles de rotation peuvent également être définis explicitement dans la fenêtre outils. La caméra peut être réinitialisée à sa valeur par défaut à l’aide du bouton Réinitialiser .

Simulation de contrôleur

La simulation d’entrée prend en charge les périphériques de contrôleur émulés (c’est-à-dire les contrôleurs de mouvement et les mains). Ces contrôleurs virtuels peuvent interagir avec n’importe quel objet prenant en charge des contrôleurs standard, tels que des boutons ou des objets pouvant être saisis.

Mode simulation du contrôleur

Dans la fenêtre Outils de simulation d’entrée , le paramètre Mode de simulation du contrôleur par défaut bascule entre trois modèles d’entrée distincts. Ce mode par défaut peut également être défini dans le profil de simulation d’entrée.

  • Mains articulées : simule un appareil de main entièrement articulé avec des données de position conjointe.

    Émule HoloLens 2 modèle d’interaction.

    Les interactions basées sur le positionnement précis de la main ou qui utilisent le toucher peuvent être simulées dans ce mode.

  • Mouvements de la main : simule un modèle de main simplifié avec un appui aérien et des mouvements de base.

    Émule le modèle d’interaction HoloLens.

    Le focus est contrôlé à l’aide du pointeur de regard. Le mouvement Air Tap permet d’interagir avec les boutons.

  • Contrôleur de mouvement : simule un contrôleur de mouvement utilisé avec des casques VR qui fonctionne de la même manière que les interactions éloignées avec les mains articulées.

    Émule le casque VR avec le modèle d’interaction des contrôleurs.

    Les touches de déclencheur, de saisie et de menu sont simulées via l’entrée du clavier et de la souris.

Simulation du mouvement du contrôleur

Appuyez longuement sur la touche de manipulation du contrôleur gauche/droite (par défaut : Maj gauche pour le contrôleur gauche et Espace pour le contrôleur droit) pour prendre le contrôle de l’un ou l’autre des contrôleurs. Lorsque la touche de manipulation est enfoncée, le contrôleur s’affiche dans la fenêtre d’affichage. Une fois la clé de manipulation libérée, les contrôleurs disparaissent après un court délai d’expiration du masque du contrôleur.

Les contrôleurs peuvent être activés et gelés par rapport à la caméra dans la fenêtre outils de simulation d’entrée ou en appuyant sur la touche Bascule gauche/droite du contrôleur (par défaut : T pour gauche et Y pour droite). Appuyez à nouveau sur la touche bascule pour masquer à nouveau les contrôleurs. Pour manipuler les contrôleurs, la clé de manipulation du contrôleur gauche/droite doit être conservée. Appuyez deux fois sur la touche de manipulation du contrôleur gauche/droite peut également activer/désactiver les contrôleurs.

Le déplacement de la souris déplace le contrôleur dans le plan d’affichage. Les contrôleurs peuvent être déplacés plus ou plus près de la caméra à l’aide de la roulette de la souris.

Pour faire pivoter les contrôleurs à l’aide de la souris, maintenez la touche de manipulation du contrôleur gauche/droite (Maj gauche ou Espace) et le bouton Pivoter du contrôleur (par défaut : bouton Ctrl gauche ), puis déplacez la souris pour faire pivoter le contrôleur. La vitesse de rotation du contrôleur peut être configurée en modifiant le paramètre Vitesse de rotation du contrôleur de souris dans le profil de simulation d’entrée.

Tous les emplacements des mains peuvent également être modifiés dans la fenêtre Outils de simulation d’entrée, y compris la réinitialisation des mains par défaut.

Paramètres de profil supplémentaires

  • Le multiplicateur de profondeur du contrôleur contrôle la sensibilité du mouvement de profondeur de la roulette de défilement de la souris. Un plus grand nombre accélère le zoom du contrôleur.
  • Distance du contrôleur par défaut est la distance initiale des contrôleurs par rapport à la caméra. Cliquez sur le bouton Réinitialiser les contrôleurs pour placer les contrôleurs à cette distance.
  • La quantité de gigue du contrôleur ajoute un mouvement aléatoire aux contrôleurs. Cette fonctionnalité peut être utilisée pour simuler un suivi incorrect du contrôleur sur l’appareil et s’assurer que les interactions fonctionnent bien avec une entrée bruyante.

Mouvements des mains

Mouvements de la main tels que pincer, saisir, piquer, etc. peut également être simulé.

  1. Activer le contrôle de main à l’aide de la touche de manipulation du contrôleur gauche/droite (Maj gauche ou Espace)

  2. Lors de la manipulation, appuyez longuement sur un bouton de la souris pour effectuer un mouvement de la main.

Chacun des boutons de la souris peut être mappé pour transformer la forme de la main en un mouvement différent à l’aide des paramètres Mouvement de la main gauche/milieu/droite de la souris . Le mouvement de la main par défaut est la forme de la main quand aucun bouton n’est enfoncé.

Notes

Le mouvement Pincer est le seul mouvement qui effectue l’action « Sélectionner » à ce stade.

Manipulation d’une main

  1. Appuyez longuement sur la touche de manipulation du contrôleur gauche/droite (Maj gauche ou espace)
  2. Pointez sur l’objet
  3. Maintenez le bouton de la souris enfoncé pour pincer
  4. Utilisez votre souris pour déplacer l’objet
  5. Relâchez le bouton de la souris pour arrêter l’interaction

Manipulation à deux mains

Pour manipuler des objets à deux mains en même temps, le mode main persistante est recommandé.

  1. Basculez sur les deux mains en appuyant sur les touches bascule (T/Y).
  2. Manipuler une main à la fois :
    1. Maintenez l’espace pour contrôler la main droite
    2. Déplacer la main à l’emplacement où vous souhaitez récupérer l’objet
    3. Appuyez sur le bouton gauche de la souris pour activer le mouvement Pincer .
    4. Relâchez l’espace pour arrêter de contrôler la main droite. La main sera figée en place et enfermée dans le geste Pinch puisqu’elle n’est plus manipulée.
  3. Répétez le processus avec l’autre main, en saisissant le même objet à un deuxième endroit.
  4. Maintenant que les deux mains saisissent le même objet, vous pouvez déplacer l’une d’elles pour effectuer une manipulation à deux mains.

Interaction GGV (Regard, Geste et Voix)

Par défaut, l’interaction GGV est activée dans l’éditeur alors qu’aucune main articulée n’est présente dans la scène.

  1. Faire pivoter l’appareil photo pour pointer le curseur du regard vers l’objet interactif (bouton droit de la souris)
  2. Cliquez et maintenez le bouton gauche de la souris enfoncé pour interagir
  3. Faire pivoter à nouveau la caméra pour manipuler l’objet

Vous pouvez désactiver cette option en désactivant l’option L’entrée libre est activée à l’intérieur du profil de simulation d’entrée.

En outre, vous pouvez utiliser des mains simulées pour l’interaction GGV

  1. Activer la simulation GGV en basculant le mode Simulation de la main vers Les mouvements dans le profil de simulation d’entrée
  2. Faire pivoter l’appareil photo pour pointer le curseur du regard vers l’objet interactif (bouton droit de la souris)
  3. Maintenez l’espace pour contrôler la main droite
  4. Cliquez et maintenez le bouton gauche de la souris enfoncé pour interagir
  5. Utilisez votre souris pour déplacer l’objet
  6. Relâchez le bouton de la souris pour arrêter l’interaction

Déclenchement d’événements de téléportation

Pour déclencher l’événement de téléportation dans la simulation d’entrée, configurez les paramètres de mouvement de la main dans le profil de simulation d’entrée afin que l’un effectue le mouvement de début de téléportation tandis que l’autre effectue le mouvement de fin de téléportation . Le mouvement De démarrage de la téléportation affiche le pointeur de téléportation, tandis que le gesure Fin de la téléportation termine l’action de téléportation et déplace l’utilisateur.

La position y de la téléportation obtenue dépend du déplacement de la caméra le long de l’axe y. Dans l’éditeur, c’est 0 par défaut. Utilisez donc les touches Q et E pour l’ajuster à la hauteur appropriée.

Paramètres de téléportation de simulation d’entrée

Interaction du contrôleur de mouvement

Les contrôleurs de mouvement simulés peuvent être manipulés de la même façon que les mains articulées. Le modèle d’interaction est similaire à l’interaction éloignée de la main articulée, tandis que les touches de déclencheur, de saisie et de menu sont mappées respectivement au bouton gauche de la souris, à la touche G et À la touche M .

Eye-tracking

La simulation de suivi oculaire peut être activée en cochant l’option Simuler la position des yeux dans le profil de simulation d’entrée. Cela ne doit pas être utilisé avec des interactions de style GGV ou contrôleur de mouvement ( assurez-vous donc que le mode de simulation du contrôleur par défaut est défini sur Main articulée).

Fenêtre Outils de simulation d’entrée

Activez la fenêtre Outils de simulation d’entrée à partir du menusimulation d’entréeMixed Reality>Toolkit>Utilities>. Cette fenêtre permet d’accéder à l’état de la simulation d’entrée pendant le mode lecture.

Boutons de fenêtre d’affichage (facultatif)

Un préfabriqué pour les boutons dans l’éditeur pour contrôler la position de base de la main peut être spécifié dans le profil de simulation d’entrée sous Indicateurs Prefab. Il s’agit d’un utilitaire facultatif, les mêmes fonctionnalités sont accessibles dans la fenêtre Outils de simulation d’entrée.

Notes

Les indicateurs de fenêtre d’affichage sont désactivés par défaut, car ils peuvent parfois interférer avec les interactions de l’interface utilisateur Unity. Consultez le problème #6106. Pour activer, ajoutez le préfabriqué InputSimulationIndicators à Indicateurs Prefab.

Les icônes de main indiquent l’état des mains simulées :

  • Icône de main non tracée La main ne suit pas. Cliquez pour activer la main.
  • Icône de main suivie Icône La main est suivie, mais pas contrôlée par l’utilisateur. Cliquez pour masquer la main.
  • Icône main contrôlée Icône La main est suivie et contrôlée par l’utilisateur. Cliquez pour masquer la main.
  • Icône Réinitialiser la main icône Cliquez pour réinitialiser la position par défaut de la main.

Voir aussi