Coach de main

Example: Hand coach

L’entraîneur de main déclenche des mains modélisées 3D lorsque le système ne détecte pas les mains de l’utilisateur. Cette fonctionnalité est un composant « teaching » qui aide à guider l’utilisateur lorsque le mouvement n’a pas été enseigné. Si les utilisateurs n’ont pas effectué le mouvement spécifié pendant un certain temps, les mains effectuent une boucle avec un délai. L’entraîneur de main peut être utilisé pour représenter l’appui sur un bouton ou la récupération d’un hologramme.

Entraîneur de main fourni

Le modèle d’interaction actuel représente un large éventail de contrôles de mouvement tels que le défilement, la sélection éloignée et le clic proche. Voici une liste complète des mouvements de main existants fournis dans MRTK :

Example of Near Select
Exemple de sélection proche - Utilisé pour afficher comment sélectionner des boutons ou fermer des objets interagissants

Example of Air Tap
Exemple d’air tap - Utilisé pour montrer comment sélectionner des objets éloignés

Example of Move
Exemple de déplacement d’un objet dans l’espace utilisé pour montrer comment déplacer un hologramme dans l’espace

Example of Rotate
Exemple de Rotate-Used pour montrer comment faire pivoter des hologrammes ou des objets

Example of Scale
Exemple d’échelle - Utilisé pour montrer comment manipuler des hologrammes pour être plus volumineux ou plus petits

Example of Palm Up
Exemple de Palm up – Utilisation suggérée, pour afficher des menus à la main

Example of HandFlip
Exemple de retournement de main – Une autre façon d’afficher les menus de main

Example of Scroll
Exemple de défilement : utilisé pour faire défiler une liste ou un document long

Principes de conception

Pour Hololens2, nous avons conçu des interactions manuelles basées sur des mouvements instinctifs et naturels de la main. Nous croyons qu’elles sont intuitives pour la plupart des utilisateurs. Nous n’avons donc pas créé de moments d’apprentissage des mouvements dédiés. Au lieu de cela, nous avons créé l’entraîneur de main pour aider les utilisateurs à découvrir ces gestes s’ils sont bloqués ou ne sont pas familiarisés avec les interactions d’hologramme. Sans un moment d’apprentissage, nous avons estimé que montrer aux utilisateurs comment effectuer une action en démontrant qu’il s’agirait de la meilleure option. Nous avons constaté que les utilisateurs étaient en mesure de déterminer le geste, mais avaient besoin d’un peu d’aide. Si nous détectons qu’un utilisateur n’interagit pas avec un objet pendant un certain temps, un entraîneur de main est déclenché montrant le positionnement correct de la main et du doigt.

Intuitive

Lors de l’animation des mains, il doit être évident et ne doit pas causer de confusion. L’animation manuelle est une représentation du mouvement que vous essayez d’inviter l’utilisateur à comprendre.

Par exemple, si vous souhaitez qu’un utilisateur appuie sur un bouton, une main appuyant sur un bouton est déclenchée.

Example: Hand coach Near Tap
Coach à la main montrant près d’appuyer sur un gemme

Échelle manuelle

Nous avons testé différentes tailles de main avec les menus de l’interface utilisateur et senti que si les mains étaient vraies à la taille, il a donné un sentiment de menacante. S’ils étaient trop petits, il était difficile de voir et de comprendre le geste.

Voix et mains

Ne vous attendez pas à ce que les utilisateurs puissent écouter un ensemble d’instructions via la voix et regarder différentes instructions via l’entraîneur de main. Séquencez vos instructions pour aider les utilisateurs à se concentrer par rapport à la concurrence pour leur attention afin de réduire la surcharge sensorielle.

Puis-je créer mon propre ?

Oui ! Nous vous encourageons à créer votre propre geste unique pour votre jeu et à contribuer à la communauté! Nous avons fourni un fichier Maya d’une main rigged qui peut être utilisée pour votre application, qui peut être téléchargée ici : Télécharger HandCoach_MRTK.zip

Example of Animated Hands in Maya
Exemple d’animation hand Poking a box in Maya

Outil de création recommandé

Parmi les artistes 3D, beaucoup choisissent d’utiliser Autodesk’s Maya, qui peut utiliser HoloLens pour transformer la façon dont les ressources sont créées. Le fichier mains fourni est un fichier binaire Maya. Il est donc recommandé d’utiliser Maya pour animer et exporter les mains. Si vous préférez utiliser un autre programme 3D, voici un . FBX : Téléchargez HandCoachMRTK_FBX.zip pour créer votre propre configuration de contrôleur.

Si vous utilisez le fichier maya Hand téléchargeable fourni, il est suggéré d’effectuer un scale-down des mains dans Unity à 0.6.

Example: Hand coach rig in Maya
Mains riées

Spécifications techniques

  • Fichier à deux mains est disponible au format Ascii Maya
  • La main droite et la main gauche sont disponibles au format Maya Binary
  • Définissez votre fichier Maya sur 24 FPS
  • Dans le fichier, il existe une main gauche et droite, qui peut être utilisée pour deux mouvements mains ou simples. La main droite n’est visible que par défaut.
  • Il est suggéré de laisser une mémoire tampon d’environ 10 images au début et à la fin pour les fondus
  • Si vous animez un objet avec une cible spécifiée, il est recommandé d’animer dans une zone par défaut ou Null.
  • Si la main anime un objet physique tel qu’une boîte, sa meilleure pratique pour ne pas animer la traduction dans Maya, mais attendre de l’animer dans Unity ou dans Code.
  • L’animation visible doit être de 1,5 s pour toute information significative à transmettre
  • Lorsque vous vous sentez satisfait de votre animation :

Exportation à partir de Maya

Une fois que vous êtes satisfait de votre animation

  • Sélectionner toutes les articulations : Sélectionner une > hiérarchie

    Example: Hierarchy in Menu

  • Faire cuire votre animation : Passer à l’animation de la clé > d’animation >

    Example: Bake Animation Menu Location

  • Supprimer la plateforme de contrôleur : MainR_Grp ou > MainL_Grp

    Example: Controller Rig Menu Location

  • Exporter en tant que FBX : Sélectionner JNT + Mesh : Sélection d’exportation de fichier > (zone d’option) > Sélection d’exportation

    Example: Export selection Menu Location

    Example: Menu Location

    Example: Export Options Menu Location

Lors de l’exportation en tant que FBX et apporté dans Unity, mettez à l’échelle les mains jusqu’à 0,6. Nous avons constaté que c’était un équilibre parfait pour afficher les mains.

Example: Unity Settings
Paramètres Unity pour HandCoach_R préfabriqué trouvé dans MRTK

Implémentation des mains dans votre projet Unity

Bonnes pratiques

  • Il est suggéré d’effectuer un scale-down des mains dans unity à 0,6

  • Les mains doivent être lues deux fois et, si elles ne sont pas terminées, elles sont en boucle en continu jusqu’à ce que le mouvement soit terminé. Les mains doivent être bouclé deux fois pour s’assurer que l’utilisateur avait le temps de s’inscrire et de voir le mouvement. Les mains doivent s’évanouir entre les boucles.

  • Si les mains de l’utilisateur sont visibles par les caméras HL2, mais que les utilisateurs ne font pas l’interaction dont ils ont besoin, les mains apparaissent après 10 secondes.

  • Si les mains de l’utilisateur ne sont PAS visibles par les caméras HL2, les mains apparaissent après 5 secondes.

  • Si les mains de l’utilisateur sont visiblement suivies par les caméras HL2 au milieu de l’animation, l’animation se termine et disparaît.

  • Si vous incluez la voix, nous vous suggérons qu’elle corresponde au geste de la main.

  • Si vous avez appris les mains au moins une fois, répétez uniquement le mouvement s’il est détecté que l’utilisateur est bloqué.

  • Si des positions spécifiques des doigts/mains sont critiques, assurez-vous que les utilisateurs peuvent clairement voir ces nuances dans l’animation. Essayez d’accrocher les mains afin que les parties les plus importantes soient clairement visibles.

  • Si vous remarquez une distorsion entre les mains, vous devez accéder aux paramètres de qualité d’Unity augmenter le nombre d’os. Accédez à Edit > Project Paramètres > Quality > Other > Blend Weights d’Unity. Assurez-vous que « 4 os » sont sélectionnés pour voir les articulations lisses.

    Example: Project Settings Window

À éviter

Voir aussi