Handcoach

  • Artikel

Voorbeeld: Handcoach

Handcoach activeert 3D-gemodelleerde handen wanneer het systeem de handen van de gebruiker niet detecteert. Deze functie is een 'onderwijzend' onderdeel waarmee de gebruiker wordt begeleid wanneer het gebaar niet is aangeleerd. Als gebruikers de opgegeven beweging gedurende een bepaalde periode niet hebben uitgevoerd, worden de handen met een vertraging herhaald. De handcoach kan worden gebruikt om het drukken op een knop of het ophalen van een hologram weer te geven.

Handcoach verstrekt

Het huidige interactiemodel vertegenwoordigt een breed scala aan besturingselementen voor bewegingen, zoals schuiven, ver selecteren en bijna tikken. Hieronder vindt u een volledige lijst met bestaande handbewegingen in MRTK:

Voorbeeld van bijna selecteren
Voorbeeld van Near Select - Wordt gebruikt om knoppen te selecteren of objecten te sluiten die kunnen worden gebruikt

Voorbeeld van luchttikken
Voorbeeld van luchttikken: wordt gebruikt om te laten zien hoe u objecten kunt selecteren die ver weg zijn

Voorbeeld van Verplaatsen
Voorbeeld van het verplaatsen van een object in de ruimte, gebruikt om te laten zien hoe u een hologram in de ruimte verplaatst

Voorbeeld van draaien
Voorbeeld van Rotate-Used om te laten zien hoe hologrammen of objecten worden gedraaid

Voorbeeld van schalen
Voorbeeld van schalen: wordt gebruikt om te laten zien hoe u hologrammen kunt bewerken zodat deze groter of kleiner zijn

Voorbeeld van Palm Up
Voorbeeld van Palm up - Voorgesteld gebruik, om handmenu's weer te geven

Voorbeeld van HandFlip
Voorbeeld van hand spiegelen : een andere manier om handmenu's weer te geven

Voorbeeld van scrollen
Voorbeeld van scrollen: wordt gebruikt voor het schuiven in een lijst of een lang document

Ontwerpconcepten

Voor Hololens2 hebben we handinteracties ontworpen op basis van instinctieve en natuurlijke handbewegingen. We denken dat deze voor de meeste gebruikers intuïtief zijn, dus hebben we geen speciale momenten voor het leren van gebaren gemaakt. In plaats daarvan hebben we de handcoach gemaakt om gebruikers meer te leren over deze bewegingen als ze vastlopen of niet bekend zijn met holograminteracties. Zonder een leermoment vonden we dat het de beste optie was om gebruikers te laten zien hoe ze een actie kunnen uitvoeren door deze te demonstreren. We hebben vastgesteld dat gebruikers het gebaar konden achterhalen, maar een beetje hulp nodig hadden. Als we detecteren dat een gebruiker gedurende een bepaalde periode geen interactie heeft met een object, wordt er een handcoach geactiveerd die de juiste positie van de hand en vinger aangeeft.

Intuïtieve

Bij het animeren van handen moet dit duidelijk zijn en geen verwarring veroorzaken. De handanimatie is een weergave van het gebaar dat u de gebruiker probeert te laten begrijpen.

Als u bijvoorbeeld wilt dat een gebruiker op een knop drukt, wordt een hand die op een knop drukt geactiveerd.

Voorbeeld: Handcoach near tap
Handcoach die near tapping a gem demonstreert

Handschaal

We hebben verschillende handformaten getest met de UI-menu's en vonden dat als de handen op maat waren, het een dreigend gevoel gaf. Als ze te klein waren, was het moeilijk om het gebaar te zien en te begrijpen.

Voice-over en handen

Verwacht niet dat gebruikers naar één set instructies kunnen luisteren via voice-over en watch verschillende instructies via Handcoach. Volg uw instructies om gebruikers te helpen zich te concentreren en te concurreren om hun aandacht om zintuiglijke overbelasting te verminderen.

Kan ik mijn eigen account maken?

Ja. We raden u aan om uw eigen unieke gebaar voor uw game te maken en een bijdrage te leveren aan de community! We hebben een Maya-bestand van een Rigged-hand verstrekt dat kan worden gebruikt voor uw app, dat u hier kunt downloaden: Download HandCoach_MRTK.zip

Voorbeeld van geanimeerde handen in Maya
Voorbeeld van geanimeerde hand poking a box in Maya

Aanbevolen ontwerpprogramma

Onder de 3D-artiesten kiezen velen ervoor om de Maya van Autodesk te gebruiken, die HoloLens kan gebruiken om de manier waarop assets worden gemaakt te transformeren. Het meegeleverde hands-bestand is een Binair Maya-bestand. Het is daarom raadzaam om Maya te gebruiken om de handen te animeren en te exporteren. Als u liever een ander 3D-programma gebruikt, volgt hier een . FBX: download HandCoachMRTK_FBX.zip om uw eigen controllerconfiguratie te maken.

Als u het downloadbare maya-handbestand gebruikt, wordt u aangeraden om de handen in eenheid omlaag te schalen naar 0,6.

Voorbeeld: Handcoach rig in Maya
Opgetuigde handen

Technische specificaties

  • Tweehandig bestand is beschikbaar in Maya Ascii-indeling
  • Rechter- en linkerhand is beschikbaar in binaire maya-indeling
  • Stel uw Maya-bestand in op 24 FPS
  • Het bestand bevat een linker- en rechterhand, die kan worden gebruikt voor tweehandige of éénhandige bewegingen. De rechterhand is standaard alleen zichtbaar.
  • Het wordt aanbevolen om een buffer van ongeveer 10 frames aan het begin en einde te laten voor vervaagde frames
  • Als u animatie wilt toepassen op een object met een opgegeven doel, wordt aanbevolen animatie toe te staan aan een standaardvak of Null.
  • Als de hand een fysiek object zoals een doos aan het animeren is, is het raadzaam om de vertaling niet te animeren in Maya, maar te wachten met het animeren ervan in Unity of in Code.
  • Zichtbare animatie moet 1,5 sec zijn voordat alle zinvolle informatie wordt overgebracht
  • Wanneer u tevreden bent met uw animatie:

Exporteren vanuit Maya

Nadat u tevreden bent met uw animatie

  • Alle verbindingen selecteren: Hiërarchie selecteren >

    Voorbeeld: Hiërarchie in Menu

  • Uw animatie uitbakken: Overschakelen naar Animatietoets >> Animatie bakken

    Voorbeeld: Locatie van menu Animatie bakken

  • De Controller Rig: Outliner-MainR_Grp > of MainL_Grp verwijderen

    Voorbeeld: Locatie van het menu Controller Rig

  • Exporteren als FBX: Selecteer JNT + Mesh: Selectie van bestand > exporteren (keuzevak) > Selectie exporteren

    Voorbeeld: Locatie van selectiemenu exporteren

    Voorbeeld: MenuLocatie

    Voorbeeld: Menu Exportopties Locatie

Wanneer u exporteert als een FBX en naar Unity wordt gebracht, schaalt u de handen omlaag naar 0,6. We vonden dat dit een perfecte balans was voor het weergeven van de handen.

Voorbeeld: Unity-instellingen
Unity-instellingen voor HandCoach_R prefab gevonden in MRTK

Hands implementeren in uw Unity-project

Aanbevolen procedures

  • Het wordt voorgesteld om de handen in eenheid omlaag te schalen naar 0,6

  • Handen moeten twee keer worden gespeeld en indien niet voltooid, dan continu lus totdat het gebaar is voltooid. De handen moeten twee keer worden lussen om ervoor te zorgen dat de gebruiker tijd had om zich te registreren en het gebaar te zien. De handen moeten tussen lussen in en uitfaden.

  • Als de handen van de gebruiker zichtbaar zijn voor HL2-camera's, maar gebruikers niet de interactie uitvoeren die ze nodig hebben, worden de handen na 10 seconden weergegeven.

  • Als de handen van de gebruiker NIET zichtbaar zijn voor HL2-camera's, worden de handen na 5 seconden weergegeven.

  • Als de handen van de gebruiker zichtbaar worden gevolgd door HL2-camera's in het midden van de animatie, wordt de animatie voltooid en vervaagd.

  • Als u voice-over opgeeft, raden we u aan dat deze overeenkomt met het gebaar van de hand.

  • Als u de handen ten minste één keer hebt geleerd, herhaalt u de beweging alleen als wordt gedetecteerd dat de gebruiker vastzit.

  • Als specifieke vinger-/handposities essentieel zijn, moet u ervoor zorgen dat gebruikers deze nuances duidelijk kunnen zien in de animatie. Probeer de handen te hengelen zodat de belangrijkste onderdelen duidelijk zichtbaar zijn.

  • Als u vervorming op de handen ziet, moet u naar De kwaliteitsinstellingen van Unity gaan om het aantal botten te verhogen. Ga naar Unity's Edit > Project Settings > Quality Other >> Blend Weights. Zorg ervoor dat '4 botten' zijn geselecteerd om Vloeiende gewrichten te zien.

    Voorbeeld: Venster Projectinstellingen

Wat u moet vermijden

Zie ook