Share via

Hand Coach

  • Artikel

Beispiel: Handcoach

Handcoach löst 3D-modellierte Hände aus, wenn das System die Hände des Benutzers nicht erkennt. Dieses Feature ist eine "Unterrichtskomponente", die den Benutzer anleiten kann, wenn die Geste nicht gelehrt wurde. Wenn Benutzer die angegebene Geste für einen bestimmten Zeitraum nicht ausgeführt haben, werden die Hände mit einer Verzögerung schleifen. Der Hand-Coach kann verwendet werden, um das Drücken einer Taste oder das Aufnehmen eines Hologramms darzustellen.

Handcoach bereitgestellt

Das aktuelle Interaktionsmodell stellt eine Vielzahl von Gestensteuerelementen dar, z. B. Scrollen, Fernauswahl und Tippen beim Tippen. Im Folgenden finden Sie eine vollständige Liste der vorhandenen Handgesten, die in MRTK bereitgestellt werden:

Beispiel für Near Select
Beispiel für Near Select – Wird verwendet zeigt, wie Schaltflächen ausgewählt oder interagierbare Objekte geschlossen werden.

Beispiel für Air Tap
Beispiel für Air Tap : Wird verwendet, um zu zeigen, wie Objekte ausgewählt werden, die weit entfernt sind

Beispiel für
Beispiel für das Verschieben eines Objekts im Raum: Wird verwendet, um zu zeigen, wie ein Hologramm im Raum verschoben wird

Beispiel für Rotieren
Beispiel für Rotate-Used, um zu zeigen, wie Hologramme oder Objekte gedreht werden

Beispiel für die Skalierung
Beispiel für skalierung: Wird verwendet, um zu zeigen, wie Hologramme so bearbeitet werden, dass sie größer oder kleiner sind

Beispiel für palm up
Beispiel für Palm up – Empfohlene Verwendung zum Aufrufen von Handmenüs

Beispiel für HandFlip
Beispiel für Hand flip – Eine weitere Möglichkeit zum Aufrufen von Handmenüs

Beispiel für scrollen
Beispiel für bildlauf : Wird zum Scrollen einer Liste oder eines langen Dokuments verwendet

Entwurfskonzepte

Für Hololens2 haben wir Interaktionen mit der Hand basierend auf instinktiven und natürlichen Handgesten entworfen. Wir glauben, dass diese für die meisten Benutzer intuitiv sind, daher haben wir keine dedizierten Gestenlernmomente erstellt. Stattdessen haben wir den Handcoach erstellt, um Benutzern zu helfen, mehr über diese Gesten zu erfahren, wenn sie hängen bleiben oder mit Hologramminteraktionen nicht vertraut sind. Ohne einen Lernmoment waren wir der Meinung, dass es die beste Option wäre, Benutzern zu zeigen, wie sie eine Aktion ausführen können, indem sie demonstriert wird. Wir haben festgestellt, dass Benutzer die Geste herausfinden konnten, aber ein wenig Anleitung benötigten. Wenn wir feststellen, dass ein Benutzer für einen bestimmten Zeitraum nicht mit einem Objekt interagiert, wird ein Hand-Coach ausgelöst, der die richtige Hand- und Fingerposition zeigt.

Intuitiv

Beim Animieren von Händen sollte es offensichtlich sein und sollte keine Verwirrung verursachen. Die Handanimation ist eine Darstellung der Geste, die Sie versuchen, den Benutzer zum Verstehen aufzufordern.

Wenn Sie z. B. möchten, dass ein Benutzer eine Schaltfläche drückt, wird eine Hand ausgelöst, die eine Schaltfläche drückt.

Beispiel: Hand coach Near Tap
Hand Coach zeigt near Tapping a Gem

Handwaage

Wir haben verschiedene Handgrößen mit den UI-Menüs getestet und waren der Meinung, dass die Hände, wenn sie richtig waren, ein bedrohliches Gefühl gab. Wenn sie zu klein waren, war es schwer, die Geste zu erkennen und zu verstehen.

Voiceover und Hände

Erwarten Sie nicht, dass Benutzer eine Reihe von Anweisungen per Voiceover hören und verschiedene Anweisungen über Hand Coach watch können. Sequenzieren Sie Ihre Anweisungen, um Benutzern zu helfen, sich auf ihre Aufmerksamkeit zu konzentrieren oder um ihre Aufmerksamkeit zu konkurrieren, um die Sensorüberlastung zu reduzieren.

Kann ich eine eigene erstellen?

Ja! Wir empfehlen Ihnen, Ihre eigene einzigartige Geste für Ihr Spiel zu schaffen und sich zurück in die Community zu engagieren! Wir haben eine Maya-Datei mit einer rigged Hand bereitgestellt, die für Ihre App verwendet werden kann, die hier heruntergeladen werden kann: Download HandCoach_MRTK.zip

Beispiel für animierte Hände in Maya
Beispiel für animiertes Hand-Instöppen einer Box in Maya

Empfohlenes Erstellungstool

Unter 3D-Künstlern entscheiden sich viele für die Verwendung von Autodesk Maya, die HoloLens verwenden kann, um die Art und Weise zu transformieren, wie Ressourcen erstellt werden. Die bereitgestellte Hands-Datei ist eine Maya-Binärdatei, daher wird empfohlen, Maya zum Animieren und Exportieren der Hände zu verwenden. Wenn Sie lieber ein anderes 3D-Programm verwenden möchten, finden Sie hier eine . FBX: Laden Sie HandCoachMRTK_FBX.zip herunter , um Ihr eigenes Controller-Setup zu erstellen.

Wenn Sie die bereitgestellte herunterladbare Maya-Handdatei verwenden, wird empfohlen, die Hände in Unity auf 0,6 herunterzuskalieren.

Beispiel: Hand coach rig in Maya
Manipulierte Hände

Technische Spezifikationen

  • Zweihändige Datei ist im Maya Ascii-Format verfügbar
  • Die rechte und linke Hand ist im Maya-Binärformat verfügbar.
  • Festlegen der Maya-Datei auf 24 FPS
  • Innerhalb der Datei gibt es eine linke und rechte Hand, die für zweihändige oder einhändige Gesten verwendet werden kann. Die rechte Hand ist nur standardmäßig sichtbar.
  • Es wird empfohlen, am Anfang und Ende für Einblendungen einen Puffer von etwa 10 Frames zu belassen.
  • Wenn Sie ein Objekt mit einem angegebenen Ziel animieren, empfiehlt es sich, ein Standardfeld oder null zu animieren.
  • Wenn die Hand ein physisches Objekt wie ein Feld animiert, empfiehlt es sich, die Übersetzung nicht in Maya zu animieren, sondern zu warten, um sie in Unity oder in Code zu animieren.
  • Die sichtbare Animation sollte 1,5 Sekunden lang sein, damit aussagekräftige Informationen vermittelt werden können.
  • Wenn Sie mit Ihrer Animation zufrieden sind:

Exportieren aus Maya

Nachdem Sie mit Ihrer Animation zufrieden sind

  • Alle Gelenke auswählen: Hierarchie auswählen >

    Beispiel: Hierarchie im Menü

  • Animation aufbacken: Zu Animation > Key > Bake Animation wechseln

    Beispiel: Speicherort des Bake-Animationsmenüs

  • Löschen Sie die Controller rig: Outliner > MainR_Grp oder MainL_Grp

    Beispiel: Speicherort des Menüs

  • Als FBX exportieren: Auswählen von JNT + Mesh: Dateiexportauswahl > (Optionsfeld) > Exportauswahl

    Beispiel: Speicherort des Menüs

    Beispiel: Menüspeicherort

    Beispiel: Speicherort des Menüs

Wenn Sie als FBX exportieren und in Unity integrieren, skalieren Sie die Hände auf 0,6 herunter. Wir fanden heraus, dass dies eine perfekte Balance für die Anzeige der Hände war.

Beispiel: Unity-Einstellungen
Unity-Einstellungen für HandCoach_R Prefab im MRTK

Implementieren von Hands in Ihr Unity-Projekt

Bewährte Methoden

  • Es wird empfohlen, die Hände in Unity auf 0,6 herunterzuskalieren.

  • Die Hände sollten zweimal wiedergegeben werden, und wenn sie nicht abgeschlossen sind, werden sie kontinuierlich in Schleife ausgeführt, bis die Geste abgeschlossen ist. Die Hände sollten zweimal in schleifen, um sicherzustellen, dass der Benutzer Zeit hatte, sich zu registrieren und die Geste zu sehen. Die Hände sollten zwischen Schleifen ein- und ausblenden.

  • Wenn die Hände des Benutzers von HL2-Kameras sichtbar sind, benutzer aber nicht die von ihnen benötigte Interaktion ausführen, werden die Hände nach 10 Sekunden angezeigt.

  • Wenn die Hände des Benutzers von HL2-Kameras NICHT sichtbar sind, werden die Hände nach 5 Sekunden angezeigt.

  • Wenn die Hände des Benutzers von HL2-Kameras in der Mitte der Animation sichtbar nachverfolgt werden, wird die Animation abgeschlossen und ausgeblendet.

  • Wenn Sie Voice-Over einschließen, wird empfohlen, dass es der Geste der Hand entspricht.

  • Wenn Sie die Hände mindestens einmal unterrichtet haben, wiederholen Sie die Geste nur, wenn erkannt wird, dass der Benutzer hängen bleibt.

  • Wenn bestimmte Finger-/Handpositionen wichtig sind, stellen Sie sicher, dass Benutzer diese Nuancen in der Animation deutlich sehen können. Versuchen Sie, die Hände zu angeln, damit die wichtigsten Teile deutlich sichtbar sind.

  • Wenn Sie Verzerrungen an den Händen feststellen, müssen Sie zu den Qualitätseinstellungen von Unity wechseln, um die Anzahl der Knochen zu erhöhen. Wechseln Sie zu Unitys Projekteinstellungen > bearbeiten > Qualität > Andere > Mischgewichte. Stellen Sie sicher, dass "4 Knochen" ausgewählt sind, um Glatte Gelenke zu sehen.

    Beispiel: Fenster

Was Sie vermeiden sollten

Weitere Informationen