Hand Coach

Example: Hand coach

Handtrainer löst 3D-modellierte Hände aus, wenn das System die Hände des Benutzers nicht erkennt. Dieses Feature ist eine "Lehrkomponente", die dem Benutzer hilft, den Benutzer zu leiten, wenn die Geste nicht unterrichtet wurde. Wenn Benutzer die angegebene Geste für einen Zeitraum nicht ausgeführt haben, wird die Hand mit einer Verzögerung schleifen. Der Hand-Coach könnte verwendet werden, um eine Schaltfläche zu drücken oder ein Hologramm aufzunehmen.

Handtrainer bereitgestellt

Das aktuelle Interaktionsmodell stellt eine Vielzahl von Gestensteuerelementen dar, z. B. Scrollen, weit auswählen und in der Nähe tippen. Nachfolgend finden Sie eine vollständige Liste der vorhandenen Handgesten, die in MRTK bereitgestellt werden:

Example of Near Select
Beispiel für die Nähe auswählen – Wird verwendet, wie Schaltflächen ausgewählt oder interagierende Objekte geschlossen werden.

Example of Air Tap
Beispiel für Air Tap – Wird verwendet, um anzuzeigen, wie Objekte ausgewählt werden, die weit entfernt sind

Example of Move
Beispiel für das Verschieben eines Objekts in raum-Verwendet, um anzuzeigen, wie ein Hologramm im Raum verschoben wird

Example of Rotate
Beispiel für Rotate-Used, um anzuzeigen, wie Hologramme oder Objekte gedreht werden.

Example of Scale
Beispiel für Skalierung: Wird verwendet, um anzuzeigen, wie Hologramme bearbeitet werden, um größer oder kleiner zu sein

Example of Palm Up
Beispiel für Palm up – Vorgeschlagene Verwendung, um Handmenüs anzuzeigen

Example of HandFlip
Beispiel für Hand-Flip – Eine andere Möglichkeit zum Aufrufen von Handmenüs

Example of Scroll
Beispiel für scrollen – Wird zum Scrollen einer Liste oder eines langen Dokuments verwendet.

Entwurfskonzepte

Für Hololens2 entwickelten wir Handinteraktionen basierend auf instinktuellen und natürlichen Handgesten. Wir glauben, dass dies für die meisten Benutzer intuitiv sein soll, sodass wir keine dedizierten Gesten-Lernmomente erstellt haben. Stattdessen haben wir den Hand-Coach erstellt, um Benutzern zu helfen, über diese Gesten zu lernen, wenn sie hängen bleiben oder nicht vertraut sind mit Hologramminteraktionen. Ohne einen Lernmoment haben wir gefühlt, dass benutzer zeigen, wie eine Aktion ausgeführt wird, indem sie zeigt, dass es die beste Option wäre. Wir haben festgestellt, dass Benutzer die Geste ermitteln konnten, aber ein wenig Anleitung benötigten. Wenn ein Benutzer für einen Zeitraum nicht mit einem Objekt interagiert, wird ein Hand-Coach ausgelöst, der die richtige Hand- und Fingerplatzierung veranschaulicht.

Intuitiv

Beim Animieren von Händen sollte es offensichtlich sein und sollte keine Verwirrung verursachen. Die Handanimation ist eine Darstellung der Geste, die Sie versuchen, den Benutzer zu verstehen.

Wenn Sie beispielsweise wünschen, dass ein Benutzer eine Schaltfläche drückt, wird eine Hand, die eine Schaltfläche drückt, ausgelöst.

Example: Hand coach Near Tap
Hand-Coach, der in der Nähe eines Tippens auf ein Gem zeigt

Handskala

Wir haben verschiedene Handgrößen mit den UI-Menüs getestet und gefühlt, dass die Hände wahr auf Größe waren, es ein bedrohlichen Gefühl gab. Wenn sie zu klein waren, war es schwer zu sehen und die Geste zu verstehen.

Stimme über und Hände

Erwarten Sie nicht, dass Benutzer eine Reihe von Anweisungen über voice over hören und verschiedene Anweisungen über Hand-Coach überwachen können. Sequenzieren Sie Ihre Anweisungen, um Benutzern dabei zu helfen, sich auf ihre Aufmerksamkeit zu konzentrieren, um die Sensorüberladung zu verringern.

Kann ich mein eigenes erstellen?

Ja. Wir empfehlen Ihnen, Ihre eigene einzigartige Geste für Ihr Spiel zu erstellen und zur Community zurückzukehren! Wir haben eine Maya-Datei einer Rigged-Hand bereitgestellt, die für Ihre App verwendet werden kann, die hier heruntergeladen werden kann: Herunterladen HandCoach_MRTK.zip

Example of Animated Hands in Maya
Beispiel für animiertes Hand-Poking eines Felds in Maya

Empfohlenes Dokumenterstellungstool

Unter 3D-Künstlern wählen viele die Verwendung von Autodesks Maya, die HoloLens verwenden können, um die Art und Weise zu transformieren, wie Ressourcen erstellt werden. Die bereitgestellte Handdatei ist eine Maya-Binärdatei, daher empfiehlt es sich, Maya zum Animieren und Exportieren der Hände zu verwenden. Wenn Sie ein anderes 3D-Programm verwenden möchten, finden Sie hier ein . FBX: Laden Sie HandCoachMRTK_FBX.zip herunter , um Ihr eigenes Controller-Setup zu erstellen.

Wenn Sie die heruntergeladene Maya-Handdatei verwenden, wird empfohlen, die Hände in der Einheit auf 0,6 zu skalieren.

Example: Hand coach rig in Maya
Riggierte Hände

Technische Spezifikationen

  • Zweihändige Datei ist im Maya Ascii-Format verfügbar.
  • Rechts- und Linkshand ist im Maya-Binärformat verfügbar.
  • Festlegen Ihrer Maya-Datei auf 24 FPS
  • Innerhalb der Datei gibt es eine linke und rechte Hand, die für zweihändige oder einzelhändige Gesten verwendet werden kann. Die rechte Hand ist standardmäßig nur sichtbar.
  • Es wird vorgeschlagen, einen Puffer von ca. 10 Frames am Anfang und Ende für Einblenden zu verlassen
  • Wenn Sie ein Objekt mit einem angegebenen Ziel animieren, empfiehlt es sich, ein Standardfeld oder null animieren zu können.
  • Wenn die Hand ein physisches Objekt wie ein Feld animiert, empfiehlt es sich, die Übersetzung in Maya nicht animieren zu können, aber warten Sie darauf, es in Unity oder in Code animieren zu können.
  • Sichtbare Animation sollte 1,5 Sekunden für aussagekräftige Informationen sein, die übermittelt werden sollen.
  • Wenn Sie mit Ihrer Animation zufrieden sind:

Exportieren von Maya

Nachdem Sie mit Ihrer Animation zufrieden sind

  • Alle Gelenke auswählen: > Hierarchie auswählen

    Example: Hierarchy in Menu

  • Backen Sie Ihre Animation: Wechseln zu Animation >> Key Bake Animation

    Example: Bake Animation Menu Location

  • Löschen des Controller-Rigs: Gliederung > MainR_Grp oder MainL_Grp

    Example: Controller Rig Menu Location

  • Exportieren als FBX: Auswählen von JNT + Mesh: Dateiexportauswahl > (Optionsfeld) > Exportauswahl

    Example: Export selection Menu Location

    Example: Menu Location

    Example: Export Options Menu Location

Wenn Sie als FBX exportieren und in Unity gebracht werden, skalieren Sie die Hände auf 0,6. Wir haben festgestellt, dass dies eine perfekte Balance für die Anzeige der Hände war.

Example: Unity Settings
Unity Einstellungen für HandCoach_R Prefab in MRTK gefunden

Implementieren von Hands in Ihr Unity-Projekt

Bewährte Methoden

  • Es wird vorgeschlagen, die Hände in der Einheit auf 0,6 nach unten zu skalieren.

  • Die Hände sollten zweimal gespielt werden und wenn sie nicht abgeschlossen sind, bis die Geste abgeschlossen ist. Die Hände sollten zweimal geschleifet werden, um sicherzustellen, dass der Benutzer zeit hatte, die Geste zu registrieren und zu sehen. Die Hände sollten zwischen Schleifen ein- und ausblenden.

  • Wenn die Hände des Benutzers durch HL2-Kameras sichtbar sind, aber Benutzer die Interaktion nicht ausführen, die von ihnen benötigt wird, wird nach 10 Sekunden angezeigt.

  • Wenn die Hände des Benutzers nicht von HL2-Kameras sichtbar sind, wird die Hände nach 5 Sekunden angezeigt.

  • Wenn die Hände des Benutzers sichtbar von HL2-Kameras in der Mitte der Animation nachverfolgt werden, wird die Animation abgeschlossen und ausgeblendet.

  • Wenn Sie voice over einschließen, empfehlen wir, dass sie der Geste der Hand entspricht.

  • Wenn Sie die Hände mindestens einmal unterrichtet haben, wiederholen Sie nur die Geste, wenn sie erkannt wird, dass der Benutzer hängen bleibt.

  • Wenn bestimmte Finger-/Handpositionen kritisch sind, können Benutzer diese Nuancen in der Animation deutlich sehen. Versuchen Sie, die Hände zu verwerfen, sodass die wichtigsten Teile deutlich sichtbar sind.

  • Wenn Sie Verzerrungen auf den Händen bemerken, müssen Sie zu den Qualitätseinstellungen von Unity wechseln, um die Anzahl der Knochen zu erhöhen. Wechseln Sie zum Edit > Project Einstellungen > Quality > Other > Blend Weights. Stellen Sie sicher, dass "4 Knochen" ausgewählt sind, um glatte Gelenke zu sehen.

    Example: Project Settings Window

Was Sie vermeiden sollten

Weitere Informationen