Anvisieren und Bestätigen
Gaze and Commit ist ein grundlegendes Eingabemodell, das eng mit der Art und Weise verbunden ist, wie wir mit der Maus mit unseren Computern interagieren: Punktklick&. Auf dieser Seite werden zwei Arten von Blickeingaben (Kopf- und Blick) und verschiedene Arten von Commitaktionen vorgestellt. Das Anvisieren und Committen wird als Ferneingabemodell mit indirekter Manipulation betrachtet. Es wird am besten für die Interaktion mit holografischen Inhalten verwendet, die außerhalb der Reichweite sind.
Mixed Reality-Headsets können die Position und Ausrichtung des Kopfes des Benutzers verwenden, um ihren Kopfrichtungsvektor zu bestimmen. Stellen Sie sich den Blick als einen Laser vor, der direkt zwischen den Augen des Benutzers geradeaus zeigt. Dies ist eine ziemlich grobe Annäherung hinsichtlich der Position, die der Benutzer betrachtet. Ihre Anwendung kann diesen Strahl mit virtuellen oder realen Objekten überschneiden und einen Cursor an dieser Stelle zeichnen, um den Benutzer darüber zu informieren, worauf er abzielt.
Zusätzlich zum Kopfausblick enthalten einige Mixed Reality-Headsets, z. B. HoloLens 2, Eyetracking-Systeme, die einen Blickvektor erzeugen. Dies ermöglicht eine präzisere Messung der Position, die der Benutzer betrachtet. In beiden Fällen stellt der Blick ein wichtiges Signal für die Absicht des Benutzers dar. Je besser das System die beabsichtigten Aktionen des Benutzers interpretieren und vorhersagen kann, desto mehr Benutzerzufriedenheit und Leistung verbessern sich.
Im Folgenden finden Sie einige Beispiele dafür, wie Sie als Mixed Reality-Entwickler von Kopf- oder Blick profitieren können:
- Ihre App kann den Blick mit den Hologrammen in Ihrer Szene überschneiden, um zu bestimmen, wo die Aufmerksamkeit des Benutzers ist (genauer mit Blick auf die Augen).
- Ihre App kann Gesten und Controllerdrücken basierend auf dem Blick des Benutzers kanalisieren, wodurch der Benutzer nahtlos auswählen, aktivieren, greifen, scrollen oder anderweitig mit seinen Hologrammen interagieren kann.
- Ihre App kann es dem Benutzer ermöglichen, Hologramme auf realen Oberflächen zu platzieren, indem er seinen Blickstrahl mit dem räumlichen Zuordnungsgitter überschneiden.
- Ihre App kann erkennen, wenn der Benutzer nicht in die Richtung eines wichtigen Objekts sucht. Dies kann dazu führen, dass Ihre App visuelle und audiorelevante Hinweise gibt, um sich diesem Objekt zuzuwenden.
Geräteunterstützung
| Eingabemodell | HoloLens (1. Generation) | HoloLens 2 | Immersive Headsets |
| Anvisieren mit dem Kopf und Ausführen | ✔️ Empfohlen | ✔️ Empfohlen (dritte Auswahl – Siehe andere Optionen) | ➕ Alternative Option |
| Anvisieren mit den Augen und Ausführen | ❌ Nicht verfügbar | ✔️ Empfohlen (dritte Auswahl – Siehe andere Optionen) | ❌ Nicht verfügbar |
Demo der Entwurfskonzepte für Kopf- und Eyetracking
Wenn Sie die Entwurfskonzepte für Kopf- und Eyetracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Entwerfen von Hologrammen: Kopf- und Eyetracking an. Wenn Sie fertig sind, fahren Sie mit einem ausführlicheren Einblick in bestimmte Themen fort.
Dieses Video stammt aus der HoloLens 2-App "Entwerfen von Hologrammen". Sie können das vollständige Erlebnis hier herunterladen und genießen.
Anvisieren
Augen- oder Kopf-Blick?
Bei der Frage, ob Sie das Eingabemodell "Blick und Commit" oder "Kopf-Anvisieren und Commit" verwenden sollten, gibt es mehrere Überlegungen. Wenn Sie für ein immersives Headset oder für HoloLens (1. Generation) entwickeln, ist die Wahl einfach: Head-Gaze and Commit. Wenn Sie für HoloLens 2 entwickeln, wird die Wahl etwas schwieriger. Es ist wichtig, die Vorteile und Herausforderungen zu verstehen, die mit jedem von ihnen verbunden sind. In der folgenden Tabelle haben wir einige allgemeine Pros und Cons zusammengestellt, um das Ziel von Kopf- und Blick zu vergleichen. Dies ist noch lange nicht abgeschlossen, und wir empfehlen ihnen, mehr über das Anvisieren von Blicken in Mixed Reality hier zu erfahren:
- Eyetracking auf HoloLens 2: Allgemeine Einführung unserer neuen Eyetrackingfunktion auf HoloLens 2 einschließlich einiger Entwicklerleitfäden.
- Interaktion zwischen Blick und Blick: Entwurfsüberlegungen und Empfehlungen bei der Planung der Verwendung von Eyetracking als Eingabe.
| Anvisieren des Blicks | Anvisieren mit dem Kopf |
| Schnell! | Langsamer |
| Geringer Aufwand (kaum Körperbewegungen erforderlich) | Kann ermüdend sein - Mögliche Beschwerden (z. B. Nackenzerrung) |
| Erfordert keinen Cursor, aber es wird ein subtiles Feedback empfohlen. | Erfordert die Anzeige eines Cursors. |
| Keine glatten Augenbewegungen – zum Beispiel nicht gut zum Zeichnen | Kontrollierter und expliziter |
| Schwierig für kleine Ziele (z. B. winzige Schaltflächen oder Weblinks) | Zuverlässige! Toller Fallback! |
| ... | ... |
Unabhängig davon, ob Sie kopf- oder blickend für Ihr Eingabemodell "Gaze-and-Commit" verwenden, verfügt jedes Modell über unterschiedliche Entwurfseinschränkungen. Diese werden separat in den Artikeln "Eye-Gaze" und "Commit " , "Kopf-Anvisieren" und "Commit" behandelt.
Cursor
Für den Blick auf den Kopf sollten die meisten Apps einen Cursor oder eine andere auditive/visuelle Anzeige verwenden, um dem Benutzer Vertrauen in die Interaktion zu geben.
In der Regel positionieren Sie diesen Cursor in der Welt, in der sich ihr Kopf-Blickstrahl zuerst über ein Objekt schneidet, bei dem es sich um ein Hologramm oder eine reale Oberfläche handeln kann.
Für den Blick empfehlen wir im Allgemeinen, keinen Cursor anzuzeigen, da dies für den Benutzer schnell ablenkend und nervig werden kann.
Markieren Sie stattdessen visuelle Ziele dezent, oder verwenden Sie einen schwachen Blickcursor, um vertrauen zu können, mit was der Benutzer interagieren wird. Weitere Informationen finden Sie in unserem Entwurfsleitfaden für augenbasierte Eingaben zu HoloLens 2.
Abbildung: Ein visueller Beispielcursor zum Anzeigen des Blicks
Commit
Nachdem wir über verschiedene Möglichkeiten gesprochen haben, auf ein Ziel zu blicken , lassen Sie uns ein wenig mehr über den Commit-Teil im Blick und Commit sprechen. Nach dem Ziel eines Objekts oder UI-Elements kann der Benutzer mithilfe einer sekundären Eingabe interagieren oder darauf klicken. Dies wird als Bestätigungsschritt (Commit) des Eingabemodells bezeichnet.
Die folgenden Methoden zum Ausführen werden unterstützt:
- Luft tippen Handgeste (das heißt, heben Sie Ihre Hand vor Sich und bringen Sie Ihren Zeigefinger und Daumen zusammen)
- Sagen Sie "select" oder einen der Ziel-Sprachbefehle.
- Drücken einer einzelnen Schaltfläche auf einem HoloLens Clicker
- Drücken der Schaltfläche "A" auf einem Xbox-Gamepad
- Drücken der A-Taste an einem adaptiven Xbox-Controller
Geste zum Anvisieren und Tippen in die Luft
„In die Luft tippen“ ist eine Tippbewegung mit aufrecht gehaltener Hand Um ein Lufttippen zu verwenden, heben Sie den Zeigefinger auf die bereite Position, drücken Sie dann mit dem Daumen, und heben Sie den Zeigefinger wieder hoch, um loszulassen. Bei HoloLens (1. Generation) ist Air Tap die häufigste sekundäre Eingabe.
Finger in der bereiten Position
Drücken Sie den Finger nach unten, um zu tippen oder zu klicken
Luftzapfen ist auch auf HoloLens 2 verfügbar. Es wurde von der ursprünglichen Version gelockert. Fast alle Arten von Pinches werden jetzt unterstützt, solange die Hand aufrecht ist und noch hält. Dies erleichtert es Benutzern, die Geste zu erlernen und zu verwenden. Dieser neue Luftzapf ersetzt den alten über dieselbe API, sodass vorhandene Anwendungen das neue Verhalten automatisch nach der neu kompilierten HoloLens 2.
Sprachbefehl "Anvisieren" und "Auswählen"
Sprachbefehle sind eine der wichtigsten Interaktionsmethoden in Mixed Reality. Es bietet einen leistungsstarken Freisprechmechanismus, um das System zu steuern. Es gibt verschiedene Arten von Sprachinteraktionsmodellen:
- Der generische Befehl "Select", der eine Klickbetätigung oder einen Commit als sekundäre Eingabe verwendet.
- Objektbefehle (z. B. "Schließen" oder "Vergrößern") führen eine Aktion als sekundäre Eingabe aus und committen sie für eine Aktion.
- Globale Befehle (z. B. "Gehe zu Start") erfordern kein Ziel.
- Benutzeroberflächen für Unterhaltungen oder Entitäten wie Cortana verfügen über eine KI-Funktion in natürlicher Sprache.
- Benutzerdefinierte Sprachbefehle
Weitere Informationen zu Details und einer umfassenden Liste der verfügbaren Sprachbefehle und deren Verwendung finden Sie in unserem Leitfaden für Sprachbefehle .
Gaze und HoloLens Clicker
Der HoloLens Clicker ist das erste Peripheriegerät, das speziell für HoloLens entwickelt wurde. Es ist in der HoloLens Development Edition (1. Generation) enthalten. Mit dem HoloLens Clicker können Benutzer mit minimaler Handbewegung klicken und als sekundäre Eingabe commiten. Der HoloLens Clicker stellt über Bluetooth Low Energy (BTLE) eine Verbindung mit HoloLens (1. Generation) oder HoloLens 2 bereit.
Weitere Informationen und Anweisungen zum Koppeln des Geräts
Abbildung: HoloLens Clicker
Anvisieren und Xbox Wireless Controller
Die Xbox Wireless Controller führt mithilfe der Schaltfläche "A" eine Klickbetätigung als sekundäre Eingabe aus. Das Gerät ist einem Standardsatz von Aktionen zugeordnet, die beim Navigieren und Steuern des Systems helfen. Wenn Sie den Controller anpassen möchten, verwenden Sie die Xbox-Zubehöranwendung, um Ihre Xbox Wireless Controller zu konfigurieren.
Koppeln eines Xbox-Controllers mit Ihrem PC
Abbildung: Xbox Wireless Controller
Blick und xbox adaptiver Controller
Der Xbox Adaptive Controller wurde in erster Linie entwickelt, um die Anforderungen von Spielern mit eingeschränkter Mobilität zu erfüllen, und ist ein einheitlicher Hub für Geräte, mit dem Mixed Reality barrierefreier gestaltet wird.
Der adaptive Xbox Controller führt eine Klickbetätigung als sekundäre Eingabe durch, indem die Schaltfläche "A" verwendet wird. Das Gerät ist einem Standardsatz von Aktionen zugeordnet, die beim Navigieren und Steuern des Systems helfen. Wenn Sie den Controller anpassen möchten, verwenden Sie die Xbox-Zubehöranwendung, um Ihren adaptiven Xbox Controller zu konfigurieren.
Xbox Adaptive Controller
Schließen Sie externe Geräte wie Schalter, Tasten, Halterungen und Joysticks an, um eine benutzerdefinierte Controllererfahrung zu schaffen, die ihnen einzigartig ist. Tasten-, Fingerabdruck- und Triggereingänge werden mit Hilfsgeräten gesteuert, die über 3,5-mm-Buchsen und USB-Anschlüsse verbunden sind.
Xbox Adaptive Controller-Anschlüsse
Anweisungen zum Koppeln des Geräts
Weitere Informationen, die auf der Xbox-Website verfügbar sind
Zusammengesetzte Gesten
In die Luft tippen
Die Luft-Tippen-Geste (und die anderen gesten unten) reagiert nur auf einen bestimmten Tippen. Um andere Tippen zu erkennen, z. B. "Menü" oder "Greifen", muss Ihre Anwendung direkt die Interaktionen auf niedrigerer Ebene verwenden, die oben im Abschnitt "Zwei Wichtige Komponentengesten" beschrieben werden.
Tippen und halten Sie
„Halten“ bedeutet einfach, die Position mit dem Finger nach unten beim „In die Luft tippen“ beizubehalten. Die Kombination aus Luft tippen und halten ermöglicht verschiedene komplexere "Klick-und-Ziehen"-Interaktionen in Kombination mit Armbewegungen, z. B. das Aufnehmen eines Objekts, anstatt es zu aktivieren, oder sekundäre Interaktionen mit dem Mausdown, z. B. das Anzeigen eines Kontextmenüs. Beim Entwerfen dieser Geste ist jedoch Vorsicht geboten, da Benutzer während einer erweiterten Geste dazu neigen können, ihre Handhaltungen zu lockern.
Manipulation
Manipulationsgesten können verwendet werden, um ein Hologramm zu verschieben, die Größe zu ändern oder zu drehen, wenn das Hologramm 1:1 auf die Handbewegungen des Benutzers reagieren soll. Eine Verwendungsmöglichkeit für solche 1:1-Bewegungen ist es, den Benutzer in der Umgebung zeichnen oder malen zu lassen. Die anfängliche Zielbestimmung für eine Manipulationsgeste sollte durch Anvisieren oder Zeigen erfolgen. Sobald das Tippen und Halten beginnt, wird jede Objektbearbeitung durch Handbewegungen behandelt, wodurch der Benutzer sich während der Bearbeitung umsehen kann.
Navigation
Navigationsgesten funktionieren wie ein virtueller Joystick und können zur Navigation in Widgets der Benutzeroberfläche, z. B. Radialmenüs, verwendet werden. Sie tippen und halten, um die Geste zu starten, und bewegen dann Ihre Hand in einem normalisierten 3D-Würfel, der um die erste Betätigung herum angeordnet ist. Sie können Ihre Hand entlang der X-, Y- oder Z-Achse von einem Wert von -1 zu 1 bewegen, wobei 0 der Ausgangspunkt ist. Mithilfe der Navigation können geschwindigkeitsbasierte kontinuierliche Gesten zum Scrollen oder Zoomen erstellt werden, ähnlich dem Scrollen bei einer 2D-Benutzeroberfläche durch Klicken mit der mittleren Maustaste und anschließendes Bewegen der Maus nach oben und unten.
Navigation mit Schienen bezieht sich auf die Fähigkeit, Bewegungen auf einer bestimmten Achse zu erkennen, bis ein bestimmter Schwellenwert auf dieser Achse erreicht ist. Dies ist nur nützlich, wenn die Bewegung in mehr als einer Achse in einer Anwendung vom Entwickler aktiviert wird, z. B. wenn eine Anwendung so konfiguriert ist, dass Navigationsgesten über die X-, Y-Achse, aber auch die angegebene X-Achse mit Schienen erkannt werden. In diesem Fall erkennt das System Handbewegungen über die X-Achse, solange sie innerhalb einer imaginären Schiene (Führung) auf der X-Achse verbleiben, wenn die Handbewegung auch auf der Y-Achse auftritt.
Innerhalb von 2D-Apps können Benutzer mit vertikalen Navigationsgesten innerhalb der App scrollen, zoomen oder ziehen. Dadurch werden virtuelle Fingerberührungen in der App eingeführt, um Gesten für die Toucheingabe desselben Typs zu simulieren. Benutzer können auswählen, welche dieser Aktionen ausgeführt werden sollen, indem sie zwischen den Tools auf der Leiste über der Anwendung umschalten, indem sie entweder die Schaltfläche auswählen oder "<Scroll/Drag/Zoom> Tool" sagen.
Weitere Informationen zu zusammengesetzten Gesten
Gestenerkennung
Ein Vorteil der Gestenerkennung besteht darin, dass Sie eine Gestenerkennung nur für die Gesten konfigurieren können, die das derzeit zielorientierte Hologramm akzeptieren kann. Die Plattform führt nur bei Bedarf Mehrdeutigkeiten durch, um diese bestimmten unterstützten Gesten zu unterscheiden. Auf diese Weise kann ein Hologramm, das nur das Luft tippen unterstützt, eine beliebige Zeitspanne zwischen Dem Drücken und Loslassen akzeptieren, während ein Hologramm, das sowohl das Tippen als auch das Halten unterstützt, den Tippen auf einen Haltepunkt nach dem Haltezeitschwellenwert heraufstufen kann.
Handerkennung
HoloLens erkennt Handgesten, indem die Position einer oder beider Hände, die für das Gerät sichtbar sind, verfolgt wird. HoloLens erkennt Hände, wenn sie sich entweder im Bereitschaftszustand (Handrücken mit nach oben gerichtetem Zeigefinger zu Ihnen gewandt) oder im gedrückten Zustand (Handrücken mit nach unten gerichtetem Zeigefinger zu Ihnen gewandt) befinden. Wenn sich Hände in anderen Posen befinden, ignoriert HoloLens sie. Für jede Hand, die HoloLens erkennt, können Sie auf ihre Position ohne Orientierung und ihren gedrückten Zustand zugreifen. Wenn sich die Hand dem Rand des Gestenrahmens nähert, erhalten Sie auch einen Richtungsvektor, den Sie dem Benutzer zeigen können, damit er weiß, wie er seine Hand bewegen muss, um sie dorthin zurückzubringen, wo sie von HoloLens erkannt werden kann.
Gestenrahmen
Für Gesten auf HoloLens muss sich die Hand innerhalb eines Gestenrahmens befinden, in einem Bereich, den die Gestenerkennungskameras angemessen sehen können, von der Nase bis zur Taille und zwischen den Schultern. Die Nutzer müssen in diesem Bereich der Anerkennung sowohl für den Erfolg des Handelns als auch für ihren eigenen Komfort geschult werden. Viele Benutzer gehen zunächst davon aus, dass sich der Gestenrahmen über HoloLens in ihrer Sicht befinden muss, und halten ihre Arme unangenehm hoch, um zu interagieren. Wenn Sie den HoloLens Clicker verwenden, müssen sich die Hände nicht innerhalb des Gestenrahmens befinden.
Insbesondere bei kontinuierlichen Gesten besteht ein gewisses Risiko, dass Benutzer ihre Hände außerhalb des Gestenrahmens bewegen, während sie z. B. ein holografisches Objekt in der Mitte bewegen und ihr beabsichtigtes Ergebnis verlieren.
Sie sollten die folgenden drei Aspekte berücksichtigen:
Benutzerschulung zur Existenz des Gestenrahmens und zu ungefähren Grenzen. Dies wird während der HoloLens-Einrichtung gelehrt.
Benachrichtigen von Benutzern, wenn sich ihre Gesten nähern oder die Grenzen des Gestenrahmens innerhalb einer Anwendung in dem Maße unterbrechen, wie eine verlorene Geste zu unerwünschten Ergebnissen führt. Die Forschung hat die wichtigsten Qualitäten eines solchen Benachrichtigungssystems gezeigt. Die HoloLens-Shell stellt ein gutes Beispiel für diese Art von Benachrichtigung dar– visual auf dem zentralen Cursor, der die Richtung angibt, in der die Grenzüberquerung stattfindet.
Die Folgen des Überschreitens der Begrenzungen des Gestenrahmens sollten minimiert werden. Im Allgemeinen bedeutet dies, dass das Ergebnis einer Geste an der Grenze beendet und nicht umgekehrt werden sollte. Wenn ein Benutzer beispielsweise ein holografisches Objekt durch einen Raum bewegt, sollte die Bewegung beendet werden, wenn der Gestenrahmen verletzt wird, und nicht zum Ausgangspunkt zurückkehren. Der Benutzer kann eine gewisse Frustration erleben, aber möglicherweise schneller die Grenzen verstehen und nicht jedes Mal seine vollständigen beabsichtigten Aktionen neu starten.