Blickbasierte Interaktion auf HoloLens 2
Eine unserer aufregenden neuen Funktionen für HoloLens 2 ist Eyetracking. Auf unserer Seite Eyetracking auf HoloLens 2 haben wir die Notwendigkeit erwähnt, dass jeder Benutzer eine Kalibrierung durchlaufen muss, einige Entwicklerleitfäden bereitgestellt und Anwendungsfälle für Eyetracking hervorgehoben. Die Eingabe des Blicks ist immer noch eine neue Art von Benutzereingabe, und es gibt viel zu lernen.
Während die Blickeingabe nur subtil in unserer Holographic Shell-Benutzeroberfläche verwendet wird (die Benutzeroberfläche, die Sie sehen, wenn Sie Ihre HoloLens 2 starten), zeigen mehrere Apps, wie der "HoloLens Playground", hervorragende Beispiele dafür, wie die Eingabe des Blicks zur Magie Ihrer holografischen Erfahrung hinzufügen kann. Auf dieser Seite werden Entwurfsüberlegungen für die Integration von Blickeingaben für die Interaktion mit Ihren holografischen Anwendungen erläutert.
Sie erfahren mehr über wichtige Vorteile und auch einzigartige Herausforderungen, die mit Blickeingaben verbunden sind. Basierend auf diesen bieten wir mehrere Designempfehlungen, die Ihnen helfen, befriedigende, blickgestützte Benutzeroberflächen zu erstellen.
Geräteunterstützung
| Feature | HoloLens (1. Generation) | HoloLens 2 | Immersive Headsets |
| Blick auf die Augen | ❌ | ✔️ | ❌ |
Demo der Entwurfskonzepte für Kopf- und Eyetracking
Wenn Sie die Entwurfskonzepte für Kopf- und Eyetracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Entwerfen von Hologrammen: Kopf- und Eyetracking an. Wenn Sie fertig sind, fahren Sie mit einem ausführlicheren Einblick in bestimmte Themen fort.
Dieses Video stammt aus der HoloLens 2-App "Entwerfen von Hologrammen". Sie können das vollständige Erlebnis hier herunterladen und genießen.
Entwurfsrichtlinien für Eingaben mit Blick auf das Auge
Es kann eine Herausforderung sein, eine Interaktion zu entwickeln, die sich schnell bewegende Blickziele nutzt. In diesem Abschnitt fassen wir die wichtigsten Vorteile und Herausforderungen zusammen, die beim Entwerfen Ihrer Anwendung zu berücksichtigen sind.
Vorteile der Eingabe des Blicks
Zeigen mit hoher Geschwindigkeit. Der Augenmuskel ist der am schnellsten reagierende Muskel im menschlichen Körper.
Geringer Aufwand. Es sind kaum physische Bewegungen erforderlich.
Selbstverständlichkeit. Informationen über die Augenbewegungen eines Benutzers werden von Benutzern häufig als "Mind Reading" beschrieben und geben dem System die Information, welches Ziel der Benutzer ansprechen möchte.
Alternativer Eingabekanal. Der Blick kann einen leistungsstarken unterstützenden Input für Die Hand- und Spracheingabe bieten, der auf jahrelanger Erfahrung von Benutzern basierend auf ihrer Hand-Augen-Koordination basiert.
Visuelle Aufmerksamkeit. Ein weiterer wichtiger Vorteil ist die Möglichkeit, ableiten zu können, worauf ein Benutzer achtgibt. Dies kann in verschiedenen Anwendungsbereichen helfen, von einer effektiveren Bewertung verschiedener Designs bis hin zur Unterstützung intelligenterer Benutzeroberflächen und verbesserter sozialer Hinweise für die Remotekommunikation.
Kurz gesagt, die Verwendung des Blicks als Eingabe bietet ein schnelles und müheloses kontextbezogenes Eingabesignal. Dies ist sehr leistungsfähig, wenn sie mit anderen Eingaben wie Spracheingaben und manuellen Eingaben kombiniert wird, um die Absicht des Benutzers zu bestätigen.
Herausforderungen des Blicks als Eingabe
Während der Blick auf die Augen verwendet werden kann, um befriedigende Benutzererfahrungen zu schaffen, die Ihnen das Gefühl geben, dass Sie sich wie ein Superheld fühlen, ist es auch wichtig zu wissen, wozu es nicht gut ist, dies angemessen zu berücksichtigen. In der folgenden Liste werden einige Herausforderungen erläutert, die berücksichtigt werden sollten, und wie sie bei der Arbeit mit Eingaben zum Anvisieren des Blicks angegangen werden können:
Ihr Blick ist "immer eingeschaltet" Sobald Sie Ihre Augendeckel öffnen, beginnen Ihre Augen, sich auf Dinge in der Umgebung zu fixieren. Wenn Sie auf jeden Blick reagieren und versehentlich Aktionen ausgeben, weil Sie zu lange auf etwas geschaut haben, würde dies zu einer unbefriedigenden Erfahrung führen. Es wird empfohlen, den Blick mit einem Sprachbefehl, einer Handgeste, einem Klick auf schaltflächen oder einem erweiterten Verweilen zu kombinieren, um die Auswahl eines Ziels auszulösen (weitere Informationen finden Sie unter Blick und Commit). Diese Lösung ermöglicht auch einen Modus, in dem sich der Benutzer frei umschauen kann, ohne vom unfreiwilligen Auslösen von etwas überwältigt zu werden. Dieses Problem sollte auch beim Entwerfen von visuellem und auditivem Feedback beim Betrachten eines Ziels berücksichtigt werden. Versuchen Sie, den Benutzer nicht mit sofortigen Popupeffekten oder Hoversounds zu überfordern. Subtilität ist der Schlüssel. Im Folgenden werden einige bewährte Methoden erläutert, wenn wir über Entwurfsempfehlungen sprechen.
Beobachtung im Vergleich zu Steuerelementen Stellen Sie sich vor, Sie möchten ein Foto an Der Wand genau gerade geraden. Sie schauen zuerst auf den Rahmen und dann auf die Umgebung, um festzustellen, ob es richtig ausgerichtet ist. Stellen Sie sich nun vor, wie Sie das tun würden, wenn Sie ihren Blick als Eingabe verwenden möchten, um das Bild zu verschieben. Schwierig, nicht wahr? Dies beschreibt die doppelte Rolle des Blicks, wenn es sowohl für eingabe als auch für die Steuerung erforderlich ist.
Verlassen Sie, bevor Sie auf folgendes klicken: Bei der schnellen Zielauswahl haben Untersuchungen gezeigt, dass der Blick eines Benutzers vor abschluss eines manuellen Klicks (z. B. ein Lufttippen) weitergehen kann. Achten Sie besonders auf die Synchronisierung des schnellen Blicksignals mit langsameren Steuereingaben (z. B. Stimme, Hände, Controller).
Kleine Ziele: Kennen Sie das Gefühl, wenn Sie versuchen, Text zu lesen, der nur ein bisschen zu klein ist, um bequem zu lesen? Dieses belastende Gefühl auf Ihren Augen kann dazu führen, dass Sie sich müde und abgenutzt fühlen, weil Sie versuchen, Ihre Augen neu zu justieren, um sich besser zu konzentrieren. Dies ist ein Gefühl, das Sie in Ihren Benutzern aufrufen können, wenn sie gezwungen werden, Ziele auszuwählen, die in Ihrer Anwendung mithilfe von Eye Targeting zu klein sind. Damit Sie für Ihre Benutzer eine angenehme und komfortable Erfahrung schaffen, sollte bei Zielen für Ihren Entwurf der Sehwinkel mindestens 2 Grad (vorzugsweise mehr) betragen.
Gezackte Blickbewegungen Unsere Augen führen schnelle Bewegungen von fixation bis fixation aus. Wenn Sie Scanwege aufgezeichneter Blickbewegungen betrachten, können Sie die Flatterhaftigkeit erkennen. Ihre Augen bewegen sich schnell und in spontanen Sprüngen im Vergleich zu Kopf-Blick- oder Handbewegungen.
Nachverfolgungs-Zuverlässigkeit: Die Genauigkeit der Eyetrackings kann sich bei wechselndem Licht etwas verschlechtern, wenn sich Ihre Augen an die neuen Bedingungen anpassen. Dies sollte sich zwar nicht unbedingt auf ihren Anwendungsentwurf auswirken, da die Genauigkeit innerhalb der 2°-Beschränkung liegt, kann es jedoch erforderlich sein, dass der Benutzer erneut kalibriert wird.
Entwurfsempfehlungen
Im Folgenden sehen Sie eine Liste mit spezifischen Entwurfsempfehlungen, die auf den beschriebenen Vorteilen und Herausforderungen für die Eingabe des Blicks basieren:
Augen-Anvisieren ist nicht dasselbe wie Kopf-Anvisieren:
Überlegen Sie, ob schnelle, aber unregelmäßige Augenbewegungen zu Ihrer Eingabeaufgabe passen: Während sich unsere schnellen und unregelmäßigen Augenbewegungen hervorragend für die schnelle Auswahl von Zielen in unserem Sichtfeld eignen, ist sie für Aufgaben, die reibungslose Eingabetrajektorien erfordern (z. B. das Zeichnen oder Umschließen von Anmerkungen), weniger anwendbar. In diesem Fall ist das Zeigen mit Hand oder Kopf zu bevorzugen.
Vermeiden Sie es, etwas direkt an den Blick des Benutzers anzufügen (z. B. einen Schieberegler oder Cursor). Bei Cursorn kann dies aufgrund von leichten Versatzungen im projizierten Blicksignal zu einem "flüchtenden Cursor"-Effekt führen. Mit einem Schieberegler kann es in Konflikt mit der doppelten Rolle stehen, den Schieberegler mit ihren Augen zu steuern, während gleichzeitig überprüft werden soll, ob sich das Objekt an der richtigen Position befindet. Für das Beispiel des Schiebereglers ist es sinnvoller, den Blick in Kombination mit Handgesten zu verwenden. Dies bedeutet, dass der Benutzer schnell und mühelos zwischen vielen Schiebereglern wechseln kann, seine Hand hochheben und seinen Daumen und Zeigefinger zusammendrücken kann, um ihn zu greifen und zu bewegen. Wenn das Zusammendrücken losgelassen wird, wird der Schieberegler nicht mehr bewegt. Benutzer könnten überwältigt und abgelenkt werden, insbesondere wenn das Signal für diesen Benutzer unpräzise ist.
Kombinieren Sie den Blick mit anderen Eingaben: Die Integration von Eyetracking mit anderen Eingaben wie Handgesten, Sprachbefehlen oder Tastendrücken bietet mehrere Vorteile:
Freie Beobachtung zulassen: Angesichts der Tatsache, dass die Hauptaufgabe unserer Augen darin besteht, unsere Umgebung zu beobachten, ist es wichtig, dass benutzer sich umsehen können, ohne feedback oder aktionen (visuell, auditiv usw.) auszulösen. Die Kombination von Eyetracking mit einem anderen Eingabesteuerelement ermöglicht einen reibungslosen Übergang zwischen Denkmodus für Die Eyetracking-Beobachtung und Eingabesteuerung.
Leistungsstarker Kontextanbieter: Die Verwendung von Informationen darüber, wo und was der Benutzer beim Sprechen eines Sprachbefehls oder mit einer Handgeste betrachtet, ermöglicht das nahtlose Kanalisieren der Eingabe über das Sichtfeld. Beispiel: Sagen Sie "stellen Sie das dorthin", um ein Hologramm schnell und flüssig auszuwählen und über die Szene zu positionieren, indem Sie ein Ziel und sein beabsichtigtes Ziel betrachten.
Notwendigkeit für die Synchronisierung multimodaler Eingaben: Die Kombination schneller Augenbewegungen mit komplexeren Eingaben, z. B. langen Sprachbefehlen oder Handgesten, birgt das Risiko, dass sich der Benutzer bereits weiter umschaut, bevor der zusätzliche Eingabebefehl abgeschlossen und erkannt wird. Wenn Sie eigene Eingabesteuerelemente erstellen (z. B. benutzerdefinierte Handgesten), achten Sie darauf, den Beginn dieser Eingabe oder die ungefähre Dauer zu protokollieren, um sie mit dem zu korrelieren, was ein Benutzer in der Vergangenheit angesehen hatte.
Subtiles Feedback zur Eyetracking-Eingabe: Es ist hilfreich, Feedback zu geben, wenn ein Ziel betrachtet wird, um anzugeben, dass das System wie beabsichtigt funktioniert, aber subtil gehalten werden sollte. Dies kann das langsame Ein- und Ausblenden, visuelle Hervorhebungen oder andere subtile Zielverhalten wie Zeitlupen umfassen, z. B. eine geringfügige Erhöhung der Zielgröße. Dies gibt an, dass das System ordnungsgemäß erkannt hat, dass der Benutzer ein Ziel betrachtet, ohne den aktuellen Workflow des Benutzers unnötig zu unterbrechen.
Vermeiden Sie es, unnatürliche Augenbewegungen als Eingabe zu erzwingen: Erzwingen Sie benutzer nicht, bestimmte Augenbewegungen (Blickgesten) zu verwenden, um Aktionen in Ihrer Anwendung auszulösen.
Konto für Ungenauigkeiten: Wir unterscheiden zwei Arten von Ungenauigkeiten, die für Benutzer spürbar sind: Offset und Jitter. Die einfachste Möglichkeit, einen Offset zu beheben, besteht darin, ausreichend große Ziele für die Interaktion bereitzustellen. Es wird empfohlen, einen Visuellen Winkel von mehr als 2° als Referenz zu verwenden. Zum Beispiel ist Ihre Miniaturansicht etwa 2° im Sichtwinkel, wenn Sie Ihren Arm ausstrecken. Dies führt zu folgender Richtlinie:
- Zwingen Sie Benutzer nicht, kleine Ziele auszuwählen. Untersuchungen haben gezeigt, dass Benutzer ihre Interaktionen als mühelos und magisch beschreiben, wenn Ziele ausreichend groß und das System gut entworfen sind. Wenn Ziele zu klein sind, empfinden Benutzer die Erfahrung als ermüdend und frustrierend.
Diese Seite bietet Ihnen einen guten Überblick, um den Blick als Input in Mixed Reality zu verstehen. Um mit der Entwicklung zu beginnen, sehen Sie sich unsere Informationen zum Blick in Unity und zum Blick in DirectX an.