Blickverfolgung auf HoloLens 2

Eye Tracking-Demo in MRTK

HoloLens 2 ermöglicht eine neue Ebene des Kontexts und des menschlichen Verständnisses innerhalb der holografischen Benutzeroberfläche, indem Entwicklern die Möglichkeit bietet, Informationen darüber zu verwenden, was der Benutzer betrachtet. Auf dieser Seite wird erläutert, wie Entwickler von Eye Tracking für verschiedene Anwendungsfälle profitieren können und worauf sie beim Entwerfen von blickbasierten Benutzerinteraktionen achten müssen.

Die Eye Tracking-API wurde unter Berücksichtigung der Privatsphäre eines Benutzers entwickelt. es vermeidet die Weitergabe identifizierbarer Informationen, insbesondere biometrischer Daten. Für Eye-Tracking-fähige Anwendungen muss der Benutzer der App die Berechtigung erteilen, Eye Tracking-Informationen zu verwenden.

Geräteunterstützung

Feature HoloLens (1. Generation) HoloLens 2 Immersive Headsets
Blick ✔️

Demo der Entwurfskonzepte für Kopf- und Eyetracking

Wenn Sie die Entwurfskonzepte für Kopf- und Eyetracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Entwerfen von Hologrammen: Kopf- und Eyetracking an. Wenn Sie fertig sind, fahren Sie mit einem ausführlicheren Einblick in bestimmte Themen fort.

Dieses Video stammt aus der HoloLens 2-App "Entwerfen von Hologrammen". Sie können das vollständige Erlebnis hier herunterladen und genießen.

Kalibrierung

Damit eye tracking genau funktioniert, muss jeder Benutzer eine Eye-Tracking-Benutzerkalibrierung durchlaufen, für die der Benutzer eine Reihe von holografischen Zielen betrachten muss. Dadurch kann das Gerät das System anpassen, was zu einer komfortableren und hochwertigeren Anzeige für den Benutzer führt und gleichzeitig eine genaue Augenverfolgung gewährleistet.

Die Augenverfolgung sollte für die meisten Benutzer funktionieren, aber es gibt selten Fälle, in denen ein Benutzer nicht erfolgreich kalibrieren kann. Die Kalibrierung kann aus verschiedenen Gründen fehlschlagen, einschließlich, aber nicht beschränkt auf:

  • Der Benutzer hat den Kalibrierungsprozess zuvor abgemeldet.
  • Der Benutzer wurde abgelenkt und befolgte die Kalibrierungsziele nicht.
  • Der Benutzer verfügt über bestimmte Arten von Kontaktlinsen und Brillen, die das System noch nicht unterstützt.
  • Der Benutzer hat bestimmte Augenphysiologie oder Augenerkrankungen oder hatte eine Augenoperation, die das System noch nicht unterstützt.
  • Externe Faktoren, die eine zuverlässige Augenverfolgung hemmen, z. B. Verschmierungen auf dem HoloLens-Visier oder brillen, intensives direktes Sonnenlicht und Verschlüsse aufgrund von Haaren vor den Augen.

Entwickler sollten sicherstellen, dass benutzer, für die Eye Tracking-Daten möglicherweise nicht verfügbar sind (die nicht in der Lage sind, erfolgreich zu kalibrieren), angemessene Unterstützung zu bieten. Im Abschnitt unten auf dieser Seite haben wir Empfehlungen für Fallbacklösungen bereitgestellt.

Weitere Informationen zur Kalibrierung und zur Gewährleistung eines reibungslosen Ablaufs finden Sie auf unserer Seite zur Kalibrierung des Auges für Benutzer .


Verfügbare Eye Tracking-Daten

Mit eye tracking on HoloLens 2 können Entwickler natürliche und intuitive Eingabe- und Interaktionsszenarien entwerfen. Die Eye Tracking-API stellt die Informationen darüber bereit, was der Benutzer als einzelner Blickstrahl (Ursprung und Richtung des Blicks) bei ca. 30 FPS (30 Hz) betrachtet. Damit die Blickverfolgung exakt funktioniert, muss jeder Benutzer eine Benutzerkalibrierung für seine Blickverfolgung durchlaufen. Ausführlichere Informationen zum Zugriff auf Eye Tracking-Daten finden Sie in unseren Entwicklerhandbüchern für die Verwendung des Blicks in DirectX und des Blicks in Unity.

Der vorhergesagte Blick liegt ungefähr innerhalb von 1,5 Grad im Sichtwinkel um das tatsächliche Ziel (siehe Abbildung unten). Es werden leichte Ungenauigkeiten erwartet, daher sollten Entwickler eine gewisse Marge um diesen niedrigeren Wert planen (z. B. können 2,0-3,0 Grad zu einer viel komfortableren Erfahrung führen). Wie Sie die Auswahl kleiner Ziele behandeln, erfahren Sie weiter unten ausführlicher.

Optimale Zielgröße bei 2 Meter Entfernung
Optimale Zielgröße im Abstand von 2 Metern


Erweiterte Eye Tracking-Daten

Erweiterte Eye Tracking-APIs ermöglichen es Entwicklern, die nächste Ebene innovativer Szenarien wie Gesundheitsbewertung, Überwachung und Therapie zu erschließen, indem sie präzisere Informationen über den Blick des Benutzers bereitstellen.

Erweiterte Eye Tracking-APIs ermöglichen den Zugriff auf vorhandene EyeTracking-Werte und neue Features wie einzelne (linke und rechte) Blickvektoren, unterstützte Bildraten und die Möglichkeit, die Framerate für die Augenverfolgung auf 30, 60 oder 90Fps festzulegen. Informationen zur Verwendung der erweiterten Eye Tracking-API finden Sie in unseren Entwicklerhandbüchern zur Verwendung von erweiterten Eye Tracking-APIs für native oder Unity.

Anwendungsfälle

Mit der Blickverfolgung können Anwendungen in Echtzeit verfolgen, wohin der Benutzer schaut. In den folgenden Anwendungsfällen werden einige Interaktionen beschrieben, die mit Eye Tracking auf HoloLens 2 in Mixed Reality möglich sind. Diese Anwendungsfälle sind noch nicht Teil der Holographic Shell-Benutzeroberfläche (die Benutzeroberfläche, die beim Starten Des HoloLens 2 angezeigt wird). Sie können einige davon im Mixed Reality Toolkit ausprobieren. Das Toolkit bietet mehrere interessante und leistungsstarke Beispiele für die Verwendung von Eye Tracking, z. B. eine schnelle und mühelose, von der Augen unterstützte Zielauswahl und das automatische Scrollen durch Text basierend auf dem, was der Benutzer betrachtet.

Benutzerabsicht

Informationen darüber, wo und was ein Benutzer betrachtet, bieten einen leistungsstarken Kontext für andere Eingaben, z. B. Sprache, Hände und Controller. Dies kann für verschiedene Aufgaben verwendet werden. Beispielsweise kann der Benutzer schnell und mühelos auf die gesamte Szene abzielen, indem er sich ein Hologramm ansieht und "Select" (siehe auch Blick und Commit) sagt oder "set this..." und dann hinüberschaut, wo er das Hologramm platzieren möchte und "... dort". Beispiele hierfür finden Sie in den Artikeln Mixed Reality Toolkit – Eye-supported Target Selection (Mixed Reality-Toolkit – Blickgestützte Zielauswahl) und Mixed Reality Toolkit – Eye-supported Target Positioning (Mixed Reality-Toolkit – Blickgestützte Zielpositionierung).

Darüber hinaus kann ein Beispiel für die Benutzerabsicht die Verwendung von Informationen darüber enthalten, was Benutzer betrachten, um die Interaktion mit verkörperten virtuellen Agents und interaktiven Hologrammen zu verbessern. Beispielsweise können virtuelle Agents verfügbare Optionen und ihr Verhalten basierend auf aktuell angezeigten Inhalten anpassen.

Implizite Aktionen

Die Kategorie der impliziten Aktionen steht in enger Beziehung zur Benutzerabsicht. Die Idee ist, dass Hologramme oder Benutzeroberflächenelemente instinktiv reagieren, die sich möglicherweise gar nicht so anfühlt, als ob der Benutzer überhaupt mit dem System interagiert, sondern dass das System und der Benutzer synchron sind. Ein Beispiel ist ein blickbasierter automatischer Bildlauf , bei dem der Benutzer einen langen Text lesen kann, der automatisch mit dem Scrollen beginnt, sobald der Benutzer am Ende des Textfelds angekommen ist. Dadurch bleibt der Benutzer im Lesefluss, ohne einen Finger zu heben. Ein wichtiger Aspekt dabei ist, dass sich die Scrollgeschwindigkeit an die Lesegeschwindigkeit des Benutzers anpasst.

Ein weiteres Beispiel ist das von Augen unterstützte Zoomen und Schwenken , bei dem der Benutzer das Gefühl hat, genau auf das zu springen, worauf er sich konzentriert.

Das Auslösen und Steuern der Zoomgeschwindigkeit kann per Sprach- oder Handeingabe gesteuert werden, was wichtig ist, um dem Benutzer das Gefühl der Kontrolle zu geben und gleichzeitig nicht überfordert zu werden. Im Folgenden werden diese Entwurfsüberlegungen ausführlicher erläutert. Nach dem Zoomen kann der Benutzer z. B. den Verlauf einer Straße reibungslos verfolgen, um seine Nachbarschaft mit seinem Blick zu erkunden. Demobeispiele für diese Arten von Interaktion finden Sie im Beispiel Mixed Reality Toolkit – Eye-supported Navigation (Mixed Reality-Toolkit – Blickgestützte Navigation).

Weitere Anwendungsfälle für implizite Aktionen können sein:

  • Intelligente Benachrichtigungen: Ärgern Sie sich jemals darüber, dass Benachrichtigungen direkt in der Mitte Ihrer Ansicht angezeigt werden? Sie können diese Erfahrung verbessern, indem Sie Benachrichtigungen von der Stelle aus ausgleichen, von der sich der Benutzer gerade befindet. Dadurch werden Ablenkungen begrenzt und automatisch geschlossen, sobald der Benutzer mit dem Lesen fertig ist.
  • Aufmerksame Hologramme: Dies sind Hologramme, die auf subtile Weise reagieren, wenn sie anvisiert werden. Dies kann von leicht leuchtenden UI-Elementen über eine langsam blühende Blume bis hin zu einem virtuellen Hund reichen, der beginnt, auf den Benutzer zurückzublicken und mit dem Schwanz zu wedeln. Diese Interaktion kann ein interessantes Gefühl für Konnektivität und Zufriedenheit in Ihrer Anwendung bieten.

Aufmerksamkeitsverfolgung

Informationen darüber, wo oder was Benutzer betrachten, können ein immens leistungsfähiges Tool sein. Es kann helfen, die Benutzerfreundlichkeit von Designs zu bewerten und Probleme in Workflows zu identifizieren, um sie effizienter zu machen. Visualisierung und Analyse von Eye Tracking sind in verschiedenen Anwendungsbereichen gängige Praxis. Mit HoloLens 2 bieten wir diesem Verständnis eine neue Dimension: 3D-Hologramme können in realen Kontexten platziert und entsprechend bewertet werden.

Das Mixed Reality Toolkit bietet grundlegende Beispiele für die Protokollierung und das Laden von Eye Tracking-Daten und deren Visualisierung.

Microsoft hat es sich zum Ziel gesetzt, Innovationen zu fördern und gleichzeitig sicherzustellen, dass benutzer über eine informierte und transparente Erfahrung mit der Verwendung ihrer Eye-Tracking-Informationen verfügen. Wir arbeiten weiterhin mit unseren Entwicklern und UX-Teams zusammen, um Anleitungen für Dritte bereitzustellen, um sicherzustellen, dass die Erfahrungen auf den Benutzer ausgerichtet sind.

Zu diesem Bereich zählen möglicherweise auch die folgenden Anwendungen:

  • Fernsichtvisualisierung: Visualisieren Sie, was Remotemitarbeiter betrachten. Dies kann sofortiges Feedback geben und eine genauere Informationsverarbeitung ermöglichen.
  • Benutzerforschungsstudien: Die Aufmerksamkeitsnachverfolgung kann Erkenntnisse darüber liefern, wie Benutzer die natürliche Umgebung wahrnehmen und damit interagieren, ohne sich zu stören. Dies kann Entwicklern helfen, instinktive Interaktionen zwischen Mensch und Computer zu entwerfen. Eye Tracking kann Informationen liefern, die von den Teilnehmern der Studie nicht direkt artikuliert werden und vom Forscher leicht übersehen werden können.
  • Trainings- und Leistungsüberwachung: Üben und optimieren Sie die Ausführung von Aufgaben, indem Sie Engpässe im Ausführungsablauf effektiver identifizieren. Eye Tracking kann natürliche, Echtzeit- und objektive Informationen bereitstellen, um das Training, die Produktivität und die Sicherheit am Arbeitsplatz zu verbessern.
  • Designbewertungen, Marketing und Verbraucherforschung: Eye Tracking ermöglicht es kommerziellen Unternehmen, Marketing- und Verbraucherstudien in realen Umgebungen durchzuführen oder zu analysieren, was die Aufmerksamkeit eines Benutzers erfasst, um das Produkt- oder Raumdesign zu verbessern.

Weitere Anwendungsfälle

  • Gaming: Wollten Sie schon immer Superkräfte haben? Hier kommt Ihre Chance!

Sie können Hologramme schweben, indem Sie sie anstarren.

Schießen Sie Laserstrahlen aus Ihren Augen - probieren Sie es in RoboRaid für HoloLens 2 aus.

Verwandeln Sie Feinde in Stein oder frieren Sie sie ein.

Verwenden Sie Ihren Röntgenblick, um Gebäude zu erkunden.

Ihrer Phantasie sind keine Grenzen gesetzt! Achten Sie jedoch darauf, den Benutzer nicht zu überfordern. Weitere Informationen finden Sie in unseren Richtlinien für eingabebasierte Eingabedesigns.

  • Ausdrucksstarke Avatare: Die Augenverfolgung hilft in ausdrucksstärkeren 3D-Avataren, indem live Eye Tracking-Daten verwendet werden, um die Augen des Avatars zu animieren und sie dazu zu bringen, dem zu folgen, was der Benutzer betrachtet.

  • Texteingabe: Eye Tracking kann als Alternative für die Texteingabe mit geringem Aufwand verwendet werden, insbesondere wenn Sprache oder Hände unpraktisch sind.


Verwenden des Blicks für die Interaktion

Es kann eine Herausforderung sein, eine Interaktion zu entwickeln, die die Vorteile der schnellen Zielrichtung des Auges nutzt. Da Augen sich schnell bewegen können, können Benutzer die Erfahrung überwältigend oder ablenkend empfinden, wenn Sie nicht vorsichtig sind, wie die Eingabe der Augen zu verwenden. Aber dies ist die Herausforderung wert, denn eye tracking ermöglicht es Ihnen, wirklich magische Erfahrungen zu schaffen, die Ihre Benutzer begeistern werden! Um Ihnen zu helfen, sehen Sie sich unsere Übersicht über die wichtigsten Vorteile, Herausforderungen und Designempfehlungen für die Interaktion an.

Fallbacklösungen, wenn eye tracking nicht verfügbar ist

In seltenen Fällen sind Eye Tracking-Daten möglicherweise nicht verfügbar. Dies kann aus einer Reihe von Gründen auftreten – die häufigsten sind unten aufgeführt:

  • Das System konnte den Benutzer nicht kalibrieren.
  • Der Benutzer hat die Kalibrierung übersprungen.
  • Der Benutzer ist kalibriert, hat aber entschieden, Ihrer App keine Berechtigung zur Verwendung seiner Eye Tracking-Daten zu erteilen.
  • Der Benutzer verfügt über eine einzigartige Brille oder eine Augenbedingung, die das System noch nicht unterstützt.
  • Externe Faktoren, die eine zuverlässige Augenverfolgung hemmen, wie Verschmierungen auf dem HoloLens-Visier oder Brillen, intensives direktes Sonnenlicht und Verschlüsse aufgrund von Haaren vor den Augen.

Entwickler sollten sicherstellen, dass für diese Benutzer geeignete Fallbackunterstützung vorhanden ist. Auf der Seite Eye Tracking in DirectX werden die APIs erläutert, die erforderlich sind, um zu erkennen, ob Eye Tracking-Daten verfügbar sind.

Einige Benutzer sind möglicherweise der Ansicht, dass mehr Datenschutz für sie wichtiger ist als die verbesserte Benutzeroberfläche, die Eye Tracking bieten kann, so dass sie den Zugriff auf ihre Eye-Tracking-Daten absichtlich widerrufen. In einigen Fällen kann dieser Widerruf jedoch unbeabsichtigt sein. Wenn Ihre App Eye Tracking verwendet und dies ein wichtiger Teil der Benutzeroberfläche ist, empfehlen wir, dies dem Benutzer klar zu kommunizieren. Wenn Sie dem Benutzer erklären, wie eye tracking das volle Potenzial Ihrer Anwendung freischaltet, kann ihnen helfen, besser zu verstehen, was sie aufgeben. Wenn eye-tracking aktiviert ist, aber nicht funktioniert, helfen Sie dem Benutzer, das Problem mithilfe der obigen Checkliste als Leitfaden zu identifizieren und zu beheben. Wenn Sie z. B. erkennen können, dass das System eye tracking unterstützt und der Benutzer kalibriert ist und seine Berechtigung erteilt hat, aber keine Eye Tracking-Daten empfangen werden, kann dies auf Probleme wie Verschmierungen oder verschließende Augen hinweisen.

Es gibt selten Fälle, in denen Eye Tracking für jemanden einfach nicht funktioniert und es keinen offensichtlichen Grund gibt. Achten Sie darauf, indem Sie dem Benutzer erlauben, Erinnerungen zum Aktivieren der Augenverfolgung in Ihrer App zu schließen oder zu deaktivieren.

Fallback für Apps, die den Blick als primären Eingabezeiger verwenden

Wenn Ihre App den Blick als Zeigereingabe verwendet, um Hologramme in der gesamten Szene schnell auszuwählen, aber keine Eye Tracking-Daten verfügbar sind, empfehlen wir, zum Kopf-Blick zurückzukehren und den Kopf-Blick-Cursor anzuzeigen. Es wird empfohlen, ein Timeout (z. B. 500–1500 ms) zu verwenden, um zu bestimmen, ob ein Wechsel erfolgt oder nicht. Diese Aktion verhindert, dass Cursor jedes Mal angezeigt werden, wenn das System aufgrund von schnellen Augenbewegungen oder Augenzwinkern und Blinken die Nachverfolgung kurzzeitig verliert. Wenn Sie Unity-Entwickler sind, wird das automatische Fallback auf head-gaze bereits im Mixed Reality Toolkit behandelt. Wenn Sie Ein DirectX-Entwickler sind, müssen Sie diesen Switch selbst verarbeiten.

Fallback für andere Eyetracking-spezifische Anwendungen

Ihre App kann den Blick auf eine einzigartige Weise verwenden, die speziell auf die Augen zugeschnitten ist – z. B. die Animierung der Augen eines Avatars oder augenbasierte Aufmerksamkeits-Heatmaps, die auf präzisen Informationen zur visuellen Aufmerksamkeit basieren. In diesem Fall gibt es keinen eindeutigen Fallback. Wenn eye tracking nicht verfügbar ist, müssen diese Funktionen möglicherweise deaktiviert werden. Auch hier wird empfohlen, dies dem Benutzer klar mitzuteilen, der möglicherweise nicht weiß, dass die Funktion nicht funktioniert.


Diese Seite bietet Ihnen hoffentlich einen guten Überblick, um die Rolle von Eye tracking und Eye-Gaze Input für die HoloLens 2 zu verstehen. Um mit der Entwicklung zu beginnen, sehen Sie sich unsere Informationen über die Rolle des Blicks für die Interaktion mit Hologrammen, Augenaugen in Unity und Blick in DirectX an.

Siehe auch