Interaktionsmodelle
Mithilfe des Mixed Reality-Toolkits können Sie Eingaben von einer Vielzahl von Eingabequellen nutzen, wie etwa Controller, Handbewegungen oder Sprache. Damit Sie das optimal geeignete Interaktionsmodell für Ihre Mixed Reality-Umgebung auswählen können, müssen Sie Ihre Benutzer*innen und deren Ziele identifizieren und alle situations- oder umgebungsbedingten Faktoren berücksichtigen, die sich auf ihr Erlebnis auswirken können. Hier erfahren Sie mehr über die drei primären Interaktionsmodelle für Mixed Reality-Umgebungen und die Simulation von Eingaben in Unity.
Interaktionsmodelle
Es gibt drei primäre Interaktionsmodelle, die sich für die Mehrzahl der Mixed Reality-Umgebungen eignen.
| Modell | Beispielszenarien | Passend für |
|---|---|---|
| Hand- und Bewegungscontroller | 3D-Raumumgebungen, wie etwa räumliches Layout und Design, Manipulation von Inhalten, Simulation. | Ideal für neue Benutzer, kombiniert mit Stimme, Eyetracking oder Anvisieren mit dem Kopf. Niedrige Lernkurve. Konsistentes Benutzererlebnis bei Hand-Tracking und 6DoF-Controllern. |
| Freihändig | Kontextbezogene Umgebungen, in denen die Hände eines Benutzers beschäftigt sind, etwa bei beruflichen Schulungen oder Wartungsarbeiten. | Gewisser Lernaufwand erforderlich. Wenn die Hände nicht verfügbar sind, koppelt sich das Gerät gut mit Spracheingabe und natürlichsprachlicher Bedienung. |
| Anvisieren und Bestätigen | Durchklickumgebungen, beispielsweise 3D-Präsentationen und Demos. | Erfordert eine Schulung für am Kopf getragene Geräte, aber nicht für mobile Geräte. Vor allem für barrierefreie Controller geeignet. |
Zwar können Sie Teile mehrerer Interaktionsmodelle in Ihrer Mixed Reality-Umgebung kombinieren, bedenken Sie aber, dass dadurch die Gefahr konkurrierender Benutzereingaben entsteht, beispielsweise durch gleichzeitige Handstrahlen und einem Cursor, der durch die Position und Bewegung des Kopfes gesteuert wird. Dies kann Benutzer überfordern und verwirren.
Wenn für Ihre Umgebung mehrere Interaktionsmodelle erforderlich sind, bedenken Sie, dass der Übergang von einem Modell zu einem anderen vielen Benutzern schwer fällt, vor allem Benutzern, die ihre ersten Schritte in Mixed Reality machen.
Hand- und Bewegungscontroller-Modell
Für das Hand- und Bewegungscontroller-Modell muss der Benutzer eine oder beide Hände verwenden, um mit der holografischen Welt zu interagieren. Bei diesem Modell wird die Grenze zwischen virtueller und physischer Realität aufgehoben.
Zu den spezifischen Szenarien gehören:
- Bereitstellen von virtuellen 2D-Bildschirmen für Information Worker mit Angeboten zum Anzeigen und Steuern von Inhalten auf der Benutzeroberfläche
- Bereitstellen von Tutorials und Leitfäden für Mitarbeiter*innen am Fließband
- Entwickeln von professionellen Werkzeugen für die Unterstützung und Ausbildung von Medizinern
- Verwenden von virtuellen 3D-Objekten zum Schmücken der Realwelt oder zum Erstellen einer anderen Welt
- Erstellen von standortbezogenen Diensten und Spielen, die die Realwelt als Hintergrund verwenden
Es gibt drei Modi für Hand- und Bewegungscontroller:
- Direkte Manipulation mit den Händen
- Zeigen und Bestätigen mit den Händen
- Bewegungscontroller
Freihändiges Modell
Das freihändige Modell ermöglicht Benutzer*innen die Interaktion mit holografischen Inhalten ohne ihre Hände zu benutzen. Dieser Ansatz eignet sich am besten, wenn Benutzer*innen ihre Hände zum Erledigen von realen Aufgaben benötigen und daher keine Hand- und Controller-gesteuerte Oberfläche bedienen können.
Zu den spezifischen Szenarien gehören:
- Geleiten durch eine Aufgabe, während Benutzer*innen ihre Hände für etwas anderes benötigen
- Nachschlagen in der Dokumentation, während die Hände des Benutzers beschäftigt sind
- Ermüden der Hände
- Handschuhe, die nicht nachverfolgt werden können
- Tragen von Gegenständen in den Händen
- Unangemessenheit ausladender Handgesten in der Öffentlichkeit
- Beengte Raumverhältnisse
Es gibt zwei freihändige Modi:
- Spracheingabe
- Anvisieren und Verweilen
Anvisieren und Bestätigen
Anvisieren und Bestätigen ist ein Eingabemodell, das eng mit der Weise verwandt ist, wie wir mithilfe einer Maus zum Zeigen und Klicken mit Computern interagieren. Anvisieren und Bestätigen wird als Modell für die Ferneingabe mit indirekter Manipulation betrachtet. Daher sollte Anvisieren und Bestätigen vor allem für die Interaktion mit holografischen Inhalten verwendet werden, die sich außerhalb der Reichweite befinden. Es gibt zwei Arten von Eingabe per Anvisieren (Anvisieren per Kopf und Anvisieren per Auge) und verschiedene Bestätigungsaktionen.
Nachdem ein*e Benutzer*in ein Objekt oder ein Element der Benutzeroberfläche anvisiert hat, kann er bzw. sie mithilfe einer zweiten Eingabe damit interagieren oder es auswählen. Dies wird als Bestätigungsschritt (Commit) des Eingabemodells bezeichnet. Zu den Bestätigungsmethoden gehören Sprachbefehle, ein Tastendruck oder eine Handbewegung.
In-Editor-Eingabesimulation in Unity
Mithilfe der In-Editor-Eingabesimulation in Unity können Sie das Verhalten von holografischen Objekten bei Verwendung der Hand- oder Augeninteraktion testen.
So funktioniert Bewegen in der Szene:
- Verwenden Sie die Tasten W/A/S/D, um die Kamera nach vorn/links/zurück/rechts zu bewegen.
- Verwenden Sie die Tasten Q/E, um die Kamera vertikal zu bewegen.
- Drücken Sie die rechte Maustaste, und halten Sie sie gedrückt, um die Kamera zu drehen.
So simulieren Sie die Handeingabe:
- Drücken Sie die Leertaste, und halten Sie sie gedrückt, um die rechte Hand zu aktivieren.
- Bewegen Sie die Maus bei gedrückter Leertaste, um die Hand zu bewegen.
- Verwenden Sie das Mausrad, um die Tiefe der Hand anzupassen.
- Klicken Sie mit der linken Maustaste, um eine Zusammenführen-Bewegung der Finger zu simulieren.
- Verwenden Sie die Tasten T/Z, um die Hand in der Ansicht dauerhaft anzuzeigen.
- Halten Sie die Taste Strg gedrückt, und bewegen Sie die Maus, um die Hand zu rotieren.
- Drücken Sie die linke Umschalttaste, und halten Sie sie gedrückt, um die linke Hand zu aktivieren.