Eingabesimulationsdienst – MRTK2

Mit der MRTK-Eingabesimulation können Sie verschiedene Arten von Interaktionen im Unity-Editor testen, ohne ein Gerät zu erstellen und bereitzustellen. So können Sie Ihre Ideen im Design- und Entwicklungsprozess schnell durchlaufen. Verwenden Sie Tastatur- und Mauskombinationen, um simulierte Eingaben zu steuern.

Der Eingabesimulationsdienst emuliert das Verhalten von Geräten und Plattformen, die im Unity-Editor möglicherweise nicht verfügbar sind. Dazu gehören:

• HoloLens- oder VR-Gerätekopfverfolgung
• HoloLens-Handgesten
• HoloLens 2 artikuliertes Handtracking
• HoloLens 2 EyeTracking
• VR-Gerätecontroller

Warnung

Dies funktioniert nicht, wenn der XR Holographic Emulations-Emulationsmodus > von Unity = "In Editor simulieren" verwendet wird. Die In-Editor-Simulation von Unity entfernt die Kontrolle über die MRTK-Eingabesimulation. Um den MRTK-Eingabesimulationsdienst verwenden zu können, müssen Sie XR Holographic Emulation auf Emulationsmodus = "None" festlegen.

Verwenden der MRTK-Eingabesimulation

Die Eingabesimulation ist in den Profilen, die mit MRTK ausgeliefert werden, standardmäßig aktiviert. Sie können einfach auf die Schaltfläche Wiedergabe klicken, um die Szene mit Unterstützung der Eingabesimulation auszuführen.

• Drücken Sie die Tasten W, A, S, D, Q, E , um die Kamera zu verschieben.
• Halten Sie die rechte Maustaste gedrückt , und bewegen Sie die Maus, um sich umzusehen.
• Um die simulierten Hände anzuzeigen, drücken Sie die LEERTASTE (rechte Hand) oder die LINKE UMSCHALTTASTE (linke Hand).
• Drücken Sie die T - oder Y-Taste , um simulierte Hände in der Ansicht zu behalten.
• Um simulierte Hände zu drehen, halten Sie STRG gedrückt, und bewegen Sie die Maus

Spickzettel für Die Eingabesimulation im Editor

Drücken Sie in der HandInteractionExamples-Szene STRG+H nach links , um ein Spickzettel mit Eingabesimulationssteuerelementen anzuzeigen.

Aktivieren des Eingabesimulationsdiensts

Unter der Konfiguration des Eingabesystemdatenanbieters kann der Eingabesimulationsdienst wie folgt konfiguriert werden.

• Der Typ muss Microsoft.MixedReality.Toolkit.Input > InputSimulationService sein.
• Unterstützte Plattformen umfassen standardmäßig alle Editor Plattformen, da der Dienst Tastatur- und Mauseingaben verwendet.

Hinweis

Der Eingabesimulationsdienst kann auf anderen Plattformendpunkten wie eigenständig verwendet werden, indem die Eigenschaft Unterstützte Plattform(en) so geändert wird, dass sie die gewünschten Ziele enthält.

Kamerasteuerung

Die Kopfbewegung kann vom Eingabesimulationsdienst emuliert werden.

Drehen der Kamera

1. Zeigen Sie auf das Fenster des Viewport-Editors. Möglicherweise müssen Sie auf das Fenster klicken, um ihm den Eingabefokus zu geben, wenn Tastendrucke nicht funktionieren.
2. Halten Sie die Maustaste gedrückt (Standard: Rechte Maustaste).
3. Bewegen Sie die Maus im Viewportfenster, um die Kamera zu drehen.
4. Verwenden Sie das Mausrad, um die Kamera um die Ansichtsrichtung zu drehen.

Die Drehgeschwindigkeit der Kamera kann durch Ändern der Einstellung Maus-Blickgeschwindigkeit im Eingabesimulationsprofil konfiguriert werden.

Alternativ können Sie die Achsen Horizontales/Aussehen Vertikal anzeigen verwenden, um die Kamera zu drehen (Standard: rechter Ministick des Gamecontrollers).

Verschieben der Kamera

Verwenden Sie die Achsen Horizontal/verschieben Vertikal verschieben, um die Kamera zu verschieben (Standard: WASD-Tasten oder gamecontroller linker Daumenstick).

Kameraposition und Drehwinkel können auch explizit im Toolfenster festgelegt werden. Die Kamera kann mithilfe der Schaltfläche Zurücksetzen auf den Standardwert zurückgesetzt werden.

Controllersimulation

Die Eingabesimulation unterstützt emulierte Controllergeräte (d. h. Motion-Controller und Hände). Diese virtuellen Controller können mit jedem Objekt interagieren, das reguläre Controller unterstützt, z. B. Schaltflächen oder greifbare Objekte.

Controllersimulationsmodus

Im Fenster der Eingabesimulationstools wechselt die Einstellung Standardcontrollersimulationsmodus zwischen drei unterschiedlichen Eingabemodellen. Dieser Standardmodus kann auch im Eingabesimulationsprofil festgelegt werden.

• Artikulierte Hände: Simuliert ein vollständig artikuliertes Handgerät mit Gemeinsamen Positionsdaten.

  Emuliert HoloLens 2 Interaktionsmodell.

  Interaktionen, die auf der präzisen Positionierung der Hand oder der Berührung basieren, können in diesem Modus simuliert werden.

• Handgesten: Simuliert ein vereinfachtes Handmodell mit Luft tippen und grundlegenden Gesten.

  Emuliert das HoloLens-Interaktionsmodell.

  Der Fokus wird mithilfe des Anvisierenzeigers gesteuert. Die Luft tippen-Geste wird verwendet, um mit Schaltflächen zu interagieren.

• Motion Controller: Simuliert einen Motion-Controller, der mit VR-Headsets verwendet wird und ähnlich wie weit entfernte Interaktionen mit Artikulierten Händen funktioniert.

  Emuliert VR-Headsets mit Controllerinteraktionsmodell.

  Die Trigger-, Greif- und Menütasten werden per Tastatur- und Mauseingabe simuliert.

Simulieren der Controllerbewegung

Drücken und halten Sie die Bearbeitungstaste für den linken/rechten Controller (Standard: Linke Umschalttaste für den linken Controller und Leerzeichen für den rechten Controller), um die Kontrolle über einen der beiden Controller zu erhalten. Während die Bearbeitungstaste gedrückt wird, wird der Controller im Viewport angezeigt. Sobald die Manipulationsschlüssel losgelassen wird, werden die Controller nach einem kurzen Timeout für das Ausblenden des Controllers ausgeblendet.

Controller können im Fenster der Eingabesimulationstools relativ zur Kamera aktiviert und eingefroren werden, oder drücken Sie die Umschalttaste nach links/rechts controller (Standard: T für links und Y für rechts). Drücken Sie erneut die Umschalttaste, um die Controller wieder auszublenden. Um die Controller zu bearbeiten, muss der Linke/Rechte Controller-Manipulationsschlüssel gedrückt gehalten werden. Durch doppelten Tippen auf den linken/rechten Controller-Manipulationsschlüssel können die Controller auch ein-/ausgeschaltet werden.

Die Mausbewegung bewegt den Controller in der Ansichtsebene. Controller können mit dem Mausrad weiter oder näher an die Kamera verschoben werden.

Um Controller mit der Maus zu drehen, halten Sie sowohl die Linke/Rechte Controller-Manipulationstaste (Linke Umschalttaste oder Leertaste) als auch die Controllerdrehungsschaltfläche (Standard: Linke STRG-Taste) gedrückt, und bewegen Sie dann die Maus, um den Controller zu drehen. Die Drehungsgeschwindigkeit des Controllers kann durch Ändern der Einstellung Drehgeschwindigkeit des Mauscontrollers im Eingabesimulationsprofil konfiguriert werden.

Alle Handplatzierungen können auch im Fenster der Eingabesimulationstools geändert werden, einschließlich des Zurücksetzens der Hände auf den Standardwert.

Zusätzliche Profileinstellungen

• Controller Depth Multiplier steuert die Empfindlichkeit der Tiefenbewegung des Mausrads. Eine größere Zahl beschleunigt den Controllerzoom.
• Standardcontrollerabstand ist der anfängliche Abstand von Controllern von der Kamera. Durch Klicken auf die Schaltflächencontroller zurücksetzen werden auch Controller in diesem Abstand platziert.
• Controller Jitter Amount fügt Controllern zufällige Bewegung hinzu. Dieses Feature kann verwendet werden, um ungenaue Controllernachverfolgungen auf dem Gerät zu simulieren und sicherzustellen, dass Interaktionen mit lauten Eingaben gut funktionieren.

Handgesten

Handgesten wie Zusammendrücken, Greifen, Stochern usw. können ebenfalls simuliert werden.

1. Aktivieren der Handsteuerung mit der Linken/Rechten Controller-Manipulationstaste (linke Verschiebung oder Leertaste)

2. Halten Sie beim Bearbeiten eine Maustaste gedrückt, um eine Handbewegung auszuführen.

Jede der Maustasten kann zugeordnet werden, um die Handform mithilfe der Einstellungen links/mittlere/rechte Mausbewegung in eine andere Geste zu transformieren. Die Standardhandgeste ist die Form der Hand, wenn keine Taste gedrückt wird.

Hinweis

Die Zusammendrücken-Geste ist die einzige Geste, die an diesem Punkt die Aktion "Auswählen" ausführt.

Einhandmanipulation

1. Drücken und halten Sie die Linke/rechte Controller-Manipulationstaste (linke UMSCHALT- oder LEERTASTE)
2. Auf Objekt zeigen
3. Halten Sie die Maustaste gedrückt, um zusammenzudrücken
4. Verwenden der Maus zum Verschieben des Objekts
5. Lassen Sie die Maustaste los, um die Interaktion zu beenden

Zweihandmanipulation

Für die gleichzeitige Bearbeitung von Objekten mit zwei Händen wird der permanente Handmodus empfohlen.

1. Schalten Sie beide Hände um, indem Sie die Umschalttasten (T/Y) drücken.
2. Hand für Hand bearbeiten:
   1. Abstand halten, um die rechte Hand zu steuern
   2. Bewegen Sie die Hand an die Stelle, an der Sie das Objekt greifen möchten.
   3. Drücken Sie die linke Maustaste , um die Zusammendrücken-Geste zu aktivieren.
   4. Lassen Sie Leerzeichen frei, um die Steuerung der rechten Hand zu beenden. Die Hand wird fixiert und in der Zusammendrücken-Geste gesperrt, da sie nicht mehr bearbeitet wird.
3. Wiederholen Sie den Vorgang mit der anderen Hand, und greifen Sie dasselbe Objekt an einer zweiten Stelle.
4. Nachdem beide Hände nun dasselbe Objekt greifen, können Sie beide bewegen, um eine zweihändige Manipulation durchzuführen.

GGV-Interaktion (Anvisieren, Gesten und Stimme)

Standardmäßig ist die GGV-Interaktion im Editor aktiviert, während in der Szene keine artikulierten Hände vorhanden sind.

1. Drehen der Kamera, um den Cursor auf das interagierende Objekt zu zeigen (rechte Maustaste)
2. Klicken und halten Sie die linke Maustaste, um zu interagieren
3. Drehen Sie die Kamera erneut, um das Objekt zu bearbeiten.

Sie können dies deaktivieren, indem Sie die Option Ist handfreie Eingabe aktiviert im Eingabesimulationsprofil umschalten.

Darüber hinaus können Sie simulierte Hände für die GGV-Interaktion verwenden.

1. Aktivieren der GGV-Simulation durch Umschalten des Handsimulationsmodus zu Gesten imEingabesimulationsprofil
2. Drehen der Kamera, um den Cursor auf das interagierende Objekt zu zeigen (rechte Maustaste)
3. Abstand halten, um die rechte Hand zu steuern
4. Klicken und halten Sie die linke Maustaste, um zu interagieren
5. Verwenden der Maus zum Verschieben des Objekts
6. Lassen Sie die Maustaste los, um die Interaktion zu beenden

Auslösen von Teleportereignissen

Um das Teleportereignis in der Eingabesimulation auszulösen, konfigurieren Sie die Handgesteneinstellungen im Eingabesimulationsprofil so, dass eine die Teleport-Startgeste ausführt, während die andere die Teleport-Endgeste ausführt. Die Teleport-Startgeste ruft den Teleportzeiger auf, während die Teleport-End-Gesure die Teleportaktion abschließt und den Benutzer bewegt.

Die y-Position des resultierenden Teleports hängt von der Verschiebung der Kamera entlang der y-Achse ab. Im Editor ist dies standardmäßig 0. Verwenden Sie daher die Tasten Q und E , um sie an die entsprechende Höhe anzupassen.

Motion Controller-Interaktion

Die simulierten Motion-Controller können auf die gleiche Weise wie artikulierte Hände bearbeitet werden. Das Interaktionsmodell ähnelt der fernen Interaktion der artikulierten Hand, während die Trigger-, Greif- und Menütasten der linken Maustaste bzw. der Taste G bzw. M zugeordnet sind.

Eyetracking

Die Augenverfolgungssimulation kann durch Aktivieren der Option Augenposition simulieren im Eingabesimulationsprofil aktiviert werden. Dies sollte nicht mit Interaktionen im GGV- oder Motion Controller-Stil verwendet werden (stellen Sie daher sicher, dass der Standardcontrollersimulationsmodus auf Artikulierte Hand festgelegt ist).

Fenster "Eingabesimulationstools"

Aktivieren Sie das Fenster "Eingabesimulationstools" im Menü Mixed Reality>Toolkit-Hilfsprogramme>>Eingabesimulation. Dieses Fenster bietet Zugriff auf den Zustand der Eingabesimulation während des Wiedergabemodus.

Viewport-Schaltflächen (optional)

Ein Prefab für Schaltflächen im Editor zum Steuern der grundlegenden Handplatzierung kann im Eingabesimulationsprofil unter Indikatoren prefab angegeben werden. Dies ist ein optionales Hilfsprogramm, auf die gleichen Features kann im Fenster der Eingabesimulationstools zugegriffen werden.

Hinweis

Die Viewport-Indikatoren sind standardmäßig deaktiviert, da sie derzeit manchmal Interaktionen der Unity-Benutzeroberfläche beeinträchtigen können. Weitere Informationen finden Sie unter Issue #6106. Fügen Sie zum Aktivieren das Prefab InputSimulationIndicators zu Indicators Prefab hinzu.

Handsymbole zeigen den Zustand der simulierten Hände an:

• Die Hand wird nicht nachverfolgt. Klicken Sie, um die Hand zu aktivieren.
• Die Hand wird nachverfolgt, aber nicht vom Benutzer gesteuert. Klicken Sie, um die Hand auszublenden.
• Die Hand wird vom Benutzer nachverfolgt und gesteuert. Klicken Sie, um die Hand auszublenden.
• Klicken Sie, um die Hand auf die Standardposition zurückzusetzen.

Siehe auch

• Geben Sie das Systemprofil ein.