Geavanceerde HoloLens Emulator en Mixed Reality Simulator-invoer

De meeste emulatorgebruikers hoeven alleen de basisinvoerbesturingselementen te gebruiken voor de HoloLens Emulator of de Windows Mixed Reality simulator. De onderstaande gegevens zijn voor geavanceerde gebruikers die de behoefte hebben gevonden om complexere typen invoer te simuleren.

Concepten

Om aan de slag te gaan met het beheren van de virtuele invoer voor HoloLens Emulator en Windows Mixed Reality simulator, moet u eerst enkele concepten begrijpen.

Beweging verwijst naar het beheren en wijzigen van de positie en richting van iets in de scène. Voor een gericht beheersbaar object wordt beweging beheerd met zowel rotatie als vertaling (beweging) op drie assen.

  • Yaw: Ga naar links of rechts.
  • Pitch: omhoog of omlaag.
  • Roll: Roll side-to-side.
  • X: Verplaats naar links of rechts.
  • Y: omhoog of omlaag.
  • Z: Vooruit of achteruit.

Bewegings- en bewegingscontrollerinvoer zijn nauw verbonden met fysieke apparaten:

  • Actie: Simuleert de actie van het indrukken van de wijsvinger op de vingerafdruk of het binnenhalen van de actieknop op een controller. De invoer van de actie kan bijvoorbeeld worden gebruikt om de beweging in de lucht te simuleren, door inhoud te schuiven en in te drukken en in te houden.
  • Bloom/System gesture of Home: De HoloLens/systeembewegingen of de knop Start van een controller wordt gebruikt om terug te keren naar de shell en om systeemacties te firen.

Handen hebben een rijke weergave in HoloLens 2. Naast het bijhouden/niet bijhouden en gebruiken van rijbewegingen, hebben handen nu een verwoord geraamte dat voor hen geschikt is en zichtbaar is voor de ontwikkelaar. Het basismodel heeft 26 bij te houden punten aan elke hand.

  • Gezamenlijk: Een van de 20 bij te houden posities voor een bepaalde bij te houden hand met een bijbehorend punt in de 3d-ruimte.
  • Houding: Een volledige verzameling van alle Kanen in een bij te houden hand, 26 Manen in totaal.

Momenteel hebben we geen directe controle over afzonderlijke gemeenschappelijke posities via de emulator, maar u kunt ze instellen via de simulatie-API. We hebben een aantal handige representatieve houdingen waartussen u met de emulator kunt schakelen.

U kunt ook de status van de gesimuleerde sensorinvoer bepalen:

  • Opnieuw instellen: hiermee worden alle gesimuleerde sensoren teruggezet naar de standaardwaarden. Vanaf de HoloLens 2 Emulator kan een reset worden ingesteld op één of beide handen. Betrek de gewenste hand(en) met behulp van de modifiersleutel(s) of knop(en) (Links en/of Rechts Alt, of de linker- en/of rechterknop op het gamepad).
  • Bijhouden: doorloop de positionele traceringsmodi, waaronder:
    • Standaardinstelling: het besturingssysteem kiest de beste traceringsmodus op basis van de aanvragen van het systeem.
    • Stand: dwingt het bijhouden van alleen standen af, ongeacht de systeemaanvragen.
    • Positioneel: Dwingt positietracking af, ongeacht de systeemaanvragen.

Typen invoer

In de volgende tabel ziet u hoe elk type invoer wordt toegevoegd aan het toetsenbord, de muis en de Xbox-controller. Elk type heeft een andere toewijzing, afhankelijk van de invoerbeheermodus. Verder in dit document vindt u meer informatie over de invoerbeheermodi.

Invoer Toetsenbord Muis Xbox-controller
Yaw Pijlen links/rechts Naar links/rechts slepen Rechtervingerafdruk links/rechts
Worp Pijl-omhoog/pijl-omlaag Omhoog/omlaag slepen Rechtervingerafdruk omhoog/omlaag
Roll Q/E DPad links/rechts
X A/D Linkervingerafdruk links/rechts
J Pagina omhoog/omlaag DPad omhoog/omlaag
Z W/S Linkervingerafdruk omhoog/omlaag
Actie Enter of spatie De rechterknop Een knop of een trigger
Bloom/System F2- of Windows sleutel Knop B
Controllerknop/handbevatten G
Menuknop Controller M
Touchpad Touch controller U
Controller touchpad indrukken P
Controllervingerafdruk K
Traceringstoestand van linkercontroller F9
Traceringstoestand van de rechtercontroller F10
Hand'Close' Pose 7
Hand 'Open' Pose (standaard) 8
Hand 'Point' Pose 9
Handhouding 'Knijpen' 0
Opnieuw instellen Escape-sleutel De knop Starten
Tracering T of F3 X-knop

Opmerking: de controllerknoppen kunnen worden gericht op de ene hand/controller of de andere met behulp van de hand gericht op modifiers.

Targeting

Sommige van de bovenstaande invoerconcepten staan op zichzelf. Action, Bloom/System, Reset en Tracking zijn volledige concepten, hebben geen behoefte aan en worden niet beïnvloed door aanvullende modifiers voor targeting. De resterende concepten kunnen worden toegepast op een van meerdere doelen. We hebben manieren geïntroduceerd waarop u kunt opgeven op welk beoogde doel uw opdracht moet worden toegepast. In alle gevallen is het mogelijk om op te geven via de gebruikersinterface of via toetsenborddrukken, welk object moet worden gericht. In sommige gevallen is het ook mogelijk om rechtstreeks op te geven met de Xbox-controller.

De volgende tabel beschrijft de opties voor het instellen van een doel en de manier om elk van deze te activeren.

Object Toetsenbordmodifier Controller Modifier Emulator UI-modifier
Hoofdtekst (standaard) (standaard) (standaard)
Head H in de wacht houden (Niet beschikbaar) (Niet beschikbaar)
Linker-/controller Alt-knop links ingedrukt houden Knop Linkerknop ingedrukt houden Left-Hand punaise
Rechter/controller Alt-knop ingedrukt houden Houd de knop Voor de rechterknop ingedrukt Right-Hand punaise
Ogen Y in de wacht houden (Niet beschikbaar) Punaise voor ogen

In de volgende tabel ziet u hoe elke doelmodifier elk van de belangrijkste invoerconcepten voor verplaatsingen toekent

Invoer Standaard (body) Hand/controller (Houd Alt ingedrukt, houd de knop gamepad vast of schakel de ui-punaise in) Hoofd (Hold H) Ogen (houd Y vast of schakel ui-punaise in)
Yaw De body naar links/rechts draaien Hand naar links/rechts verplaatsen Ga naar links/rechts Oogcontact ziet er links/rechts uit
Worp Ga omhoog/omlaag Hand omhoog/omlaag verplaatsen Ga omhoog/omlaag Oogcontact kijkt omhoog/omlaag
Roll Kop naar links/rechts draaien Kop naar links/rechts draaien (Geen actie)
X Schuif-body naar links/rechts Hand/controller naar links/rechts verplaatsen Ga naar links/rechts (Geen actie)
J De body omhoog/omlaag verplaatsen Hand/controller omhoog/omlaag verplaatsen Ga omhoog/omlaag (Geen actie)
Z De body naar voren/naar achteren verplaatsen Hand/controller vooruit/achteruit verplaatsen Ga omhoog/omlaag (Geen actie)

Een app beheren

De volgende set besturingselementen wordt aanbevolen voor dagelijks gebruik:

Bewerking Toetsenbord en muis Controller
Body X A/D Linkervingerafdruk links/rechts
Body Y Pagina omhoog/pagina omlaag DPad omhoog/omlaag
Body Z W/S Linkervingerafdruk omhoog/omlaag
Body Yaw De muis naar links/rechts slepen Rechtervingerafdruk links/rechts
Head Yaw H + de muis naar links/rechts slepen H (op toetsenbord) + rechtervingerafdruk links/rechts
Hoofdpraat De muis omhoog/omlaag slepen Rechtervingerafdruk omhoog/omlaag
Head Roll V/E DPad links/rechts
Hand/Controller X Alt + A /D Vingerafdruk + linkervingerafdruk links/rechts
Hand/Controller Y Alt + Pagina omhoog/pagina omlaag Uit elkaar vallen + DPad omhoog/omlaag
Hand/Controller Z Alt + W/S Linkervingerafdruk omhoog/omlaag
Hand/Controller Yaw Alt + de muis naar links/rechts slepen Vingerafdruk + rechtervingerafdruk links/rechts
Hand-/controllerpraat Alt + muis omhoog/omlaag slepen Uit elkaar vallen + rechtervinger omhoog/omlaag
Hand-/controller-roll Alt + Q/E Naar links/rechts gaan en DPad
Actie Rechtermuisknop Trigger
Bloom / Systeem / Start F2- of Windows sleutel Knop B
Opnieuw instellen Escape De knop Starten
Tracering T X-knop
Scrollen Alt + rechter muisknop + muis omhoog/omlaag slepen Uit elkaar vallen + activeren + rechtervinger omhoog/omlaag
Sneller verplaatsen/draaien Shift-toets links of rechts Houd de rechtervingerafdruk in de hand
Langzaam verplaatsen/draaien Ctrl-toets links of rechts Houd de linkervingerafdruk in stand

Een Windows Mixed Reality immersive headset en bewegingscontrollers gebruiken met de HoloLens 2 Emulator

Wanneer u een Windows Mixed Reality immersive headset met de HoloLens 2 Emulator, worden beweging en rotatie automatisch aan headsets verplaatsing en rotatie toe te staan. De positie en stand van de bewegingscontroller worden automatisch aan de handpositie en -richting in de emulator toegesneden. De onderstaande tabel bevat aanvullende acties die beschikbaar zijn wanneer u een bewegingscontroller gebruikt.

Notitie

Wanneer u een headset gebruikt, worden standaardbesturingselementen voor toetsenbord, muis en gamepad automatisch genegeerd.

Bewerking Actie Notities
Body X Vingerafdruk links/rechts
Body Z Thumb forward/back
Body Y Toetsenbordpagina omhoog/omlaag Zorg ervoor Windows Mixed Reality focus heeft. Druk op Win+Y als de focus op het Windows Desktop ligt om de focus terug te Windows Mixed Reality.
Ogen kijken naar links/rechts DPad links/rechts
Ogen omhoog/omlaag kijken DPad omhoog/omlaag
Tik Trigger
Knijpen/vastknelen Knop Vastknop
Systeembewegingen Menuknop
Positie opnieuw instellen Klik op thumb usb

Perception Simulation Configuratiescherm sneltoetsen

U kunt het paneel Perception Simulation Control openen en pc-invoerapparaten in- of uitschakelen met de volgende sneltoetsen.

Bewerking Snelkoppeling Beschrijving/opmerkingen
'Toetsenbord gebruiken voor simulatie' in-/uitschakelen F4 Wanneer deze is uitgeschakeld, wordt toetsenbordinvoer naar de HoloLens of Windows Mixed Reality toepassing.
'Muis gebruiken voor simulatie' in-/uitschakelen F5 Wanneer deze is uitgeschakeld, gaat de muisinvoer naar Mixed Reality omgeving (Windows Mixed Reality alleen)
Schakel 'Gamepad gebruiken voor simulatie' in F6 Wanneer deze is uitgeschakeld, wordt gamepadinvoer genegeerd door simulatie
Het configuratiescherm weergeven of verbergen F7
Toetsenbordfocus instellen op het configuratiescherm F8 Als het deelvenster momenteel niet zichtbaar is, wordt het eerst weergegeven.
Het deelvenster aan/uit de emulator of het Mixed Reality portal vastkoppelen F9 Als het venster wordt gesloten wanneer het wordt losgekoppeld, wordt het gedokt en verborgen.

Zie ook