Compartir a través de


Introducción de datos avanzada en el emulador de HoloLens y el simulador de realidad mixta

La mayoría de los usuarios del emulador solo tendrán que usar los controles de entrada básicos para el emulador de HoloLens o el simulador de Windows Mixed Reality. Los detalles siguientes son para los usuarios avanzados que han encontrado una necesidad de simular tipos de entrada más complejos.

Conceptos

Para empezar a controlar la entrada virtual en el emulador de HoloLens y Windows Mixed Reality simulador, primero debe comprender algunos conceptos.

El movimiento hace referencia a controlar y cambiar la posición y la orientación de algo en la escena. Para un objeto controlable de destino, el movimiento se controla con rotación y traslación (movimiento) a lo largo de tres ejes.

  • Yaw: gire a la izquierda o a la derecha.
  • Inclinación: gire hacia arriba o hacia abajo.
  • Roll: Roll side-to-side.
  • X: Mueva a la izquierda o a la derecha.
  • Y: Subir o bajar.
  • Z: Avanza o retrocede.

La entrada del controlador de movimiento y gestos se asigna estrechamente a los dispositivos físicos:

  • Acción: simula la acción de presionar el forefinger en el pulgar o extraer el botón de acción en un controlador. Por ejemplo, la entrada Acción se puede usar para simular el gesto de pulsación en el aire, desplazarse por el contenido y mantener presionado.
  • Gesto de Bloom/System o Inicio: el gesto de bloom/system de HoloLens o el botón Inicio de un controlador se usa para volver al shell y desencadenar acciones del sistema.

Las manos tienen una representación enriquecida en HoloLens 2. Además de ser rastreada o no rastreada y utilizable para los gestos de conducción, las manos ahora tienen un modelo de esqueleto articulado que se ajusta a ellos y se exponen al desarrollador. El modelo de esqueleto tiene 26 puntos de seguimiento en cada mano.

  • Articulación: una de 20 posiciones de seguimiento para una mano de seguimiento determinada con un punto asociado en espacio 3d.
  • Pose: Una colección completa de todas las articulaciones en una mano de seguimiento, 26 articulaciones en todo.

Actualmente no se expone el control directo de las posiciones conjuntas individuales a través del emulador, pero puede establecerlas a través de la API de simulación. Tenemos un conjunto de posturas representativas útiles entre las que el emulador le permite alternar.

También puede controlar el estado de la entrada del sensor simulado:

  • Restablecer: devuelve todos los sensores simulados a sus valores predeterminados. A partir del emulador de HoloLens 2, un restablecimiento se puede limitar a una o ambas manos. Engancha las manos deseadas con las teclas modificadores o los botones (Izquierda o Derecha Alt, o el parachoque izquierdo o derecho en el controlador para juegos).
  • Seguimiento: recorre los modos de seguimiento posicional, entre los que se incluyen:
    • Valor predeterminado: el sistema operativo elige el mejor modo de seguimiento en función de las solicitudes realizadas en el sistema.
    • Orientación: fuerza el seguimiento de solo orientación, independientemente de las solicitudes del sistema.
    • Posicional: fuerza el seguimiento posicional, independientemente de las solicitudes del sistema.

Tipos de entrada

En la tabla siguiente se muestra cómo cada tipo de entrada se asigna al teclado, el mouse y el mando de Xbox. Cada tipo tiene una asignación diferente según el modo de control de entrada. Puede encontrar más información sobre los modos de control de entrada más adelante en este documento.

Entrada Teclado Mouse Controlador de Xbox
Guiñada Flechas izquierda y derecha Arrastrar a la izquierda o a la derecha Stick analógico derecho a la izquierda/derecha
Inclinación Flechas arriba y abajo Arrastrar hacia arriba y hacia abajo Stick analógico derecho arriba/abajo
Balanceo Q/E DPad izquierdo/derecho
x A y D Stick de pulgar izquierdo a la izquierda/derecha
Y Página hacia arriba o hacia abajo DPad hacia arriba o hacia abajo
Z W y S Stick analógico izquierdo hacia arriba y hacia abajo
Acción Entrar o espacio Botón derecho Un botón o un desencadenador
Bloom/System Tecla F2 o Windows Botón B
Botón de agarre del controlador / Agarre de mano G
Botón de menú Controlador M
Controlador táctil táctil U
Pulsación del controlador táctil P
Pulsación del stick analógico del controlador K
Estado de seguimiento del controlador izquierdo F9
Estado de seguimiento del controlador correcto F10
Posición de mano 'Cerrar' 7
Posición 'Abrir' de mano (valor predeterminado) 8
Posición 'Punto' de mano 9
Posición de mano 'Pinch' 0
Reset Tecla de escape Botón Iniciar
Seguimiento T o F3 Botón X

Nota: Los botones del controlador se pueden dirigir a una mano o controlador u otro mediante los modificadores de destino de la mano.

Establecer destinos

Algunos de los conceptos de entrada anteriores se mantienen por sí mismos. Action, Bloom/System, Reset y Tracking son conceptos completos, no es necesario y no se ven afectados por ningún modificador adicional para la selección de destino. Los conceptos restantes se pueden aplicar a uno de varios destinos. Hemos introducido formas de especificar a qué destino se debe aplicar el comando previsto. En todos los casos, es posible especificar a través de la interfaz de usuario o a través de pulsaciones de teclado, cuyo objeto se va a establecer como destino. En algunos casos, también es posible especificar directamente con el controlador de xbox.

En la tabla siguiente se describen las opciones de destino y la forma de activar cada una de ellas.

Object Modificador de teclado Modificador del controlador Modificador de interfaz de usuario del emulador
Cuerpo (predeterminado). (predeterminado). (predeterminado).
Head Mantener presionado H (No disponible) (No disponible)
Mano izquierda/controlador Mantenga presionado el botón Alt izquierdo Mantener presionado el botón de hombro izquierdo Left-Hand marcador
Mano derecha/controlador Mantenga presionado el botón alt derecho Mantenga presionado el botón derecho del hombro Right-Hand marcador
Ojos Mantenga presionada la tecla Y (No disponible) Marcadores de ojos

En la tabla siguiente se muestra cómo cada modificador de destino asigna cada uno de los conceptos básicos de entrada de movimiento.

Entrada Valor predeterminado (cuerpo) Mano/controlador (Mantenga presionada la tecla Alt, mantenga presionado el botón de hombro del controlador para juegos o alterne la chincheta de la interfaz de usuario) Cabeza (sujetar H) Ojos (mantener pulsado Y o alternar la chincheta de la interfaz de usuario)
Guiñada Girar cuerpo a la izquierda/derecha Mover la mano izquierda/derecha Girar hacia la izquierda/derecha La mirada con los ojos se ve a la izquierda o a la derecha
Inclinación Subir o bajar Mover la mano hacia arriba y hacia abajo Subir o bajar La mirada de los ojos se ve hacia arriba o hacia abajo
Balanceo Roll head left/right Roll head left/right (Sin acción)
x Cuerpo de la diapositiva a la izquierda/derecha Mover mano/controlador a la izquierda/derecha Girar hacia la izquierda/derecha (Sin acción)
Y Subir o bajar el cuerpo Mover la mano/controlador hacia arriba/abajo Subir o bajar (Sin acción)
Z Mover el cuerpo hacia delante o hacia atrás Mover la mano/controlador hacia delante/hacia atrás Subir o bajar (Sin acción)

Control de una aplicación

Se recomienda el siguiente conjunto de controles para el uso diario:

Operación Teclado y mouse Controller
Cuerpo X A y D Stick de pulgar izquierdo/derecho
Cuerpo Y Subir o bajar página DPad hacia arriba y hacia abajo
Cuerpo Z W y S Stick pulgar izquierdo hacia arriba/abajo
Guiñada del cuerpo Arrastre el mouse a la izquierda o a la derecha Stick de pulgar derecho a la izquierda/derecha
Guiñada de cabeza H + arrastrar el mouse a la izquierda/derecha H (en el teclado) + stick de pulgar derecho a la izquierda/ derecha
Inclinación de la cabeza Arrastre el mouse hacia arriba y hacia abajo Stick pulgar derecho hacia arriba y hacia abajo
Rollo de cabeza Q /E DPad izquierdo/derecho
Mano/controlador X Alt + A / D Hombro + palanca de pulgar izquierda izquierda / derecha
Mano/controlador Y Alt + Página arriba /página abajo Hombro + DPad arriba / abajo
Mano/controlador Z Alt + W / S Hombro + Stick pulgar izquierdo hacia arriba/abajo
Mano/controlador Yaw Alt + arrastrar el mouse a la izquierda/ derecha Hombro + stick de pulgar derecho a la izquierda / derecha
Inclinación de mano/controlador Alt + arrastrar el mouse hacia arriba y hacia abajo Hombro + stick derecho arriba / abajo
Rollo de mano/controlador Alt + Q / E Hombro + DPad izquierdo / derecho
Acción Botón derecho del mouse Desencadenador
Bloom / System / Home Tecla F2 o Windows Botón B
Reset Escape Botón Iniciar
Seguimiento T Botón X
Desplazarse Alt + botón derecho del mouse + arrastrar el mouse hacia arriba y hacia abajo Hombro + gatillo + stick derecho arriba / abajo
Mover o girar más rápido Tecla Mayús izquierda o derecha Mantenga presionado el stick pulgar derecho.
Mover o girar lentamente Tecla Ctrl izquierda o derecha Mantenga presionado el stick pulgar izquierdo.

Uso de un casco envolvente y controladores de movimiento de Windows Mixed Reality con el emulador de HoloLens 2

Cuando se usa un casco envolvente Windows Mixed Reality con el emulador de HoloLens 2, el movimiento y la rotación se asignan automáticamente al movimiento y la rotación de los auriculares. La posición y la orientación del controlador de movimiento se asignan automáticamente a la posición y orientación de la mano en el emulador. En la tabla siguiente se enumeran las acciones adicionales disponibles al usar un controlador de movimiento.

Nota

Cuando se usan auriculares, se omiten automáticamente los controles estándar del teclado, el mouse y el controlador para juegos.

Operación Acción Notas
Cuerpo X Stick pulgar a la izquierda/derecha
Cuerpo Z Stick pulgar hacia delante/ Atrás
Cuerpo Y Página teclado arriba /abajo Asegúrese de que Windows Mixed Reality tenga el foco. Presione Win+Y si el foco está en el escritorio de Windows para devolver el foco a Windows Mixed Reality.
Los ojos miran a la izquierda/derecha DPad a la izquierda/derecha
Los ojos miran hacia arriba y hacia abajo DPad hacia arriba y hacia abajo
Pulsar Desencadenador
Pellizcar o agarrar Botón de control
Gesto del sistema Botón de menú
Restablecer posición Clic de stick digital

Simulación de percepción Panel de control métodos abreviados de teclado

Puede acceder al panel Control de simulación de percepción y habilitar o deshabilitar dispositivos de entrada de PC con los siguientes métodos abreviados de teclado.

Operación Acceso directo Descripción o notas
Alternar "Usar teclado para la simulación" F4 Cuando está desactivada, la entrada del teclado va a la aplicación HoloLens o Windows Mixed Reality.
Alternar "Usar el mouse para la simulación" F5 Cuando está desactivada, la entrada del mouse va al entorno de Mixed Reality (solo Windows Mixed Reality)
Alternar "Usar controlador para juegos para la simulación" F6 Cuando se desactiva, la entrada del controlador para juegos se omite mediante la simulación.
Mostrar u ocultar el panel de control F7
Establecer el foco del teclado en el panel de control F8 Si el panel no está visible actualmente, se mostrará primero.
Acoplar o desacoplar el panel hacia o desde la ventana del emulador o Mixed Reality Portal F9 Si la ventana se cierra cuando está desacoplado, está acoplada y oculta.

Consulta también