Introducción de datos avanzada en el emulador de HoloLens y el simulador de realidad mixta
La mayoría de los usuarios del emulador solo tendrán que usar los controles de entrada básicos para el emulador de HoloLens o el simulador de Windows Mixed Reality. Los detalles siguientes son para los usuarios avanzados que han encontrado una necesidad de simular tipos de entrada más complejos.
Conceptos
Para empezar a controlar la entrada virtual en el emulador de HoloLens y Windows Mixed Reality simulador, primero debe comprender algunos conceptos.
El movimiento hace referencia a controlar y cambiar la posición y la orientación de algo en la escena. Para un objeto controlable de destino, el movimiento se controla con rotación y traslación (movimiento) a lo largo de tres ejes.
- Yaw: gire a la izquierda o a la derecha.
- Inclinación: gire hacia arriba o hacia abajo.
- Roll: Roll side-to-side.
- X: Mueva a la izquierda o a la derecha.
- Y: Subir o bajar.
- Z: Avanza o retrocede.
La entrada del controlador de movimiento y gestos se asigna estrechamente a los dispositivos físicos:
- Acción: simula la acción de presionar el forefinger en el pulgar o extraer el botón de acción en un controlador. Por ejemplo, la entrada Acción se puede usar para simular el gesto de pulsación en el aire, desplazarse por el contenido y mantener presionado.
- Gesto de Bloom/System o Inicio: el gesto de bloom/system de HoloLens o el botón Inicio de un controlador se usa para volver al shell y desencadenar acciones del sistema.
Las manos tienen una representación enriquecida en HoloLens 2. Además de ser rastreada o no rastreada y utilizable para los gestos de conducción, las manos ahora tienen un modelo de esqueleto articulado que se ajusta a ellos y se exponen al desarrollador. El modelo de esqueleto tiene 26 puntos de seguimiento en cada mano.
- Articulación: una de 20 posiciones de seguimiento para una mano de seguimiento determinada con un punto asociado en espacio 3d.
- Pose: Una colección completa de todas las articulaciones en una mano de seguimiento, 26 articulaciones en todo.
Actualmente no se expone el control directo de las posiciones conjuntas individuales a través del emulador, pero puede establecerlas a través de la API de simulación. Tenemos un conjunto de posturas representativas útiles entre las que el emulador le permite alternar.
También puede controlar el estado de la entrada del sensor simulado:
- Restablecer: devuelve todos los sensores simulados a sus valores predeterminados. A partir del emulador de HoloLens 2, un restablecimiento se puede limitar a una o ambas manos. Engancha las manos deseadas con las teclas modificadores o los botones (Izquierda o Derecha Alt, o el parachoque izquierdo o derecho en el controlador para juegos).
- Seguimiento: recorre los modos de seguimiento posicional, entre los que se incluyen:
- Valor predeterminado: el sistema operativo elige el mejor modo de seguimiento en función de las solicitudes realizadas en el sistema.
- Orientación: fuerza el seguimiento de solo orientación, independientemente de las solicitudes del sistema.
- Posicional: fuerza el seguimiento posicional, independientemente de las solicitudes del sistema.
Tipos de entrada
En la tabla siguiente se muestra cómo cada tipo de entrada se asigna al teclado, el mouse y el mando de Xbox. Cada tipo tiene una asignación diferente según el modo de control de entrada. Puede encontrar más información sobre los modos de control de entrada más adelante en este documento.
| Entrada | Teclado | Mouse | Controlador de Xbox |
|---|---|---|---|
| Guiñada | Flechas izquierda y derecha | Arrastrar a la izquierda o a la derecha | Stick analógico derecho a la izquierda/derecha |
| Inclinación | Flechas arriba y abajo | Arrastrar hacia arriba y hacia abajo | Stick analógico derecho arriba/abajo |
| Balanceo | Q/E | DPad izquierdo/derecho | |
| x | A y D | Stick de pulgar izquierdo a la izquierda/derecha | |
| Y | Página hacia arriba o hacia abajo | DPad hacia arriba o hacia abajo | |
| Z | W y S | Stick analógico izquierdo hacia arriba y hacia abajo | |
| Acción | Entrar o espacio | Botón derecho | Un botón o un desencadenador |
| Bloom/System | Tecla F2 o Windows | Botón B | |
| Botón de agarre del controlador / Agarre de mano | G | ||
| Botón de menú Controlador | M | ||
| Controlador táctil táctil | U | ||
| Pulsación del controlador táctil | P | ||
| Pulsación del stick analógico del controlador | K | ||
| Estado de seguimiento del controlador izquierdo | F9 | ||
| Estado de seguimiento del controlador correcto | F10 | ||
| Posición de mano 'Cerrar' | 7 | ||
| Posición 'Abrir' de mano (valor predeterminado) | 8 | ||
| Posición 'Punto' de mano | 9 | ||
| Posición de mano 'Pinch' | 0 | ||
| Reset | Tecla de escape | Botón Iniciar | |
| Seguimiento | T o F3 | Botón X |
Nota: Los botones del controlador se pueden dirigir a una mano o controlador u otro mediante los modificadores de destino de la mano.
Establecer destinos
Algunos de los conceptos de entrada anteriores se mantienen por sí mismos. Action, Bloom/System, Reset y Tracking son conceptos completos, no es necesario y no se ven afectados por ningún modificador adicional para la selección de destino. Los conceptos restantes se pueden aplicar a uno de varios destinos. Hemos introducido formas de especificar a qué destino se debe aplicar el comando previsto. En todos los casos, es posible especificar a través de la interfaz de usuario o a través de pulsaciones de teclado, cuyo objeto se va a establecer como destino. En algunos casos, también es posible especificar directamente con el controlador de xbox.
En la tabla siguiente se describen las opciones de destino y la forma de activar cada una de ellas.
| Object | Modificador de teclado | Modificador del controlador | Modificador de interfaz de usuario del emulador |
|---|---|---|---|
| Cuerpo | (predeterminado). | (predeterminado). | (predeterminado). |
| Head | Mantener presionado H | (No disponible) | (No disponible) |
| Mano izquierda/controlador | Mantenga presionado el botón Alt izquierdo | Mantener presionado el botón de hombro izquierdo | Left-Hand marcador |
| Mano derecha/controlador | Mantenga presionado el botón alt derecho | Mantenga presionado el botón derecho del hombro | Right-Hand marcador |
| Ojos | Mantenga presionada la tecla Y | (No disponible) | Marcadores de ojos |
En la tabla siguiente se muestra cómo cada modificador de destino asigna cada uno de los conceptos básicos de entrada de movimiento.
| Entrada | Valor predeterminado (cuerpo) | Mano/controlador (Mantenga presionada la tecla Alt, mantenga presionado el botón de hombro del controlador para juegos o alterne la chincheta de la interfaz de usuario) | Cabeza (sujetar H) | Ojos (mantener pulsado Y o alternar la chincheta de la interfaz de usuario) |
|---|---|---|---|---|
| Guiñada | Girar cuerpo a la izquierda/derecha | Mover la mano izquierda/derecha | Girar hacia la izquierda/derecha | La mirada con los ojos se ve a la izquierda o a la derecha |
| Inclinación | Subir o bajar | Mover la mano hacia arriba y hacia abajo | Subir o bajar | La mirada de los ojos se ve hacia arriba o hacia abajo |
| Balanceo | Roll head left/right | Roll head left/right | (Sin acción) | |
| x | Cuerpo de la diapositiva a la izquierda/derecha | Mover mano/controlador a la izquierda/derecha | Girar hacia la izquierda/derecha | (Sin acción) |
| Y | Subir o bajar el cuerpo | Mover la mano/controlador hacia arriba/abajo | Subir o bajar | (Sin acción) |
| Z | Mover el cuerpo hacia delante o hacia atrás | Mover la mano/controlador hacia delante/hacia atrás | Subir o bajar | (Sin acción) |
Control de una aplicación
Se recomienda el siguiente conjunto de controles para el uso diario:
| Operación | Teclado y mouse | Controller |
|---|---|---|
| Cuerpo X | A y D | Stick de pulgar izquierdo/derecho |
| Cuerpo Y | Subir o bajar página | DPad hacia arriba y hacia abajo |
| Cuerpo Z | W y S | Stick pulgar izquierdo hacia arriba/abajo |
| Guiñada del cuerpo | Arrastre el mouse a la izquierda o a la derecha | Stick de pulgar derecho a la izquierda/derecha |
| Guiñada de cabeza | H + arrastrar el mouse a la izquierda/derecha | H (en el teclado) + stick de pulgar derecho a la izquierda/ derecha |
| Inclinación de la cabeza | Arrastre el mouse hacia arriba y hacia abajo | Stick pulgar derecho hacia arriba y hacia abajo |
| Rollo de cabeza | Q /E | DPad izquierdo/derecho |
| Mano/controlador X | Alt + A / D | Hombro + palanca de pulgar izquierda izquierda / derecha |
| Mano/controlador Y | Alt + Página arriba /página abajo | Hombro + DPad arriba / abajo |
| Mano/controlador Z | Alt + W / S | Hombro + Stick pulgar izquierdo hacia arriba/abajo |
| Mano/controlador Yaw | Alt + arrastrar el mouse a la izquierda/ derecha | Hombro + stick de pulgar derecho a la izquierda / derecha |
| Inclinación de mano/controlador | Alt + arrastrar el mouse hacia arriba y hacia abajo | Hombro + stick derecho arriba / abajo |
| Rollo de mano/controlador | Alt + Q / E | Hombro + DPad izquierdo / derecho |
| Acción | Botón derecho del mouse | Desencadenador |
| Bloom / System / Home | Tecla F2 o Windows | Botón B |
| Reset | Escape | Botón Iniciar |
| Seguimiento | T | Botón X |
| Desplazarse | Alt + botón derecho del mouse + arrastrar el mouse hacia arriba y hacia abajo | Hombro + gatillo + stick derecho arriba / abajo |
| Mover o girar más rápido | Tecla Mayús izquierda o derecha | Mantenga presionado el stick pulgar derecho. |
| Mover o girar lentamente | Tecla Ctrl izquierda o derecha | Mantenga presionado el stick pulgar izquierdo. |
Uso de un casco envolvente y controladores de movimiento de Windows Mixed Reality con el emulador de HoloLens 2
Cuando se usa un casco envolvente Windows Mixed Reality con el emulador de HoloLens 2, el movimiento y la rotación se asignan automáticamente al movimiento y la rotación de los auriculares. La posición y la orientación del controlador de movimiento se asignan automáticamente a la posición y orientación de la mano en el emulador. En la tabla siguiente se enumeran las acciones adicionales disponibles al usar un controlador de movimiento.
Nota
Cuando se usan auriculares, se omiten automáticamente los controles estándar del teclado, el mouse y el controlador para juegos.
| Operación | Acción | Notas |
|---|---|---|
| Cuerpo X | Stick pulgar a la izquierda/derecha | |
| Cuerpo Z | Stick pulgar hacia delante/ Atrás | |
| Cuerpo Y | Página teclado arriba /abajo | Asegúrese de que Windows Mixed Reality tenga el foco. Presione Win+Y si el foco está en el escritorio de Windows para devolver el foco a Windows Mixed Reality. |
| Los ojos miran a la izquierda/derecha | DPad a la izquierda/derecha | |
| Los ojos miran hacia arriba y hacia abajo | DPad hacia arriba y hacia abajo | |
| Pulsar | Desencadenador | |
| Pellizcar o agarrar | Botón de control | |
| Gesto del sistema | Botón de menú | |
| Restablecer posición | Clic de stick digital |
Simulación de percepción Panel de control métodos abreviados de teclado
Puede acceder al panel Control de simulación de percepción y habilitar o deshabilitar dispositivos de entrada de PC con los siguientes métodos abreviados de teclado.
| Operación | Acceso directo | Descripción o notas |
|---|---|---|
| Alternar "Usar teclado para la simulación" | F4 | Cuando está desactivada, la entrada del teclado va a la aplicación HoloLens o Windows Mixed Reality. |
| Alternar "Usar el mouse para la simulación" | F5 | Cuando está desactivada, la entrada del mouse va al entorno de Mixed Reality (solo Windows Mixed Reality) |
| Alternar "Usar controlador para juegos para la simulación" | F6 | Cuando se desactiva, la entrada del controlador para juegos se omite mediante la simulación. |
| Mostrar u ocultar el panel de control | F7 | |
| Establecer el foco del teclado en el panel de control | F8 | Si el panel no está visible actualmente, se mostrará primero. |
| Acoplar o desacoplar el panel hacia o desde la ventana del emulador o Mixed Reality Portal | F9 | Si la ventana se cierra cuando está desacoplado, está acoplada y oculta. |