Servicio de simulación de entrada: MRTK2
Con la simulación de entrada de MRTK, puede probar varios tipos de interacción en el editor de Unity sin necesidad de compilar ni implementar en un dispositivo. Esto le permite iterar rápidamente las ideas en el proceso de diseño y desarrollo. Use combinaciones de teclado y mouse para controlar las entradas simuladas.
Con el servicio de simulación de entrada, podrá emular el comportamiento de dispositivos y plataformas que podrían no estar disponibles en el editor de Unity. Algunos ejemplos son los siguientes:
- La característica de seguimiento de la cabeza de HoloLens o un dispositivo VR
- Los gestos de mano con HoloLens
- La característica de seguimiento de manos y articulaciones de HoloLens 2
- seguimiento ocular de HoloLens 2
- Controladores de dispositivos VR
Advertencia
Esto no funciona cuando se usa el modo de emulación > holográfica XR de Unity = "Simular en el editor". La simulación en el editor de Unity quitará el control de la simulación de entrada de MRTK. Para usar el servicio de simulación de entrada MRTK, deberá establecer la emulación holográfica XR en Modo de emulación = "None"
Cómo usar la simulación de entrada de MRTK
La simulación de entrada está habilitada de forma predeterminada en los perfiles que se incluyen con MRTK. Simplemente puede hacer clic en el botón Reproducir para ejecutar la escena con compatibilidad con la simulación de entrada.
- Presiona las teclas W, A, S, D, Q, E para mover la cámara.
- Mantenga presionado el botón derecho del mouse y muévalo para mirar alrededor.
- Para abrir las manos simuladas, presione la barra espaciadora (mano derecha) o la tecla Mayús izquierda (mano izquierda) .
- Para mantener las manos simuladas en la vista, presione las teclas T o Y.
- Para girar las manos simuladas, mantenga presionada la tecla Ctrl y mueva el mouse.
En la hoja de referencia rápida de simulación de entrada del editor
Presione Ctrl + H izquierdo en la escena HandInteractionExamples para mostrar una hoja de referencia rápida con controles de simulación de entrada.
Habilitación del servicio de simulación de entrada
En la configuración del proveedor de datos del sistema de entrada, el servicio Input Simulation se puede configurar con lo siguiente.
- El tipo debe ser Microsoft.MixedReality.Toolkit.Input > InputSimulationService.
- Las plataformas admitidas incluyen de forma predeterminada todas las plataformas editor , ya que el servicio usa la entrada de teclado y mouse.
Nota
El servicio Input Simulation se puede usar en otros puntos de conexión de plataforma, como independiente, cambiando la propiedad Plataformas admitidas para incluir los destinos deseados.
Control de cámara
El servicio de simulación de entrada puede emular el movimiento de la cabeza.
Rotación de la cámara
- Mantenga el puntero sobre la ventana del editor de ventanillas. Es posible que tenga que hacer clic en la ventana para darle el foco de entrada si las pulsaciones de botón no funcionan.
- Mantenga presionado el botón De vista del mouse (valor predeterminado: Botón derecho del mouse).
- Mueva el mouse en la ventana de ventanilla para girar la cámara.
- Use la rueda del mouse para girar la cámara alrededor de la dirección de la vista.
La velocidad de rotación de la cámara se puede configurar cambiando el valor De velocidad de búsqueda del mouse en el perfil de simulación de entrada.
Como alternativa, usa los ejes Look Horizontal/Look Vertical para girar la cámara (valor predeterminado: stick analógico derecho del controlador del juego).
Movimiento de la cámara
Usa los ejes Mover horizontalmente/ verticales para mover la cámara (valor predeterminado: teclas WASD o stick analógico izquierdo del controlador de juego).
Los ángulos de posición y rotación de la cámara también se pueden establecer explícitamente en la ventana de herramientas. La cámara se puede restablecer a su valor predeterminado mediante el botón Restablecer .
Simulación de controlador
La simulación de entrada admite dispositivos de controlador emulados (es decir, controladores de movimiento y manos). Estos controladores virtuales pueden interactuar con cualquier objeto que admita controladores normales, como botones o objetos agarrables.
Modo de simulación de controlador
En la ventana herramientas de simulación de entrada , la configuración Modo de simulación de controlador predeterminado cambia entre tres modelos de entrada distintos. Este modo predeterminado también se puede establecer en el perfil de simulación de entrada.
Manos articuladas: simula un dispositivo de mano totalmente articulado con datos de posición de articulación.
Emula HoloLens 2 modelo de interacción.
Las interacciones que se basan en el posicionamiento preciso de la mano o el uso de tocar se pueden simular en este modo.
Gestos de mano: simula un modelo de mano simplificado con pulsación de aire y gestos básicos.
Emula el modelo de interacción de HoloLens.
El foco se controla mediante el puntero de mirada. El gesto pulsar en el aire se usa para interactuar con los botones.
Controlador de movimiento: simula un controlador de movimiento usado con auriculares VR que funciona de forma similar a interacciones lejanas con manos articuladas.
Emula cascos vr con el modelo de interacción de controladores.
El desencadenador, la toma y las teclas de menú se simulan a través de la entrada del teclado y del mouse.
Simulación del movimiento del controlador
Mantenga presionada la tecla de manipulación del controlador izquierdo/derecho (valor predeterminado: Desplazamiento a la izquierda para el controlador izquierdo y espacio para el controlador derecho) para obtener el control de cualquiera de los controladores. Mientras se presiona la tecla de manipulación, el controlador aparecerá en la ventanilla. Una vez que se libera la clave de manipulación, los controladores desaparecerán después de un breve tiempo de espera de ocultación del controlador.
Los controladores se pueden activar e inmovilizar en relación con la cámara en la ventana de herramientas de simulación de entrada o presionando la tecla Alternar controladora izquierda/derecha (valor predeterminado: T para izquierda e Y para derecha). Vuelva a presionar la tecla de alternancia para ocultar los controladores de nuevo. Para manipular los controladores, debe mantenerse la tecla de manipulación del controlador de izquierda o derecha . Pulsar dos veces la tecla de manipulación del controlador izquierdo/derecho también puede activar o desactivar los controladores.
El movimiento del mouse moverá el controlador en el plano de vista. Los controladores se pueden mover más o más cerca de la cámara mediante la rueda del mouse.
Para girar los controladores con el mouse, mantenga presionada la tecla de manipulación izquierda/derecha del controlador (desplazamiento a la izquierda o el espacio) y el botón Girar controlador (valor predeterminado: botón Ctrl izquierdo ) y, a continuación, mueva el mouse para girar el controlador. La velocidad de rotación del controlador se puede configurar cambiando la configuración velocidad de rotación del controlador del mouse en el perfil de simulación de entrada.
Toda la colocación de la mano también puede cambiar en la ventana herramientas de simulación de entrada, incluido restablecer las manos al valor predeterminado.
Configuración de perfil adicional
- El multiplicador de profundidad del controlador controla la sensibilidad del movimiento de profundidad de la rueda del mouse. Un número mayor acelerará el zoom del controlador.
- Distancia predeterminada del controlador es la distancia inicial de los controladores de la cámara. Al hacer clic en los controladores de botón Restablecer , también se colocarán los controladores a esta distancia.
- La cantidad de vibración del controlador agrega movimiento aleatorio a los controladores. Esta característica se puede usar para simular el seguimiento de controladores inexactos en el dispositivo y asegurarse de que las interacciones funcionan bien con una entrada ruidosa.
Gestos con la mano
Gestos de mano como pellizcar, agarrar, golpear, etc. también se puede simular.
Habilitar el control de mano mediante la tecla de manipulación del controlador izquierdo/derecho (desplazamiento a la izquierda o el espacio)
Al manipular, mantenga presionado un botón del mouse para realizar un gesto de mano.
Cada uno de los botones del mouse se puede asignar para transformar la forma de la mano en un gesto diferente mediante la configuración Gesto de mano izquierda/media/ratón derecho . El gesto de mano predeterminado es la forma de la mano cuando no se presiona ningún botón.
Nota
El gesto Pinch es el único gesto que realiza la acción "Seleccionar" en este momento.
Manipulación de una mano
- Mantenga presionada la tecla de manipulación del controlador izquierdo/derecho (mayús o espacio ala izquierda)
- Apuntar al objeto
- Mantenga presionado el botón del mouse para reducir
- Usar el mouse para mover el objeto
- Liberar el botón del mouse para detener la interacción
Manipulación de dos manos
Para manipular objetos con dos manos al mismo tiempo, se recomienda el modo de mano persistente.
- Para alternar ambas manos, presione las teclas de alternancia (T/Y).
- Manipular una mano a la vez:
- Mantener espacio para controlar la mano derecha
- Mover la mano al lugar donde desea agarrar el objeto
- Presione el botón izquierdo del mouse para activar el gesto Pinch .
- Liberar espacio para dejar de controlar la mano derecha. La mano se inmovilizará en su lugar y se bloqueará en el gesto Pinch , ya que ya no se está manipulando.
- Repita el proceso con la otra mano, capturando el mismo objeto en un segundo lugar.
- Ahora que ambas manos están agarrando el mismo objeto, puede mover cualquiera de ellas para realizar la manipulación con dos manos.
Interacción de GGV (mirada, gesto y voz)
De forma predeterminada, la interacción de GGV está habilitada en el editor mientras no hay manos articuladas presentes en la escena.
- Girar la cámara para apuntar el cursor de mirada en el objeto interactivo (botón derecho del mouse)
- Haga clic y mantenga presionado el botón izquierdo del mouse para interactuar.
- Girar la cámara de nuevo para manipular el objeto
Para desactivar esta opción, cambie la opción Is Hand Free Input Enabled dentro del perfil de simulación de entrada.
Además, puede usar manos simuladas para la interacción de GGV.
- Habilitar la simulación de GGV cambiando el modo de simulación de mano a gestos en el perfil de simulación de entrada
- Girar la cámara para apuntar el cursor de mirada en el objeto interactivo (botón derecho del mouse)
- Mantener espacio para controlar la mano derecha
- Haga clic y mantenga presionado el botón izquierdo del mouse para interactuar.
- Usar el mouse para mover el objeto
- Liberar el botón del mouse para detener la interacción
Generar eventos de teletransporte
Para generar el evento de teletransporte en la simulación de entrada, configure la configuración de gestos de mano en el perfil de simulación de entrada para que realice el gesto de inicio de teletransporte mientras que el otro realiza el gesto de fin de teletransporte . El gesto Teleport Start abrirá el puntero Teleport, mientras que la gesure del extremo teleportará completará la acción de teletransporte y moverá al usuario.
La posición y del teletransporte resultante depende del desplazamiento de la cámara a lo largo del eje Y. En el editor, es 0 de forma predeterminada, por lo que usa las teclas Q y E para ajustarla al alto adecuado.
Interacción del controlador de movimiento
Los controladores de movimiento simulados se pueden manipular de la misma manera que las manos articuladas. El modelo de interacción es similar a la interacción lejana de la mano articulada mientras el desencadenador, las teclas de agarre y menú se asignan al botón izquierdo del mouse, la tecla G y M , respectivamente.
Seguimiento de los ojos
La simulación de seguimiento ocular se puede habilitar activando la opción Simulate Eye Position (Simular posición ocular ) en el perfil de simulación de entrada. Esto no debe usarse con interacciones de estilo GGV o de controlador de movimiento (así que asegúrese de que el modo de simulación de controlador predeterminado esté establecido en Mano articulada).
Ventana herramientas de simulación de entrada
Habilite la ventana herramientas de simulación de entrada desde el menú Mixed Reality>Toolkit>UtilitiesInput Simulation (Simulación de entrada).> Esta ventana proporciona acceso al estado de simulación de entrada durante el modo de reproducción.
Botones de ventanilla (opcional)
Se puede especificar un objeto prefabricado para botones en el editor para controlar la colocación básica de la mano en el perfil de simulación de entrada en Indicadores prefabricados. Se trata de una utilidad opcional, se puede acceder a las mismas características en la ventana herramientas de simulación de entrada.
Nota
Los indicadores de ventanilla están deshabilitados de forma predeterminada, ya que actualmente pueden interferir con las interacciones de la interfaz de usuario de Unity. Consulte el problema n.º 6106. Para habilitarlo, agregue el objeto prefabricado InputSimulationIndicators al objeto Prefabricado de indicadores.
Los iconos de mano muestran el estado de las manos simuladas:
-
La mano no está rastreando. Haga clic para habilitar la mano. -
Se realiza un seguimiento de la mano, pero no está controlado por el usuario. Haga clic para ocultar la mano. -
El usuario realiza un seguimiento de la mano y lo controla. Haga clic para ocultar la mano. -
Haga clic para restablecer la mano a la posición predeterminada.