Modelos de interacción

  • 3 minutos

Mixed Reality Toolkit permite consumir entradas de diversos orígenes de entrada, como controladores, manos articuladas o voz. Elegir el modelo de interacción más adecuado para la experiencia de realidad mixta requiere que identifique al usuario y sus objetivos y considere cualquier factor situacional o ambiental que pueda afectar a su experiencia. Aquí, obtendrá información sobre los tres modelos de interacción principales para experiencias de realidad mixta y cómo simular la entrada en Unity.

Modelos de interacción

Hay tres modelos de interacción principales que se adaptan a la mayoría de las experiencias de realidad mixta.

Modelo Escenarios de ejemplo Ajustar
Manos y controladores de movimiento Experiencias espaciales 3D, como diseño y diseño espacial, manipulación de contenido o simulación. Ideal para nuevos usuarios junto con voz, seguimiento ocular o mirada de la cabeza. Curva de aprendizaje baja. Experiencia de usuario coherente entre el seguimiento manual y los controladores 6DoF.
Manos libres Experiencias contextuales en las que las manos de un usuario están ocupadas, como el aprendizaje y el mantenimiento en el trabajo. Se requiere algo de aprendizaje. Si las manos no están disponibles, el dispositivo se empareja bien con la voz y el lenguaje natural.
Mirada y confirmación Experiencias de click-through; por ejemplo, presentaciones 3D o demostraciones. Requiere entrenamiento en dispositivos montados en la cabeza, pero no en dispositivos móviles. Mejor para controladores accesibles.

Aunque podría combinar partes de varios modelos de interacción en la experiencia de realidad mixta, tenga en cuenta que, al hacerlo, existe el riesgo de que se produzca competencia en la entrada del usuario, como haces de mano o cursor de mirada simultáneos. Esto puede sobrecargar y confundir a los usuarios.

Si su experiencia requiere varios modelos de interacción, tenga en cuenta que muchos usuarios pueden tener dificultades al realizar la transición de un modelo a otro, especialmente los usuarios que no son nuevos en la realidad mixta.

Modelo de manos y controladores de movimiento

El modelo de controladores de manos y movimiento requiere que los usuarios usen una o dos manos para interactuar con el mundo holográfico. Este modelo quita el límite entre virtual y físico.

Algunos escenarios específicos incluyen:

  • Proporcionar a los trabajadores de la información pantallas virtuales 2D con prestaciones de interfaz de usuario para mostrar y controlar el contenido
  • Envío de tutoriales y guías a los trabajadores de primera línea en líneas de montaje industriales
  • Desarrollo de herramientas profesionales para ayudar y educar a profesionales médicos
  • Uso de objetos virtuales 3D para decorar el mundo real o crear un segundo mundo
  • Creación de servicios y juegos basados en la ubicación con el mundo real como fondo

Hay tres modalidades de controladores de manos y movimiento:

  • Manipulación directa con manos
  • Apuntar y confirmar con las manos
  • Controladores de movimiento

Modelo de manos libres

El modelo manos libres permite a los usuarios interactuar con contenido holográfico sin usar sus manos. Este enfoque es mejor usar si es posible que el usuario necesite usar sus manos para lograr sus objetivos reales y tendrá dificultades para interactuar con una interfaz basada en manos y controladores.

Algunos escenarios específicos incluyen:

  • Guiar al usuario por una tarea mientras tiene las manos ocupadas.
  • Hacer referencia a materiales mientras las manos del usuario están ocupadas
  • Fatiga de las manos
  • Guantes que no se pueden rastrear
  • Llevar algo en sus manos
  • Torpeza social de hacer gestos de mano grandes
  • Espacios estrechos

Hay dos modalidades de manos libres:

  • Entrada de voz
  • Mirada y permanencia

Mirada y confirmación

Mirada y confirmación es un modelo de entrada que está estrechamente relacionado con la forma en que interactuamos con los equipos mediante el uso de un mouse para señalar y hacer clic. La acción de mirar y confirmar se considera un modelo de entrada lejano con manipulación indirecta. Por lo tanto, es mejor usar la acción de mirar y confirmar al interactuar con el contenido holográfica que está fuera del alcance. Hay dos tipos de entradas de mirada (cabeza-mirada y ojo-mirada) y diferentes acciones de confirmación.

Después de que el usuario use la mirada para dirigirse a un objeto o elemento de la interfaz de usuario, el usuario puede interactuar con él o seleccionarlo mediante una entrada secundaria. Esto se conoce como el paso de confirmación del modelo de entrada. Los métodos de confirmación incluyen comandos de voz, presión de un botón o un gesto de la mano.

Simulación de la entrada en el editor de Unity

La simulación de entrada en el editor de Unity permite probar el comportamiento de objetos holográficos cuando se usa la interacción con la mano o el ojo.

Cómo desplazarse por la escena:

  • Use las teclas W/A/S/D para mover la cámara hacia delante,izquierda/atrás/derecha.
  • Use las teclas Q/E para mover la cámara verticalmente.
  • Mantenga presionado el botón derecho del mouse para girar la cámara.

Cómo simular la entrada de la mano:

  • Mantenga presionada la barra espaciadora para habilitar la mano derecha.
  • Mantenga presionada la barra espaciadora y mueva el mouse para mover la mano.
  • Utilice la rueda del mouse para ajustar la profundidad de la mano.
  • Haga clic en el botón izquierdo del ratón para simular un gesto de pellizco.
  • Utilice las teclas T/Y para que la mano permanezca visible en la vista.
  • Mantenga presionada la tecla CTRL y mueva el mouse para girar la mano.
  • Mantenga presionada la tecla de desplazamiento izquierda para habilitar la mano izquierda.