Seguimiento de manos y ojos articulados en Unity

HoloLens 2 ha introducido algunas funcionalidades nuevas y emocionantes, como el seguimiento de manos articuladas y ojos.

La manera más fácil de aprovechar la nueva funcionalidad en Unity es a través de MRTK. También hay algunas escenas de ejemplo que le ayudarán a empezar.

Bloques de creación que admiten manos, ojos y otros en MRTK

MRTK v2 proporciona un conjunto de controles de interfaz de usuario y bloques de creación para ayudarle a acelerar el desarrollo.

ButtonBotón Rectángulo delimitador derectángulo delimitador Controlador de manipulación Controladorde manipulación
Un control de botón, que admite varios métodos de entrada, incluida la mano articulada de HoloLens2. Interfaz de usuario estándar para manipular objetos en el espacio 3D. Script para manipular objetos con una o dos manos.
SlateClaqueta System KeyboardTeclado del sistema InteractableInteractuable
Plano de estilo 2D, que admite el desplazamiento con entrada de mano articulada Ejemplo de script de uso del teclado del sistema en Unity. Un script para que los objetos interactúen con los estados visuales y la compatibilidad con temas.
SolverSolucionador Object CollectionColección de objetos TooltipInformación sobre herramientas
Diversos comportamientos de posicionamiento de objetos, como el etiquetado, el bloqueo del cuerpo, el tamaño de vista constante y el magnetismo de la superficie Script para diseñar una matriz de objetos en una forma tridimensional Interfaz de usuario de anotación con un sistema de anclaje/dinamización flexible, que se puede usar para etiquetar controladores de movimiento y objeto.
App BarBarra de aplicaciones PointersPunteros Fingertip VisualizationVisualización de la punta del dedo
Interfaz de usuario para la activación manual de Bounding Box Información sobre los distintos tipos de punteros. Prestaciones visuales en el dedo, lo que mejora la confianza para la interacción directa
Eye Tracking: Target SelectionSeguimiento ocular: selección de destino Eye Tracking: NavigationSeguimiento ocular: navegación
Combinar los ojos, la voz y la entrada manual para seleccionar rápidamente y sin esfuerzo hologramas en toda la escena Obtenga información sobre cómo desplazar automáticamente el texto o acercar el contenido centrado en función de lo que está viendo. Ejemplos de registro, carga y visualización de lo que los usuarios han estado examinando en la aplicación

Escenas de ejemplo

Explore los distintos tipos de interacciones y controles de interfaz de usuario de MRTK en esta escena de ejemplo.

Puede encontrar otras escenas de ejemplo en Mixed Reality Toolkit gitHub en la carpeta Assets/MixedRealityToolkit.Examples/Demos.

Escena de ejemplo

Siguiente punto de control de desarrollo

Si sigue el recorrido de desarrollo de Unity que hemos diseñado, está en medio de explorar los bloques de creación principales de MRTK. Desde aquí, puede continuar con el siguiente bloque de compilación:

O bien puede saltar a las funcionalidades y las API de la plataforma de realidad mixta:

Puede volver a los puntos de control de desarrollo de Unity en cualquier momento.

Consulta también