Asesor manual
El entrenador de manos desencadena las manos modeladas 3D cuando el sistema no detecta las manos del usuario. Esta característica es un componente de "enseñanza" que ayuda a guiar al usuario cuando no se ha enseñado el gesto. Si los usuarios no han hecho el gesto especificado durante un período, las manos se repetirán con un retraso. El entrenador de mano se puede usar para representar presionar un botón o recoger un holograma.
Entrenador de mano proporcionado
El modelo de interacción actual representa una amplia variedad de controles de gestos, como el desplazamiento, la selección lejana y la pulsación cercana. A continuación se muestra una lista completa de los gestos de mano existentes proporcionados en MRTK:
Ejemplo de Selección cercana: se usa para mostrar cómo seleccionar botones o cerrar objetos interactivos
Ejemplo de Pulsación de aire: se usa para mostrar cómo seleccionar objetos que están lejos
Ejemplo de movimiento de un objeto en espacio usado para mostrar cómo mover un holograma en el espacio
Ejemplo de Rotate-Used para mostrar cómo girar hologramas u objetos
Ejemplo de escala: se usa para mostrar cómo manipular hologramas para que sean más grandes o más pequeños
Ejemplo de Palma arriba: uso sugerido, para abrir menús de mano
Ejemplo de volteo de mano: otra manera de abrir menús de mano
Ejemplo de desplazamiento: se usa para desplazar una lista o un documento largo
Conceptos de diseño
Para Hololens2, hemos diseñado interacciones de mano basadas en gestos instintivos y naturales de la mano. Creemos que son intuitivos para la mayoría de los usuarios, por lo que no creamos momentos de aprendizaje de gestos dedicados. En su lugar, creamos el entrenador de manos para ayudar a los usuarios a aprender sobre estos gestos si se bloquean o no están familiarizados con las interacciones del holograma. Sin un momento de aprendizaje, sentimos que mostrar a los usuarios cómo realizar una acción al demostrar que sería la mejor opción. Encontramos que los usuarios pudieron averiguar el gesto, pero necesitaban una pequeña guía. Si detectamos que un usuario no interactúa con un objeto durante un período, se desencadenará un entrenador de manos que muestre la colocación correcta de la mano y el dedo.
Intuitiva
Al animar las manos, debe ser obvio y no debe causar confusión. La animación de mano es una representación del gesto que está intentando pedir al usuario que comprenda.
Por ejemplo, si desea que un usuario presione un botón, se desencadenaría una mano presionando un botón.
Entrenador de manos que muestra cerca de tocar una gema
Escala de mano
Probamos varios tamaños de mano con los menús de la interfaz de usuario y sentimos que si las manos eran verdaderas para el tamaño, dio una sensación de amenaza. Si eran demasiado pequeños, era difícil ver y entender el gesto.
Voz sobre y manos
No espere que los usuarios puedan escuchar un conjunto de instrucciones a través de voz y watch diferentes instrucciones a través de Hand Coach. Secuencia las instrucciones para ayudar a los usuarios a centrarse frente a competir por su atención para reducir la sobrecarga sensorial.
¿Puedo crear mi propio?
Sí. Te animamos a crear tu propio gesto único para tu juego y contribuir a la comunidad! Hemos proporcionado un archivo Maya de una mano rigged que se puede usar para la aplicación, que se puede descargar aquí: Descargar HandCoach_MRTK.zip
Ejemplo de hand poking animado de una caja en Maya
Herramienta de creación recomendada
Entre los artistas 3D, muchos eligen usar Maya de Autodesk, que puede usar HoloLens para transformar la forma en que se crean los recursos. El archivo de manos proporcionado es un archivo binario maya, por lo que se recomienda usar Maya para animar y exportar las manos. Si prefiere usar otro programa 3D, este es un . FBX: descargue HandCoachMRTK_FBX.zip para crear su propia configuración de controlador.
Si se usa el archivo de mano maya descargable proporcionado, se recomienda reducir verticalmente las manos en unity a 0,6.
Manos desgarradas
Especificaciones técnicas
- El archivo de dos manos está disponible en formato Maya Ascii
- La mano derecha y la izquierda están disponibles en formato binario maya
- Establezca su archivo Maya en 24 FPS
- Dentro del archivo, hay una mano izquierda y derecha, que se puede usar para dos manos o gestos de una sola mano. La mano derecha solo será visible de forma predeterminada.
- Se recomienda dejar un búfer de unos 10 fotogramas al principio y finalizar para fundidos.
- Si anima un objeto con un destino especificado, su procedimiento recomendado para animar a un cuadro Predeterminado o Null.
- Si la mano está animando un objeto físico como un cuadro, su procedimiento recomendado para no animar la traducción en Maya, pero esperar a animarlo en Unity o en Código.
- La animación visible debe ser de 1,5 segundos para que se transmita información significativa.
- Cuando te sientas satisfecho con tu animación:
- Seleccionar todas las articulaciones y hornear fotogramas clave
- Eliminar los controladores, Seleccionar las juntas y la malla y exportar como FBX
- Si hay varias animaciones, puedes usar el exportador de juegos integrado de Maya: https://knowledge.autodesk.com/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2015/ENU/Maya/files/Game-Exporter-htm.html
Exportación desde Maya
Después de que esté satisfecho con la animación
Seleccionar todas las articulaciones: Seleccionar > jerarquía
Bake la animación: Cambiar a Animación de bake clave > de animación >
Eliminar la plataforma de controlador: > MainR_Grp o MainL_Grp
Exportar como FBX: Seleccionar JNT + Malla: Selección de exportación de archivos > (cuadro de opción) > Exportar selección
Al exportar como un FBX y llevar a Unity, escale las manos hacia abajo hasta 0,6. Encontramos que esto era un equilibrio perfecto para mostrar las manos.
Configuración de Unity para HandCoach_R objeto prefabricado que se encuentra en MRTK
Implementación de Manos en el proyecto de Unity
Procedimientos recomendados
Se recomienda reducir verticalmente las manos en unity a 0,6.
Las manos deben reproducirse dos veces y, si no se completan, se repite continuamente hasta que se completa el gesto. Las manos deben repetirse dos veces para asegurarse de que el usuario tenía tiempo de registrarse y ver el gesto. Las manos deben atenuarse y salir entre bucles.
Si las manos del usuario son visibles por las cámaras HL2, pero los usuarios no realizan la interacción necesaria, las manos aparecerán después de 10 segundos.
Si las manos del usuario NO son visibles por las cámaras HL2, las manos aparecerán después de 5 segundos.
Si las manos del usuario son visiblemente rastreadas por cámaras HL2 en medio de la animación, la animación se completará y se atenuará.
Si estás incluyendo voz sobre, te sugerimos que corresponda al gesto de la mano.
Si ha enseñado las manos al menos una vez, repita el gesto si se detecta que el usuario está atascado.
Si las posiciones específicas de los dedos y manos son críticas, asegúrese de que los usuarios puedan ver claramente estos matices en la animación. Pruebe a poner las manos para que las partes más importantes sean claramente visibles.
Si observa distorsión en las manos, debe ir a la configuración de calidad de Unity aumentar el número de huesos. Vaya a Editar > configuración del proyecto de Unity Calidad >> de otras > ponderaciones de mezcla. Asegúrese de que se seleccionan "4 huesos" para ver articulaciones lisas.
Qué evitar
- Escalar las manos demasiado grandes
- Colocar las manos demasiado cerca del usuario
- Las manos solo deben enseñarse una vez. El exceso de enseñanza puede causar confusión y desorden
- Trayendo a Unity, descargue la versión más reciente de MRTK aquí: https://github.com/microsoft/MixedRealityToolkit-Unity
- Material: Teaching_Hand2
- Scripts: Consulte las directrices de MRTK para el entrenador de manos de MRTK.
- Configuración por proyecto
- Escena establecida en UWP: La instrucción se puede encontrar en el artículo Configurar un nuevo proyecto de OpenXR con MRTK .