Seguimiento de los ojos en HoloLens 2
HoloLens 2 permite un nuevo nivel de contexto y comprensión humana dentro de la experiencia holográfica al proporcionar a los desarrolladores la capacidad de usar información sobre lo que el usuario está examinando. En esta página se explica cómo los desarrolladores pueden beneficiarse del seguimiento ocular de varios casos de uso y qué buscar al diseñar interacciones de usuario basadas en la mirada ocular.
Eye Tracking API se ha diseñado teniendo en cuenta la privacidad de un usuario; evita el paso de cualquier información identificable, especialmente cualquier biometría. En el caso de las aplicaciones compatibles con el seguimiento ocular, el usuario debe conceder permiso a la aplicación para usar la información de seguimiento ocular.
Compatibilidad con dispositivos
| Característica | HoloLens (1.ª generación) | HoloLens 2 | Cascos envolventes |
| Mirada con los ojos | ❌ | ✔️ | ❌ |
Demostración de los conceptos de diseño de seguimiento de la cabeza y los ojos
Si quiere ver en acción los conceptos de diseño de seguimiento de cabeza y manos, consulte nuestra demostración de vídeo Diseño de hologramas: Seguimiento de cabeza y seguimiento de manos a continuación. Cuando haya terminado, continúe para profundizar más en detalle en temas específicos.
Este vídeo se tomó de la aplicación HoloLens 2 "Diseño de hologramas". Descargue y disfrute de la experiencia completa aquí.
Calibración
Para que el seguimiento ocular funcione con precisión, cada usuario debe pasar por una calibración de usuario de seguimiento ocular para la que el usuario tiene que examinar un conjunto de destinos holográficos. Esto permite que el dispositivo ajuste el sistema, lo que da lugar a una experiencia de visualización más cómoda y de mayor calidad para el usuario y garantiza un seguimiento ocular preciso al mismo tiempo.
El seguimiento ocular debe funcionar para la mayoría de los usuarios, pero hay casos poco frecuentes en los que un usuario no puede calibrar correctamente. La calibración puede producir errores por diversos motivos, entre los que se incluyen, entre otros:
- El usuario optó previamente por no participar en el proceso de calibración.
- El usuario se distraió y no siguió los destinos de calibración.
- El usuario tiene ciertos tipos de lentes de contacto y gafas que el sistema aún no admite.
- El usuario tiene cierta fisiología ocular o condiciones oculares o tuvo cirugía ocular, que el sistema aún no admite.
- Factores externos que impiden un seguimiento ocular confiable, como manchas en el visor de HoloLens o gafas, luz solar directa intensa y oclusión debido al cabello delante de los ojos.
Los desarrolladores deben asegurarse de proporcionar soporte técnico adecuado a los usuarios para los que es posible que los datos de seguimiento ocular no estén disponibles (que no pueden calibrarse correctamente). Hemos proporcionado recomendaciones para soluciones de reserva en la sección de la parte inferior de esta página.
Para obtener más información sobre la calibración y cómo garantizar una experiencia fluida, consulte nuestra página de calibración del usuario de seguimiento ocular .
Datos de seguimiento ocular disponibles
El seguimiento ocular de HoloLens 2 permite a los desarrolladores diseñar escenarios de entrada e interacción naturales e intuitivos. Eye Tracking API proporciona la información sobre lo que el usuario está mirando como un solo rayo de mirada (origen y dirección de mirada) a aproximadamente 30 FPS (30 Hz). Para que el seguimiento de los ojos funcione con precisión, cada usuario debe realizar una calibración de seguimiento de los ojos. Para obtener información más detallada sobre cómo acceder a los datos de seguimiento ocular, consulte nuestras guías para desarrolladores para usar la mirada ocular en DirectX y la mirada ocular en Unity.
La mirada con los ojos prevista está aproximadamente dentro de 1,5 grados en ángulo visual alrededor del objetivo real (vea la ilustración siguiente). Se esperan ligeras imprecisiones, por lo que los desarrolladores deben planear algún margen alrededor de este valor de límite inferior (por ejemplo, 2,0-3,0 grados puede dar lugar a una experiencia mucho más cómoda). Analizaremos cómo abordar la selección de destinos pequeños con más detalle a continuación.
Tamaño de destino óptimo a una distancia de 2 metros
Datos extendidos de seguimiento ocular
Las API extendidas de seguimiento ocular permiten a los desarrolladores desbloquear el siguiente nivel de escenarios innovadores, como la evaluación de la salud, la supervisión y la terapia proporcionando información más específica sobre la mirada ocular del usuario.
Las API extendidas de seguimiento ocular proporcionan acceso a los valores de seguimiento ocular existentes y nuevas características, como vectores de mirada ocular individuales (izquierdo y derecho), velocidades de fotogramas admitidas y la capacidad de establecer la velocidad de fotogramas de seguimiento ocular en 30, 60 o 90fps. Para usar extended Eye Tracking API, consulte nuestras guías para desarrolladores para usar las API de seguimiento ocular extendido para nativos o Unity.
Casos de uso
El seguimiento de los ojos permite a las aplicaciones realizar un seguimiento de dónde mira el usuario en tiempo real. En los casos de uso siguientes se describen algunas interacciones que son posibles con el seguimiento ocular de HoloLens 2 en la realidad mixta. Estos casos de uso aún no forman parte de la experiencia de Holographic Shell (la interfaz que ve al iniciar la HoloLens 2). Puede probar algunos de ellos en el kit de herramientas de Mixed Reality. El kit de herramientas proporciona varios ejemplos interesantes y eficaces para usar el seguimiento ocular, como selecciones de destino rápidas y sin esfuerzo y desplazarse automáticamente por el texto en función de lo que mira el usuario.
Intento del usuario
La información sobre dónde y qué examina un usuario proporciona un contexto eficaz para otras entradas, como la voz, las manos y los controladores. Esta información puede utilizarse para varias tareas. Por ejemplo, el usuario puede dirigirse rápidamente y sin esfuerzo a través de la escena examinando un holograma y diciendo "seleccionar" (también ver la mirada y confirmar) o "poner esto...", y luego mirar a dónde quieren colocar el holograma y decir "... allí". Puedes consultar varios ejemplos en Mixed Reality Toolkit: Selección de objetivos con los ojos y Mixed Reality Toolkit: Posicionamiento de objetivos con los ojos.
Además, un ejemplo de intención del usuario podría incluir el uso de información sobre lo que ven los usuarios para mejorar la interacción con agentes virtuales incorporados y hologramas interactivos. Por ejemplo, los agentes virtuales pueden adaptar las opciones disponibles y su comportamiento, en función del contenido que se ve actualmente.
Acciones implícitas
La categoría de acciones implícitas está estrechamente relacionada con la intención del usuario. La idea es que los hologramas o elementos de la interfaz de usuario reaccionan de una manera instintiva que puede que ni siquiera se sienta como si el usuario interactuara con el sistema en absoluto, sino que el sistema y el usuario están sincronizados. Un ejemplo es el desplazamiento automático basado en la mirada ocular, donde el usuario puede leer un texto largo que comienza automáticamente a desplazarse una vez que el usuario llega a la parte inferior del cuadro de texto. Esto mantiene al usuario en el flujo de lectura sin levantar un dedo. Un aspecto clave de esto es que la velocidad de desplazamiento se adapta a la velocidad de lectura del usuario.
Otro ejemplo es el zoom y el movimiento panorámico compatibles con los ojos en el que el usuario puede sentirse como si estuviera trabajando exactamente hacia lo que se centra.
El desencadenamiento y el control de la velocidad de zoom se pueden controlar mediante la entrada de voz o mano, lo que es importante para proporcionar al usuario la sensación de control, a la vez que evita ser abrumado. Hablaremos de estas consideraciones de diseño con más detalle a continuación. Una vez acercado, el usuario puede seguir sin problemas, por ejemplo, el curso de una calle para explorar su vecindario mediante su mirada con los ojos. Puedes consultar ejemplos de demostración de estos tipos de interacciones en el ejemplo Mixed Reality Toolkit - Navegación con los ojos.
Otros casos de uso de acciones implícitas pueden incluir:
- Notificaciones inteligentes: ¿Alguna vez te molestan las notificaciones que aparecen en medio de tu vista? Puede mejorar esta experiencia desplazando las notificaciones desde donde el usuario está mirando actualmente. Esto limita las distracciones y las descarta automáticamente una vez que el usuario haya terminado de leer.
- Hologramas atentos: Estos son hologramas que reaccionan de forma sutil cuando se miran. Esto puede variar desde elementos de interfaz de usuario ligeramente iluminados hasta una flor que florece lentamente hasta un perro virtual que empieza a mirar hacia atrás al usuario y etiquetar su cola. Esta interacción puede proporcionar una sensación interesante de conectividad y satisfacción en la aplicación.
Seguimiento de la atención
La información sobre dónde o qué ven los usuarios puede ser una herramienta inmensamente eficaz. Puede ayudar a evaluar la facilidad de uso de los diseños e identificar problemas en los flujos de trabajo para que sean más eficientes. La visualización y el análisis del seguimiento ocular son una práctica común en varias áreas de la aplicación. Con HoloLens 2, proporcionamos una nueva dimensión para esta comprensión; los hologramas 3D se pueden colocar en contextos reales y evaluarlos en consecuencia.
El kit de herramientas de Mixed Reality proporciona ejemplos básicos para registrar y cargar datos de seguimiento ocular y cómo visualizarlos.
Microsoft está dedicado a facilitar la innovación, a la vez que garantiza que los usuarios tengan una experiencia informada y transparente con la forma en que se usa su información de seguimiento ocular. Continuaremos trabajando con nuestros desarrolladores y equipos de experiencia de usuario para proporcionar instrucciones a terceros para garantizar que las experiencias estén centradas en torno al usuario.
Algunas aplicaciones en esta área son las siguientes:
- Visualización remota de la mirada ocular: Visualice lo que ven los colaboradores remotos. Esto puede proporcionar comentarios inmediatos y facilitar el procesamiento de información más preciso.
- Estudios de investigación de usuarios: El seguimiento de la atención puede proporcionar información sobre cómo los usuarios perciben y interactúan con el entorno natural sin interferir. Esto puede ayudar a los desarrolladores a diseñar más interacciones humanas instintivas. El seguimiento ocular puede proporcionar información que no está articulada directamente por los participantes en el estudio y que el investigador puede perder fácilmente.
- Supervisión del entrenamiento y el rendimiento: Practique y optimice la ejecución de tareas mediante la identificación de cuellos de botella de forma más eficaz en el flujo de ejecución. El seguimiento ocular puede proporcionar información natural, en tiempo real y objetiva para ayudar a mejorar el entrenamiento, la productividad y la seguridad en el lugar de trabajo.
- Evaluaciones de diseño, marketing e investigación de consumidores: El seguimiento ocular permite a las empresas comerciales realizar estudios de marketing y consumidores en entornos reales o analizar lo que captura la atención de un usuario para mejorar el diseño de productos o espacios.
Otros casos de uso
- Juego: ¿Alguna vez has querido tener superpoderes? Esta es tu oportunidad.
Puedes levitar hologramas mirando hacia ellos.
Dispara rayos láser desde tus ojos- pruébelo en RoboRaid para HoloLens 2.
Convertir a los enemigos en piedra o inmovilizarlos.
Usa tu visión de rayos X para explorar edificios.
El límite es tu imaginación. Sin embargo, tenga cuidado de no sobrecargar al usuario. Para obtener más información, consulte nuestras directrices de diseño de entrada basadas en la mirada ocular.
Avatares expresivos: El seguimiento ocular ayuda en avatares 3D más expresivos mediante el uso de datos de seguimiento ocular en directo para animar los ojos del avatar y hacer que sigan lo que el usuario está mirando.
Entrada de texto: El seguimiento ocular se puede usar como alternativa para la entrada de texto de bajo esfuerzo, especialmente cuando la voz o las manos no son convenientes de usar.
Uso de la mirada ocular para la interacción
La creación de una interacción que aproveche las ventajas de la orientación ocular rápida puede ser difícil. Dado que los ojos pueden moverse rápidamente, si no tiene cuidado sobre cómo usar la entrada de mirada ocular, los usuarios pueden encontrar la experiencia abrumadora o distraída. Pero esto vale la pena el desafío porque el seguimiento ocular te permite crear experiencias verdaderamente mágicas que excitarán a tus usuarios! Para ayudarle, consulte nuestra introducción a las principales ventajas, desafíos y recomendaciones de diseño para la mirada ocular para la interacción.
Soluciones de reserva cuando el seguimiento ocular no está disponible
En raras ocasiones, es posible que los datos de seguimiento ocular no estén disponibles. Esto puede ocurrir por varios motivos: los más comunes se enumeran a continuación:
- El sistema no pudo calibrar el usuario.
- El usuario omitió la calibración.
- El usuario está calibrado, pero decidió no conceder permiso a la aplicación para usar sus datos de seguimiento ocular.
- El usuario tiene gafas únicas o alguna condición ocular que el sistema aún no admite.
- Factores externos que impiden un seguimiento ocular confiable, como manchas en el visor de HoloLens o anteojos, luz solar directa intensa y oclusión debido al cabello delante de los ojos.
Los desarrolladores deben asegurarse de que hay compatibilidad de reserva adecuada para estos usuarios. En la página Seguimiento ocular en DirectX , se explican las API necesarias para detectar si hay datos de seguimiento ocular disponibles.
Algunos usuarios pueden decidir que una mayor privacidad es más importante que la experiencia mejorada que el seguimiento ocular puede proporcionar, por lo que revocan intencionadamente el acceso a sus datos de seguimiento ocular. Sin embargo, en algunos casos, esta revocación puede ser involuntaria. Si tu aplicación usa el seguimiento ocular y esta es una parte importante de la experiencia, te recomendamos que lo comuniques claramente al usuario. Explicar al usuario cómo el seguimiento ocular desbloquea todo el potencial de la aplicación puede ayudarles a comprender mejor lo que están renunciando. Si el seguimiento ocular está activado pero no funciona, ayude al usuario a identificar y resolver el problema con la lista de comprobación anterior como guía. Por ejemplo, si puede detectar que el sistema admite el seguimiento ocular y el usuario está calibrado y ha concedido su permiso, pero no se reciben datos de seguimiento ocular, esto puede apuntar a problemas como manchas o los ojos que se ocluyen.
Hay casos poco frecuentes en los que el seguimiento ocular simplemente no funciona para alguien y no hay ninguna razón obvia. Sea respetuoso de eso al permitir que el usuario descarte o deshabilite recordatorios para habilitar el seguimiento ocular en la aplicación.
Reserva para aplicaciones que usan la mirada ocular como puntero de entrada principal
Si la aplicación usa la mirada ocular como entrada de puntero para seleccionar rápidamente hologramas en toda la escena, pero los datos de seguimiento ocular no están disponibles, se recomienda volver a la mirada con la cabeza y mostrar el cursor de mirada con la cabeza. Se recomienda usar un tiempo de espera (por ejemplo, 500–1500 ms) para determinar si se va a cambiar o no. Esta acción evita que los cursores aparezcan cada vez que el sistema puede perder brevemente el seguimiento debido a movimientos oculares rápidos o winks y parpadeos. Si es desarrollador de Unity, la reserva automática a la mirada con la cabeza ya se controla en el kit de herramientas de Mixed Reality. Si es desarrollador de DirectX, debe controlar este modificador usted mismo.
Revertir para otras aplicaciones específicas del seguimiento ocular
La aplicación puede usar la mirada con los ojos de una manera única adaptada específicamente a los ojos, por ejemplo, animar los ojos de un avatar o mapas térmicos de atención basados en los ojos que dependen de información precisa sobre la atención visual. En este tipo de caso, no hay reserva clara. Si el seguimiento ocular no está disponible, es posible que estas funcionalidades deba deshabilitarse. De nuevo, se recomienda comunicarlo claramente al usuario, que puede no saber que la funcionalidad no funciona.
Esta página le ha proporcionado una buena visión general para empezar a comprender el rol de seguimiento ocular y la entrada de mirada para la HoloLens 2. Para empezar a desarrollar, consulte nuestra información sobre el rol de mirada ocular para interactuar con hologramas, mirada con ojos en Unity y mirada con ojos en DirectX.