Caso práctico: mi primer año en el equipo de diseño de HoloLens

Mi viaje desde una tierra plana en 2D hasta el mundo 3D comenzó cuando me uní al equipo de diseño de HoloLens en enero de 2016. Antes de unirse al equipo, tuve poca experiencia en el diseño 3D. Era como el refrán chino sobre un viaje de mil millas empezando con un solo paso, excepto en mi caso ese primer paso fue un salto!

Dar el salto del 2D al 3D

"Me sentí como si hubiera saltado al asiento del conductor sin saber conducir el coche. Estaba abrumado y asustado, pero muy centrado."
— Hae Jin Lee

Durante el año pasado, recogí habilidades y conocimientos tan rápido como pude, pero todavía tengo mucho que aprender. He escrito cuatro observaciones con un tutorial en vídeo que documenta mi transición de un diseñador de interacción 2D a 3D. Espero que mi experiencia inspire a otros diseñadores a dar el salto al 3D.

Marco de adiós. Hola interfaz de usuario espacial/diegetic

Cada vez que diseñé pósteres, revistas, sitios web o pantallas de aplicaciones, un marco definido (normalmente un rectángulo) era una constante para cada problema. A menos que leas esta publicación en un dispositivo HoloLens u otro dispositivo vr, estás observando esto desde el exterior a través de una pantalla 2D protegida de forma segura dentro de un fotograma. El contenido es externo a usted. Sin embargo, Mixed Reality casco elimina el marco, por lo que estás dentro del espacio de contenido, mirando y caminando por el contenido desde dentro hacia fuera.

Lo entendí conceptualmente, pero al principio cometo el error de simplemente transferir el pensamiento 2D al espacio 3D. Obviamente, eso no funcionó bien porque el espacio 3D tiene sus propias propiedades únicas, como un cambio de vista (basado en el movimiento de la cabeza del usuario) y un requisito diferente para la comodidad del usuario (en función de las propiedades de los dispositivos y los seres humanos que los usan). Por ejemplo, en un espacio de diseño de interfaz de usuario 2D, el bloqueo de elementos de la interfaz de usuario en la esquina de una pantalla es un patrón muy común. En las experiencias de MR o VR, esta interfaz de usuario de estilo HUD (head up display) no se siente natural, ya que dificulta la inmersión del usuario en el espacio y causa molestias al usuario. Es como tener una molesta partícula de polvo en tus gafas de la que te mueres por deshacerte. Con el tiempo, aprendí que resulta más natural colocar el contenido en el espacio 3D y agregar un comportamiento bloqueado por el cuerpo que hace que el contenido siga al usuario a una distancia fija relativa.

Bloqueado por el cuerpo

Bloqueados por el mundo

Fragmentos: ejemplo de una excelente interfaz de usuario de Diegetic

Fragments, un thriller criminal en primera persona desarrollado por Asobo Studio para HoloLens, muestra una excelente interfaz de usuario diegetic. En este juego, el usuario se convierte en un personaje principal, un detective que intenta resolver un misterio. Las pistas fundamentales para resolver este misterio se salpican en la sala física del usuario y a menudo se incrustan dentro de un objeto ficticio en lugar de existentes por sí mismos. Esta interfaz de usuario diegetic tiende a ser menos reconocible que la interfaz de usuario bloqueada por el cuerpo, por lo que el equipo de Asobo usó con inteligencia muchas indicaciones, como la dirección de mirada de los personajes virtuales, el sonido, la luz y las guías (por ejemplo, una flecha que señala la ubicación de la pista) para captar la atención del usuario.

Fragmentos: ejemplos de interfaz de usuario diegetic

Observaciones sobre la interfaz de usuario diegetic

La interfaz de usuario espacial (tanto bloqueada por el cuerpo como por el mundo) y la interfaz de usuario diegetic tienen sus propias fortalezas y debilidades. Animo a los diseñadores a probar tantas aplicaciones de MR/VR como sea posible y a desarrollar su propia comprensión y sensibilidad para varios métodos de posicionamiento de la interfaz de usuario.

El retorno del skeuomorphismo y la interacción mágica

Skeuomorphism, una interfaz digital que imita la forma de los objetos del mundo real ha sido 'uncool' durante los últimos 5-7 años en la industria del diseño. Cuando Apple finalmente dio paso al diseño plano en iOS 7, parecía que el Skeuomorphism estaba finalmente muerto como una metodología de diseño de interfaz. Pero luego, un nuevo medio, cascos MR/VR llegó al mercado y parece que el Skeuomorphism volvió de nuevo. : )

Simulador de trabajos: un ejemplo de diseño de realidad virtual skeuomorphic

Job Simulator, un juego caprichoso desarrollado por Owlchemy Labs es uno de los ejemplos más populares para el diseño vr skeuomorphic. Dentro de este juego, los jugadores se transportan hacia el futuro, donde los robots reemplazan a humanos y humanos visitan un museo para experimentar lo que se siente realizar tareas mundanas en uno de los cuatro trabajos diferentes: Mecánico automático, Chef Gourmet, Empleado de tienda o Trabajador de Office.

El beneficio del Skeuomorphism es claro. Los entornos y objetos familiares de este juego ayudan a los nuevos usuarios de REALIDAD VIRTUAL a sentirse más cómodos y presentes en el espacio virtual. También les hace sentir como si estuvieran en control al asociar conocimientos y comportamientos familiares con objetos y sus correspondientes reacciones físicas. Por ejemplo, para beber una taza de café, la gente simplemente tiene que caminar hasta la cafetera, presionar un botón, agarrar la manija de la taza e inclinarla hacia la boca como lo harían en el mundo real.

Simulador de trabajos

Dado que MR/VR sigue siendo un medio en desarrollo, el uso de un cierto grado de skeuomorphismo es necesario para desmitificar la tecnología MR/VR e introducirla a audiencias más grandes de todo el mundo. Además, el uso de skeuomorphism o representación realista podría ser beneficioso para tipos específicos de aplicaciones como cirugía o simulación de vuelo. Dado que el objetivo de estas aplicaciones es desarrollar y refinar habilidades específicas que se pueden aplicar directamente en el mundo real, cuanto más cercana sea la simulación al mundo real, más transferible es el conocimiento.

Recuerde que skeuomorphism es solo un enfoque. El potencial del mundo de MR/VR es mucho mayor y los diseñadores deben esforzarse por crear interacciones hiper naturales mágicas, nuevas prestaciones que son únicamente posibles en el mundo de MR/VR. Como principio, considere la posibilidad de agregar poderes mágicos a objetos comunes para permitir que los usuarios cumplan sus deseos fundamentales, incluida la teletransportación y la omniciencia.

Puerta mágica de Doraemon (izquierda) y zapatillas de rubí (derecha)

Observaciones sobre skeuomorphism en VR

Desde "Anywhere door" en Doraemon, "Ruby Slippers" en The Wizard of Oz hasta "Marauder's Map" en Harry Potter, abundan los ejemplos de objetos ordinarios con poder mágico en la ficción popular. Estos objetos mágicos nos ayudan a visualizar una conexión entre el mundo real y lo fantástico, entre lo que es y lo que podría ser. Tenga en cuenta que al diseñar el objeto mágico o surrealista es necesario lograr un equilibrio entre funcionalidad y entretenimiento. Ten cuidado con la tentación de crear algo puramente mágico sólo por el bien de la novedad.

Descripción de los distintos métodos de entrada

Cuando diseñé para el medio 2D, tuve que centrarme en las interacciones táctiles, de mouse y de teclado para las entradas. En el espacio de diseño de MR/VR, nuestro cuerpo se convierte en la interfaz y los usuarios pueden usar una selección más amplia de métodos de entrada: voz, mirada, gestos, controladores de 6 dof y guantes que ofrecen una conexión más intuitiva y directa con objetos virtuales.

Entradas disponibles en HoloLens

"Todo es mejor para algo, y lo peor para otra cosa."
— Bill Buxton

Por ejemplo, la entrada de gestos con sensores sin mano y cámara en un dispositivo HMD libera a los usuarios de mantener los controladores o usar guantes sudorosos, pero el uso frecuente puede causar fatiga física (por ejemplo, un brazo gorila). Además, los usuarios tienen que mantener sus manos dentro de la línea de visión; si la cámara no puede ver las manos, no se pueden usar las manos.

La entrada de voz es buena para recorrer tareas complejas porque permite a los usuarios cortar menús anidados con un comando (por ejemplo, "Mostrar las películas realizadas por Laika studio. ") y también económico cuando se combina con otra modalidad (por ejemplo, el comando "Face me" orienta el holograma que un usuario está mirando hacia el usuario). Sin embargo, es posible que la entrada de voz no funcione bien en un entorno ruidoso o que no sea adecuada en un espacio tranquilo.

Además de los gestos y la voz, los controladores con seguimiento manual (como Oculus touch, Vive, etc.) son métodos de entrada muy populares, ya que son fáciles de usar, precisos, aprovechan la propriocepción de las personas y proporcionan señales hápticas pasivas. Sin embargo, estas ventajas vienen a costa de no ser capaz de ser las manos desnudas y utilizar el seguimiento de dedo completo.

Senso (izquierda) y Manus VR (derecha)

Aunque no es tan popular como los controladores, los guantes vuelven a ganar impulso gracias a la onda MR/VR. Más recientemente, la entrada cerebro-mente ha ganado tracción como interfaz para entornos virtuales mediante la integración del sensor EEG o EMG en auriculares (por ejemplo, MindMaze VR).

Observaciones sobre métodos de entrada

Estos son solo una muestra de dispositivos de entrada disponibles en el mercado para MR/VR. Continúan proliferando hasta que la industria madura y acepta los procedimientos recomendados. Hasta entonces, los diseñadores deben estar al tanto de los nuevos dispositivos de entrada y estar bien familiarizados con los métodos de entrada específicos para su proyecto en particular. Los diseñadores deben buscar soluciones creativas dentro de las limitaciones, mientras que también juegan a las ventajas de un dispositivo.

Boceto de la escena y prueba en los auriculares

Cuando trabajé en 2D, principalmente esbozaba solo el contenido. Sin embargo, en el espacio de realidad mixta que no era suficiente. Tuve que esbozar toda la escena para imaginar mejor las relaciones entre el usuario y los objetos virtuales. Para ayudar a mi pensamiento espacial, comencé a esbozar escenas en Cinema 4D y a veces crear recursos simples para crear prototipos en Maya. No había usado estos programas antes de unirse al equipo de HoloLens y todavía soy un novato, pero trabajar con estos programas 3D definitivamente me ayudó a sentirme cómodo con la nueva terminología, como sombreador e IK (cinemática inversa).

"No importa lo cerca que esbozaba la escena en 3D, la experiencia real en auriculares casi nunca fue la misma que el boceto. Por eso es importante probar la escena en los cascos de destino". — Hae Jin Lee

Para la creación de prototipos de HoloLens, he probado todos los tutoriales de Mixed Reality tutoriales para empezar. Después comencé a jugar con HoloToolkit.Unity que Microsoft proporciona a los desarrolladores para acelerar el desarrollo de aplicaciones holográficas. Cuando me quedé atascado con algo, publicé mi pregunta en holoLens Question & Answer Forum.

Después de adquirir conocimientos básicos sobre la creación de prototipos de HoloLens, quería capacitar a otros usuarios que no son descodificadores para crear prototipos por sí mismos. Así que hice un tutorial en vídeo que enseña a desarrollar un proyectil mediante HoloLens. Les explico brevemente los conceptos básicos, por lo que incluso si no tiene experiencia en el desarrollo de HoloLens, debería poder seguirlo.

Hice este sencillo tutorial para no programadores como yo.

Para la creación de prototipos de VR, tomé cursos en VR Dev School y también tomé creación de contenido 3D para Realidad Virtual en Lynda.com. Vr Dev School me proporcionó conocimientos más profundos en codificación y el curso lynda me ofreció una breve introducción a la creación de recursos para VR.

Dar el salto

Hace un año, sentí que todo esto era un poco abrumador. Ahora puedo decirles que valió la pena el esfuerzo. MR/VR sigue siendo un medio joven y hay muchas posibilidades interesantes a la espera de que se realicen. Me siento inspirado y afortunado de poder desempeñar un pequeño papel en el diseño del futuro. Espero que te unas a mí en el viaje al espacio 3D!

Acerca del autor

Hae Jin Lee Designer @Microsoft de experiencia de usuario