Pensar de forma diferente para Mixed Reality

Cuando Microsoft lanzó la HoloLens (1ª generación) para los desarrolladores ansiosos en 2016, el equipo ya se había asociado con estudios dentro y fuera de Microsoft para crear las experiencias de lanzamiento del dispositivo. Estos equipos aprendieron con la práctica y la búsqueda de oportunidades y retos en el nuevo campo del diseño de realidad mixta.

Hemos convertido sus métodos e información en un plan de estudios que enseñamos a nuevos desarrolladores en nuestra academia de Mixed Reality. El plan de estudios incluye talleres de diseño de semana que ofrecemos a nuestros socios empresariales.

A continuación se muestra una instantánea de todo lo que hemos aprendido para ayudar a nuestros asociados empresariales a preparar sus equipos para el desarrollo de realidad mixta. Aunque muchos de estos métodos tienen como destino originalmente el desarrollo HoloLens, imaginar y comunicarse en 3D son fundamentales para todo el espectro de experiencias de realidad mixta.

Pensar espacialmente durante el proceso de diseño

Cualquier proceso de diseño o marco de diseño está pensado para iterar el pensamiento: para abordar un problema ampliamente, para compartir ideas con otras personas de forma eficaz, evaluar esas ideas y llegar a una solución. Hoy en día, tenemos métodos de diseño y desarrollo bien establecidos para crear experiencias en escritorios, teléfonos y tabletas. Teams tener expectativas claras de lo necesario para iterar una idea y convertirlo en un producto para los usuarios.

Teams a menudo se componen de una combinación de desarrollo, diseño, investigación y gestión. Todos los roles deben participar en el proceso de diseño. La barrera a la entrada para contribuir a una idea de una aplicación móvil es tan simple como dibujar un rectángulo para la pantalla del dispositivo. Mientras tanto, el boceto de elementos de la interfaz de usuario con cuadros y líneas es suficiente para establecer requisitos técnicos o definir un posible comportamiento del usuario.

Con la realidad mixta, el proceso de diseño 2D tradicional comienza a desglosarse. El boceto en 3D es difícil para la mayoría de las personas y el uso de herramientas 2D como lápiz y papel o pizarras, a menudo pueden limitar las ideas a esas dimensiones. Mientras tanto, las herramientas 3D, creadas para juegos o ingeniería, requieren un alto grado de habilidad para desarrollar rápidamente ideas. La falta de herramientas ligeras se compone de la incertidumbre técnica inherente a los nuevos dispositivos, donde se siguen estableciendo métodos de interacción fundamentales. Estos desafíos pueden limitar potencialmente las contribuciones de diseño a los miembros del equipo con antecedentes de desarrollo 3D, lo que reduce drásticamente la capacidad del equipo de iteración.

Teams working during a workshop in the Mixed Reality Academy
Teams del programa de socios de Mixed Reality en nuestro taller

Cuando trabajamos con asociados externos, escuchamos historias de equipos que esperan a que el desarrollador finalice el prototipo antes de poder continuar con su proceso de diseño. A continuación, el resto del equipo está bloqueado para que se realice un progreso significativo en el producto. Los desarrolladores terminan con toda la responsabilidad de resolver la implementación técnica y la experiencia del usuario a medida que intentan poner una idea aproximada en el código.

Técnicas para expandir el proceso de diseño

Nuestros equipos de Microsoft tienen un conjunto de técnicas para incluir de forma más eficaz a su equipo y recorrer rápidamente en iteración problemas de diseño complejos. Aunque no es un proceso formal, estas técnicas están pensadas para complementarse en lugar de reemplazar el flujo de trabajo. Estos métodos permiten a los miembros del equipo sin aptitudes 3D especializadas ofrecer ideas antes de profundizar en la fase de creación de prototipos. Los distintos roles y disciplinas pueden formar parte del proceso de diseño, no solo diseñadores 3D y desarrolladores. Descubrir oportunidades e identificar posibles desafíos pueden producirse más adelante en el desarrollo.

Techniques for the design process

Generar ideas con bodystorming

Conseguir que su equipo piense en los eventos que se producen en el mundo real, más allá del mundo tradicional de los dispositivos 2D, es clave para desarrollar experiencias innovadoras de realidad mixta. En Microsoft, hemos encontrado los mejores resultados al fomentar la interacción con las propiedades físicas en un espacio real. Utilizando materiales de elaboración simples y baratos creamos propiedades físicas para representar objetos digitales, interfaces de usuario y animaciones en una experiencia propuesta. Esta técnica se denomina bodystorming y ha sido un elemento básico de la ideación de productos dentro del diseño industrial durante décadas.

Teams working with materials in the Mixed Reality AcademySuministros de arte simples y baratos utilizados en la lluvia de cuerpos

Las propiedades físicas simples nivelen el campo de juego para los participantes, lo que permite a las personas con diferentes conjuntos de aptitudes y antecedentes contribuir a ideas y descubrir oportunidades inherentes a experiencias de realidad mixta en lugar de estar bloqueados en el pensamiento 2D. Aunque la creación de prototipos técnicos o guiones gráficos de alta fidelidad requiere un desarrollador o artista 3D experto, unas pocas bolas de strofoam y cartón pueden ser suficientes para mostrar cómo se puede desplegar una interfaz en el espacio físico. Estas técnicas se aplican tanto al desarrollo de realidad mixta con HoloLens como a los cascos envolventes. Por ejemplo, un conjunto de conectores de plástico podría ilustrar aproximadamente el tamaño de los hologramas que aparecen en una experiencia HoloLens o como propiedades para actuar sobre elementos o diseños de movimiento interactivos en un mundo virtual.

Bodystorming es una técnica que se usa para generar rápidamente ideas y evaluar ideas demasiado nebulosas para crear prototipos. En Microsoft, bodystorming se usa normalmente para examinar rápidamente una idea. También puede ayudar a hospedar una sesión más detallada si involucra a las partes interesadas externas que no están familiarizados con el desarrollo de realidad mixta o necesitan destilar escenarios amplios. Recuerde que el propósito de la lluvia de cuerpos es idear rápidamente y eficazmente al animar a los participantes a pensar espacialmente. Las ilustraciones detalladas o las mediciones precisas no son importantes en esta fase. Las propiedades físicas solo necesitan cumplir los requisitos mínimos para explorar o comunicar una idea. No se espera que las ideas presentadas a través de bodystorming se examinen completamente, pero el proceso puede ayudar a reducir las posibilidades de realizar pruebas más adelante durante la fase de creación de prototipos en el dispositivo. Por lo tanto, bodystorming no reemplaza la creación de prototipos técnicos, sino que compensa la carga de resolver los desafíos técnicos y de diseño durante la fase de creación de prototipos.

Comentarios de actuación y expertos

Siguiendo el proceso de lluvia de cuerpo de idear con objetos físicos en el mundo real, el siguiente paso es recorrer una experiencia con estos objetos. Llamamos a esta fase del proceso que actúa y a menudo implica almacenar provisionalmente cómo un usuario se movería a través de la experiencia o una interacción específica.

Teams acting out a scenario during a workshop in the Mixed Reality Academy
Teams actuar en un escenario durante un taller

Actuar con propiedades físicas permite a los participantes experimentar la perspectiva del usuario, al tiempo que permiten a los observadores externos ver cómo se reproducen los eventos. Esto presenta un momento ideal para incluir un público más amplio de los miembros del equipo o las partes interesadas que pueden proporcionar comentarios "expertos" específicos. Por ejemplo, si va a explorar una experiencia de realidad mixta diseñada para hospitales, la representación de las ideas ante un profesional médico puede proporcionar comentarios valiosos. Otro ejemplo es cuando puede tener un desafío específico que está intentando comprender, como audio espacial o presupuesto para la calidad de los recursos frente al rendimiento. En estos casos, actuar proporciona a los expertos un concepto rápido y aproximado de cómo se puede desarrollar la experiencia, sin necesidad de un prototipo basado en dispositivos.

Este tipo de actuación no se formaliza, sin necesidad de aportar talento profesional, pero en situaciones en las que queremos compartir el pensamiento con otros que no están presentes, grabaremos una "escena" de interacción o incluiremos un artista de guion gráfico para observar y dibujar momentos clave. Actuar también puede ser una actividad ligera, a menudo ocurriendo in situ durante la fase de lluvia de cuerpos. Decidir qué método usar depende de la audiencia y de la fidelidad necesaria para solicitar el tipo adecuado de comentarios. En última instancia, se reduce a lo que capturará de forma más eficaz el pensamiento de su equipo.

Captura de ideas con guiones gráficos

El mejor método para transmitir las ideas y los conceptos de su experiencia propuesta depende de su audiencia prevista y el tipo de comentarios que necesita la siguiente iteración. Al presentar nuevas ideas a los miembros del equipo, la repetición de la fidelidad de las tormentas corporales puede ser suficiente para llevar a alguien a la velocidad. Al introducir los conceptos de experiencia a las nuevas partes interesadas o a los usuarios potenciales, el mejor método suele ser el guion gráfico. Storyboarding es una técnica común a la industria del entretenimiento, que se encuentra en segundo plano en películas y desarrollo de videojuegos. La técnica ayuda a transmitir tanto el flujo general de una experiencia (con baja fidelidad) como la apariencia estética (a altas fidelidades). Al igual que con la creación de prototipos, comprender las necesidades de fidelidad de su guión gráfico es clave para recopilar los comentarios adecuados y evitar discusiones contra-productivas.

Example of a low-fidelity storyboard
Ejemplo de un guión gráfico de baja fidelidad

Los guiones gráficos de baja fidelidad son la fidelidad adecuada para discusiones rápidas, especialmente al transmitir ideas de alto nivel. Estos pueden ser tan simples como dibujos de figura stick y formas primitivas para denotar elementos virtuales en una escena o la proximidad de componentes interactivos (tanto físicos como virtuales). Aunque son útiles dada la facilidad relativa y la barrera de habilidad baja para ejecutarse, recuerde la lección de bodystorming: No todos pueden ver representaciones 2D de una experiencia y comprender las implicaciones 3D.

Example of a high-fidelity storyboard
Ejemplo de un guión gráfico de alta fidelidad

Los guiones gráficos de alta fidelidad son una herramienta eficaz al incorporar nuevas partes interesadas o combinar conclusiones de una sesión de lluvia de cuerpo con la dirección estética propuesta de su experiencia. Los guiones gráficos pueden crear paneles de estado de ánimo para ilustrar la apariencia final de una experiencia virtual y capturar momentos clave que pueden ser fundamentales para el producto final. Tenga en cuenta que los guiones gráficos de alta fidelidad a menudo requieren un artista, especialmente uno insertado en el equipo, que puede capturar ideas difíciles de describir. En Microsoft, hemos agregado artistas de guion gráfico, a menudo con fondos en el desarrollo de juegos, a nuestros equipos de realidad mixta que asisten a reuniones preparadas para capturar rápidamente bocetos que posteriormente se expandirán en bocetos de mayor fidelidad. Estas personas trabajan estrechamente con artistas técnicos, ayudando a transmitir la dirección artística de los activos utilizados en la experiencia final.

Proceso de diseño

Nuestro proceso comienza hoy con pizarras y notas pegajosas y se expande en bodystorming físico y actuar. Después, traducimos ese pensamiento en guiones gráficos y algo que llamamos "Concepto de una línea" (la frase de alto nivel que describe lo que estamos haciendo) antes de pasar a la creación de prototipos y recursos. Nuestro trabajo de diseño suele ser físico antes de entrar en la fase de desarrollo.

Design process flow 1
Proceso de diseño general

El proceso de diseño es desordenado y cada equipo es diferente. Sin embargo, los métodos como bodystorming, actuación y guion gráfico pueden ayudar a aliviar las dificultades en la iteración.

Design process flow 2
En realidad, sus fases iterativas continuas

Expansión de las aptitudes del equipo

La modificación del proceso para adaptarse mejor a las experiencias de realidad mixta depende de la conexión más estrecha de los roles técnicos y de diseño. Al trabajar con asociados en Microsoft, hemos visto que varios equipos pasan correctamente al desarrollo en 3D y encontramos que la mayor ventaja proviene de los miembros del equipo salir de su zona de confort y desarrollar aptitudes que les proporcionen más implicación en todo el proceso de desarrollo (no solo limitar sus habilidades para diseñar o desarrollar).

Los comentarios y la iteración son clave para cualquier diseño exitoso y con experiencias de realidad mixta, este tipo de comentarios a menudo sesga a conceptos más técnicos, especialmente dada la nascencia relativa de la tecnología y las herramientas de la realidad mixta. La creación de las aptitudes del equipo de diseño en áreas técnicas, incluidas las aptitudes con herramientas como Unity o Unreal, ayuda a esas personas a comprender mejor el enfoque de los desarrolladores y proporcionar comentarios más eficaces durante la creación de prototipos. Del mismo modo, los desarrolladores que entienden los conceptos fundamentales de la experiencia de usuario de las experiencias de realidad mixta (y posibles problemas de diseño) pueden ayudarles a ofrecer información de implementación durante las primeras fases de planeamiento.

Normalmente, obtenemos preguntas de los asociados que trabajan en realidad mixta sobre cómo hacer crecer mejor su equipo y conjuntos de aptitudes con herramientas 3D. Esta es una pregunta difícil de responder dada el estado del sector, ya que los equipos se enfrentan a la creación de experiencias de mañana con las herramientas de ayer. Muchos equipos están recopilando individuos con antecedentes en juegos y entretenimiento, donde el desarrollo 3D ha sido un elemento básico durante décadas. Teams también animan a sus equipos existentes a seleccionar herramientas como Unity y software de modelado 3D. Aunque estas son necesidades esenciales para satisfacer la base de referencia de las experiencias de realidad mixta en la actualidad, es probable que haya un gran número de herramientas y aptitudes especializadas para ayudar a crear aplicaciones innovadoras de mañana.

El campo del diseño de realidad mixta siempre cambia, con más foco en los datos y los servicios en la nube en experiencias holográficas. Esta próxima generación de experiencias aprovechará el procesamiento avanzado de lenguaje natural y la visión informática en tiempo real, y escenarios más intrínsecamente sociales dentro de experiencias envolventes. Por ejemplo, las experiencias en realidad virtual permiten a los diseñadores crear entornos y espacios imaginativos, lo que requiere un conjunto de aptitudes más parecido a la arquitectura o la psicología en lugar del diseño de interfaz tradicional. También puede considerar experiencias en el mundo real con HoloLens, donde los casos de uso suelen implicar campos altamente especializados, como medicina, ingeniería o fabricación, donde entornos específicos y datos en tiempo real son elementos esenciales de la experiencia. Trabajar entre roles, usar tanto el diseño como el conocimiento especializado, y tener la voluntad de aprender nuevas herramientas es una habilidad valiosa para los equipos que trabajan en la realidad mixta.

Ayudar a su equipo a explorar la realidad mixta de forma rápida y eficaz

En los primeros días de HoloLens, estas técnicas salieron de la necesidad, ya que el primer hardware del prototipo del dispositivo resultó ser un formato menos que ideal para iterar rápidamente a través de ideas de diseño. Los métodos de interacción, incluida la interfaz de usuario fundamental en el sistema operativo, se exploraron con bodystorming, mientras que actuar ayudaron a nuestro equipo de facilidad de uso a comprender los comportamientos fundamentales del usuario para escenarios en el lugar de trabajo. Al final, el equipo estableció una línea base sólida para la experiencia de usuario principal de HoloLens, comunicando conceptos entre roles de equipo y permitiendo que el desarrollo del sistema operativo se mueva rápidamente en paralelo con el desarrollo de hardware.

Workshop materials in the Mixed Reality Academy

Ya sea una lluvia de cuerpo, actuar, revisar con expertos o guiones gráficos, estas técnicas están pensadas para ahorrar tiempo y esfuerzo. Aunque todavía estamos muy en los primeros días de HoloLens y desarrollo de realidad virtual, la expansión del proceso de diseño para la realidad mixta ayudará a su equipo a dedicar su energía a explorar problemas de diseño nuevos y desafiantes en lugar de superar las dificultades para comunicar ideas.

Lista de muestras de suministros de taller

Los suministros de arte simples proporcionan a los miembros del equipo las herramientas necesarias para explicar ideas sin habilidades artísticas avanzadas. Este es un ejemplo de lo que nuestro equipo usa habitualmente durante la lluvia de cuerpos:

  • Discos styrofoam
  • Cubos de styrofoam
  • Conos de estireno
  • Esferas de estrofoam
  • Cajas de cartón
  • Dotes de madera
  • Palos lollipop
  • Cartulina
  • Tazas de papel
  • Cinta de conductos
  • Cinta de enmascaramiento
  • Tijeras
  • Clips
  • Abrazaderas de presentación
  • Posterior a su
  • Guita
  • Lápices
  • Sharpies

Siguiente punto de comprobación de detección

Enhorabuena, ha completado el núcleo del recorrido de detección de Mixed Reality. Puede ver cómo usan los asociados del sector Mixed Reality, explorar el HoloLens o iniciar los recorridos de diseño o desarrollo: