Caso práctico: la búsqueda de más computación personal

Las oportunidades del futuro se desvelan con los productos que creamos hoy. Las soluciones que estos productos proporcionan revelan qué necesitamos para avanzar en el futuro. Con la realidad mixta esto es especialmente cierto: la información significativa proviene de la obtención de prácticas con el trabajo real: dispositivos reales, clientes reales, problemas reales.

En Microsoft, soy parte del equipo de diseño que ayuda a los partners empresariales a crear experiencias para su negocio mediante Windows Mixed Reality. En el último año, nuestro equipo se ha centrado en HoloLens y en la comprensión de cómo el dispositivo holográfico insignia de Microsoft puede ofrecer valor a los clientes hoy en día. Trabajando estrechamente con diseñadores y desarrolladores de estas empresas, nuestro equipo se centra en descubrir soluciones que serían técnicamente inviables, financieramente impracticables o imposibles de otro modo sin HoloLens.

HoloAnatomía de case Western Reserve University

La creación de estas soluciones ayuda a los equipos internos de Microsoft a prepararse para la próxima generación de informática. Aprender cómo interactúan las personas y las empresas con tecnologías principales, como la realidad mixta, la voz y la inteligencia artificial, ayuda a Microsoft a crear mejores dispositivos, plataformas y herramientas para desarrolladores. Si es un diseñador o desarrollador que explora este espacio, comprender lo que nuestros equipos están aprendiendo de los partners hoy en día es fundamental para prepararse para las oportunidades de realidad mixta de mañana.

Ambición de Microsoft para la realidad mixta

Vivimos nuestras vidas entre dos mundos: el físico y el digital. Ambos tienen fortalezas fundamentales que aprovechamos para aumentar y ampliar nuestras capacidades. Podemos hablar en persona con un amigo, usando nuestros sentidos físicos para comprender cosas como el lenguaje corporal, o podemos aumentar nuestra capacidad de hablar mediante video chatear con un amigo a kilómetros de distancia. Hasta ahora estos dos mundos, y sus respectivas fortalezas, se han separado fundamentalmente.

El mundo físico es uno de los átomos y la física. Usamos nuestros sentidos para tomar decisiones, aprovechando años de comportamiento aprendido para interactuar con objetos y personas en nuestros entornos. A pesar de la facilidad de estas interacciones, estamos limitados por nuestras habilidades físicas y las leyes de la naturaleza.

El mundo digital es uno de bits y lógica. Los cálculos se realizan al instante, mientras que la información se puede distribuir sin esfuerzo. A pesar de la velocidad y el flujo de información, las interacciones se limitan con demasiada frecuencia a pantallas pequeñas, entradas abstractas y fuentes ruidosas.

HoloStudio

¿Qué ocurre si podríamos combinar las ventajas de los mundos físicos y digitales? Esta es la piedra angular de las experiencias en todo el espectro de la realidad mixta: un medio en el que la coexistencia física y digital existe e interactúa sin problemas. La combinación de estos mundos crea una nueva base para interactuar de forma más natural con la tecnología, una evolución en la informática personal.

El espectro de la realidad mixta ha explotar a medida que los desarrolladores han empezado a explorar las oportunidades de inmersión y presencia. Incorporar usuarios al mundo digital con experiencias envolventes (realidad virtual) y crear objetos digitales en el mundo físico con experiencias holográficas (realidad aumentada). ¿Pero cuáles son las ventajas de asignar el mundo físico al mundo digital? ¿Qué ocurre cuando damos ojos a los ordenadores para ver?

La tecnología fundamental de visión de cámara detrás de hologramas actúa como un par de ojos para que el equipo vea el entorno alrededor de usted: Objetos en el mundo, personas que te rodean, cambia a medida que suceden. Una comprensión digital de su contexto en el mundo físico. Esto conduce a una enorme cantidad de información, las implicaciones de las cuales solo estamos empezando a entender.

Culminación de las tecnologías principales

La computación suele ser algo tangible. Agarrando nuestros dispositivos para decirles quiénes somos y qué queremos. Contornando nuestro pensamiento y alineando lo que decimos para que coincida con lo que creemos que el equipo necesita escuchar.

La promesa de la realidad mixta, especialmente en el mundo real con experiencias holográficas, es reducir la carga de interactuar con la tecnología. Reducir la carga cognitiva a medida que los usuarios navegan por las capas de abstracción inherentes a la computación en la actualidad. ¿Cómo podemos diseñar experiencias que no solo aprovechen la comprensión contextual, sino que facilitan la obtención de información y tomar medidas? Dos tecnologías de contribución también intentan resolver este problema:

• La voz, en términos de voz y conversación, permite a los usuarios comunicarse con equipos a través de medios más naturales: responder a bots a través de texto o emitir comandos al hardware conversacional.
• La inteligencia artificial impulsa experiencias que destilan información de conjuntos de datos cada vez más complejos. Aunque la inteligencia artificial es un tema enorme, el progreso reciente ha proporcionado la base para los dispositivos que dependen de computer vision, asistentes digitales más naturales y acciones recomendadas para los usuarios.

La realidad mixta proporciona un medio para combinar estas tecnologías en una sola experiencia de usuario. La voz se convierte en un método eficaz y natural para la entrada cuando se usa un casco holográfico. La inteligencia artificial actúa como un cifrado crítico para contextualizar las enormes cantidades de información que conectan los mundos físicos y digitales. Este es el motivo por el que Sataya Nadella hace referencia a HoloLens como "el equipo final", es un dispositivo culminante para tres tecnologías principales. Una plataforma para permitir a los humanos interactuar más fácilmente con la creciente complejidad de los dispositivos y servicios.

Menos interfaz en la cara

Un dispositivo culminante que conecta el mundo físico al mundo digital nos permite diseñar experiencias que encajan de forma más natural, sin abstracciones complicadas. Tenga en cuenta las experiencias que ha creado: Cuando se quitan las barreras de abstracción, ¿cuánto queda de la interfaz? ¿Qué partes del flujo de la aplicación cambian cuando conoce al usuario y su contexto? ¿Cuántos menús y botones permanecen?

Por ejemplo, piense en experiencias compartidas en realidad mixta, como el laboratorio de propulsión jet de la NASA de la NASA creado para científicos. En lugar de crear un sistema para examinar los datos marcianos (abstraer los datos en pantallas o pantallas), trajeron a los científicos dentro de los datos, lo que los puso en la superficie de Marte a medida que colaboraban.

NASA/JPL OnSight

En lugar de encontrar el botón para llamar la atención sobre algunas geología marcianos, los científicos pueden apuntar a él directamente. No hay menús, ni lápices, ni curva de aprendizaje para usar la herramienta de forma eficaz. Al aprovechar nuestras capacidades conocidas del mundo físico, las interacciones más naturales en la realidad mixta pueden eludir la alfabetización técnica profunda en incluso las herramientas más avanzadas del sector.

Del mismo modo, la voz y la inteligencia artificial pueden ampliar la interacción natural en la experiencia como esta. Cuando los asistentes digitales pueden "ver" en el mundo que nos rodea, las conversaciones se sentirán menos complicadas. Un bot de la herramienta de la NASA podría extraer el contexto de los científicos que confieren la geología marciano, actuando como una fuente de información lista (y conversacional) cuando los científicos gestos y pregunten sobre "esto" o "eso". Un equipo que sepa que su contexto está listo para saltar con la información adecuada para usted, a través de un método de interacción más adecuado para su contexto.

Creación de una base

En este mundo de experiencias contextuales, la movilidad del usuario es clave. Moverse fluidamente entre dispositivos y servicios, con contextos altamente personalizados, los usuarios viajarán sobre el mundo físico sin problemas, creando un desafío de plataforma masivo . Cuando el mundo físico se convierte en un punto de conexión digital, la interoperabilidad reina la suprema.

"Reunir el universo digital y el mundo físico desbloquearán el potencial humano... permitir que cada persona y organización del planeta logren más."
— Satya Nadella

Windows Mixed Reality es un esfuerzo por crear una plataforma para un ecosistema de dispositivos, lo que permite a los desarrolladores crear experiencias envolventes, asequibles y compatibles para el público más grande posible. El futuro no se limitará a un único fabricante, por ejemplo, a un único dispositivo. Auriculares, dispositivos móviles, pc, accesorios... todas estas cosas físicas deben interoperar (así como cosas digitales como gráficos y servicios) a través de una plataforma subyacente para ofrecer correctamente la promesa de realidad mixta.

Diseño para las experiencias de mañana en la actualidad

Cada una de las tecnologías principales detrás de esta nueva clase de experiencias permite a los diseñadores y desarrolladores crear experiencias atractivas y exitosas hoy en día. Al reducir la abstracción, podemos interactuar más directamente con el mundo digital, lo que nos permite diseñar de maneras que aumentan y amplifican las capacidades humanas. La tecnología de voz (a través de bots y asistentes digitales como Cortana) permite a los usuarios llevar a cabo conversaciones y escenarios cada vez más complejos, mientras que la tecnología de inteligencia artificial (a través de herramientas como Microsoft Cognitive Services) hace que las empresas replanteen cómo los usuarios interactuarán con todo, desde las redes sociales hasta la administración de la cadena de suministro.

Estos tipos de interacciones se basarán en una nueva clase de herramientas de diseño, así como en la compatibilidad fundamental de la plataforma. La creación de estas herramientas y la creación de esta plataforma para dispositivos y servicios se basa en comprender cómo las experiencias de mañana resolverán problemas reales y tangibles. Hemos identificado cinco áreas de oportunidad en las que nuestros socios empresariales han entregado soluciones valiosas y donde creemos que la inversión continua nos ayudará a prepararse para esta nueva clase de informática.

Áreas de oportunidad

El año pasado, las asociaciones de desarrolladores han descubierto áreas de oportunidad que resuenan con los clientes y crean soluciones empresariales exitosas. Desde científicos y técnicos hasta diseñadores y clientes, han surgido cinco áreas de oportunidad en las que los partners de Microsoft encuentran valor con realidad mixta. Estas áreas ya proporcionan información masiva sobre las necesidades futuras de plataformas como Windows Mixed Reality y pueden ayudarle a comprender cómo estas nuevas experiencias afectarán a las formas en que aprendemos, colaboramos, comunicamos y creamos.

1. Creación y diseño

Una de las principales oportunidades de realidad mixta es la capacidad de ver y manipular diseños 3D en tiempo real, en un entorno real, a un tamaño y escala verdaderos. Las herramientas de diseño y creación de prototipos han escapado de los límites de las pantallas, volviendo a un dominio de diseño normalmente reservado para materiales tangibles y físicos como madera y arcilla.

Autodesk creó una experiencia de realidad mixta destinada a mejorar la colaboración en todo el proceso de desarrollo de productos. La capacidad de los ingenieros y diseñadores para realizar encuestas y críticas de modelos 3D en su entorno les permitió iterar en un diseño en tiempo real. Esto no solo habilitó la creación de prototipos más rápida, sino que dio paso a decisiones más seguras en el proceso.

Las experiencias como esta resaltan la necesidad de experiencias de colaboración principales, la capacidad de los usuarios de ver y comunicarse con objetos compartidos. El objetivo de Autodesk es expandir el producto desde profesionales de diseño e ingenieros hasta artistas digitales, estudiantes y aficionados. A medida que disminuye el nivel de experiencia en 3D de los usuarios, la capacidad de interactuar con objetos de forma natural es fundamental.

2. Montaje y fabricación

Desde la creciente cantidad de especialización en plantas de fábrica hasta los rápidos avances de la gestión de la cadena de suministro, el acceso sin problemas a la información relevante es clave. La realidad mixta ofrece la capacidad de sintetizar grandes conjuntos de datos y proporcionar pantallas visuales que ayudan en áreas como la navegación y las operaciones. A menudo son campos muy técnicos y de nicho en los que la integración con conjuntos de datos y servicios personalizados es fundamental para reducir la complejidad y proporcionar una experiencia correcta.

El fabricante de ascensorEsTableKrupp creó una experiencia para los técnicos de servicio de ascensor, lo que les permite visualizar e identificar problemas en la preparación de un trabajo. Con un equipo que abarca más de 24 000 técnicos, los dispositivos como HoloLens permiten a estos técnicos tener acceso remoto y sin manos a la información técnica y experta.

Además, El Valor DeKrupp destaca un concepto eficaz aquí que la información crítica y relevante contextualmente se puede entregar rápidamente a los usuarios. A medida que avanzamos a una nueva clase de experiencias, la destilación de grandes cantidades de información posible para el contenido relevante para el usuario será clave.

3. Formación y desarrollo

La representación de objetos e información en tres dimensiones ofrece nuevas formas de explicar los escenarios visualmente y con la comprensión espacial. El entrenamiento se convierte en un área clave de oportunidad, aprovechando la capacidad de representar digitalmente objetos enormes y complejos (como motores jet) para crear simulaciones de entrenamiento para una fracción del costo de una solución física.

Japan Airlines ha estado experimentando con programas de concepto para proporcionar entrenamiento complementario para la mecánica del motor y las tripulaciones de vuelo. Los motores jet masivos (tanto en tamaño como en complejidad) se pueden representar en 3D, ignorando las limitaciones del mundo físico para mover y rotar objetos virtuales alrededor de los aprendices, lo que les permite ver cómo funcionan los componentes de línea aérea en tiempo real.

El entrenamiento con componentes virtuales (y la reducción de la necesidad de simuladores de entrenamiento físico costosos) es una manera clave de ofrecer valor en escenarios empresariales en la actualidad. A medida que este escenario se expande (como hemos visto en áreas como la medicina), computer vision se vuelve especialmente importante para reconocer objetos únicos en el entorno, comprender el contexto del usuario y entregar instrucciones pertinentes.

4. Comunicación y comprensión

Las interacciones entre dos personas (si ambos participantes están en dispositivos de realidad mixta o uno está en un equipo o teléfono tradicional) pueden proporcionar una sensación de inmersión dentro de un nuevo entorno o una sensación de presencia al comunicarse virtualmente con otros. En escenarios empresariales, esta sensación de presencia es una boon para los equipos móviles, lo que ayuda a aumentar la comprensión de los proyectos y reducir la necesidad de viajar.

El fabricante tecnológico comercial Trimble desarrolló una solución para profesionales del sector de la arquitectura y la construcción para colaborar y revisar el trabajo durante el desarrollo de edificios. Los profesionales pueden sumergirse de forma remota en un proyecto para discutir el progreso o estar en la ubicación y revisar los planes como lo verían (en su forma final) en el entorno alrededor de ellos.

Las experiencias compartidas son un área importante de inversión para Microsoft, con aplicaciones como Skype que exploran nuevas formas de representar a los humanos en el espacio digital. Los equipos exploran grabaciones de vídeo volumétricas, avatares y recreaciones del espacio físico de un participante.

5. Entretenimiento y compromiso

La naturaleza de la inmersión en la realidad mixta puede tener un gran impacto en la forma en que los clientes interactúan con el entretenimiento y el marketing. Los artistas y estudios de entretenimiento han explorado la realidad mixta como un medio atractivo para contar historias, mientras que las empresas están explorando las implicaciones para el marketing de marca. Desde demostraciones de productos en salas de exposición privadas hasta piezas de visión contadas en exposiciones comerciales, el contenido se puede entregar de maneras más envolventes y adaptadas.

Volvo creó una experiencia para mostrar sus modelos de automóvil más recientes (usuarios envolventes en diferentes colores y configuraciones) al tiempo que resalta cómo funcionan los sensores avanzados para crear una experiencia de conducción mejor y segura. Llevar a los clientes a través de una experiencia guiada de sala de exposición permite a Volvo contar la historia detrás de la característica de automóvil de vanguardia, al tiempo que ofrece una representación memorable de su historia de marca.

El entretenimiento es de muchas maneras empujando los límites de la realidad mixta (especialmente la realidad virtual) y quizás lo más atractivo de este espacio es cómo interactuará con el área anterior de oportunidad: comunicación y comprensión. Con varios usuarios, cada uno con su propia variante de dispositivos y métodos de interfaz, puede imaginar un gran futuro de personalización en el dominio del entretenimiento.

Empezar a compilar hoy

Es difícil decir lo que el futuro lejano de la realidad mixta tendrá para los consumidores, pero centrarse en problemas únicos, ponerse en práctica con hardware real y experimentar hoy con la intersección entre la realidad mixta, la voz y la inteligencia artificial es clave. Microsoft está empezando a trabajar con la realidad mixta, pero aprender de los éxitos realizados por las empresas hoy en día le ayudará a crear las experiencias de mañana.

Siguiente punto de comprobación de detección

Si está siguiendo el recorrido de detección hemos diseñado, está a mitad de explorar los aspectos básicos de la realidad mixta. Desde aquí, puede continuar con el siguiente tema básico:

Dispositivo envolvente, ergonómico, instintivo y sin cables

O bien, vaya a Mixed Reality experiencias principales:

Preservar la comodidad del usuario (confort)

Acerca del autor

Mark Vitazko UX Designer @Microsoft