Caso práctico: creación de perspectivas imposibles para HoloTour

Queríamos que tus experiencias en HoloTour Microsoft HoloLens sean inolvidables. Además de las paradas turísticas tradicionales, planeamos algunas "perspectivas imposibles" – momentos que serían imposibles de experimentar en cualquier recorrido, pero que, a través de la tecnología en HoloLens, podríamos traer directamente a su sala de estar. La creación del contenido para estas experiencias requiere algunas técnicas diferentes a nuestro proceso de captura estándar.

Desafío de contenido

Hay algunas escenas en la experiencia holoTour, como el paseo en globo de aire caliente sobre Roma de día moderno y la lucha gladiatorial en el Colosseum en la antigua Roma, que proporcionan vistas únicas que no verás en ningún otro lugar. Estos momentos están pensados para excitar y sorprenderte, haciendo que tu viaje a través de HoloTour sea más que una experiencia educativa. Son los momentos en los que queremos que recuerdes y te complace contar a otras personas. Dado que no pudimos llevar nuestra plataforma de cámara hacia el cielo y aún no hemos dominado el viaje en el tiempo, cada una de estas "perspectivas imposibles" llamó a un enfoque especial para crear contenido.

Entre bambalinas

La creación de estos momentos y perspectivas únicos requiere algo más que solo filmar y editar. Tardó mucho tiempo, gente con muchas habilidades diferentes, y un poco de magia de Hollywood.

Ver Roma desde un globo de aire caliente

Desde nuestros primeros días de planificación, sabíamos que queríamos hacer vistas aéreas en HoloTour. Ver Roma desde el cielo te da una perspectiva que la mayoría de la gente nunca llega a ver y una sensación de cómo se encuentran espacialmente los lugares de interés populares. Tratar de capturar esto nosotros mismos con nuestra cámara y plataforma de micrófonos existentes habría sido enormemente difícil, pero afortunadamente no teníamos que hacerlo.

En primer lugar, es importante explicar que todas las ubicaciones que visita en HoloTour tienen movimiento en ellas. Nuestro objetivo era hacer que "se sienta como si realmente estuviera allí" y ya que está rodeado de movimiento por todas partes que vaya en la vida real, nuestros destinos virtuales también necesitaban transmitir el movimiento ambiental. Por ejemplo, cuando visites el Pantheon en tu viaje, verás a personas vagando por la plaza y reuniendo en los pasos. El movimiento de fondo ayuda a hacer que se sienta como si estuviera realmente de pie en la ubicación, en lugar de en un entorno estático almacenado provisionalmente.

Para crear las vistas aéreas para el viaje en globo, trabajamos con otros equipos de Microsoft para obtener acceso a imágenes panorámicas aéreas de Roma. La calidad de estas imágenes fue excelente y la vista fue impresionante, pero cuando los usamos en las escenas sin modificaciones, se sentían sin vida en comparación con las otras partes del recorrido y la falta de movimiento estaba distraída.

The hot air balloon basket, floating over Rome.
La cesta del globo de aire caliente, flotando sobre Roma

Para garantizar que las ubicaciones aéreas cumplen la misma barra de calidad que otros destinos, decidimos transformar las fotografías estáticas en escenas en vivo y en movimiento. El primer paso era editar la imagen y el movimiento compuesto en ella. Contratamos un artista de efectos visuales para ayudarnos con esto. La edición se realizó para mostrar nubes lentamente desfase, aves volando por y un avión o helicóptero ocasional que atraviesa el horizonte. En el suelo, se hicieron varios coches para conducir las calles. Si has estado en la gira de Roma en HoloTour, es poco probable que conozcas explícitamente cualquiera de este movimiento. ¡Eso es realmente genial! El movimiento sutil no está pensado para captar el ojo, pero sin estos pequeños toques, la gente notó inmediatamente que era una imagen estática en la escena.

La segunda cosa que hicimos fue darte un punto de vista desde el que ver la escena. No te sentirás como si realmente estuvieras ahí si simplemente estás flotando en el aire, por lo que creamos un modelo 3D de un globo y te colocamos dentro de él. Esto le permite caminar alrededor del globo y mirar sobre el borde para obtener un mejor punto de vista. Hemos encontrado que esto es una manera natural y divertida de experimentar las imágenes aéreas.

La experiencia de globo de aire caliente presentó desafíos únicos para nuestro equipo de audio, ya que la logística nos impedía tener micrófonos que se desplazan miles de pies sobre Roma. Afortunadamente, tuvimos una gran cantidad de captura de audio ambiente de todo el mundo que pudimos usar durante la posproducción. Colocamos emisores de audio en sus ubicaciones relativas desde donde fueron capturados desde el suelo. Después, el audio se filtre para sonar distante, como si lo escucharas desde la perspectiva de alguien que montaba en el globo de aire caliente, proporcionando un auténtico paisaje de sonido direccional para la escena.

Tiempo que viaja a la antigua Roma

Los restos de monumentos y edificios a lo largo de Roma son impresionantes incluso dos mil años después de su construcción, pero sabíamos que teníamos una oportunidad única para mostrar lo que sería volver en el tiempo y ver estas estructuras como aparecieron en la antigua Roma.

Naturalmente, no hay imágenes de vídeo ni imágenes estáticas) del Colosseum como apareció cuando se creó, por lo que necesitamos crear nuestra propia. Tuvimos que hacer una gran cantidad de investigación para aprender tanto sobre la estructura como podríamos; comprender los materiales que se hicieron a partir de, revisar diagramas arquitectónicos y leer descripciones históricas para obtener suficiente información para poder crear una recreación virtual.

The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome.
Las ruinas modernas del Colosseum con una superposición que muestra el piso de arena como habría visto en la antigua Roma

Lo primero que queríamos hacer era mejorar las visitas tradicionales con superposiciones educativas. En HoloTour cuando visita las ruinas del Colosseum tal y como se encuentra hoy, el piso de arena se transforma para mostrar cómo habría visto durante el uso, incluyendo las áreas de ensayo subterráneas elaboradas. En un paseo normal, es posible que tengas esta información descrita y podrías intentar imaginarla, pero en HoloTour puedes verlo realmente.

Para una superposición como esta, tuvimos que nuestros artistas coincidan con el punto de vista de nuestro material de captura y crear la imagen superpuesta a mano. La perspectiva debe coincidir para que, cuando reemplacemos el vídeo por nuestra imagen, ambos se alinearán correctamente.

Ensayo de la pelea del gladiador

Mientras que las superposiciones son una manera atractiva de enseñar a las personas sobre la historia, lo que más nos excitaba era transportarte en el tiempo. La superposición era simplemente una imagen fija desde un punto de vista determinado, pero el tiempo que viaja requeriría que todo el Colosseum se modele, y, como se explicó anteriormente, era necesario tener movimiento en la escena para que se sienta vivo. Lograr que tomó una cantidad considerable de esfuerzo.

Esta empresa era demasiado grande para que nuestro equipo hiciera sola, por lo que nuestro equipo de arte trabajó con Whiskytree, una compañía de efectos externos que normalmente trabaja en efectos visuales para películas de Hollywood. Whiskytree nos ayudó a recrear el Colosseum en su heyday, lo que nos permite enseñar sobre la estructura mientras se encuentra en la planta de arena y crear una vista de una pelea de gladiador desde la caja del emperador. Las multitudes animadoras y los banners ondulados añaden el sutil movimiento necesario para que se sienta como estos son lugares reales y no solo imágenes.

The recreated Colosseum as seen from the arena floor. When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.
El Colosseum recreado como se ve desde el piso de arena. Cuando se ven en HoloTour, las pancartas brillan en la brisa, dando una sensación de movimiento.

La gira de Roma culmina con la lucha de gladiadores. Whiskytree nos proporcionó la arena y las simulaciones de multitud 3D representadas como vídeo, pero necesitábamos agregar los gladiadores en el piso de arena. Esta parte de nuestro proceso parecía más como una producción de vídeo de Hollywood que un proyecto de un estudio de juegos de incubación. Los miembros de nuestro equipo asignaron una secuencia de lucha dura y luego la refinaron con un coreógrafo. Contratamos a actores para realizar nuestra batalla ficticia y compramos armadura para que vean la parte. Finalmente, filmamos toda la escena en una pantalla verde.

Our gladiators, getting instructions between takes.
Nuestros gladiatiors, obteniendo instrucciones entre toma

Esta escena te coloca en la caja del Emperador, lo que significaba que todas las imágenes necesitaban estar desde esa perspectiva. Si filmamos desde donde los gladiadores estaban luchando en el piso de la arena, no habríamos podido componer correctamente la secuencia de pelea en más adelante, por lo que colocamos a nuestro operador de cámara en un ascensor de tijera muy alto, mirando hacia abajo en la secuencia de pelea para filmar.

Getting the right perspective: filming from a scissor lift.
Obtención de la perspectiva correcta: filmación desde una elevación de tijera

En posproducción, los gladiadores fueron compuestos en el piso de arena y la perspectiva fue correcta, pero un problema permaneció: las sombras de los gladiadores en la pantalla verde se quitaron como parte del proceso de redacción. Sin sombras, parecía que los gladiadores flotaban en el aire. Afortunadamente, Whiskytree es excelente para resolver solo este tipo de problema y usaron un poco de asistentes técnicos para agregar sombras de nuevo a nuestra escena. El resultado es lo que ve en la gira hoy.

Acerca de los autores

David Haley David Haley es un desarrollador sénior que aprendió más sobre las plataformas de cámara y la reproducción de vídeo de lo que pensaba que era posible trabajar en HoloTour. Jason Syltebo Jason Syltebo es un diseñador de audio que se asegura de que podrías experimentar el paisaje sonoro de cada destino que visitas, incluso cuando vuelves en el tiempo.
Danny Askew Danny Askew es un artista de video que se asegura de que su viaje a través de Roma sea lo más impecable posible.

Vea también