James Turrell 的设计作品充分利用了光线。 他的作品会令人对深度和焦点的感觉变得模糊。 墙壁似乎在近处，但又仿佛无限远，阴影取代了亮度。 精心地平衡光的色彩及漫射，营造令人陌生的感知。 Turrell 将这些感觉描述为“用眼睛去感受”，这是理解现实的一种延伸方式。 如 Turrell 想象的一样，这些梦幻般的世界是强大的工具，它们可以利用我们的感官，这不同于当今混合现实中的沉浸式环境。
如何在混合现实中呈现复杂的真实世界环境？
以沉浸式体验呈现 Turrell 的作品，是一件极具挑战性的工作。 照明、比例和空间音频为呈现他的作品提供了机会。 虽然展品的几何环境所需的 3D 建模相对简单，但它们次于艺术家的关注点，即光线对感官的影响。
Turrell 鲜明的超现实极简主义是他作品的代表性标志，但我们如何能够在混合现实中使用更复杂的材料来呈现一件作品呢？
2013 年，艺术家艾未未在威尼斯双年展上展出了一件由 886 张古董凳组成的错综复杂的艺术作品。 每张木凳都出自中国手工艺备受推崇的时代，并且得以世代相传。 而这些凳子本身（包括木材结构的复杂性、构件的精确性以及它们之间精心的摆放）强烈地反映了艾未未对现代文化的看法。
借由这些古董凳的真实存在感，艺术家的思想得以传达。 这些凳子的现实表现形式对体验而言至关重要，它带来了技术方面的挑战：手工雕刻 886 张凳子中的每一张都会带来巨大的工作量且成本高昂。 建模和定位这件作品需要多久？ 如何保持材料的真实感？ 从多个角度而言，从头开始重新创建这些对象是对艺术品本身的一种解读。 如何保留艺术家的初衷？
捕获混合现实资产的方法
另一种从头开始创建内容的方法是捕捉真实的内容。 通过一套不断改进的捕捉方法，我们可以为混合现实中发现的每种核心资产类型（环境、对象和人）开发真实的表示形式。
从完善的 2D 视频到最新形式的立体视频，我们拥有各类表示形式。 以艾未未的展品为例，在创建展品期间可以采用扫描（通常指其基本技术，即摄影测量法）来扫描每个凳子本身。 360° 照片和视频拍摄是另一种将体验虚拟化的方法，它利用遍布展品的高质量全方位摄像头。 借助这些技术，人们开始理解比例感，最好有足够的详细信息，这样人们可以看到每件作品的工艺。 虽然所有内容都以数字形式呈现，但它们传达了一种在现实中无法表现的新愿景和观点。
如果在混合现实中，我们不仅能创造奇妙的元素，还能利用最真实的环境、对象和人物捕捉，我们会有什么样的机会呢？ 探索这些方法之间的交叉部分，有助于指明媒介的发展方向。
对于环境和对象，360° 成像软件正在不断发展并引入摄影测量元素。 先进的 360° 视频将深度信息与场景隔离开来，帮助减轻在环顾虚拟场景时仿佛头卡在鱼缸中的感觉。
对于人们来说，新方法正在不断涌现，这些方法结合了动作捕捉和扫描并进行了延伸：动作捕捉是将具体的人体动作引入视觉效果和电影角色的基础，而扫描则已经发展到可以捕捉详细的人类视觉感受（如面部和手部）。 随着呈现技术的不断进步，一种被称为立体视频的新方法在这些技术的基础之上建立，它结合了视觉和深度信息，创造出下一代的 3D 人体捕捉。
立体视频，追求真实人体捕捉
最直白一点来说，分享故事时，人是核心：人在说话，人在做动作，或者，人是故事的主体。 在如今早期的沉浸式体验中，一些最具有沉浸感和令人大开眼界的时刻都是与社交相关的：在客厅共享混合现实体验、在不可思议的新环境中会见朋友。 人的因素甚至使最奇妙的现实体验成为真正的现实。
在沉浸式体验中，虚拟形象实现了一种新的故事分享体现。 最新的应用正在反思虚拟身体所有权的概念，并将实现代际飞跃来消除人与人之间的距离。 Mindshow 等公司都在开发创造性工具来利用虚拟形象，让用户能够获得全新的角色和人物。 其他公司正在探索艺术表达方法，这可能是探索类人属性本质（和必然性）的一次创意无限的机会。 目前，这种真实感的缺失有助于避免跌入与人类相似度过高而导致的恐怖谷陷阱，并避开日常开发人员会遇到的一系列技术问题。 基于这些原因（以及其他更多原因），非现实虚拟形象在可预见的未来可能成为一种默认选择。 然而，虽然真实感给混合现实带来了巨大的挑战，但一些关键场景则需要在 3D 空间中真实呈现人类。
在 Microsoft，一个从 Microsoft Research 诞生的小团队在过去几年中一直在开发一种通过立体视频形式来捕捉人类的方法。 现在的过程与视频制作过程类似：它是完整的 3D 录制，而不是向雕刻资产应用运动。 性能和图像是实时捕捉的 - 它不是艺术家的作品，它是一个真实的呈现。 虽然这项技术才刚刚开始扩展到商业应用中，但立体视频的意义对于 Microsoft 的“更多个人计算”愿景至关重要。
真实的人类捕捉为混合现实开启了一种全新的独特体验。 看到你认识的人，无论是名人、同事还是你爱的人，都会创造一种数字媒体中前所未有的亲密感。 他们的脸、表情以及动作的细微差别都表明了他们是谁。 当我们可以在 3D 空间中捕捉这些人类特质时，它会给我们带来什么机会？
如今，团队专注于娱乐和教育等领域来推动立体视频的发展：Actiongram 以创意人物和名人为特色来创造混合现实故事。 现在在美国国家航空航天局的肯尼迪航天中心举办的《目的地：火星》展览特别推出了传奇宇航员 Buzz Aldrin 的立体视频。 在体验中，Buzz 介绍人类定居火星的追求，与此同时游客可以随他一起在火星表面漫步。
人类是混合现实的基本要素
要使这些视频看起来自然，这对设计方法提出了挑战，但是团队却发现了其中的巨大潜力。 随着技术的普及以及从录制到实时捕捉的发展，机会会越来越多。
Holoportation 是一项基于相同基础技术的研究成果，它能真实捕捉视觉和深度信息并实时呈现结果。 团队正在探索真实人类呈现能力对未来对话和共享体验的意义。 如果可以将来自世界任何地方的某个人的三维捕捉添加到你的环境中，那会发生什么？
从在 Skype 等日常应用中添加新的沉浸感图层，到彻底重塑数字会议和商务旅行概念，立体视频开启了独一无二的场景：一位专家在遥远的大陆上对医生进行虚拟培训，或者在线朋友坐在你家客厅的沙发和椅子上。 将真实人类呈现添加到混合现实体验中，将彻底重塑数字会议和商务旅行概念。
正如 James Turrell 的抽象艺术和艾未未的批判现实主义提出了他们自己独特的技术挑战一样，采用创意虚拟形象和现实捕捉来呈现人类的方法也是如此。 这两者缺一不可，同时探索两者的潜力将有助于我们了解人类在这个全新空间中的交互。
关于作者
 |
Mark Vitazko UX Designer @Microsoft |