什么是混合现实？
混合现实是计算领域的下一波浪潮，紧随其后的是大型机、电脑和智能手机。 混合现实正在消费者和企业之间成为主流。 它提供与居住空间数据和好友之间的本能交互，将我们从受屏幕束缚的体验中解放出来。 世界各地数以亿计的在线探索者通过他们的手持设备体验了混合现实。 移动 AR 提供了目前社交媒体上最主流的混合现实解决方案。 人们甚至可能没有意识到，他们在 Instagram 上使用的 AR 滤镜就是混合现实体验。 Windows Mixed Reality 借助令人惊叹的人体全息影像、高保真全息 3D 模型及周围的现实世界，将所有这些用户体验提升到新的水平。
混合现实是物理世界和数字世界的混合，开启了人、计算机和环境之间的自然且直观的 3D 交互。 这种新的现实基于计算机视觉、图形处理、显示技术、输入系统和云计算的进步。 Paul Milgram 和 Fumio Kishino 在其 1994 年发表的论文“A Taxonomy of Mixed Reality Visual Displays”（混合现实视频显示的分类法）中首次引入“混合现实”一词。该论文中探讨了“虚拟连续体”的概念以及视觉显示的分类法。 从那此后，混合现实的应用程序包括以下各项，已经超越了显示内容：
- 环境理解：空间映射和定位点。
- 人类理解：手动跟踪、目视跟踪和语音输入。
- 空间音效。
- 物理和虚拟空间中的位置和定位。
- 混合现实空间中的 3D 资产协作。
图像：混合现实是将物理世界与数字世界相融合的结果。
环境输入和感知
近几十年来，人机关系持续通过输入方式变化得到发展。 进而诞生了称作“人机交互”(HCI) 的新学科。 人类输入现可包括键盘、鼠标、触摸、笔迹、语音和 Kinect 骨骼跟踪。
传感器和处理能力的进步在于基于先进的输入方法创造出了计算机对环境的新感知。 这就是 Windows 中显示环境信息的 API 称作感知 API 的原因。 环境输入可以捕获：
插图： 计算机、人类与环境之间的交互。
这三个基本元素的组合为创建真正的混合现实体验奠定了基础：
- 由云提供支持的计算机处理
- 先进的输入方法
- 环境感知
我们在物理世界中移动时，我们的运动将反映在数字现实中。 物理边界影响混合现实体验，如游戏或生产设施中基于任务的指导。 有了环境输入和感知，体验开始在物理现实与数字现实之间进行融合。
混合现实范围
混合现实融合了物理世界和数字世界。 这两种现实定义了称作“虚拟连续体”的范围的两个极端。 我们将这一系列的现实称作“混合现实范围”。 一端是人类所在的物理现实。 另一端是相对应的数字现实。
增强现实与虚拟现实
目前市场上的大多数手机几乎都不具备环境感知功能。 这些手机提供的体验无法混合物理现实和数字现实。
在物理世界中叠加图形、视频流或全息影像的体验称为“增强现实”。 遮挡视线以呈现全沉浸式数字体验的体验是“虚拟现实”。 在增强现实和虚拟现实之间转换的体验形成了混合现实，通过它可以：
- 在物理世界中放置一个数字对象（如全息影像），就如同它真实存在一样。
- 在物理世界中以个人的数字形式（虚拟形象）出现，以在不同的时间点与他人异步协作。
当用户处于虚拟现实中时，他们周围的物理障碍物（例如墙和家具）在体验过程中以数字方式呈现，以免用户与这些物理障碍物发生碰撞。
图像：混合现实范围
当今的大部分增强现实和虚拟现实体验仅代表了混合现实的一小部分。 Windows 10 的开发考虑到了整个范围，可以融合现实世界中人员、地点和物品的数字表示形式。
设备和体验
有两种主要类型的设备可以提供 Windows Mixed Reality 体验：
- 全息设备的特征是能够显示数字对象，就像是这些对象存在于真实世界中一样。
- 沉浸式 VR 设备的特征是能够隐藏物理世界并将其替换为全沉浸式数字体验，从而创建“存在感”。
| 特征 | 全息设备 | 沉浸式设备 |
|---|---|---|
| 示例设备 | Microsoft HoloLens | Samsung HMD Odyssey+ |
| 显示器 | 看透显示内容。 可让用户在戴上头戴显示设备时观看物理环境。 | 不透明显示。 在戴上头戴显示设备时阻挡物理环境。 |
| 移动 | 六度自由全方位运动，支持旋转和平移。 | 六度自由全方位运动，支持旋转和平移。 |
注意
设备是与单独的电脑保持连接（通过 USB 数据线或 Wi-Fi）还是断开连接状态，并不能反映设备是全息设备还是沉浸式设备。 可改善运动性的功能会提供更好的体验。 全息设备和沉浸式设备都可以保持连接或断开连接状态。
混合现实体验是技术进步的结果。 Windows 10 为设备制造商和开发人员提供了一个通用的混合现实平台。 当今提供的任何设备都可以支持混合现实范围内的某个特定范围。 未来有望出现支持范围更广的新设备：全息设备将变得更有沉浸感，而沉浸式设备也将变得更具全息感。
图像：设备在混合现实范围内所处的位置
作为应用程序或游戏开发人员，你要创建什么类型的体验？ 体验往往面向混合现实范围内的特定点或部分。 你需要考虑希望面向的设备的功能。 依赖于物理世界的体验最好是在 HoloLens 上运行。
- 向左（接近物理现实）。 用户保留在其物理现实中，并且不相信他们已离开该现实。
- 中间（完全混合现实）。 这些体验融合了真实世界和数字世界。 例如，在电影勇敢者的游戏中，故事发生地的房子与丛林环境融合后的物理结构。
- 向右（接近数字现实）。 用户将体验数字现实，但不会意识到其周围的物理现实。
下一个发现检查点
你正处于我们为你安排的探索之旅的起点，正在探索混合现实的基础知识。 从这里，你可以进入下一基本主题：