通过构建今天的产品，可以发现明天的机会。 这些产品提供的解决方案揭示了未来发展所需的内容。 对于混合现实，这尤其如此：有意义的见解来自通过实际工作（真实设备、真实客户、实际问题）获得实践。
在 Microsoft，我是设计团队的一员，帮助企业合作伙伴使用Windows Mixed Reality为其业务构建体验。 在过去的一年里，我们的团队专注于 HoloLens，并了解Microsoft的旗舰全息设备如何为当今的客户带来价值。 我们的团队与这些公司的设计人员和开发人员密切合作，专注于发现没有 HoloLens 在技术上不可行、财务上不切实际或不可能的解决方案。
凯斯西储大学的 HoloAnatomy
构建这些解决方案有助于Microsoft的内部团队为下一代计算做好准备。 了解个人和企业如何与混合现实、语音和 AI 等核心技术进行交互，帮助Microsoft开发人员构建更好的设备、平台和工具。 如果你是探索此空间的设计师或开发人员，了解我们的团队今天从合作伙伴学习的内容对于为未来的混合现实机会做好准备至关重要。
Microsoft对混合现实的雄心壮志
我们生活在两个世界之间：物理世界和数字世界。 两者都有我们利用的基本优势来增强和扩展我们的能力。 我们可以与朋友当面交谈，使用我们的身体感官来理解身体语言等内容，或者我们可以通过视频聊天来增强我们说话的能力，与几英里外的朋友聊天。 直到现在，这两个世界，以及它们各自的优势，已经从根本上分离了。
物理世界是原子和物理学之一。 我们利用我们的感官做出决策，利用多年的学习行为来与环境中的对象和人员进行交互。 尽管这些相互作用容易，但我们受到身体能力和自然规律的限制。
数字世界是位和逻辑之一。 计算是即时进行的，而信息可以毫不费力地分发。 尽管信息的速度和流动速度高，但交互通常仅限于小屏幕、抽象输入和干扰源。
HoloStudio
如果我们能结合物理世界和数字世界的优势呢？ 这是各种混合现实体验的基石：物理和数字共存并无缝交互的媒体。 结合这些世界为更自然地与技术交互打下了新的基础，这是个人计算的演变。
随着开发人员开始探索沉浸式和存在的机会，混合现实的光谱已经爆炸。 通过沉浸式 (虚拟现实) 体验将用户带入数字世界，并通过全息 (增强现实) 体验在物理世界中创建数字对象。 但是，将物理世界映射到数字世界有什么好处呢？ 当我们让计算机眼睛看到时，会发生什么情况？
全息影像背后的基本相机视觉技术就像一双眼睛，让计算机看到你周围的环境：世界上的对象，你周围的人，随着它们发生的变化。 对物理世界中上下文的数字理解。 这导致大量的信息，我们才刚刚开始了解其影响。
核心技术
计算常常是一件有形的事情。 抓住我们的设备，告诉他们我们是谁，我们想要什么。 扭曲我们的思维，并调整我们所说的内容，以匹配我们认为计算机需要听到的内容。
混合现实的承诺，特别是在具有全息体验的现实世界中，是减轻与技术交互的负担。 在用户导航当今计算固有的抽象层时减少认知负载。 我们如何设计不仅利用上下文理解，而且能够更轻松地获取见解和采取行动的体验？ 两种贡献技术也在尝试解决此问题：
- 在语音和对话方面，语音使用户能够通过更自然的方式与计算机通信-通过文本应答机器人或向对话硬件发出命令。
- AI 正在为从日益复杂的数据集中提取见解的体验提供支持。 虽然 AI 是一个巨大的话题，但最近的进展为依赖计算机视觉的设备、更自然的数字助理以及向用户推荐作提供了基础。
混合现实提供了一种媒介，可将这些技术合并到单个用户体验中。 戴着全息头戴显示设备时，语音成为一种强大的自然输入方法。 AI 充当关键密码，用于将连接物理世界和数字世界的大量信息上下文化。 这就是为什么萨塔亚·纳德拉将 HoloLens 称为“终极计算机”的原因，它是三种核心技术的高潮设备。 一个平台，使人类能够更轻松地与日益复杂的设备和服务进行交互。
减少人脸界面
将物理世界连接到数字世界的高潮设备使我们能够设计更自然的体验，而无需繁琐的抽象。 考虑已创建的体验：删除抽象障碍后，还剩下多少接口？ 当你知道用户及其上下文时，应用流的哪些部分会发生变化？ 还剩下多少个菜单和按钮？
例如，考虑混合现实中的共享体验，例如美国宇航局为科学家构建的 OnSight 工具喷气推进实验室。 他们没有构建一个系统来观察火星数据 (将数据抽象化到屏幕上或显示) ，而是将科学家引入数据，在他们协作时有效地将它们放在火星表面。
NASA/JPL OnSight
科学家可以直接指向它，而不是找到按钮来吸引人们对一些火星地质学的关注。 没有菜单，没有笔，没有学习曲线来有效地使用该工具。 通过利用我们在物理世界中的已知能力，混合现实中更自然的交互可以绕过深厚的技术素养，即使是在最先进的行业工具中也是如此。
同样，语音和 AI 可以在这样的体验中扩展自然交互。 当数字助理能够“看到”我们周围的世界时，对话会感觉不那么繁琐。 美国宇航局工具中的机器人可以从科学家中提取关于火星地质学的上下文，在科学家手势和询问“这个”或“那个”时，充当随时 (和对话) 信息来源。 知道上下文的计算机已准备好通过最适合你的上下文的交互方法，使用适合你的信息跳转。
在基础之上
在这个上下文体验的世界里，满足用户的移动性是关键。 借助高度个性化的上下文，在设备和服务之间流畅地移动，用户将无缝地在物理世界中移动，从而带来 巨大的 平台挑战。 当物理世界成为数字终结点时，互作性至高无上。
“将数字宇宙和物理世界结合在一起将释放人类的潜力... 使地球上的每一个人和组织都能取得更多成就。
— Satya Nadella
Windows Mixed Reality致力于为设备生态系统创建平台，使开发人员能够为尽可能多的受众创建沉浸式、经济实惠且兼容的体验。 未来将不仅限于单个制造商，更别提单个设备了。 头戴显示设备、移动设备、电脑、配件... 所有这些物理事物都必须通过基础平台) (以及数字事物（如图形和服务）进行互作，以成功实现混合现实的承诺。
为今天的明天体验进行设计
这一新体验类别背后的每一项核心技术都使设计人员和开发人员能够创建引人注目的成功体验。 通过减少抽象，我们可以更直接地与数字世界交互，使我们能够以增强和放大人类能力的方式进行设计。 通过机器人和数字助理（如 Cortana) ） (语音技术允许用户进行日益复杂的对话和方案，而通过Microsoft认知服务) 等工具 (的 AI 技术正促使公司重新思考用户如何与社交媒体和供应链管理等一切进行交互。
这些类型的交互将依赖于一类新的设计工具，以及来自平台的基本支持。 创建这些工具并为设备和服务构建此平台需要了解未来的体验将如何解决实际问题。 我们确定了五个机会领域，我们的企业合作伙伴提供了有价值的解决方案，我们相信持续投资将帮助我们为这一新型计算做好准备。
机会领域
过去一年的开发人员合作关系发现了与客户产生共鸣并创建成功的企业解决方案的机会领域。 从科学家和技术人员到设计师和客户，出现了五个机会领域，Microsoft合作伙伴在混合现实中找到了价值。 这些领域已经提供了对平台（如Windows Mixed Reality）未来需求的大规模见解，并可以帮助你了解这些新体验将如何影响我们的学习、协作、沟通和创建方式。
1. 创建和设计
混合现实的主要机会之一是能够在真实环境中以真实大小和规模实时查看和作 3D 设计。 设计和原型制作工具已经摆脱了屏幕的限制，回到了通常保留给木材和粘土等有形物理材料的设计领域。
Autodesk 创建了混合现实体验，旨在改进整个产品开发过程中的协作。 工程师和设计师能够在其环境中调查和批评 3D 模型，使他们能够实时迭代设计。 这不仅实现了更快的原型制作，而且让位于过程中更自信的决策。
此类体验突出了核心协作体验的需求，以及用户查看共享对象并与之通信的能力。 Autodesk 的目标是将产品从设计专业人员和工程师扩展到数字艺术家、学生和业余爱好者。 随着用户的 3D 专业知识水平的降低，与对象交互的能力自然变得至关重要。
2. 装配和制造
从工厂车间专业化程度的增加到供应链管理的快速发展，无缝获取相关信息是关键。 混合现实提供合成大量数据集的功能，并提供有助于导航和作等领域的视觉显示。 这些通常是高度技术性的利基领域，其中与自定义数据集和服务集成对于降低复杂性和提供成功体验至关重要。
电梯制造商 ThyssenKrupp 为电梯服务技术人员创造了一种体验，使他们能够可视化和识别问题，为工作做准备。 HoloLens 等设备拥有一支跨越 24,000 多名技术人员的团队，允许这些技术人员远程、免手动访问技术和专家信息。
ThyssenKrupp 在这里强调了一个强大的概念，即可以快速向用户提供关键且上下文相关的信息。 当我们展望一类新的体验时，将大量可能的信息提炼到与用户相关的内容将是关键。
3. 培训和开发
在三个维度中表示对象和信息提供了以视觉方式和空间理解来解释方案的新方法。 训练成为一个关键的机会领域，利用以数字方式表示大型复杂对象的能力， (如喷气发动机) ，以物理解决方案的一小部分成本创建训练模拟。
日本航空公司 一直在试验概念计划，为发动机机械师和机组人员提供补充培训。 大型喷气发动机 (大小和复杂性，) 可以以3D形式表示，忽略了物理世界在受训者周围移动和旋转虚拟对象的限制，使他们能够实时查看航空公司组件的工作原理。
使用虚拟组件进行培训 (并减少对昂贵的物理训练模拟器的需求，) 是当今企业方案中实现价值的关键方法。 随着此方案在医学) 等领域的扩展 (，计算机视觉对于识别环境中的唯一对象、了解用户的上下文以及提供相关说明变得尤为重要。
4. 沟通和理解
两个人之间的交互 (两个参与者是位于混合现实设备中，还是一个在传统电脑或手机上，) 既可以提供新环境中的沉浸感，也提供与其他人进行虚拟通信时的存在感。 在企业场景中，这种存在感对移动团队来说是一个福音，有助于增加对项目的理解，减少对旅行的需求。
商业技术制造商 Trimble 为建筑和建筑行业专业人士开发了一种解决方案，用于在建筑开发期间协作和审查工作。 专业人员可以远程沉浸在项目中来讨论进度，或者就地和查看计划，因为他们会在他们周围的环境中) 查看最终形式 (。
共享体验是Microsoft的主要投资领域，Skype 等应用正在探索在数字空间中代表人类的新方法。 团队正在探索参与者物理空间的体积视频录制、虚拟形象和娱乐。
5. 娱乐和参与
在混合现实中沉浸的性质可能会对客户参与娱乐和营销的方式产生巨大影响。 艺术家和娱乐工作室已经探索混合现实作为一种引人注目的讲故事媒体，而公司正在探索对品牌营销的影响。 从私人展厅的产品演示到贸易博览会上展示的视觉作品，都可以以更身临其境和定制的方式提供内容。
沃尔沃创造了一种展示其最新车型的体验， (让用户沉浸在不同的颜色和配置) 同时强调高级传感器如何工作，以创造更好、更安全的驾驶体验。 通过引导式展厅体验，沃尔沃可以讲述尖端汽车功能背后的故事，同时提供令人难忘的品牌故事。
娱乐在许多方面都推动混合现实 (尤其是虚拟现实) 也许最引人注目的是它将如何与之前的机会领域（沟通和理解）相结合。 对于多个用户，每个用户都有自己的设备和界面方法变体，你可以想象在娱乐领域个性化的巨大未来。
立即开始构建
很难说混合现实的未来对于消费者来说会是什么样子，但专注于独特的问题，动手使用真实硬件，以及今天尝试混合现实、语音和 AI 之间的交集是关键。 Microsoft刚刚开始使用混合现实，但从企业今天实现的成功中学习将有助于创造明天的体验。
下一个发现检查点
如果你正在遵循我们布局的发现之旅，你正在探索混合现实的基础知识。 在此处，可以继续下一个基础主题：
或者跳入混合现实核心体验：
作者简介
|
马克·维塔兹科 UX Designer @Microsoft |