案例研究：针对 HoloTour 的空间音效设计
对于沉浸式 Microsoft HoloLens 游览，全景视频和全息场景只是其中的一部分。 本文介绍如何使用声音来使你在每个 HoloTour 位置有身临其境的感觉。
技术
你在 HoloTour 中看到的精美图像和全息场景只是逼真的混合现实体验的一部分。 尽管全息影像仅出现在用户前面，但 HoloLens 可以从所有方向提供空间音效，这提供了更完整的感官体验。
空间音效提供提示以指示用户应转向的方向，或让用户知道在其空间内可以看到更多全息影像。 我们还可以将音效直接附加到全息影像，并不断更新全息影像与用户的方向和距离。 这种技术使音效看起来像是直接来自该对象。
对于 HoloTour，我们想要充分利用 HoloLens 的空间音效功能，因此我们创建了一个与视频同步的 360 度周围环境，用于显示特定位置的声音亮点。
幕后
我们创建了两个不同位置的 HoloTour 体验：罗马和马丘比丘。 为了使这些游览感觉真实且引人注目，我们希望从我们拍摄的位置捕捉音频，而不是使用通用音效。
捕获音频
在我们关于捕获 HoloTour 视觉内容的案例研究中，我们讨论了相机装置的设计。 它由 14 台 GoPro 相机组成，采用 3D 打印外壳，专为安装三脚架而设计。 为了捕获音频，我们在相机下面添加了一个四重麦克风阵列。 音效注入三脚架底部的紧凑型四声道录音装置。 我们选择了性能良好但足够小以避免干扰相机的麦克风。
定制的相机和麦克风装置
此设置从四个方向捕捉音效。 我们记录了足够的信息来重新创建空间音效的 3D 听觉全景，稍后我们可以将其与 360 度视频同步。
相机阵列音频的一项挑战是，你会受到相机外声音（例如汽笛声、飞机声或狂风声）的影响。 为了确保我们具有所需的所有声音元素，我们使用了立体声和单声道移动录音机在每个位置的特定兴趣点捕获异步环境声音。 这些录音为音效设计师提供了干净的内容，以增加后期制作的兴趣并改善方向性。
每个捕获日都会生成很多文件。 因此，开发一个系统来跟踪哪些文件对应于特定位置或相机镜头非常重要。 我们的录音装置设置为按日期和“拍摄”编号自动命名文件。 我们在每天结束时将文件备份到外部驱动器。 我们还发现，口头记录录音的开头很重要。 如果出现文件名问题，这种预防措施可以轻松识别内容的上下文。 直观地显示相机装置捕获也很重要，因为视频和音频是作为单独的媒体录制的，并且必须在后期制作期间同步。
编辑音频
捕获行程结束后回到工作室，组装定向和沉浸式听觉体验的第一步是，查看某个位置的所有捕获音频。 我们选取最佳镜头并确定可以在整合过程中应用的亮点。 然后，编辑和清理音频。 例如，持续一秒左右并重复几次的汽车喇叭声可能会被来自同一捕获会话的更安静的环境音频所取代。
设置完位置的视频编辑后，音效设计师可以同步相应的音频。 此时，我们将评估相机装置和移动声音捕获，以确定哪些元素可以构建最佳的沉浸式音频场景。 我们发现将所有声音元素放入音频编辑器并构建快速线性模型以试验不同的组合创意很有用。 此步骤使我们能够更好地了解何时构建实际的 HoloTour 场景。
组合场景
构建 3D 环境场景的第一步是，创建一个通用背景环境循环声音平台，它将支持场景中的其他特征和交互式声音元素。 我们采用一种全面的方法来实现，具体取决于任何特定场景的设计标准。 某些场景可能使用同步的相机捕获进行索引。 更多的“电影”时刻可能需要一种策划方法，该方法依赖于离散放置的声音、交互式元素和音乐。
当我们在相机捕获音频上编制索引时，我们放置了与相机的定向方向对应的启用空间音效的环境音频发射器。 北相机视图播放来自北麦克风的音频，其他基本方向也是如此。 这些发射器处于外部环境锁定状态，这意味着当用户转动头部时声音会改变。 这种技术有效地模拟了站在该位置的音效。 倾听纳沃纳广场或罗马万神殿，了解使用良好的混合相机捕获音频的场景示例。
使用其他方法时，我们有时会使用放置在场景周围的空间音效发射器播放循环立体声环境。 这些发射器播放随机音量、音高和触发频率的一次性声音。 这种技术可创造具有更强方向性的环境。 例如，在 Aguas Alienates 中，你可以听到全景的每个象限都有特定的发射器，这些发射器突出显示了地理环境的特定区域，但共同创造了一种整体的沉浸式环境。
提示和技巧
还有其他方法可以突出显示方向性并改进沉浸感，以充分利用 HoloLens 的空间音效功能。 我们在此处提供了一个列表。 下次尝试 HoloTour 时，请侦听这些效果。
- 查找目标：当你查看全息帧的特定对象或区域时，将触发这些声音。 例如，看向罗马纳沃纳广场中的街边咖啡馆，可以微妙地触发繁忙的餐厅音效。
- 本地愿景：尽管 HoloTour 的旅程包含某些“节拍”，但你的游览指南可在全息影像的帮助下深入探索一个主题。 例如，当万神殿的表面消隐显露出眼睛时，从万神殿内部作为 3D 发射器放置的混响音频鼓励用户探索内部。
- 增强方向性：在许多场景中，我们以各种方式放置声音以增加方向性。 例如，在万神殿场景中，喷泉的声音作为一个独立的发射器放置在靠近用户的位置，当他们在游戏空间中走动时，可以获得“声音视差”的感觉。 在秘鲁马拉斯盐田场景中，各个小溪流的声音作为单独的发射器放置，以构建更加身临其境的周围环境，让用户周围环绕着该位置的逼真声音。
- 样条发射器：这些发射器会根据它们所附加到的对象的视觉位置在 3D 空间中移动。 例如，马丘比丘的火车，我们在那里使用样条发射器来提供独特的方向感和运动感。
- 音乐和 SFX：HoloTour 的某些方面代表了更风格化或电影化的方法，使用音乐和声音效果来增强情感影响。 例如，罗马游览结束时的角斗士之战就使用了嗖嗖声和毒刺等特殊效果来加强场景中出现的标签效果。