Unreal 中的语音输入

使用 Unreal 中的语音输入,无需使用手势即可与全息映像交互,但仅支持 HoloLens 2。 HoloLens 2 上的语音输入由支持所有其他通用 Windows 应用中的语音的同一引擎提供支持,但 Unreal 使用更有限的引擎来处理语音输入。 这会将 Unreal 中的语音输入功能限制为预定义的语音映射,如以下各节所述。

启用语音识别

如果使用 Windows Mixed Reality 插件,则语音输入不需要任何特殊 Windows Mixed Reality API;它基于现有 Unreal Engine 4 输入映射 API 进行构建。 如果使用 OpenXR,则还应安装 Microsoft OpenXR 插件

启用 HoloLens 上的语音识别:

  1. 选择“项目设置”>“平台”>“HoloLens”>“功能”并启用“麦克风”
  2. 在“设置”>“隐私”>“语音”中启用语言识别,并选择“英语”

注意

语音识别始终以“设置”应用中配置的 Windows 显示语言运作。 建议同时启用“在线语音识别”,以获得最佳服务质量。

Windows Speech recognition settings

  1. 当应用程序首次启动时,将显示一个对话框,询问你是否要启用麦克风。 选择“是”将在应用中启动语音输入。

添加语音映射

使用语音输入时,将语音连接到操作非常重要。 这些映射会监视应用中用户可能会说出的语音关键字,然后启动链接操作。 可以通过以下方式找到语音映射:

  1. 选择“编辑”>“项目设置”,滚动到“引擎”,然后单击“输入”

为 jump 命令添加新语音映射:

  1. 选择“数组元素”旁边的 + 图标,然后填写以下值:
    • “操作名称”为“jumpWord”
    • “语音关键字”为“jump”

注意

任何英语单词或短句子都可以用作关键字。

UE4 Engine Input Settings

语音映射可用作操作或轴映射等输入组件,或作为事件关系图中的蓝图节点。 例如,可以链接 jump 命令,根据字词的讲述时间输出两个不同日志:

  1. 双击蓝图,在“事件关系图”中打开它。
  2. 右键单击并搜索语音映射的“操作名称”(本例中为 jumpWord),然后按 Enter 将“输入操作”节点添加到关系图中。
  3. 将 Pressed pin 拖放到“Print String”节点,如下图所示。 你可以保留 Released pin,它不会对语音映射执行任何操作。

Simple action for voice

  1. 播放应用,说出“jump”一词,并观看控制台打印日志!

这就是在 Unreal 中开始将语音输入添加到 HoloLens 应用所需的全部设置。 你可以在下面的链接中找到有关语音和交互性的详细信息,并确保考虑你为用户创建的体验。

下一个开发检查点

如果你遵循我们规划的 Unreal 开发历程,则下一个任务是探索混合现实平台功能和 API:

你可以随时返回到 Unreal 开发检查点

另请参阅