高级 HoloLens 仿真器和混合现实模拟器输入

大多数模拟器用户只需使用 HoloLens 仿真器Windows Mixed Reality 的基本输入控件。 以下详细信息适用于需要模拟更复杂输入类型的高级用户。

概念

若要开始控制 HoloLens 仿真器和 Windows Mixed Reality 模拟器的虚拟输入,应首先理解以下概念。

运动是指控制和更改场景中某些内容的位置和方向。 对于目标可控制对象,运动的控制依靠三个轴的旋转和平移(运动)。

  • “偏转”:向左转或向右转。
  • “投掷”:上升或下降。
  • “滚动”: 侧向滚动。
  • “X”:向左或向右移动。
  • “Y”:向上或向下移动。
  • “Z”:向前或向后移动。

手势和运动控制器输入紧密映射到物理设备:

  • “操作”:模拟用食指按压拇指,或拉拽控制器操作按钮的操作。 例如,“操作”输入可用于隔空敲击手势、滚动内容以及长按。
  • 开花手势/系统手势或主页:HoloLens 开花手势/系统手势或控制器的“主页”按钮,可用于返回到 shell 并启动系统操作。

HoloLens 2 在手部具有丰富的表现。 除了跟踪/不跟踪手部选项,并将手部用于驾驶手势外,现在还有一个适合手部的、已提供给开发人员的铰链式主干模型。 主干模型在每个手上都有 26 个跟踪点。

  • “联接点”:在 3d 空间中,具有关联点的跟踪给定手的 20 个跟踪位置之一。
  • “姿势”: 跟踪手上所有联接点的完整集合(共 26 个联接点)。

目前,我们不会通过仿真器公开对各个接合点的直接控制,但用户可以通过模拟 API 进行设置。 仿真器提供了一组有用的典型姿势,并允许用户在两者之间切换。

还可以控制模拟传感器输入的状态:

  • “重置”:将所有模拟传感器归为其默认值。 从 HoloLens 2 仿真器开始,重置的范围可以是单手或双手。 使用修改键或按钮(左 Alt 和/或右 Alt,或者手柄上的左侧和/或右侧缓冲器)来设置想要使用的手。
  • “跟踪”:通过位置跟踪模式循环,包括:
    • “默认值”:OS 根据系统的请求选择最佳跟踪模式。
    • “方向”:无论系统请求如何,都强制执行仅按方向跟踪。
    • “位置”:无论系统请求如何,都强制执行按位置跟踪。

输入类型

下表显示了每种输入类型如何映射到键盘、鼠标和 Xbox 控制器。 每种类型都有不同的映射,具体取决于输入控制模式。 可以在本文档的稍后部分找到有关输入控制模式的详细信息。

输入 Keyboard 鼠标 Xbox 控制器
Yaw 向左/向右箭头 向左/向右拖动 右控制杆向左/向右
音调 向上/向下箭头 向上/向下拖动 右控制杆向上/向下
Roll Q / E DPad 向左/向右
X A / D 左控制杆向左/向右
Y 上一页/下一页 DPad 向上/向下
Z W / S 左控制杆向上/向下
操作 Enter 或空格 向右按钮 一个按钮或任一触发器
开花手势/系统手势 F2 或 Windows 键 B 按钮
控制器手柄按钮/手部抓取 G
控制器菜单按钮 M
控制器触摸板触摸 U
控制器触摸板按压 P
按压控制器控制杆 K
左侧控制器跟踪状态 F9
右侧控制器跟踪状态 F10
手部“关闭”姿势 7
手部“打开”姿势(默认) 8
手部“指向”姿势 9
手部“收缩”姿势 0
重置 Escape 键 “开始”按钮
跟踪 T 或 F3 X 按钮

注意:控制器按钮可以定位到手部/控制器,或其他以手部作为目标修饰符的控件。

目标设定

上述的某些输入概念各自独立。 操作、开花手势/系统手势、重置和跟踪是完整的概念,不需要且不受任何其他目标修饰符的影响。 其余概念可应用于多个目标之一。 我们引入了一些方法,用于指定命令应该应用到的目标。 在所有情况下,都可以通过 UI 或按键指定目标对象。 在某些情况下,还可以直接指定 Xbox 控制器。

下表介绍了用于目标的选项,以及激活每个选项的方法。

对象 键盘修饰符 控制器修饰符 仿真器 UI 修饰符
正文 (默认值) (默认值) (默认值)
按住 H (不可用) (不可用)
左手/控制器 按住左 Alt 键 按住左肩键 左侧图钉
右手/控制器 按住右 Alt 键 按住右肩键 右侧图钉
眼睛 按住 Y (不可用) 眼睛图钉

下表显示每个目标修饰符如何映射每个核心移动输入概念

输入 默认(身体) 手部/控制器 (按住 Alt、按住手柄肩键或切换 UI 图钉) 头部(按住 H) 眼睛(按住 Y 或切换 UI 图钉)
Yaw 向左/向右转动身体 向左/向右移动手部 向左/向右转头 向左/向右凝视
音调 向上/向下转头 向上/向下移动手部 向上/向下转头 向上/向下凝视
Roll 向左/向右滚动头 向左/向右滚动头 (无操作)
X 向左/向右滑动身体 向左/向右移动手部/控制器 向左/向右转头 (无操作)
Y 向上/向下移动身体 向上/向下移动手部/控制器 向上/向下转头 (无操作)
Z 向前/向后移动身体 向前/向后移动手部/控制器 向上/向下转头 (无操作)

控制应用

建议使用以下控件组进行日常使用:

操作 键盘和鼠标 控制器
身体 X A / D 左控制杆向左/向右
身体 Y 上一页/下一页 DPad 向上/向下
身体 Z W / S 左控制杆向上/向下
身体偏转 向左/向右拖动鼠标 右控制杆向左/向右
头部偏转 H + 向左/向右拖动鼠标 H(键盘)+ 右控制杆向左/向右
头部投掷 向上/向下拖动鼠标 右控制杆向上/向下
头部滚动 Q / E DPad 向左/向右
手部/控制器 X Alt + A/D 肩键 + 左控制杆向左/向右
手部/控制器 Y Alt + 上一页/下一页 肩键 + DPad 向上/向下
手部/控制器 Z Alt + W/S 肩键 + 左控制杆向上/向下
手部/控制器偏转 Alt + 向左/向右拖动鼠标 肩键 + 右控制杆向左/向右
手部/控制器投掷 Alt + 向上/向下拖动鼠标 肩键 + 右控制杆向上/向下
手部/控制器滚动 Alt + Q/E 肩键 + DPad 向左/向右
操作 鼠标右键 触发器
开花手势/系统手势/主页 F2 或 Windows 键 B 按钮
重置 Escape “开始”按钮
跟踪 T X 按钮
滚动 Alt + 鼠标右键 + 向上/向下拖动鼠标 肩键 + 触发器 + 右控制杆向上/向下
更快地移动/旋转 左或右 Shift 键 长按右控制杆
缓慢地移动/旋转 左或右 Ctrl 键 长按左控制杆

将 Windows Mixed Reality 沉浸式头戴显示设备和运动控制器与 HoloLens 2 仿真器配合使用

使用 Windows Mixed Reality 沉浸式头戴显示设备与 HoloLens 2 仿真器时,运动和旋转会自动映射到头戴显示设备的运动和旋转。 运动控制器位置和方向自动映射到仿真器中的手部位置和方向。 下表列出了使用运动控制器时可用的其他操作。

注意

使用头戴显示设备时,将自动忽略标准键盘、鼠标和手柄控制器。

操作 操作 说明
身体 X 控制杆向左/向右
身体 Z 控制杆向前/向后
身体 Y 键盘上一页/下一页 确保 Windows Mixed Reality 对准焦点。 如果焦点位于 Windows 桌面上,请按 Win+Y,可将焦点返回到 Windows Mixed Reality。
眼睛向左/向右看 DPad 向左/向右
眼睛向上/向下看 DPad 向上/向下
点击 触发器
收缩/抓取 手柄按钮
系统手势 “菜单”按钮
重置位置 单击控制杆

感知模拟控制面板键盘快捷方式

可以使用以下键盘快捷方式访问“感知模拟”控制面板,并启用或禁用电脑输入设备。

操作 快捷键 说明/注意事项
切换“使用键盘进行模拟” F4 关闭后,键盘输入回到 HoloLens 或 Windows Mixed Reality 应用程序。
切换“使用鼠标进行模拟” F5 关闭后,鼠标输入回到混合现实环境(仅限 Windows Mixed Reality)
切换“使用手柄进行模拟” F6 关闭后,模拟将忽略手柄输入
显示或隐藏控制面板 F7
将键盘焦点设置为控制面板 F8 如果面板当前不可见,将首先显示面板。
从模拟器或混合现实门户窗口连接或断开面板 F9 如果窗口在断开时关闭,它将连接并隐藏。

另请参阅