培训
模块
通过使用 Power Automate 桌面版模拟鼠标和键盘操作 - Training
了解如何在 Power Automate 中自动模拟鼠标移动、单击、键入和按键。 此外,还将了解如何在屏幕上选择和定位图像或区域。
大多数模拟器用户只需使用 HoloLens 仿真器或 Windows Mixed Reality 的基本输入控件。 以下详细信息适用于需要模拟更复杂输入类型的高级用户。
若要开始控制 HoloLens 仿真器和 Windows Mixed Reality 模拟器的虚拟输入,应首先理解以下概念。
运动是指控制和更改场景中某些内容的位置和方向。 对于目标可控制对象,运动的控制依靠三个轴的旋转和平移(运动)。
手势和运动控制器输入紧密映射到物理设备:
HoloLens 2 在手部具有丰富的表现。 除了跟踪/不跟踪手部选项,并将手部用于驾驶手势外,现在还有一个适合手部的、已提供给开发人员的铰链式主干模型。 主干模型在每个手上都有 26 个跟踪点。
目前,我们不会通过仿真器公开对各个接合点的直接控制,但用户可以通过模拟 API 进行设置。 仿真器提供了一组有用的典型姿势,并允许用户在两者之间切换。
还可以控制模拟传感器输入的状态:
下表显示了每种输入类型如何映射到键盘、鼠标和 Xbox 控制器。 每种类型都有不同的映射,具体取决于输入控制模式。 可以在本文档的稍后部分找到有关输入控制模式的详细信息。
输入 | Keyboard | 鼠标 | Xbox 控制器 |
---|---|---|---|
Yaw | 向左/向右箭头 | 向左/向右拖动 | 右控制杆向左/向右 |
间距 | 向上/向下箭头 | 向上/向下拖动 | 右控制杆向上/向下 |
Roll | Q / E | DPad 向左/向右 | |
X | A / D | 左控制杆向左/向右 | |
Y | 上一页/下一页 | DPad 向上/向下 | |
Z | W / S | 左控制杆向上/向下 | |
操作 | Enter 或空格 | 向右按钮 | 一个按钮或任一触发器 |
开花手势/系统手势 | F2 或 Windows 键 | B 按钮 | |
控制器手柄按钮/手部抓取 | G | ||
控制器菜单按钮 | M | ||
控制器触摸板触摸 | U | ||
控制器触摸板按压 | P | ||
按压控制器控制杆 | K | ||
左侧控制器跟踪状态 | F9 | ||
右侧控制器跟踪状态 | F10 | ||
手部“关闭”姿势 | 7 | ||
手部“打开”姿势(默认) | 8 | ||
手部“指向”姿势 | 9 | ||
手部“收缩”姿势 | 0 | ||
重置 | Escape 键 | “开始”按钮 | |
跟踪 | T 或 F3 | X 按钮 |
注意:控制器按钮可以定位到手部/控制器,或其他以手部作为目标修饰符的控件。
上述的某些输入概念各自独立。 操作、开花手势/系统手势、重置和跟踪是完整的概念,不需要且不受任何其他目标修饰符的影响。 其余概念可应用于多个目标之一。 我们引入了一些方法,用于指定命令应该应用到的目标。 在所有情况下,都可以通过 UI 或按键指定目标对象。 在某些情况下,还可以直接指定 Xbox 控制器。
下表介绍了用于目标的选项,以及激活每个选项的方法。
Object | 键盘修饰符 | 控制器修饰符 | 仿真器 UI 修饰符 |
---|---|---|---|
Body | (默认值) | (默认值) | (默认值) |
头 | 按住 H | (不可用) | (不可用) |
左手/控制器 | 按住左 Alt 键 | 按住左肩键 | 左侧图钉 |
右手/控制器 | 按住右 Alt 键 | 按住右肩键 | 右侧图钉 |
眼睛 | 按住 Y | (不可用) | 眼睛图钉 |
下表显示每个目标修饰符如何映射每个核心移动输入概念
输入 | 默认(身体) | 手部/控制器 (按住 Alt、按住手柄肩键或切换 UI 图钉) | 头部(按住 H) | 眼睛(按住 Y 或切换 UI 图钉) |
---|---|---|---|---|
Yaw | 向左/向右转动身体 | 向左/向右移动手部 | 向左/向右转头 | 向左/向右凝视 |
间距 | 向上/向下转头 | 向上/向下移动手部 | 向上/向下转头 | 向上/向下凝视 |
Roll | 向左/向右滚动头 | 向左/向右滚动头 | (无操作) | |
X | 向左/向右滑动身体 | 向左/向右移动手部/控制器 | 向左/向右转头 | (无操作) |
Y | 向上/向下移动身体 | 向上/向下移动手部/控制器 | 向上/向下转头 | (无操作) |
Z | 向前/向后移动身体 | 向前/向后移动手部/控制器 | 向上/向下转头 | (无操作) |
建议使用以下控件组进行日常使用:
操作 | 键盘和鼠标 | 控制器 |
---|---|---|
身体 X | A / D | 左控制杆向左/向右 |
身体 Y | 上一页/下一页 | DPad 向上/向下 |
身体 Z | W / S | 左控制杆向上/向下 |
身体偏转 | 向左/向右拖动鼠标 | 右控制杆向左/向右 |
头部偏转 | H + 向左/向右拖动鼠标 | H(键盘)+ 右控制杆向左/向右 |
头部投掷 | 向上/向下拖动鼠标 | 右控制杆向上/向下 |
头部滚动 | Q / E | DPad 向左/向右 |
手部/控制器 X | Alt + A/D | 肩键 + 左控制杆向左/向右 |
手部/控制器 Y | Alt + 上一页/下一页 | 肩键 + DPad 向上/向下 |
手部/控制器 Z | Alt + W/S | 肩键 + 左控制杆向上/向下 |
手部/控制器偏转 | Alt + 向左/向右拖动鼠标 | 肩键 + 右控制杆向左/向右 |
手部/控制器投掷 | Alt + 向上/向下拖动鼠标 | 肩键 + 右控制杆向上/向下 |
手部/控制器滚动 | Alt + Q/E | 肩键 + DPad 向左/向右 |
操作 | 鼠标右键 | 触发器 |
开花手势/系统手势/主页 | F2 或 Windows 键 | B 按钮 |
重置 | Escape | “开始”按钮 |
跟踪 | T | X 按钮 |
滚动 | Alt + 鼠标右键 + 向上/向下拖动鼠标 | 肩键 + 触发器 + 右控制杆向上/向下 |
更快地移动/旋转 | 左或右 Shift 键 | 长按右控制杆 |
缓慢地移动/旋转 | 左或右 Ctrl 键 | 长按左控制杆 |
使用 Windows Mixed Reality 沉浸式头戴显示设备与 HoloLens 2 仿真器时,运动和旋转会自动映射到头戴显示设备的运动和旋转。 运动控制器位置和方向自动映射到仿真器中的手部位置和方向。 下表列出了使用运动控制器时可用的其他操作。
备注
使用头戴显示设备时,将自动忽略标准键盘、鼠标和手柄控制器。
操作 | 操作 | 说明 |
---|---|---|
身体 X | 控制杆向左/向右 | |
身体 Z | 控制杆向前/向后 | |
身体 Y | 键盘上一页/下一页 | 确保 Windows Mixed Reality 对准焦点。 如果焦点位于 Windows 桌面上,请按 Win+Y,可将焦点返回到 Windows Mixed Reality。 |
眼睛向左/向右看 | DPad 向左/向右 | |
眼睛向上/向下看 | DPad 向上/向下 | |
点击 | 触发器 | |
收缩/抓取 | 手柄按钮 | |
系统手势 | “菜单”按钮 | |
重置位置 | 单击控制杆 |
可以使用以下键盘快捷方式访问“感知模拟”控制面板,并启用或禁用电脑输入设备。
操作 | 快捷方式 | 说明/注意事项 |
---|---|---|
切换“使用键盘进行模拟” | F4 | 关闭后,键盘输入回到 HoloLens 或 Windows Mixed Reality 应用程序。 |
切换“使用鼠标进行模拟” | F5 | 关闭后,鼠标输入回到混合现实环境(仅限 Windows Mixed Reality) |
切换“使用手柄进行模拟” | F6 | 关闭后,模拟将忽略手柄输入 |
显示或隐藏控制面板 | F7 | |
将键盘焦点设置为控制面板 | F8 | 如果面板当前不可见,将首先显示面板。 |
从模拟器或混合现实门户窗口连接或断开面板 | F9 | 如果窗口在断开时关闭,它将连接并隐藏。 |
培训
模块
通过使用 Power Automate 桌面版模拟鼠标和键盘操作 - Training
了解如何在 Power Automate 中自动模拟鼠标移动、单击、键入和按键。 此外,还将了解如何在屏幕上选择和定位图像或区域。