Сложный ввод с помощью эмулятора HoloLens и симулятора Windows Mixed Reality
Большинству пользователей эмулятора потребуется использовать только базовые элементы управления вводом для эмулятора HoloLens или симулятора Windows Mixed Reality. Приведенные ниже сведения предназначены для опытных пользователей, которым требуется имитировать более сложные типы ввода.
Основные понятия
Чтобы приступить к управлению виртуальными входными данными в эмуляторе HoloLens и симуляторе Windows Mixed Reality, необходимо сначала разобраться в нескольких понятиях.
Движение относится к управлению и изменению положения и ориентации чего-либо в сцене. Для целевого управляемого объекта движение управляется как поворотом, так и преобразованием (движением) вдоль трех осей.
- Рывок: поверните влево или вправо.
- Шаг: поверните вверх или вниз.
- Рулон: накат из стороны в сторону.
- X: перемещение влево или вправо.
- Y: перемещение вверх или вниз.
- Z: перемещение вперед или назад.
Ввод жестов и контроллера движения тесно сопоставляются с физическими устройствами:
- Действие. Имитирует действие нажатия указательного указателя на большой палец или нажатия кнопки действия на контроллере. Например, входные данные действия можно использовать для имитации жеста касания воздуха, для прокрутки содержимого и для нажатия и удержания.
- Блюм/Системный жест или Главная. Жест цветения HoloLens или системный жест или кнопка Домой контроллера используется для возврата в оболочку и для запуска системных действий.
Руки имеют богатое представление в HoloLens 2. Помимо отслеживания или не отслеживания и использования для жестов вождения, руки теперь имеют сочлененный скелет модели, подходящий для них и предоставляемый разработчику. Скелетная модель имеет 26 отслеживаемых точек на каждой руке.
- Совместный: одна из 20 отслеживаемых позиций для данной отслеживаемой руки со связанной точкой в трехмерном пространстве.
- Поза: полная коллекция всех суставов в отслеживаемой руке, 26 суставов в целом.
В настоящее время мы не предоставляем прямого управления отдельными совместными позициями с помощью эмулятора, но их можно задать с помощью API моделирования. У нас есть набор полезных репрезентативных поз, между которыми эмулятор позволяет переключаться.
Вы также можете управлять состоянием имитированных входных данных датчика:
- Сброс. Возвращает значения по умолчанию для всех имитированных датчиков. Начиная с эмулятора HoloLens 2 сброс может быть ограничен одной или обеими руками. Включите нужные руки, используя клавиши-модификаторы или кнопки (левый и /или правый alt) или левый и (или) правый бампер на геймпаде.
- Отслеживание. Циклическое переключения между режимами позиционного отслеживания, в том числе:
- По умолчанию: ОС выбирает оптимальный режим отслеживания на основе запросов, выполненных системой.
- Ориентация: принудительное отслеживание только ориентации, независимо от системных запросов.
- Позиционный: принудительное отслеживание позиций, независимо от системных запросов.
Типы входных данных
В следующей таблице показано, как каждый тип ввода сопоставляется с клавиатурой, мышью и контроллером Xbox. Каждый тип имеет различное сопоставление в зависимости от режима управления входными данными. Дополнительные сведения о режимах управления вводом см. далее в этом документе.
| Входные данные | Клавиатура | Мышь | Контроллер Xbox |
|---|---|---|---|
| Yaw | Стрелки влево и вправо | Перетащите влево/вправо | Правый стик влево / вправо |
| Высота тона | Стрелки вверх и вниз | Перетащите вверх или вниз | Правый стик вверх/вниз |
| Roll | Q /E | DPad слева/справа | |
| X | A/D | Левый стик влево/вправо | |
| Да | Page up/page down | DPad вверх/вниз | |
| Z | W/S | Левый стик вверх/вниз | |
| Действие | Ввод или пробел | Кнопка справа | Кнопка или триггер |
| Блум/Система | Клавиша F2 или Windows | Кнопка B | |
| Кнопка захвата контроллера / Захват рукой | G | ||
| Кнопка меню контроллера | M | ||
| Сенсорный ввод на сенсорной панели контроллера | U | ||
| Нажатие сенсорной панели контроллера | P | ||
| Нажатие стиком контроллера | K | ||
| Состояние отслеживания левого контроллера | F9 | ||
| Состояние отслеживания правого контроллера | F10 | ||
| Поза "Закрыть" с рукой | 7 | ||
| Поза "Открыть" рукой (по умолчанию) | 8 | ||
| Поза стрелки "Точка" | 9 | ||
| Поза "Прижимая рука" | 0 | ||
| Reset | Escape-клавиша | Кнопка "Пуск" | |
| Отслеживание | T или F3 | Кнопка х |
Примечание. Кнопки контроллера можно нацеливать на одну руку или контроллер или на другую с помощью модификаторов нацеливания рук.
Целевая настройка
Некоторые из приведенных выше концепций ввода стоят сами по себе. Action, Bloom/System, Reset и Tracking — это полные понятия, которые не нуждаются в дополнительных модификаторах для нацеливания и не затрагиваются ими. Остальные понятия можно применить к одной из нескольких целевых объектов. Мы представили способы указания целевого объекта, к которому должна применяться команда. Во всех случаях с помощью пользовательского интерфейса или нажатия клавиатуры можно указать целевой объект. В некоторых случаях также можно указать с помощью контроллера xbox напрямую.
В следующей таблице описаны параметры нацеливания и способ их активации.
| Объект | Модификатор клавиатуры | Модификатор контроллера | Модификатор пользовательского интерфейса эмулятора |
|---|---|---|---|
| Текст | (по умолчанию). | (по умолчанию). | (по умолчанию). |
| Head | Удержание H | (Недоступно) | (Недоступно) |
| Левая рука/контроллер | Удерживайте левую кнопку ALT | Удерживайте кнопку левого плеча | Left-Hand канцелярской кнопки |
| Правая рука/контроллер | Удерживайте правую кнопку ALT | Удерживайте кнопку правого плеча | Right-Hand канцелярской кнопки |
| Глаза | Удержание Y | (Недоступно) | Вешки для глаз |
В следующей таблице показано, как каждый модификатор целевого объекта сопоставляет все основные понятия входных данных перемещения
| Входные данные | По умолчанию (текст) | Рука или контроллер (удерживайте alt, удерживайте на плече кнопку геймпада или переключите кнопку пользовательского интерфейса) | Головка (удержание H) | Eyes (удерживайте Y или переключите кнопку пользовательского интерфейса) |
|---|---|---|---|---|
| Yaw | Поворот текста влево или вправо | Перемещение руки влево/вправо | Поворот головы влево/вправо | Взгляд смотрит влево/вправо |
| Высота тона | Поворот головы вверх/вниз | Перемещение руки вверх/вниз | Поворот головы вверх/вниз | Взгляд смотрит вверх или вниз |
| Roll | Накат головы влево/вправо | Накат головы влево/вправо | (Без действия) | |
| X | Слайд влево/вправо | Перемещение руки/контроллера влево/вправо | Поворот головы влево/вправо | (Без действий) |
| Да | Перемещение текста вверх или вниз | Перемещение руки/контроллера вверх/вниз | Поворот головы вверх/вниз | (Без действий) |
| Z | Перемещение тела вперед/назад | Перемещение руки/контроллера вперед/назад | Поворот головы вверх/вниз | (Без действий) |
Управление приложением
Для повседневного использования предлагается следующий набор элементов управления:
| Операция | Клавиатура и мышь | Контроллер |
|---|---|---|
| Текст X | A/D | Левый палец влево/вправо |
| Текст Y | Page up /page down | DPad вверх и вниз |
| Текст Z | W/S | Левый палец вверх/вниз |
| Рыская тело | Перетаскивание мыши влево/вправо | Правый палец влево / вправо |
| Рыская головы | H + перетаскивание мыши влево/вправо | H (на клавиатуре) + правый палец влево / вправо |
| Шаг головы | Перетаскивание мыши вверх или вниз | Правый палец вверх/вниз |
| Головной рулон | Q/E | DPad влево/вправо |
| Рука/контроллер X | ALT+A/D | Плечо + левый палец влево / вправо |
| Рука/контроллер Y | ALT+PAGE UP/PAGE DOWN | Плечо + DPad вверх/вниз |
| Рука/контроллер Z | ALT+W/S | Плечо + левый палец вверх/вниз |
| Распознавание руки или контроллера | ALT +перетаскивание влево/вправо | Плечо + правый палец влево / вправо |
| Шаг руки или контроллера | ALT +перетаскивание мыши вверх/вниз | Плечо + правый палец вверх/вниз |
| Смена руки/контроллера | ALT+Q/E | Плечо + DPad влево / вправо |
| Действие | Правая кнопка мыши | Триггер |
| Bloom / System / Home | Клавиша F2 или Windows | Кнопка B |
| Reset | ESC | Кнопка "Пуск" |
| Отслеживание | T | Кнопка х |
| Прокрутка | ALT + правая кнопка мыши + перетаскивание мыши вверх или вниз | Плечо + триггер + правый палец вверх/вниз |
| Ускорение перемещения и поворота | Клавиша SHIFT влево или вправо | Нажмите и удерживайте правый стик |
| Медленное перемещение и поворот | Левая или правая клавиша CTRL | Нажмите и удерживайте левый стик. |
Использование иммерсивной гарнитуры и контроллеров движения Windows Mixed Reality с эмулятором HoloLens 2
При использовании Windows Mixed Reality иммерсивной гарнитуры с эмулятором HoloLens 2 перемещение и поворот автоматически сопоставляются с перемещением и поворотом гарнитуры. Положение и ориентация контроллера движения автоматически сопоставляются с положением и ориентацией руки в эмуляторе. В таблице ниже перечислены дополнительные действия, доступные при использовании контроллера движения.
Примечание
При использовании гарнитуры стандартные элементы управления клавиатурой, мышью и геймпадом автоматически игнорируются.
| Операция | Действие | Примечания |
|---|---|---|
| Текст X | Стик влево/вправо | |
| Текст Z | Стик вперед/назад | |
| Текст Y | Страница клавиатуры вверх/вниз | Убедитесь, что Windows Mixed Reality имеет фокус. Нажмите клавиши WIN+Y, если фокус находится на рабочем столе Windows, чтобы вернуть фокус на Windows Mixed Reality. |
| Глаза смотрят влево/вправо | DPad влево/вправо | |
| Глаза смотрят вверх или вниз | DPad вверх и вниз | |
| Касание | Триггер | |
| Сцепление/захват | Кнопка захвата | |
| Системный жест | Кнопка меню | |
| Сброс положения | Щелчок с помощью джойстика |
Сочетания клавиш панель управления имитации восприятия
Вы можете открыть панель управления имитацией восприятия, а также включить или отключить устройства ввода на пк с помощью следующих сочетаний клавиш.
| Операция | Клавиша | Описание и заметки |
|---|---|---|
| Переключение "Использование клавиатуры для имитации" | F4 | Если этот параметр отключен, ввод с помощью клавиатуры передается в приложение HoloLens или Windows Mixed Reality. |
| Переключение "Использование мыши для имитации" | F5 | Если этот параметр отключен, ввод с помощью мыши переходит в среду Смешанная реальность (только Windows Mixed Reality) |
| Переключение "Использовать геймпад для имитации" | F6 | Если этот параметр отключен, симуляция игнорирует ввод геймпада. |
| Отображение или скрытие панели управления | F7 | |
| Установка фокуса клавиатуры на панель управления | F8 | Если панель в настоящее время не видна, она будет показана в первую очередь. |
| Закрепление или отстыковка панели от эмулятора или окна портала Смешанная реальность | F9 | Если окно закрывается при отстыковке, оно закрепляется и скрывается. |