Сложный ввод с помощью эмулятора HoloLens и симулятора Windows Mixed Reality

большинству пользователей эмулятора потребуется использовать только базовые элементы управления вводом для HoloLens Emulator или симулятора Windows Mixed Reality. Приведенные ниже сведения предназначены для опытных пользователей, которые обнаружили необходимость имитировать более сложные типы входных данных.

Основные понятия

чтобы приступить к управлению виртуальными входными данными для HoloLens Emulator и Windows Mixed Reality симулятора, сначала необходимо разобраться с некоторыми понятиями.

Движение означает управление и изменение положения и ориентации в сцене. Для целевого управляемого объекта движение управляется как поворотом, так и переводом (перемещением) по трем осям.

  • Значения нутации: поверните влево или вправо.
  • Шаг: включить или выключить.
  • Рулон: развертывание на стороне.
  • X: переместить влево или вправо.
  • Y: перемещение вверх или вниз.
  • Z: перемещение вперед или назад.

Входные данные для жестов и контроллера движения тесно связаны с физическими устройствами:

  • Действие: имитирует действие нажатия указательным пальцем на бегунок или получение кнопки действия на контроллере. Например, входные данные действия можно использовать для имитации жеста касания, прокрутки содержимого и нажатия клавиш.
  • раскрытия/system жест или главная: для возврата в оболочку и запуска системных действий используется жест HoloLens раскрытия/System или кнопка "главная" контроллера.

У руки есть обширное представление в HoloLens 2. Кроме отслеживаемых и не отслеживаемых и пригодных для использования жестов, у руки теперь есть четко сформулированная скелетная модель и она предоставляется разработчику. Каркасная модель имеет 26 баллов с каждой рукой.

  • Совместное: одна из 20 отслеживаний позиций для данной отслеживающей руки с соответствующей точкой в трехмерном пространстве.
  • Коллекция : полныйнабор всех соединений в прослеживании, 26 соединений.

В настоящее время в эмуляторе нет прямого контроля за отдельными совместными позициями, но их можно задать с помощью API имитации. У нас есть набор полезных репрезентативных элементов, которые эмулятор позволяет переключаться между ними.

Вы также можете контролировать состояние имитации входных датчиков:

  • Сброс: возвращает все смоделированные датчики в значения по умолчанию. начиная с Emulator HoloLens 2, для сброса можно использовать одну или обе руки. Привлекайте нужные руки с помощью клавиш или кнопок-модификаторов (слева и/или правое нажатие клавиши ALT или левого и/или правого амортизатора на игровом планшете).
  • Отслеживание: циклический перебор режимов позиционированного отслеживания, включая:
    • По умолчанию: операционная система выбирает оптимальный режим отслеживания в зависимости от запросов, сделанных системой.
    • Ориентация: принудительно отслеживает только ориентацию, независимо от системных запросов.
    • Позиционированный: принудительное отслеживание в позиционировании, независимо от системных запросов.

Типы входных данных

В следующей таблице показано, как каждый тип входных данных сопоставляется с клавиатурой, мышью и контроллером Xbox. Каждый тип имеет различное сопоставление в зависимости от режима элемента управления вводом. Дополнительные сведения о режимах управления вводом см. Далее в этом документе.

Входные данные Клавиатура Мышь Контроллер Xbox
Yaw Стрелки влево и вправо Перетащить влево и вправо Правый аналоговый стик слева и справа
Высота тона Стрелки вверх и вниз Перетаскивание вверх/вниз Правый аналоговый стик вверх/вниз
Roll Q/E DPad слева направо
X A/D Левый аналоговый стик слева или справа
Да Страница "вверх/вниз" DPad вверх/вниз
Z W/С Левый и пониженный аналоговый стик
Действие Введите или пробел Правая кнопка Кнопка или триггер
Раскрытия/System клавиша F2 или Windows Кнопка B
Кнопка захвата контроллера/рука G
Кнопка меню "контроллер" M
Сенсор сенсорной панели контроллера U
Нажатие кнопки на сенсорной панели контроллера P
Нажатие на аналоговый стика контроллера K
Состояние отслеживания левого контроллера F9
Состояние отслеживания правильного контроллера F10
Рука "Закрыть" 7
Рука "Open" (по умолчанию) 8
Рука "точка" 9
"Сжатие" вручную 0
Reset Escape-клавиша Кнопка "Пуск"
Отслеживание T или F3 Кнопка х

Примечание. кнопки контроллера могут быть нацелены на одну руку или контроллер, а другой — с помощью модификаторов нацеливания руки.

Целевая настройка

Некоторые из приведенных выше концепций ввода посвящены их собственным. Действие, раскрытия, система, сброс и отслеживание являются полными концепциями, не требуются и не затрагиваются любыми дополнительными модификаторами для нацеливания. Остальные основные понятия можно применить к одной из нескольких целей. Мы предоставили способы указать, к какой цели должна применяться команда. Во всех случаях можно указать в пользовательском интерфейсе или с помощью нажатий клавиш, какой объект следует нацелить. В некоторых случаях можно также указать контроллер Xbox напрямую.

В следующей таблице описаны параметры для нацеливания и способы их активации.

Объект Модификатор клавиатуры Модификатор контроллера модификатор пользовательского интерфейса Emulator
Текст (по умолчанию). (по умолчанию). (по умолчанию).
Head Удержание H (Недоступно) (Недоступно)
Левая рука и контроллер Удерживайте левую кнопку Alt Удерживать левую кнопку Кнопка Left-Hand
Правая рука и контроллер Удерживать правую кнопку Alt Удерживать правую кнопку Кнопка Right-Hand
Глаз Удержание Y (Недоступно) Кнопка "глаза"

В следующей таблице показано, как каждый целевой модификатор соответствует каждому из основных концепций ввода движения.

Входные данные По умолчанию (текст) Рука или контроллер (удерживайте клавишу Alt, удерживайте нажатой кнопку с изображением планшета или переключается на значок) Head (удержание H) Глаза (удерживайте Y или установите переключатель пользовательского интерфейса)
Yaw Повернуть текст влево/вправо Переместить руку влево или вправо Повернуть головку влево/вправо Взгляд на глаза выглядит влево/вправо
Высота тона Включить или выключить заголовку Переместить руку вверх/вниз Включить или выключить заголовку Поиск взгляда на глаза
Roll Заголовок рулона слева направо Заголовок рулона слева направо (Нет действия)
X Текст слайда слева и справа Переместить руку/контроллер влево/вправо Повернуть головку влево/вправо (Нет действия)
Да Переместить текст вверх/вниз Вверх/вниз перемещение руки/контроллера Включить или выключить заголовку (Нет действия)
Z Переместить текст вперед/назад Переместить перенаправление вперед/назад на контроллер Включить или выключить заголовку (Нет действия)

Управление приложением

Для повседневного использования предлагается следующий набор элементов управления:

Операция Клавиатура и мышь Контроллер
Текст X A/D Левый аналоговый стик слева или справа
Текст по оси Y Страница "вверх/вниз" DPad вверх/вниз
Текст Z W/С Левый и пониженный аналоговый стик
Значения нутации текста Перетащите левую или правую кнопку мыши Правый аналоговый стик слева и справа
Головной значения нутации Перетащите указатель мыши влево или вправо H (на клавиатуре) + Правый аналоговый стик слева или справа
Шаг заголовка Перетащите указатель мыши вверх или вниз Правый аналоговый стик вверх/вниз
Головной Q/E DPad слева направо
Вручную/контроллер X Alt + A/D Левосторонний + левый аналоговый стик слева или справа
Вручную или контроллер Y Alt + Page сверху/Page Down Наплечка + DPad вверх/вниз
Вручную/контроллер Z ALT + W/S Наплечки + левый аналоговый стик вверх/вниз
Значения нутацииа вручную или контроллера Alt + перетаскивание левой или правой кнопкой мыши Наплечные и правый аналоговый стик слева и справа
Шаг между рукой и контроллером Alt + перетаскивание кнопки мыши вверх/вниз Наплечки + правый аналоговый стик вверх/вниз
Развертывание вручную или контроллера Alt + Q/E Наплечка + DPad влево/вправо
Действие Правая кнопка мыши Триггер
Раскрытия/система/Главная клавиша F2 или Windows Кнопка B
Reset ESC Кнопка "Пуск"
Отслеживание T Кнопка х
Прокрутка Alt + щелчок правой кнопкой мыши + Перетаскивание вверх/вниз Наплеч + триггер + правый аналоговый стик вверх/вниз
Быстрое перемещение и вращение Клавиша SHIFT слева или справа Нажмите и удерживайте правый аналоговый стик.
Слишком большое перемещение или вращение Клавиша CTRL слева или справа Нажмите и удерживайте левый аналоговый стик.

Использование иммерсивной гарнитуры и контроллеров движения Windows Mixed Reality с эмулятором HoloLens 2

при использовании Windows Mixed Reality иммерсивное гарнитура с HoloLens 2 Emulator перемещение и поворот автоматически сопоставляются с движением и поворотом гарнитуры. Положение и ориентация контроллера движения автоматически сопоставляются с положением и ориентацией вручную в эмуляторе. В таблице ниже перечислены дополнительные действия, доступные при использовании контроллера движения.

Примечание

При использовании гарнитуры Стандартная клавиатура, мышь и элементы управления "игровой планшет" автоматически игнорируются.

Операция Действие Примечания
Текст X Аналоговый стик слева и справа
Текст Z Перемотка на аналоговый стик в обратном направлении
Текст по оси Y Клавиатура на странице вверх/Довн убедитесь, что у Windows Mixed Reality есть фокус. нажмите клавиши Win + Y, если фокус находится на рабочем столе Windows, чтобы вернуть фокус на Windows Mixed Reality.
Глаз выглядит влево/вправо DPad слева направо
Поиск глаз DPad вверх/вниз
Касание Триггер
Сжатие и усвоение Кнопка захвата
Системный жест Кнопка меню
Сбросить расположение Щелчок на аналоговый стик

имитация восприятия панель управления сочетаний клавиш

Вы можете открыть панель управления имитацией восприятия и включить или отключить устройства ввода ПК с помощью следующих сочетаний клавиш.

Операция Сочетание клавиш Описание/примечания
Переключить "использовать клавиатуру для симуляции" F4 при отключении ввода с клавиатуры выполняется переход на HoloLens или Windows Mixed Reality приложение.
Переключатель "использовать мышь для имитации" F5 если этот параметр отключен, ввод с помощью мыши переходит в Смешанная реальностьную среду (только Windows Mixed Reality)
Переключить "использовать игровой планшет для симуляции" F6 При выключении входные данные на игровом модуле игнорируются эмуляцией
Показать или скрыть панель управления F7
Установка фокуса клавиатуры на панель управления F8 Если панель в данный момент не видна, она будет показана первой.
закрепление или отстыковка панели с эмулятором или окном портала Смешанная реальность F9 Если окно закрывается при отстыковке, оно закреплено и скрыто.

См. также статью