Модели взаимодействия

  • 3 мин

Смешанная реальность набор средств позволяет использовать входные данные из различных источников ввода, таких как контроллеры, сформулированные руки или речь. Выбор модели взаимодействия, которая лучше всего подходит для вашего интерфейса смешанной реальности, требует определить пользователя и их цели и рассмотреть любые ситуационные или экологические факторы, которые могут повлиять на их опыт. Здесь вы узнаете о трех основных моделях взаимодействия для взаимодействия с смешанной реальностью и о том, как имитировать входные данные в Unity.

Модели взаимодействия

Существует три основных модели взаимодействия, которые подходят большинству опытов смешанной реальности.

Модель Примеры сценариев Совпадение
Руки и контроллеры движения Возможности трехмерного пространства, такие как пространственная структура и конструктор, манипулирование содержимым или симуляция. В сочетании с системой голосовой связи, отслеживанием взгляда или направления головы отлично подходит для новых пользователей. Низкий порог вхождения. Последовательное взаимодействие с пользователем для отслеживания рук и контроллеров 6DoF.
Режимы без использования рук Контекстуальные возможности, когда руки пользователя заняты, например, обучением на рабочем месте и обслуживанием. Требуется некоторое обучение. Если руки должны быть свободны, устройство обеспечивает удобное управление с помощью голоса и естественного языка.
Взгляд и фиксация Взаимодействие с щелчком мыши; например, трехмерные презентации или демонстрации. Требуется обучение на подключенных к голове устройствах, но не на мобильных устройствах. Лучшее для доступных контроллеров.

Хотя вы можете объединить части нескольких моделей взаимодействия в интерфейс смешанной реальности, помните, что это создает риск конкурирующих входных данных пользователей, таких как одновременные лучи руки и курсор взгляда головы. Это может быть сложным для восприятия пользователей.

Если для работы требуется несколько моделей взаимодействия, помните, что многие пользователи могут столкнуться с трудностями при переходе от одной модели к другой, особенно те, которые не знакомы со смешанной реальностью.

Модель "Руки и контроллеры движений"

Для модели "Руки и контроллеры движений" требуется, чтобы пользователи использовали одну или две руки для взаимодействия с голографическим миром. Эта модель стирает границу между виртуальным и физическим.

Ниже приведены некоторые сценарии.

  • Предоставление информационных работников на двухмерных виртуальных экранах с возможностью пользовательского интерфейса для просмотра содержимого и управления им.
  • Предоставление учебников и руководств по работе с внешними работниками для линий сборки фабрики
  • Разработка профессиональных средств для помощи медицинским специалистам и их обучения.
  • Использование трехмерных виртуальных объектов для декорирования реального мира или создания другого мира
  • Создание служб и игр на основе местоположения с использованием реального мира в качестве фона.

Есть три режима модели "Руки и контроллеры движений":

  • Непосредственное манипулирование с использованием рук
  • Наведение и фиксация с использованием рук
  • Контроллеры движения

Бесконтактная модель

Модель без рук позволяет пользователям взаимодействовать с голографическим содержимым без использования рук. Этот подход лучше всего использовать, если пользователю может потребоваться использовать свои руки для достижения своих реальных целей, и у вас возникнут трудности с взаимодействием с интерфейсом на основе рук и контроллеров.

Ниже приведены некоторые сценарии.

  • Решение пошаговой задачи, в то время как руки пользователя заняты.
  • Обращение к материалам, в то время как руки пользователя заняты.
  • Усталость рук.
  • Перчатки, которые нельзя отследить.
  • Занятость рук.
  • Социальная неловкость делать большие жесты руки
  • Нехватка пространства.

Есть два режима бесконтактной модели:

  • Голосовой ввод
  • Взгляд и задержка

Взгляд и фиксация

Взгляд и фиксация — это модель ввода, которая тесно связана с тем, как мы взаимодействуем с компьютерами с помощью мыши, чтобы указать и щелкнуть. Взгляд и фиксация считаются моделью дальнего ввода с непрямым манипулированием. Поэтому лучше всего использовать взгляд и фиксацию при взаимодействии с голографическим содержимым, которое выходит за пределы досягаемости. Существует два типа ввода взгляда (взгляд головы и взгляд глаз) и различные действия фиксации.

После того как пользователь использует взгляд для целевого объекта или элемента пользовательского интерфейса, пользователь может взаимодействовать с ним или выбирать его с помощью дополнительного ввода. Это называется этапом фиксации модели ввода. К методам фиксации относятся речевые команды, нажатие кнопки или жест рукой.

Имитация входных данных в редакторе Unity

Имитация входных данных в редакторе Unity позволяет протестировать работу с голографическим объектом, используя взаимодействие с помощью руки или глаза.

Перемещение по сцене

  • Используйте клавиши W/A/S/D для перемещения камеры вперед/влево/назад/вправо.
  • Используйте клавиши Q/E для перемещения камеры по вертикали.
  • Нажмите и удерживайте правую кнопку мыши, чтобы повернуть камеру.

Имитация ручного ввода

  • Нажмите и удерживайте клавишу ПРОБЕЛ, чтобы включить правую руку.
  • Удерживая ПРОБЕЛ, двигайте указатель мыши, чтобы перемещать руку.
  • Чтобы изменить толщину руки, используйте колесико прокрутки мыши.
  • Нажмите левую кнопку мыши, чтобы имитировать жест сцепление.
  • Используйте ключи T/Y , чтобы сделать руку постоянной в представлении.
  • Удерживайте клавишу CTRL и двигайте мышь, чтобы повернуть руку.
  • Нажмите и удерживайте левую клавишу SHIFT, чтобы включить левую руку.