Активный объект

  • Статья

Интерактивные объекты

Кнопка уже давно является метафорой, используемой для запуска события в двухd абстрактном мире. В трехмерном мире смешанной реальности нам больше не нужно ограничиваться этим миром абстракции. Любой объект может быть интерактивным объектом , который активирует событие. Интерактивный объект может быть любым: от чашки кофе на столе до воздушного шара в воздухе. Мы по-прежнему используем традиционные кнопки в определенных ситуациях, например в пользовательском интерфейсе диалогового окна. Визуальное представление кнопки зависит от контекста.


Важные свойства взаимодействуемого объекта

Визуальные подсказки

Визуальные подсказки — это сенсорные сигналы из света, получаемые глазом и обрабатываемые зрительной системой во время визуального восприятия. Поскольку зрительная система является доминирующей у многих видов, особенно людей, визуальные сигналы являются большим источником информации о том, как воспринимается мир.

Так как голографические объекты смешиваются с реальной средой в смешанной реальности, может быть трудно понять, с какими объектами можно взаимодействовать. Для любых взаимодействуемых объектов в интерфейсе важно предоставлять дифференцированные визуальные подсказки для каждого входного состояния. Это помогает пользователю понять, какая часть вашего интерфейса является интерактивной, и делает пользователя уверенным, используя согласованный метод взаимодействия.


Дальние взаимодействия

Для любых объектов, с которыми пользователь может взаимодействовать со взглядом, лучом руки и лучом контроллера движения, рекомендуется использовать разные визуальные подсказки для следующих трех входных состояний:

Интерактивный объект с состоянием по умолчанию
Состояние по умолчанию (наблюдение)
Состояние бездействия объекта по умолчанию. Курсор не на объекте . Рука не обнаружена.

Интерактивный объект с целевым состоянием и состоянием при наведении указателя мыши
Целевое состояние (наведение)
При нацелии на объект с помощью курсора взгляда, приближения пальца или указателя контроллера движения. Курсор находится на объекте . Рука обнаружена, готова.

Интерактивный объект с нажатым состоянием
Состояние нажатия
При нажатии на объект с помощью жеста касания воздуха нажмите пальцем или кнопку выбора контроллера движения. Курсор находится на объекте . Рука обнаружена, воздух постучал.


Вы можете использовать такие методы, как выделение или масштабирование, для предоставления визуальных подсказок о состоянии ввода пользователя. В смешанной реальности примеры визуализации различных входных состояний можно найти в меню Пуск и с помощью кнопок панели приложения.

Вот как выглядят эти состояния на голографической кнопке:

Голографическая кнопка в состоянии по умолчанию
Состояние по умолчанию (наблюдение)

Голографическая кнопка в целевом состоянии и состоянии наведении
Целевое состояние (наведение)

Голографическая кнопка в нажатом состоянии
Состояние нажатия


Близкое взаимодействие (прямое)

HoloLens 2 поддерживает входные данные с помощью отслеживания рук, что позволяет взаимодействовать с объектами. Без тактильной обратной связи и идеального восприятия глубины может быть трудно определить, насколько далеко ваша рука находится от объекта или вы касаетесь его. Важно предоставить достаточно визуальных подсказок для передачи состояния объекта, в частности состояния рук на основе этого объекта.

Используйте визуальную обратную связь для передачи следующих состояний:

  • По умолчанию (наблюдение): состояние простоя объекта по умолчанию.
  • Наведение указателя. Когда рука находится рядом с голограммой, измените визуальные элементы, чтобы сообщить, что рука нацелена на голограмму. 
  • Расстояние и точка взаимодействия. Когда рука приближается к голограмме, создайте обратную связь для передачи проецируемых точек взаимодействия и насколько далеко от объекта находится палец
  • Начало контакта. Измените визуальные элементы (свет, цвет), чтобы сообщить о касании
  • Захват: изменение визуальных элементов (свет, цвет) при захвате объекта
  • Концы контакта: изменение визуальных элементов (свет, цвет) при завершении сенсорного ввода

Наведение (дальней)
Наведение (дальней)
Выделение на основе близости руки.

Наведение (поблизости)
Наведение (поблизости)
Размер выделения изменяется в зависимости от расстояния до руки.

Сенсорный ввод или нажатие
Сенсорный ввод или нажатие
Обратная связь со звуком и визуальными элементами.

Понять
Понять
Обратная связь со звуком и визуальными элементами.



Кнопка на HoloLens 2 является примером визуализации различных состояний взаимодействия с входными данными:

Значение по умолчанию
Default

Наведение
Наведение
Отображение эффекта освещения на основе близкого взаимодействия.

Сенсорный ввод
Сенсорный ввод
Показать эффект рябь.

Нажмите
Сочетание клавиш
Переместите переднюю пластину.


Визуальный сигнал "кольцо" на HoloLens 2

На HoloLens 2 есть дополнительный визуальный сигнал, который может помочь пользователю оценить глубину. Кольцо рядом с кончиком пальца отображается вверх и масштабируется по мере приближения кончика пальца к объекту. Кольцо в конечном итоге сходится в точку при достижении нажатого состояния. Эти визуальные возможности помогают пользователю понять, насколько далеко они находятся от объекта.

Цикл видео: пример визуальной обратной связи на основе близости к ограничивающей рамке

space
Визуальная обратная связь при близком расположении рук


Звуковые подсказки

При прямом взаимодействии с рукой правильная обратная связь со звуком может значительно улучшить взаимодействие с пользователем. Используйте обратную связь со звуком, чтобы сообщить о следующих подсказках:

  • Контакт начинается: воспроизведение звука при начале касания
  • Окончание контакта: воспроизведение звука на сенсорном устройстве
  • Начало захвата: воспроизведение звука при запуске захвата
  • Захват заканчивается: воспроизведение звука, когда захват заканчивается

Голосовые команды

Для любых взаимодействуемых объектов важно поддерживать альтернативные варианты взаимодействия. По умолчанию рекомендуется поддерживать голосовые команды для всех объектов, с которыми можно взаимодействовать. Чтобы улучшить возможность обнаружения, можно также указать подсказку во время наведении указателя мыши.

Изображение: подсказка для голосовой команды

голосовая команда


Рекомендации относительно размеров

Чтобы обеспечить возможность легкого прикосновения ко всем взаимодействуемым объектам, рекомендуется обеспечить соответствие взаимодействуемого объекта минимальному размеру в зависимости от расстояния от пользователя. Угол визуального элемента часто измеряется в градусах визуальной дуги. Визуальный угол зависит от расстояния между глазами пользователя и объектом и остается постоянным, в то время как физический размер целевого объекта может изменяться при изменении расстояния от пользователя. Чтобы определить необходимый физический размер объекта на основе расстояния от пользователя, попробуйте использовать калькулятор визуального угла, например этот.

Ниже приведены рекомендации по минимальным размерам интерактивного содержимого.

Целевой размер для прямого взаимодействия с рукой

Расстояние Угол обзора Размер
45 см не менее 2° 1,6 x 1,6 см

Целевой размер для прямого взаимодействия с рукой
Целевой размер для прямого взаимодействия с рукой


Размер целевого объекта для взаимодействия с лучом руки или взглядом

Расстояние Угол обзора Размер
2 м не меньше 1° 3,5 x 3,5 см

Размер целевого объекта для взаимодействия с лучом руки или взглядом
Размер целевого объекта для взаимодействия с лучом руки или взглядом


Интерактивный объект в MRTK (Смешанная реальность Toolkit) для Unity

В MRTK можно использовать скрипт Interactable , чтобы объекты реагировали на различные типы состояний взаимодействия ввода. Он поддерживает различные типы тем, которые позволяют определять визуальные состояния путем управления свойствами объекта, такими как цвет, размер, материал и шейдер.

Стандартный шейдер MixedRealityToolkit предоставляет различные варианты, такие как освещение близкого взаимодействия , которое помогает создавать визуальные и звуковые подсказки.


См. также раздел