Наведение и фиксация с использованием рук
Модель ввода с наведением и фиксацией при помощи рук позволяет пользователям нацеливаться на двумерные и трехмерные объекты, расположенные вне пределов прямой досягаемости, выделять их и управлять ими. Этот способ "дальнего" взаимодействия характерен только для смешанной реальности, поскольку в реальном мире люди не могут так взаимодействовать с объектами. Например, в фильме о супергероях Люди Икс персонаж Магнето может манипулировать удаленными объектами на расстоянии, используя жесты рук. В реальной жизни у людей нет таких способностей. При использовании технологий дополненной реальности (HoloLens) или смешанной реальности пользователи могут применять эти волшебные способности, выходя за пределы физических ограничений реального мира. Эти возможности делают голографическое взаимодействие не только веселым, но и более эффективным.
Поддержка устройств
| Модель ввода | HoloLens (1-го поколения) | HoloLens 2 | Иммерсивные гарнитуры |
| Наведение и фиксация с использованием рук | ❌ Не поддерживается. | ✔ Рекомендуется | ✔ Рекомендуется |
Наведение и фиксация — одна из новых возможностей, которая основана на новой системе отслеживания рук. Она используется как основная модель ввода в иммерсивных гарнитурах с применением контроллеров движений.
Лучи рук
В HoloLens 2 мы разработали функцию телекинеза. При ее применении для пользователя отображается луч, исходящий из центра его ладони. Этот луч рассматривается как продолжение руки. Курсор в виде кольца присоединяется к концу луча, указывая расположение, в котором луч пересекается с целевым объектом. После этого объект, на котором размещается курсор, может получать жестовые команды от руки.
Эта базовая жестовая команда запускается действием касания с помощью большого и указательного пальца. Используя телекинез для наведения и подтверждения, пользователи могут активировать кнопку или гиперссылку. С помощью более сложных жестов пользователи могут просматривать веб-содержимое и управлять трехмерными объектами на расстоянии. Визуальный дизайн луча руки также должен реагировать на эти состояния наведения и фиксации, как описано и показано ниже.
Состояние указания
В состоянии указания луч представлен штриховой линией, а курсор — в форме кольца.
Состояние фиксации
В состоянии фиксации луч превращается в сплошную линию, а курсор сжимается в точку.
Переход между "близко" и "далеко"
Вместо специальных методов для выбора направления луча, например жестов указательным пальцем, мы используем луч, исходящий из центра ладони пользователя. Это позволяет освободить все пять пальцев для резервирования жестов, соответствующих более конкретным манипуляциям, таким как сжатие и захват. При такой структуре мы создаем только одну ментальную модель, в которой один и тот же набор жестов руками используется для близкого и удаленного взаимодействия. Для управления объектами на различных расстояниях можно использовать один и тот же жест захвата. Вызов лучей происходит автоматически и зависит от расстояния до объекта, как указано ниже:
Манипуляция вблизи
Если объект находится на расстоянии вытянутой руки (примерно 50 см), лучи автоматически отключаются, побуждая к близкому взаимодействию.
Манипуляция вдали
Если объект находится дальше, чем на расстоянии 50 см, лучи включаются. Переход должен быть плавным и легким.
Взаимодействие с двумерным экраном
Двухмерный экран — это голографический контейнер с содержимым двухмерных приложений, такой как веб-браузер. Концепция разработки удаленного взаимодействия с двухмерным экраном заключается в использовании лучей рук для наведения и касании для выделения. После наведения на цель луча руки пользователи могут с помощью касания активировать гиперссылку или кнопку. Они могут использовать одну руку для касания и захвата, чтобы прокрутить содержимое экрана вверх и вниз. Относительное движение при использовании обеих рук для касания и захвата может увеличить и уменьшить масштаб содержимого экрана.
При нацеливании луча руки на углы и края появляется отображение ближайших возможностей для манипуляции. Применяя к этим возможностям действия захвата и перетаскивания, пользователь может выполнять равномерное масштабирование (угловые возможности) и изменять пропорции (возможности граней). Путем захвата и перетаскивания голографической панели в верхней части двухмерного экрана пользователи могут переместить весь экран.
Щелчок
Прокрутка
Масштабирование
Для манипуляции двухмерным экраном планшета:
- Пользователи нацеливают луч руки на углы и края, чтобы появилось отображение ближайших возможностей для манипуляции.
- Применяя к этим возможностям действия манипуляции, пользователь может выполнять равномерное масштабирование (угловые возможности) и изменять пропорции (возможности граней).
- Применяя жест манипуляции к голографической панели в верхней части двухмерного экрана, пользователи могут переместить весь экран.
Манипуляция трехмерными объектами
Есть два способа не манипуляции трехмерными объектами: манипуляция на основе возможностей и манипуляция без использования возможностей. В модели наведения и фиксации пользователи могут выполнять точно такие же задачи с помощью телекинеза. Дополнительного обучения не требуется.
Манипуляция на основе возможностей
Пользователи используют лучи рук, чтобы навести и выявить ограничивающую рамку и возможности для манипуляции. Пользователи могут применить жест манипуляции к ограничивающей рамке, чтобы переместить весь объект; к краям, чтобы активировать возможности поворота; и к углам, чтобы активировать возможности для равномерного масштабирования.
Перемещение
Поворот
Масштаб
Манипуляция без использования возможностей
Пользователи наводят лучи рук, чтобы появилось отображение ограничивающей рамки, а затем к нему непосредственно применяют жесты манипуляции. При использовании одной руки перемещение и вращение объекта связаны с движением и ориентацией руки. При использовании обеих рук пользователи могут перемещать, масштабировать и вращать объект в соответствии с относительными движениями обеих рук.
Инстинктивные жесты
Концепция инстинктивных жестов для наведения и подтверждения аналогична непосредственной манипуляции. Жесты, которые пользователи могут применять к трехмерному объекту, определяются структурой возможностей пользовательского интерфейса. Например, небольшая контрольная точка провоцирует сжать объект с помощью большого и указательного пальцев, а для захвата большого объекта интуитивно привычнее использовать все пять пальцев.
Маленький объект
Средний объект
Крупный объект
Симметричный дизайн для работы с помощью рук и контроллеров с шестью степенями свободы
Концепция наведения и фиксации для дальнего взаимодействия была создана и определена для Портала смешанной реальности (MRP). В этом сценарии пользователь применяет иммерсивную гарнитуру и контроллеры движения для взаимодействия с трехмерными объектами. Контроллеры движений выпускают лучи для наведения на дальние объекты и манипулирования ими. На контроллерах есть кнопки для выполнения различных действий. Мы применяем модель взаимодействия с помощью лучей, прикрепленных к обеим рукам. При такой симметричной структуре пользователям, знакомым с MRP, не понадобится изучать другую модель взаимодействия для удаленного наведения и манипуляции при использовании HoloLens 2 и наоборот.
Лучи контроллера
Лучи рук
Телекинез в MRTK (наборе средств для смешанной реальности) для Unity
По умолчанию в MRTK предоставляется заготовка для телекинеза (DefaultControllerPointer.prefab), которая имеет то же визуальное состояние, что и телекинез в системе оболочки. Она назначается в профиле ввода данных в MRTK, в разделе "Указатели". В иммерсивной гарнитуре для контроллеров движений используются такие же лучи.