Наведение и фиксация с использованием рук

Cursors

Модель ввода с наведением и фиксацией при помощи рук позволяет пользователям нацеливаться на двумерные и трехмерные объекты, расположенные вне пределов прямой досягаемости, выделять их и управлять ими. Этот способ "дальнего" взаимодействия характерен только для смешанной реальности, поскольку в реальном мире люди не могут так взаимодействовать с объектами. Например, в фильме о супергероях Люди Икс персонаж Магнето может манипулировать удаленными объектами на расстоянии, используя жесты рук. В реальной жизни у людей нет таких способностей. При использовании технологий дополненной реальности (HoloLens) или смешанной реальности пользователи могут применять эти волшебные способности, выходя за пределы физических ограничений реального мира. Эти возможности делают голографическое взаимодействие не только веселым, но и более эффективным.

Поддержка устройств

Модель ввода HoloLens (1-го поколения) HoloLens 2 Иммерсивные гарнитуры
Наведение и фиксация с использованием рук ❌ Не поддерживается. ✔ Рекомендуется ✔ Рекомендуется

Наведение и фиксация — одна из новых возможностей, которая основана на новой системе отслеживания рук. Она используется как основная модель ввода в иммерсивных гарнитурах с применением контроллеров движений.



Лучи рук

В HoloLens 2 мы разработали функцию телекинеза. При ее применении для пользователя отображается луч, исходящий из центра его ладони. Этот луч рассматривается как продолжение руки. Курсор в виде кольца присоединяется к концу луча, указывая расположение, в котором луч пересекается с целевым объектом. После этого объект, на котором размещается курсор, может получать жестовые команды от руки.

Эта базовая жестовая команда запускается действием касания с помощью большого и указательного пальца. Используя телекинез для наведения и подтверждения, пользователи могут активировать кнопку или гиперссылку. С помощью более сложных жестов пользователи могут просматривать веб-содержимое и управлять трехмерными объектами на расстоянии. Визуальный дизайн луча руки также должен реагировать на эти состояния наведения и фиксации, как описано и показано ниже.

hand rays pointing
Состояние указания
В состоянии указания луч представлен штриховой линией, а курсор — в форме кольца.

hand rays commit
Состояние фиксации
В состоянии фиксации луч превращается в сплошную линию, а курсор сжимается в точку.



Переход между "близко" и "далеко"

Вместо специальных методов для выбора направления луча, например жестов указательным пальцем, мы используем луч, исходящий из центра ладони пользователя. Это позволяет освободить все пять пальцев для резервирования жестов, соответствующих более конкретным манипуляциям, таким как сжатие и захват. При такой структуре мы создаем только одну ментальную модель, в которой один и тот же набор жестов руками используется для близкого и удаленного взаимодействия. Для управления объектами на различных расстояниях можно использовать один и тот же жест захвата. Вызов лучей происходит автоматически и зависит от расстояния до объекта, как указано ниже:

Near manipulation
Манипуляция вблизи
Если объект находится на расстоянии вытянутой руки (примерно 50 см), лучи автоматически отключаются, побуждая к близкому взаимодействию.

Far manipulation
Манипуляция вдали
Если объект находится дальше, чем на расстоянии 50 см, лучи включаются. Переход должен быть плавным и легким.



Взаимодействие с двумерным экраном

Двухмерный экран — это голографический контейнер с содержимым двухмерных приложений, такой как веб-браузер. Концепция разработки удаленного взаимодействия с двухмерным экраном заключается в использовании лучей рук для наведения и касании для выделения. После наведения на цель луча руки пользователи могут с помощью касания активировать гиперссылку или кнопку. Они могут использовать одну руку для касания и захвата, чтобы прокрутить содержимое экрана вверх и вниз. Относительное движение при использовании обеих рук для касания и захвата может увеличить и уменьшить масштаб содержимого экрана.

При нацеливании луча руки на углы и края появляется отображение ближайших возможностей для манипуляции. Применяя к этим возможностям действия захвата и перетаскивания, пользователь может выполнять равномерное масштабирование (угловые возможности) и изменять пропорции (возможности граней). Путем захвата и перетаскивания голографической панели в верхней части двухмерного экрана пользователи могут переместить весь экран.

2d slate interaction click
Щелчок

2d slate interaction scroll
Прокрутка

2d slate interaction zoom
Масштабирование


Для манипуляции двухмерным экраном планшета:

  • Пользователи нацеливают луч руки на углы и края, чтобы появилось отображение ближайших возможностей для манипуляции.
  • Применяя к этим возможностям действия манипуляции, пользователь может выполнять равномерное масштабирование (угловые возможности) и изменять пропорции (возможности граней).
  • Применяя жест манипуляции к голографической панели в верхней части двухмерного экрана, пользователи могут переместить весь экран.


Манипуляция трехмерными объектами

Есть два способа не манипуляции трехмерными объектами: манипуляция на основе возможностей и манипуляция без использования возможностей. В модели наведения и фиксации пользователи могут выполнять точно такие же задачи с помощью телекинеза. Дополнительного обучения не требуется.

Манипуляция на основе возможностей

Пользователи используют лучи рук, чтобы навести и выявить ограничивающую рамку и возможности для манипуляции. Пользователи могут применить жест манипуляции к ограничивающей рамке, чтобы переместить весь объект; к краям, чтобы активировать возможности поворота; и к углам, чтобы активировать возможности для равномерного масштабирования.

3d object manipulation far move
Перемещение

3d object manipulation far rotate
Поворот

3d object manipulation far scale
Масштаб

Манипуляция без использования возможностей

Пользователи наводят лучи рук, чтобы появилось отображение ограничивающей рамки, а затем к нему непосредственно применяют жесты манипуляции. При использовании одной руки перемещение и вращение объекта связаны с движением и ориентацией руки. При использовании обеих рук пользователи могут перемещать, масштабировать и вращать объект в соответствии с относительными движениями обеих рук.



Инстинктивные жесты

Концепция инстинктивных жестов для наведения и подтверждения аналогична непосредственной манипуляции. Жесты, которые пользователи могут применять к трехмерному объекту, определяются структурой возможностей пользовательского интерфейса. Например, небольшая контрольная точка провоцирует сжать объект с помощью большого и указательного пальцев, а для захвата большого объекта интуитивно привычнее использовать все пять пальцев.

instinctual gestures far small object
Маленький объект

instinctual gestures far medium object
Средний объект

instinctual gestures far large object
Крупный объект



Симметричный дизайн для работы с помощью рук и контроллеров с шестью степенями свободы

Концепция наведения и фиксации для дальнего взаимодействия была создана и определена для Портала смешанной реальности (MRP). В этом сценарии пользователь применяет иммерсивную гарнитуру и контроллеры движения для взаимодействия с трехмерными объектами. Контроллеры движений выпускают лучи для наведения на дальние объекты и манипулирования ими. На контроллерах есть кнопки для выполнения различных действий. Мы применяем модель взаимодействия с помощью лучей, прикрепленных к обеим рукам. При такой симметричной структуре пользователям, знакомым с MRP, не понадобится изучать другую модель взаимодействия для удаленного наведения и манипуляции при использовании HoloLens 2 и наоборот.

symmetric design for rays with controllers
Лучи контроллера

symmetric design for rays with hands
Лучи рук



Телекинез в MRTK (наборе средств для смешанной реальности) для Unity

По умолчанию в MRTK предоставляется заготовка для телекинеза (DefaultControllerPointer.prefab), которая имеет то же визуальное состояние, что и телекинез в системе оболочки. Она назначается в профиле ввода данных в MRTK, в разделе "Указатели". В иммерсивной гарнитуре для контроллеров движений используются такие же лучи.


См. также