Курсоры
Курсор обеспечивает непрерывную обратную связь в зависимости от того, где гарнитура считает, что текущий фокус пользователя находится в данный момент времени. Обратная связь курсора включает, какая область, голограмма или точка в виртуальной среде реагирует на входные данные. Несмотря на то, что курсор является цифровым представлением того, где устройство понимает внимание пользователя, это не то же самое, что определение намерений пользователя. Обратная связь курсора также позволяет пользователям узнать, какие ответы системы следует ожидать. Вы можете использовать отзыв, чтобы сообщить о своем намерении устройству, что повышает доверие пользователей.
Существует 3 вида курсоров: палец, луч и взгляд головы. Эти указатели работают с различными модальностями ввода в HoloLens, HoloLens 2 и иммерсивных гарнитурах. Ниже приведены рекомендации по использованию курсора для каждого типа гарнитуры и модели взаимодействия. В наборе средств Смешанная реальность (MRTK) мы создали модули перетаскивания курсоров, которые помогут вам создать правильный интерфейс указателя.
Поддержка устройств
| Компонент | HoloLens (1-го поколения) | HoloLens 2 | Иммерсивные гарнитуры |
| Указатель пальца | ❌ | ✔️ | ❌ |
| Курсор луча | ❌ | ✔️ | ✔️ |
| Курсор взгляда на голову | ✔️ | ✔️ | ✔️ |
Указатель пальца
Курсор пальца доступен только на HoloLens 2 для улучшения режима взаимодействия "прямая манипуляция руками". Мы прикрепили кольца к кончикам обоих указательных пальцев, чтобы лучше понять, куда он указывает. Размер кольца зависит от близости пальца к поверхности пользовательского интерфейса, которая уменьшается до небольшой точки, когда палец касается пользовательского интерфейса. Чем ближе палец, тем меньше кольцо.
Состояния визуальной обратной связи для курсора пальца 1: кольцо сжимается до точки. 2. Кольцо выравнивается по поверхности. 3. Кольцо перпендикулярно вектору пальца. 4: Нет кольца.
Курсор луча
Курсоры лучей прикрепляются к концу лучей, указывающих далеко, чтобы разрешить манипуляции с объектами, которые находятся вне досягаемости рук. В иммерсивных гарнитурах лучи отстреливаются от контроллеров движения и заканчиваются точками курсоров. В HoloLens 2 мы применяем ментальную модель этих лучей контроллера движения и разработанные лучи рук, которые исходят из ладоней и заканчиваются кольцевыми курсорами, которые согласуются с курсорами пальцев, используемыми в прямой манипуляции.
Курсоры лучей контроллеров движения
Луч курсоров рук
Курсор взгляда на голову
Курсор взгляда головы — это точка, которая прикрепляется к концу невидимого вектора головного вектора, использующего положение и поворот головы к точке. Для выполнения действий этот указатель курсор связывается с различными входными данными фиксации, такими как касание воздуха, голосовые команды, остановка и нажатие кнопки. В HoloLens 2, взгляд головы лучше всего сочетать с любым вводом фиксации, который не является краном воздуха, так как будет конфликт взаимодействия между воздушным краном и дальними лучами рук.
Курсор взгляда головы с помощью жеста руки
Курсор взгляда головы с голосовой командой
Рекомендации по настройке курсора
Если вы хотите настроить поведение и внешний вид обратной связи курсора, ознакомьтесь с некоторыми рекомендациями по проектированию:
Масштаб курсора
- Курсор не должен быть больше доступных целевых объектов, что позволяет пользователям легко взаимодействовать с содержимым и просматривать его.
- В зависимости от создаваемого интерфейса масштабирование курсора по мере просмотра пользователем также является важным фактором. Например, когда пользователь смотрит дальше в вашем интерфейсе, курсор не должен становиться слишком маленьким, чтобы он потерялся.
- При масштабировании курсора рекомендуется применить к нему мягкую анимацию по мере масштабирования, чтобы придать ему органичное ощущение.
- Старайтесь не препятствовать содержимому. Голограммы — это то, что делает процесс запоминающимся, и курсор не должен отнимать у них.
Фигура курсора без направления
- Хотя нет ни одной правильной фигуры курсора, рекомендуется использовать фигуру без направления, например тор. Курсор, указывающий в каком-то направлении (например, традиционный курсор со стрелками), может запутать пользователя, чтобы он всегда выглядел таким образом.
- Исключением является использование курсора для передачи инструкции взаимодействия пользователю. Например, при масштабировании голограмм в ОС Смешанная реальность курсор временно включает стрелки, которые указывают пользователю, как переместить руку для масштабирования голограммы.
Выглядеть и чувствовать
- Курсор в форме кольца или торуса работает во многих приложениях.
- Выберите цвет и форму, которые лучше всего представляют создаваемый интерфейс.
- Курсоры особенно подвержены разделению цвета.
- Небольшой курсор со сбалансированной прозрачностью делает его информативным, не доминируя в визуальной иерархии.
- Будьте осведомлены об использовании теней или выделений за курсором, так как они могут препятствовать содержимому и отвлекать от выполнения задачи.
- Курсоры должны выравнивать поверхности в приложении и обнимать их. У пользователей будет ощущение, что система может видеть, где они смотрят, но и что система знает об их окружении. Например, курсор в оси Смешанная реальность выравнивается по поверхностям мира пользователя, создавая ощущение осведомленности о мире, даже если пользователь не смотрит непосредственно на голограмму.
- Магнитное блокирование курсора к интерактивному элементу, когда он находится близко к пользователю, может помочь повысить уверенность в том, что пользователь будет взаимодействовать с этим элементом при использовании действия выбора.
Визуальные подсказки
- Если ваш опыт сосредоточен на одной голограмме, курсор должен выровнять и обнять только эту голограмму и изменить форму, когда вы смотрите в сторону от этой голограммы. Это может сообщить пользователю, что голограмма может работать с ней.
- Если приложение использует пространственное сопоставление, курсор может выровнять и обнять каждую видимую поверхность. Это дает пользователям отзывы о том, что HoloLens и ваше приложение могут видеть их пространство. Это усиливает тот факт, что голограммы являются реальными и в нашем мире, и помогает преодолеть разрыв между реальным и виртуальным.
- Иметь представление о том, что должен делать курсор, если в представлении нет голограмм или поверхностей. Одним из вариантов является размещение его на заранее заданном расстоянии перед пользователем.
Возможные действия
- Курсор может быть представлен различными значками для обозначения возможных действий голограммы, таких как масштабирование или поворот.
- Добавляйте дополнительные сведения на курсор, только если это что-то значит для пользователя. В противном случае пользователи могут либо не заметить изменения состояния, либо запутаться курсором.
Состояние входных данных
Мы можем использовать курсор для отображения входного состояния или намерения пользователя. Например, можно отобразить значок, сообщающий пользователю, что система видит состояние руки и что приложение знает, что готово к действию.
Мы также можем использовать курсор, чтобы показать пользователям, что система слышала голосовые команды с помощью мгновенного изменения цвета.
Следующие состояния курсора можно реализовать различными способами. Эти различные состояния можно реализовать путем моделирования курсора в виде конечного автомата. Пример:
- В состоянии простоя отображается курсор по умолчанию.
- Состояние готовности — это когда вы обнаружили, что рука пользователя находится в позиции готовности.
- Состояние взаимодействия — это когда пользователь выполняет определенное взаимодействие.
- Состояние "Возможные действия" или состояние при наведении указателя — это состояние, когда вы передаете возможные действия, которые могут быть выполнены на голограмме.
Вы также можете реализовать эти состояния в скине, чтобы отображать различные художественные ресурсы при обнаружении различных состояний.
Переход "без курсора"
Проектирование без курсора рекомендуется, если чувство погружения является ключевым компонентом взаимодействия и когда взаимодействие указателя (с помощью взгляда и жеста) не требует большой точности. Система по-прежнему должна соответствовать обычным требованиям курсора: предоставлять пользователям непрерывную обратную связь о понимании системой их указателя и помогать им сообщать о своих намерениях системе. Это может быть достижимо с помощью других заметных изменений состояния.
Курсор в MRTK (набор средств Смешанная реальность) для Unity
По умолчанию MRTK предоставляет заготовку курсора (DefaultCursor.prefab), которая имеет то же визуальное состояние, что и системный курсор оболочки. Она назначается в профиле ввода данных в MRTK, в разделе "Указатели". Этот курсор можно заменить или настроить в соответствии с вашими возможностями. Для взаимодействия с вводом отслеживания взгляда MRTK также предоставляет EyeGazeCursor, который имеет тонкий визуальный вид, чтобы свести к минимуму отвлекающие факторы.