Взаимодействие на основе взгляда на HoloLens 2
Одной из наших новых возможностей в HoloLens 2 является отслеживание взгляда. На странице Отслеживание взгляда на HoloLens 2 мы упомянули о необходимости прохождения калибровки для каждого пользователя, предоставили некоторые рекомендации для разработчиков и выделили варианты использования для отслеживания взгляда. Ввод взгляда по-прежнему является новым типом пользовательского ввода, и есть чему научиться.
Хотя ввод взгляда используется только в интерфейсе holographic Shell (пользовательском интерфейсе, который вы видите при запуске HoloLens 2), несколько приложений, таких как "HoloLens Playground", демонстрируют отличные примеры того, как ввод взгляда может добавить к магии голографического интерфейса. На этой странице мы обсудим вопросы проектирования для интеграции входных данных с помощью взгляда для взаимодействия с голографическими приложениями.
Вы узнаете о ключевых преимуществах, а также о уникальных проблемах, которые поставляются с вводом взгляда. На их основе мы предоставляем несколько рекомендаций по проектированию, которые помогут вам создать удовлетворяющие требованиям пользовательские интерфейсы с поддержкой взгляда.
Поддержка устройств
| Компонент | HoloLens (1-го поколения) | HoloLens 2 | Иммерсивные гарнитуры |
| Взгляд | ❌ | ✔️ | ❌ |
Демонстрация основных принципов разработки технологии отслеживания взгляда и головы
Если вы хотите посмотреть, как работает отслеживание головы и взгляда, ознакомьтесь с нашей видеодемонстрацией Designing Holograms - Head Tracking and Eye Tracking (Создание голограмм — отслеживание головы и взгляда) ниже. По завершении продолжите изучать другие темы.
Это видео было записано из приложения Designing Holograms для HoloLens 2. Скачайте его и насладитесь всеми его возможностями здесь.
Рекомендации по проектированию входных данных с глазным взглядом
Создание взаимодействия, использующего преимущества быстрой нацеливания на глаза, может оказаться сложной задачей. В этом разделе мы кратко рассмотрим ключевые преимущества и проблемы, которые следует учитывать при разработке приложения.
Преимущества ввода взгляда
Высокая скорость нацеливания. Глазная мышца является самой быстро реагирующей мышцей в человеческом теле.
Низкие усилия. Физическое перемещение почти не требуется.
Ненавязчивость. Часто описывается пользователями как "чтение разума", информация о движениях глаз пользователя позволяет системе узнать, к какой цели планирует подключиться пользователь.
Альтернативный канал ввода. Взгляд может обеспечить мощный вспомогательный ввод для ручного и голосового ввода на основе многолетнего опыта пользователей на основе их координации между руками и глазами.
Визуальное внимание. Еще одним важным преимуществом является возможность определить, на что пользователь обращает внимание. Это может помочь в различных областях приложений, от более эффективной оценки различных проектов до помощи в более умных пользовательских интерфейсах и расширенных социальных сигналов для удаленного общения.
В двух словах, использование взгляда глаза в качестве входных данных обеспечивает быстрый и простой контекстный входной сигнал. Эта функция эффективна в сочетании с другими входными данными, такими как голосовой и ручной ввод, чтобы подтвердить намерение пользователя.
Проблемы взгляда в качестве входных данных
В то время как взгляд может быть использован для создания удовлетворяющих пользователей, которые заставляют вас чувствовать себя супергероем, также важно знать, что это не хорошо, чтобы должным образом учитывать это. В следующем списке рассматриваются некоторые проблемы , которые следует учитывать, и способы их решения при работе с вводом взгляда.
Ваш взгляд "всегда включен" В тот момент, когда вы открываете глазные крышки, ваши глаза начинают фиксировать на вещи в окружающей среде. Реакция на каждый взгляд, который вы делаете, и случайное выполнение действий, потому что вы смотрели на что-то слишком долго, приведет к неудовлетворительному опыту. Мы рекомендуем сочетать взгляд с голосовой командой, жестом руки, нажатием кнопки или расширенным нажатием кнопки, чтобы активировать выбор цели (дополнительные сведения см. в разделе Взгляд и фиксация). Это решение также позволяет использовать режим, в котором пользователь может свободно осматриваться вокруг, не будучи перегруженным невольно активируя что-то. Эту проблему также следует учитывать при разработке визуальной и слуховой обратной связи при просмотре целевого объекта. Старайтесь не перегружать пользователя мгновенными всплывательными эффектами или звуками наведении указателя мыши. Тонкость является ключевым фактором. Мы обсудим некоторые рекомендации по этому вопросу ниже, когда речь идет о рекомендациях по проектированию.
Наблюдение и контроль Представьте, что вы хотите точно выпрямить фотографию на стене. Вы внимательно смотрите на рамку и окружающие объекты, чтобы оценить горизонтальность линий. Теперь представьте, как это сделать, если вы хотите использовать взгляд в качестве входных данных для перемещения изображения. Сложно, правда? Это описывает двойную роль взгляда, когда она требуется как для ввода, так и для управления.
Оставьте перед щелчком: Для быстрого выбора целевых объектов исследования показали, что взгляд пользователя может двигаться дальше, прежде чем завершить нажатие вручную (например, касание воздуха). Обратите особое внимание на синхронизацию сигнала быстрого взгляда с более медленным вводом управления (например, голос, руки, контроллер).
Небольшие целевые объекты: Знаете ли вы чувство, когда вы пытаетесь прочитать текст, который немного слишком мал, чтобы читать удобно? Это напряженное чувство на глазах может привести к тому, что вы чувствуете себя усталым и изношенным, потому что вы пытаетесь изменить глаза, чтобы сосредоточиться лучше. Это чувство, которое вы можете вызвать у пользователей, когда они вынуждены выбирать целевые объекты, которые слишком малы в вашем приложении, с помощью нацеливания на глаза. Чтобы поддерживать приятное и уверенное взаимодействие с пользователем, мы рекомендуем учесть при разработке, что минимальный размер целевых объектов должен быть не менее 2°, а желательно еще больше.
Неорванные движения взгляда Наши глаза выполняют быстрые движения от фиксации до фиксации. Изучая записанный путь перемещения глаз, вы быстро заметите его неравномерность. Ваши глаза двигаются быстро и в спонтанных прыжках в сравнении с головным взглядом или движениями рук.
Надежность отслеживания. Точность отслеживания взгляда может немного снизиться при изменении освещения, как ваши глаза приспосабливаются к новым условиям. Хотя это не обязательно должно повлиять на структуру приложения, так как точность должна быть в пределах ограничения 2 °, пользователю может потребоваться выполнить повторную калибровку.
Рекомендации по проектированию
Ниже приведен список конкретных рекомендаций по проектированию, основанных на описанных преимуществах и проблемах при вводе взгляда.
Взгляд не совпадает с головным взглядом:
Подумайте, соответствуют ли быстрые, но неорванные движения глаз вашей входной задаче: Хотя наши быстрые и неровные движения глаз отлично подходят для быстрого выбора целей в поле зрения, это менее применимо для задач, требующих плавной траектории ввода (например, рисования или опоясывания заметок). Для таких задач лучше использовать движения рук или головы.
Старайтесь не прикреплять что-то непосредственно к взгляду пользователя (например, к ползунку или курсору). При использовании курсоров это может привести к эффекту "бегущих курсоров" из-за небольшого смещения в проецируемый сигнал взгляда. С помощью ползунка он может конфликтовать с двойной ролью управления ползунком глазами, а также захотеть проверить, находится ли объект в правильном месте. В качестве примера ползунка имеет смысл использовать взгляд в сочетании с жестами рук. Это означает, что пользователь может быстро и легко переключаться между многими ползунками, поднимая руку и сжимая большой и указательный палец, чтобы схватить и переместить его. Когда выжимка будет снята, ползунок перестает двигаться. Пользователи могут быть перегружены и отвлекаться, особенно если сигнал для этого пользователя недоступен.
Объедините взгляд с другими входными данными: Интеграция отслеживания взгляда с другими входными данными, такими как жесты рук, голосовые команды или нажатия кнопок, обеспечивает ряд преимуществ:
Разрешить бесплатное наблюдение: Учитывая, что основная роль наших глаз заключается в наблюдении за окружающей средой, важно, чтобы пользователи были разрешены оглядывание вокруг, не вызывая никаких (визуальных, слуховых и т. д.) отзывов или действий. Объединение отслеживания взгляда с другим элементом управления вводом позволяет плавно переходить между режимами наблюдения отслеживания взгляда и управления вводом.
Эффективный поставщик контекста: Использование сведений о том, где и что пользователь смотрит при произнесии голосовой команды или жеста руки, позволяет легко направлять входные данные в поле зрения. Например: скажите "положить туда", чтобы быстро и легко выбрать и расположить голограмму по всей сцене, глядя на цель и ее предполагаемое назначение.
Необходимость синхронизации мультимодальных входов: Сочетание быстрых движений глаз с более сложными входными данными, такими как длинные голосовые команды или жесты рук, имеет риск того, что пользователь уже продолжает осматриваться, прежде чем дополнительная команда ввода будет завершена и распознана. Если вы создаете собственные элементы управления вводом (например, пользовательские жесты руки), обязательно заносите в журнал начало этих входных данных или приблизительную продолжительность, чтобы сопоставить их с тем, что пользователь смотрел в прошлом.
Тонкие отзывы для входных данных для отслеживания взгляда: Полезно предоставлять обратную связь при просмотре целевого объекта, чтобы указать, что система работает должным образом, но ее следует не учитывать. Это может включать медленное смешивание и выход, визуальное выделение или выполнение других тонких целевых поведений, таких как медленное движение, например незначительное увеличение целевого размера. Это означает, что система правильно обнаружила, что пользователь смотрит на целевой объект без необходимости прерывать текущий рабочий процесс пользователя.
Избегайте применения неестественных движений глаз в качестве входных данных: Не заставляйте пользователей использовать определенные движения глаз (жесты взгляда) для активации действий в приложении.
Учитывай, что нетворки: Мы различаем два типа неток, которые заметны для пользователей: смещение и дрожание. Самый простой способ устранить смещение — предоставить достаточно большие целевые объекты для взаимодействия. В качестве ссылки рекомендуется использовать визуальный угол больше 2°. Например, ваш эскиз составляет около 2 градусов визуального угла, когда вы вытягиваете руку. На этом основана следующая рекомендация.
- Не заставляйте пользователей выбирать крошечные целевые объекты. Исследования показали, что если целевые объекты достаточно большие и система хорошо спроектированы, пользователи описывают свои взаимодействия как легкое и волшебное. Если же целевые объекты становятся слишком маленькими, взаимодействие вызывает у пользователей усталость и раздражение.
На этой странице вы получили хороший обзор, чтобы вы начали понимать взгляд как входные данные в смешанной реальности. Чтобы приступить к разработке, ознакомьтесь с нашими сведениями о взгляде в Unity и о взгляде в DirectX.