Определение направления взгляда и фиксация
Определение направления взгляда и фиксация — это специальная модель ввода с помощью отслеживания взгляда и фиксации, которая предполагает нацеливание на объект взглядом. Вы можете взаимодействовать с целью с помощью дополнительного ввода — фиксации, например с помощью жеста, голосовой команды или ввода с периферийного устройства (игровой контроллер).
С HoloLens 2 у нас есть отличная возможность сделать модель ввода Определение взгляда и фиксация быстрее и удобнее, используя направление взгляда вместо направления головы. Чтобы расширить распространенную модель взаимодействия с определением направления головы и фиксацией, сделайте следующее:
- Посмотрите на цель.
- Чтобы подтвердить выбор целевого объекта, выполните дополнительный явный ввод, например:
- жест руки (например, касание);
- нажатие кнопки (например, на клавиатуре Bluetooth или устройстве Clicker);
- голосовая команда (например, "Выбрать");
- задержка (т. е. пользователь просто задерживает взгляд на целевом объекте, который нужно выбрать).
Но в определенных ситуациях направление взгляда функционирует совершенно не так, как направление головы, что приводит к определенным сложностям.
В рекомендациях по проектированию взаимодействия на основе направления взгляда собраны общие преимущества и сложности, связанные с использованием отслеживания движения глаз в качестве ввода в голографическом приложении. В этом разделе рассматриваются вопросы разработки для модели Определение направления взгляда и фиксация. Наши глаза двигаются невероятно быстро и, следовательно, могут моментально нацеливаться в представлении. Отслеживание глаз идеально подходит для быстрых действий на основе определения направления взгляда и фиксации, особенно в сочетании с быстрыми фиксациями, например касанием или нажатием кнопки.
Демонстрация основных принципов разработки технологии отслеживания взгляда и головы
Если вы хотите посмотреть, как работает отслеживание головы и взгляда, ознакомьтесь с нашей видеодемонстрацией Designing Holograms - Head Tracking and Eye Tracking (Создание голограмм — отслеживание головы и взгляда) ниже. По завершении продолжите изучать другие темы.
Это видео было записано из приложения Designing Holograms для HoloLens 2. Скачайте его и насладитесь всеми его возможностями здесь.
Рекомендации по проектированию для модели с определением направления взгляда и фиксацией
Отключите курсор. Хотя в модели с направлением головы почти невозможно взаимодействовать без курсора, курсор начинает быстро отвлекать и раздражать при использовании направления взгляда. Вместо использования курсора для того, чтобы дать пользователю понять, работает ли отслеживание глаз и правильно ли определяется цель, на которую он смотрит в этот момент, применяйте легкое визуальное выделение.
Стремитесь к легкому выделению при наведении для обратной связи. То, что кажется отличной визуальной обратной связью для направления головы, может привести к ужасному, удручающему взаимодействию при использовании направления взгляда. Помните, что глаза двигаются невероятно быстро. Они мгновенно перемещаются от точки к точке в поле вашего зрения. Быстрые внезапные изменения выделения (включено/выключено) могут привести к мерцанию результатов выделения, когда осматриваешься. Таким образом для обратной связи при наведении мы рекомендуем использовать плавное выделение (и легкое исчезание выделения при отводе взгляда). Это означает, что сначала вы едва заметите обратную связь при взгляде на цель. В течение 500–1000 мс интенсивность выделения увеличится. Хотя начинающие пользователи могут задержать взгляд на цели, чтобы убедиться, что система правильно определила удержанную в поле зрения цель, опытные пользователи могут быстро бросить взгляд и выполнить фиксацию, не дожидаясь, пока обратная связь достигнет полной интенсивности. Мы также рекомендуем использовать плавное исчезание выделения при постепенном исчезании обратной связи наведения. Исследования показали, что быстрые изменения в движении и контрастности очень заметны для периферийного зрения (визуальной области, куда вы не смотрите). Исчезание не должно быть таким же медленным, как выделение. Это важно только при наличии высокой контрастности или изменений цвета в вашем выделении. Если обратная связь при наведении была изначально довольно слабой, вы, скорее всего, не заметите разницу.
Следите за синхронизацией взгляда и сигналов фиксации. Синхронизация входных сигналов — не такая уж и сложная задача для простой модели с касаниями и нажатиями кнопок. На это следует обратить внимание в случае, если вы хотите использовать более сложные действия фиксации, которые могут включать в себя длинные голосовые команды или сложные жесты руками. Представьте, что вы смотрите на цель и произносите длинную голосовую команду. Учитывая время, необходимое для произнесения, и время, необходимое системе для определения сказанного, за это время направление вашего взгляда переместится на другую цель в сцене. Либо сообщите пользователям, что им, возможно, нужно будет задержать взгляд на цели, пока команда не будет распознана, либо обрабатывайте входные данные так, чтобы определить начало команды и цель, на которую тогда смотрел пользователь.