Обзор примеров отслеживания взгляда — MRTK2
В этом разделе описывается, как быстро приступить к отслеживанию взгляда в MRTK, используя примеры отслеживания взгляда MRTK (Assets/MRTK/Examples/Demos/EyeTracking). Эти примеры позволяют вам испытать одну из наших новых возможностей магического ввода: отслеживание взгляда! Демонстрация включает в себя различные варианты использования, начиная от неявных активаций на основе глаз и заканчивая тем, как легко объединять информацию о том, что вы просматриваете, с помощью голосового и ручного ввода. Это позволяет пользователям быстро и легко выбирать и перемещать голографическое содержимое по своему представлению, просто просматривая целевой объект и произнося "Выбрать" или жестом руки. Демонстрации также включают пример прокрутки, панорамирования и масштабирования текста и изображений на листе. Наконец, приведен пример записи и визуализации визуального внимания пользователя на двухd-листе. В следующем разделе вы найдете дополнительные сведения о том, что включает каждый из различных примеров в пакете примеров отслеживания взгляда MRTK (Assets/MRTK/Examples/Demos/EyeTracking):
В следующем разделе представлен краткий обзор демонстрационных сцен для отслеживания взгляда. Демонстрационные сцены отслеживания взгляда MRTK загружаются дополнительно, что мы объясним ниже, как настроить.
Обзор демонстрационных примеров отслеживания взгляда
Выбор целевого объекта с поддержкой взгляда
В этом руководстве демонстрируется простота доступа к данным взгляда для выбора целевых объектов. Он включает в себя пример для тонких, но мощных отзывов, чтобы предоставить пользователю уверенность в том, что цель сосредоточена без перегрузки. Кроме того, существует простой пример смарт-уведомлений, которые автоматически исчезают после чтения.
Сводка. Быстрый и удобный выбор целевых объектов с использованием сочетания глаз, голоса и ввода вручную.
Навигация, поддерживаемая глазами
Представьте, что вы читаете некоторую информацию на удаленном дисплее или в электронном средстве чтения, и когда вы достигаете конца отображаемого текста, текст автоматически прокручивается вверх, чтобы отобразить больше содержимого. Или как насчет волшебного масштабирования непосредственно к тому, где вы смотрели? Ниже приведены некоторые примеры, демонстрируемые в этом руководстве, касающиеся навигации с поддержкой взгляда. Кроме того, есть пример для вращения 3D-голограмм без рук, за счет того, что они автоматически вращаются в зависимости от текущего фокуса.
Сводка: прокрутка, сдвиг, масштабирование, трехмерное вращение с использованием сочетания глаз, голоса и ввода руками.
Позиционирование с поддержкой взгляда
В этом руководстве показан сценарий ввода с именем Put-That-There , который восходит к исследованиям, полученным в лаборатории mit media Lab в начале 1980-х годов, с глазным, ручным и голосовым вводом. Идея проста: воспользуйтесь вашими глазами для быстрого выбора цели и позиционирования. Просто посмотрите на голограмму и скажите "положить это", посмотрите, где вы хотите разместить ее, и скажите "там!". Для более точного позиционирования голограммы можно использовать дополнительные входные данные из рук, голоса или контроллеров.
Сводка. Размещение голограмм с помощью глаз, голоса и ручного ввода (перетаскивание). Ползунки, поддерживаемые глазами и руками.
Визуализация визуального внимания
Данные, основанные на том, где выглядят пользователи, делают чрезвычайно мощным инструментом для оценки удобства использования проекта и выявления проблем в эффективных рабочих потоках. В этом руководстве рассматриваются различные визуализации отслеживания взгляда и их соответствие различным потребностям. Мы предоставляем основные примеры для ведения журнала и загрузки данных отслеживания взгляда, а также примеры того, как их визуализировать.
Сводка. Двумерная карта внимания (тепловые карты) на слоях. Запись & воспроизведение данных отслеживания взгляда.
Настройка примеров отслеживания взгляда MRTK
Предварительные требования
Обратите внимание, что для использования примеров отслеживания взгляда на устройстве требуется HoloLens 2 и пакет приложения, созданный с помощью функции "Входные данные взгляда" в AppXManifest пакета.
Чтобы использовать эти примеры отслеживания взгляда на устройстве, обязательно выполните следующие действия перед созданием приложения в Visual Studio.
1. Загрузка EyeTrackingDemo-00-RootScene.unity
EyeTrackingDemo-00-RootScene — это базовая (корневая) сцена, в которую включены все основные компоненты MRTK. Это сцена, которую необходимо сначала загрузить и из которой вы будете запускать демонстрации отслеживания взгляда. В нем есть графическое меню сцены, которое позволяет легко переключаться между различными примерами отслеживания взгляда, которые будут загружены аддитивно.
Корневая сцена включает несколько основных компонентов, которые будут сохраняться в аддитивно загруженных сценах, таких как профили, настроенные MRTK, и камера сцены. MixedRealityBasicSceneSetup (см. снимок экрана ниже) содержит скрипт, который автоматически загружает сцену, на которую указывает ссылка, при запуске. По умолчанию это EyeTrackingDemo-02-TargetSelection.
2. Добавление сцен в меню сборки
Чтобы загрузить аддитивные сцены во время выполнения, необходимо сначала добавить эти сцены в параметры сборки —> сцены в меню Сборка . Важно, чтобы корневая сцена отображалась как первая сцена в списке:
3. Воспроизведение примеров отслеживания взгляда в редакторе Unity
После добавления сцен отслеживания взгляда в параметры сборки и загрузки EyeTrackingDemo-00-RootScene есть еще одно, что может потребоваться проверка: включен ли скрипт OnLoadStartScene, подключенный к MixedRealityBasicSceneSetup GameObject? Это необходимо, чтобы корневая сцена знала, какую демонстрационную сцену следует загрузить в первую очередь.
Поехали! Нажмите "Играть"! Вы увидите несколько драгоценных камней и меню сцены в верхней части.
Вы также должны заметить небольшой полупрозрачный круг в центре игрового представления. Он выступает в качестве индикатора (курсора) имитированного взгляда: просто нажмите правую кнопку мыши и переместите мышь, чтобы изменить ее положение. Когда курсор наведен на драгоценные камни, вы заметите, что он прикрепится к центру просматриваемого в настоящее время драгоценных камней. Это отличный способ проверить, активируются ли события должным образом при "просмотре" на целевом объекте. Имейте в виду, что имитированный взгляд с помощью мыши управления является довольно плохим дополнением к нашим быстрым и непреднамеренным движениям глаз. Тем не менее, он отлично подходит для тестирования основных функций перед итерации по дизайну, развертывая его на HoloLens 2 устройстве. Возвращаясь к нашему примеру отслеживания взгляда сцены: драгоценный камень вращается до тех пор, как смотрят на и может быть уничтожен путем "глядя" на него и ...
- Нажатие клавиши ВВОД (имитирующая фразу "выбрать")
- Произнесите слово "выбрать" в микрофоне
- При нажатии клавиши ПРОБЕЛ для отображения имитированного ввода руки нажмите левую кнопку мыши, чтобы выполнить имитацию сжатия.
Мы более подробно описываем, как можно достичь этих взаимодействий, в нашем учебнике по выбору целевых объектов с поддержкой взгляда .
При перемещении курсора вверх в верхнюю строку меню в сцене вы заметите, что элемент, на котором в данный момент наведен указатель, будет выделяться тонко. Выделенный элемент можно выбрать с помощью одного из описанных выше методов фиксации (например, нажав клавишу ВВОД). Таким образом можно переключаться между различными сценами отслеживания взгляда.
4. Как протестировать определенные подкастры
При работе над определенным сценарием вы можете не захотеть каждый раз проходить через меню сцены. Вместо этого может потребоваться начать работу непосредственно с сцены, над которой вы сейчас работаете при нажатии кнопки Воспроизвести . Это не проблема! Вот что можно сделать:
Загрузка корневой сцены
В корневой сцене отключите скрипт OnLoadStartScene.
Перетащите одну из сцен тестирования отслеживания взгляда, описанных ниже (или любую другую сцену), в представление Иерархия , как показано на снимке экрана ниже.
Нажмите кнопку "Воспроизвести"
Обратите внимание, что загрузка такой вложенной сцены не является постоянной. Это означает, что при развертывании приложения на устройстве HoloLens 2 будет загружена только корневая сцена (если она отображается в верхней части параметров сборки). Кроме того, при совместном использовании проекта с другими пользователями вложенные сцены не загружаются автоматически.
Теперь, когда вы знаете, как обеспечить работу примеров сцен отслеживания взгляда MRTK, давайте продолжим погружение глубже в то, как выбрать голограммы глазами: выбор целевых объектов с поддержкой глаз.