Обзор примеров отслеживания взгляда — MRTK2

В этом разделе описывается, как быстро приступить к отслеживанию взгляда в MRTK, используя примеры отслеживания глаз MRTK (Assets/MRTK/Examples/Demos/EyeTracking). Эти примеры позволяют вам испытать одну из наших новых возможностей волшебного ввода: отслеживание взгляда! Демонстрация включает в себя различные варианты использования, начиная от неявных активаций на основе глаз, чтобы легко объединять сведения о том, что вы просматриваете с помощью голосового и ручного ввода. Это позволяет пользователям быстро и легко выбирать и перемещать голографическое содержимое по их представлению, просто глядя на цель и говоря "Выбрать" или выполняя жест руки. Демонстрации также включают пример для прокрутки, направленного на взгляд, сдвиг и масштабирование текста и изображений на листе. Наконец, приведен пример для записи и визуализации визуального внимания пользователя на 2D-листе. В следующем разделе вы найдете дополнительные сведения о том, что каждый из различных примеров в пакете примеров отслеживания глаз MRTK (Assets/MRTK/Examples/Demos/EyeTracking) включает:

List of eye tracking scenes

В следующем разделе представлен краткий обзор демонстрационных сцен отслеживания взглядов. Демонстрационные сцены отслеживания взгляда MRTK загружаются дополнительно, что мы объясним ниже, как настроить.

Обзор демонстрационных примеров отслеживания взгляда

Выбор целевого объекта, поддерживаемого глазами

В этом руководстве демонстрируется простота доступа к данным взгляда для выбора целевых объектов. Он содержит пример для тонких, но мощных отзывов, чтобы предоставить пользователю уверенность в том, что цель сосредоточена, не будучи подавляющим. Кроме того, существует простой пример смарт-уведомлений, которые автоматически исчезают после чтения.

Сводка: быстрый и удобный выбор целевых объектов с помощью сочетания глаз, голоса и ввода рук.

Навигация, поддерживаемая глазами

Imagine, что вы читаете некоторые сведения о удаленном дисплее или средстве чтения электронных данных, и когда вы достигнете конца отображаемого текста, текст автоматически прокручивается вверх, чтобы отобразить больше содержимого. Или как насчет волшебного масштабирования непосредственно к тому, где вы смотрели? Ниже приведены некоторые примеры, представленные в этом руководстве по навигации с поддержкой глаз. Кроме того, существует пример для поворота трехмерных голограмм без рук, делая их автоматически поворачиваемыми на основе текущего фокуса.

Сводка: прокрутка, сдвиг, масштаб, трехмерный поворот с помощью сочетания глаз, голоса и ввода рук.

Размещение в глазах

В этом руководстве показан сценарий ввода с именем Put-That-There , начиная с исследования из MIT Media Lab в начале 1980-х годов с глазом, рукой и голосовым вводом. Идея проста: пользу от глаз для быстрого выбора цели и позиционирования. Просто посмотрите на голограмму и скажите "положить это", посмотрите, где вы хотите разместить его и сказать "там!". Для более точного размещения голограммы можно использовать дополнительные входные данные из рук, голосовых или контроллеров.

Сводка. Размещение голограмм с помощью глаз, голосовых и рукописных данных (перетаскивание). Ползунки, поддерживаемые глазами и руками.

Визуализация визуального внимания

Данные, основанные на том, где пользователи выглядят, делают чрезвычайно мощным инструментом для оценки удобства использования дизайна и выявления проблем в эффективных рабочих потоках. В этом руководстве рассматриваются различные визуализации отслеживания взгляда и их соответствие различным потребностям. Мы предоставляем базовые примеры для ведения журнала и загрузки данных отслеживания взгляда и примеры их визуализации.

Сводка: двухмерная карта внимания (тепловая карта) на слоках. Запись повторяющихся & данных отслеживания глаз.

Настройка примеров отслеживания глаз MRTK

Предварительные требования

Обратите внимание, что для использования примеров отслеживания взгляда на устройстве требуется HoloLens 2 и пример пакета приложения, созданный с помощью функции "Входные данные взгляда" в AppXManifest пакета.

Чтобы использовать эти примеры отслеживания взгляда на устройстве, выполните следующие действия перед созданием приложения в Visual Studio.

1. Загрузка EyeTrackingDemo-00-RootScene.unity

EyeTrackingDemo-00-RootScene — это базовая (корневая) сцена, в которой включены все основные компоненты MRTK. Это сцена, которую необходимо загрузить в первую очередь и из которой вы будете запускать демонстрации отслеживания взгляда. В нем есть графическое меню сцены, которое позволяет легко переключаться между различными примерами отслеживания взгляда, которые будут загружаться добавочно.

Scene menu in eye tracking sample

Корневая сцена включает несколько основных компонентов, которые будут сохраняться в добавочно загруженных сценах, таких как настроенные профили MRTK и камера сцены. MixedRealityBasicSceneSetup (см. снимок экрана ниже) содержит скрипт, который автоматически загружает упоминаемую сцену при запуске. По умолчанию это EyeTrackingDemo-02-TargetSelection.

Example for the OnLoadStartScene script

2. Добавление сцен в меню сборки

Чтобы загрузить аддитивные сцены во время выполнения, сначала необходимо добавить эти сцены в Параметры сборки —> сцены в меню сборки. Важно, чтобы корневая сцена отображались как первая сцена в списке:

Build Settings scene menu for eye tracking samples

3. Воспроизведение примеров отслеживания глаз в редакторе Unity

После добавления сцен отслеживания взгляда в Параметры сборки и загрузки EyeTrackingDemo-00-RootScene может потребоваться проверить: включен ли сценарий OnLoadStartScene, подключенный к mixedRealityBasicSceneSetup GameObject? Это позволяет корневой сцене узнать, какая демонстрационная сцена будет загружаться в первую очередь.

Example for the OnLoad_StartScene script

Поехали! Нажмите "Play"! Вы должны увидеть несколько драгоценных камней и меню сцены в верхней части.

Sample screenshot from the ET target select scene

Вы также должны заметить небольшой полупрозрачный круг в центре игрового представления. Это выступает в качестве индикатора (курсора) имитированного взгляда на глаза: просто нажмите правую кнопку мыши и переместите мышь, чтобы изменить ее положение. Когда курсор наведен на драгоценные камни, вы заметите, что он прикрепится к центру текущего просматриваемого драгоценных камней. Это отличный способ проверить, активируются ли события должным образом при просмотре целевого объекта. Имейте в виду, что имитированный взгляд глаза с помощью управления мышью является довольно плохим дополнением к нашим быстрым и непреднамеренным движениям глаз. Однако он отлично подходит для тестирования основных функциональных возможностей, прежде чем выполнять итерацию по проектированию, развернув его на устройстве HoloLens 2. Возвращаясь к нашей сцене отслеживания глаз пример сцены: драгоценный камень поворачивается до тех пор, пока смотрят на и могут быть уничтожены "глядя" на него и ...

  • Нажатие клавиши ВВОД (которое имитирует фразу "выбрать")
  • Фраза "выбрать" в микрофон
  • При нажатии клавиши ПРОБЕЛ для отображения имитированного ввода руки нажмите левую кнопку мыши, чтобы выполнить имитированную сцепку.

Более подробно описано, как можно реализовать эти взаимодействия в нашем руководстве по выбору целевых объектов, поддерживаемых глазами .

При перемещении курсора вверх к верхней строке меню в сцене вы увидите, что текущий наведенный на нее элемент будет выделяться тонко. Текущий выделенный элемент можно выбрать с помощью одного из описанных выше методов фиксации (например, нажатия клавиши ВВОД). Таким образом можно переключаться между различными примерами сцен отслеживания взгляда.

4. Как протестировать определенные под сцены

При работе с определенным сценарием вы не можете просматривать меню сцены каждый раз. Вместо этого может потребоваться начать работу непосредственно с сцены, над которой вы сейчас работаете при нажатии кнопки воспроизведения . Это не проблема! Вот что можно сделать:

  1. Загрузка корневой сцены

  2. В корневой сцене отключите скрипт OnLoadStartScene.

  3. Перетащите один из сцен теста отслеживания глаз, описанных ниже (или любую другую сцену), в представление иерархии , как показано на снимке экрана ниже.

    Example for additive scene

  4. Нажмите клавиши Play

Обратите внимание, что загрузка дочерней сцены не является постоянной: это означает, что при развертывании приложения на устройстве HoloLens 2 она загружает только корневую сцену (если она отображается в верхней части Параметры сборки). Кроме того, при совместном использовании проекта с другими пользователями вложенные сцены не загружаются автоматически.


Теперь, когда вы знаете, как получить примеры сцен отслеживания взгляда MRTK для работы, давайте продолжим погружение глубже в том, как выбрать голограммы с вашими глазами: выбор целевого объекта, поддерживаемый глазом.


Вернитесь к элементу "Отслеживание взглядов в MixedRealityToolkit"