Проектирование содержимого для голографического дисплея

Статья
07/12/2023

Расположение рук на стороне ульнара

При разработке содержимого для голографических дисплеев необходимо учитывать несколько элементов, которые необходимо учитывать для достижения наилучшего взаимодействия. Мы перечислили некоторые из наших рекомендаций ниже, и вы можете узнать больше о характеристиках голографических дисплеев на странице Цвет, свет и материалы .

Проблемы с ярким цветом на большой поверхности

Основываясь на наших исследованиях и тестировании HoloLens, мы обнаружили, что использование ярких цветов на большой площади дисплея может вызвать несколько проблем:

Усталость глаз

Так как голографический дисплей является аддитивным, голограммы с яркими цветами используют больше света. Яркий, сплошной цвет на большой площади дисплея может легко вызвать усталость глаз у пользователя.

Загораживание рук

Яркий цвет затрудняет пользователю видеть руки при непосредственном взаимодействии с объектами. Так как пользователь не видит руки, становится трудно воспринимать глубину или расстояние между рукой и пальцем до целевой поверхности. Курсор пальца помогает устранить эту проблему, но это все еще может быть сложной задачей на яркой белой поверхности.

Цвет и окклюзии рук Трудно увидеть руку на яркой цветной задней панели содержимого

Цветовое единообразие

Из-за особенностей голографических дисплеев большая яркая область на дисплее может стать пятнистой. Используя темные цветовые схемы, эту проблему можно свести к минимуму.

Рекомендации по проектированию для выбора цвета

Использование темного цвета для фона пользовательского интерфейса

Используя темную цветовую схему, вы можете свести к минимуму усталость глаз и повысить уверенность при прямом взаимодействии с руками.

Примеры темного цвета, используемого для фона содержимого

Использование полужирного или полужирного шрифта

HoloLens позволяет вам показывать красивый текст в высоком разрешении. Тем не менее рекомендуется избегать тонких шрифтов, таких как светлый или полусветлый, так как вертикальные штрихи могут дрожить при небольшом размере шрифта.

Полужирный или полужирный вес шрифта (верхняя панель) повышает удобочитаемость Полужирный шрифт или полужирный вес шрифта (верхняя панель) повышает удобочитаемость

Использование материала HolographicBackplate MRTK

Материал HolographicBackplate применяется к нескольким панелям пользовательского интерфейса в оболочке HoloLens. Одной из его особенностей является эффект ирисовки, который виден пользователям, когда они сдвигают свое положение в зависимости от панели. Цвет задней панели немного смещается в предопределенном спектре, создавая привлекательный и динамический визуальный эффект, не влияя на удобочитаемость содержимого. Этот тонкий сдвиг в цвете также служит для компенсации любых незначительных отклонений цвета.

Проблемы с прозрачной или полупрозрачной задней панели пользовательского интерфейса

Примеры прозрачного пользовательского интерфейса Примеры прозрачной обратной панели пользовательского интерфейса

Сложность визуализации и специальные возможности

Так как голографические объекты смешиваются с физической средой, удобочитаемость содержимого или пользовательского интерфейса в прозрачных или полупрозрачных окнах может снизиться. Кроме того, когда прозрачные голографические объекты накладываются друг на друга, это может затруднить взаимодействие пользователя из-за запутанной глубины.

Производительность

Для правильной отрисовки прозрачных или полупрозрачных объектов их необходимо отсортировать и смешать с любыми объектами, которые существуют в фоновом режиме. Сортировка прозрачных объектов имеет скромные затраты на ЦП, а смешивание имеет значительные затраты на GPU, так как это не позволяет GPU выполнять удаление скрытой поверхности с помощью Z-отбраковки (т. е. тестирования глубины). Запрет удаления скрытой поверхности увеличивает количество операций, необходимых для окончательного отрисованного пикселя. Это накладывает дополнительные ограничения скорости заполнения.

Проблема со стабильностью голограммы с технологией Глубины LSR

Чтобы улучшить голографическую перепроекцию или стабильность голограммы, приложение может отправить буфер глубины в систему для каждого отображаемого кадра. При использовании буфера глубины для повторного проецирования необходимо записать буфер глубины для каждого отображаемого цвета пикселя соответствующей глубины. Любой пиксель со значением глубины также должен иметь значение цвета. Если приведенные выше рекомендации не выполняются, области отображаемого изображения, в которых отсутствуют допустимые сведения о глубине, могут быть перепроецированы таким образом, чтобы создавать артефакты, которые часто видны как волновое искажение.

Рекомендации по проектированию прозрачных элементов

Использование непрозрачного фона пользовательского интерфейса

По умолчанию прозрачные или полупрозрачные объекты не записывают глубину, чтобы обеспечить правильное смешивание. Способы устранения этой проблемы включают использование непрозрачных объектов, обеспечение видимости полупрозрачных объектов близко к непрозрачным объектам (например, полупрозрачная кнопка перед непрозрачной задней панелью), принудительное включение глубины записи полупрозрачных объектов (не применимо во всех сценариях) или отрисовка прокси-объектов, которые вносят значения глубины только в конце кадра.

Решения в MRTK-Unity: /windows/mixed-reality/mrtk-unity/performance/hologram-стабилизация#depth-buffer-sharing-in-unity

С помощью надежной и непрозрачной задней панели мы можем обеспечить удобочитаемость и уверенность в взаимодействии.

Минимизация количества затронутых пикселей

Если проект должен использовать прозрачные объекты, попробуйте свести к минимуму количество затронутых пикселей. Например, если объект виден только при определенных условиях (например, в эффекте аддитивного свечения), отключите объект, когда он полностью невидим (вместо того, чтобы задать для аддитивного цвета черный). Для простых двухмерных фигур, созданных с помощью четырехугольника с альфа-маской, рассмотрите возможность создания сетчатого представления фигуры с непрозрачным шейдером.

Примеры темного пользовательского интерфейса в MRTK (Смешанная реальность Toolkit) для Unity

MRTK предоставляет множество примеров стандартных блоков пользовательского интерфейса на основе темных цветовых схем.