Голографический кадр
Пользователи видят мир смешанной реальности через прямоугольный экран гарнитуры. В HoloLens эта прямоугольная область называется голографическим экраном и позволяет пользователям видеть цифровое содержимое, наложенное на окружающий их мир. Проектирование интерфейсов, оптимизированных для голографического кадра, создает возможности, устраняет проблемы и улучшает взаимодействие с пользователем приложений смешанной реальности.
Проектирование содержимого
Часто дизайнеры чувствуют необходимость ограничить область их взаимодействия тем, что пользователь может сразу увидеть, жертвуя реальным масштабом, чтобы гарантировать, что пользователь видит объект в целом. Аналогичным образом конструкторы с сложными приложениями часто перегружают голографический кадр с содержимым, подавляя пользователей с трудными взаимодействиями и загромождая интерфейсы. Конструкторы, создающие содержимое смешанной реальности, не должны ограничивать взаимодействие непосредственно перед пользователем и в их непосредственном представлении. Если физический мир вокруг пользователя сопоставлен, все эти поверхности должны считаться потенциальным холстом для цифрового содержимого и взаимодействия. Надлежащее проектирование взаимодействий и содержимого в интерфейсе должно поощрять пользователя перемещаться по своему пространству, направлять свое внимание на ключевое содержимое и помогать видеть полный потенциал смешанной реальности.
Возможно, наиболее важным способом поощрения движения и изучения в приложении является предоставление пользователям возможности адаптироваться к опыту. Предоставьте пользователям короткий период свободного времени с устройством. Это может быть так же просто, как размещение объекта в пространстве и разрешение пользователям перемещаться по нему или рассказывать введение в интерфейс. Это время должно быть свободно от любых критически важных задач или конкретных жестов, таких как касание воздуха. Цель заключается в том, чтобы пользователи могли просматривать содержимое через устройство, прежде чем требовать интерактивности или прогресса через приложение. Это особенно важно для пользователей первого раза, так как они комфортно видят содержимое через голографический кадр и характер голограмм.
Большие объекты
Часто содержимое, вызывающее взаимодействие, особенно реальное содержимое, будет больше, чем голографический кадр. Объекты, которые обычно не могут соответствовать голографической рамке, должны быть ухудрены, чтобы поместиться, когда они впервые появились (в меньшем масштабе или на расстоянии). Ключ заключается в том, чтобы пользователи видели полный размер объекта , прежде чем масштаб перегрузит кадр. Например, голографический слон должен отображаться для полного размещения в кадре. Это позволяет пользователям формировать пространственное представление о общей форме животного, прежде чем масштабировать его в реальном мире рядом с пользователем.
При полном размере объекта пользователи ожидают, куда перемещаться и искать определенные части этого объекта. В опыте с иммерсивным содержимым он помогает вернуться к полному размеру этого содержимого. Например, если опыт включает в себя прогулку по модели виртуального дома, это помогает иметь меньший размер кукольной дома версии опыта, чтобы определить, где они находятся внутри дома.
Пример проектирования больших объектов см. в разделе "Автомобили Volvo".
Многие объекты
Опыт работы с многими объектами или компонентами следует рассмотреть возможность использования полного пространства вокруг пользователя, чтобы избежать загромождения голографического кадра непосредственно перед пользователем. Мы рекомендуем замедлить ввод содержимого в интерфейс, особенно с опытом, который планирует обслуживать множество объектов пользователю. Ключ заключается в том, чтобы пользователи понимали макет контента в интерфейсе, что помогает им получить пространственное представление о том, что вокруг них в качестве обновлений содержимого.
Один из способов добиться этого заключается в предоставлении постоянных точек (также известных как ориентиры) в опыте, который привязывает содержимое к реальному миру. Например, ориентир может быть физическим объектом в реальном мире, например таблицей, в которой отображается цифровое содержимое, или цифровым объектом, например набором цифровых экранов, где часто отображается содержимое. Объекты также можно поместить в периферию голографического кадра, чтобы поощрять пользователей смотреть на ключевое содержимое. Обнаружение содержимого за пределами периферии может помочь директорам внимания.
Размещение объектов на периферии может поощрять пользователей смотреть на сторону, и это может помочь директорам внимания, как описано ниже. Дополнительные сведения о голографическом кадре см. в документации по комфорту.
Рекомендации по взаимодействию
Как и в случае с содержимым, взаимодействие в смешанной реальности не должно быть ограничено тем, что пользователь может сразу увидеть. Взаимодействие может происходить в любом месте в реальном пространстве вокруг пользователя. Эти взаимодействия помогут пользователям перемещаться и изучать возможности.
Внимание директоров
Указание точек интереса или ключевых взаимодействий может быть важным для прогрессирования пользователей через интерфейс. Внимание пользователя и движение голографического кадра можно направлять в тонких или тяжелых способах. Не забудьте сбалансировать внимание директоров с периодами свободного изучения в смешанной реальности (особенно в начале опыта), чтобы избежать подавляющего пользователя. В общем, есть два типа директоров внимания:
- Визуальные директора: самый простой способ сообщить пользователю, что он должен двигаться в определенном направлении, — предоставить визуальное указание. Это можно сделать с помощью визуального эффекта (например, путь, который пользователь может визуально следовать к следующей части интерфейса) или даже как простые стрелки направления. Любой визуальный индикатор должен быть заземлен в среде пользователя, а не присоединен к голографическому кадру или курсору.
- Звуковые режиссеры: пространственный звук может обеспечить мощный способ создания объектов в сцене. Вы можете оповещать пользователей о входе в интерфейс или направлять внимание на определенную точку в пространстве, перемещая представление пользователя к ключевым объектам. Использование звуковых директоров для руководства вниманием пользователя может быть более тонким и менее навязчивым, чем визуальные директора. В некоторых случаях лучше всего начать с звукового директора, а затем перейти к визуальному директору, если пользователь не распознает подсказку. Звуковые режиссеры также могут быть связаны с визуальными режиссерами для дополнительного акцента.
Команды, навигация и меню
Интерфейсы в смешанной реальности в идеале тесно связаны с цифровым содержимым, которым они управляют. Таким образом, свободно плавающие 2D-меню часто не идеально подходят для взаимодействия и могут быть трудными для пользователей слишком комфортно с внутри голографического кадра. Для работы, для которых требуются элементы интерфейса, такие как меню или текстовые поля, рекомендуется использовать метод тега, чтобы следовать голографическим кадрам после короткой задержки. Избегайте блокировки содержимого в кадре, например экрана с головой, так как это может быть дезориентировано для пользователя и нарушить чувство погружения для других цифровых объектов в сцене.
Вы также можете поместить элементы интерфейса непосредственно в определенное содержимое, которое они контролируют, что позволяет взаимодействовать естественным образом вокруг физического пространства пользователя. Например, разорвать сложное меню на отдельные части, при этом каждая кнопка или группа элементов управления, присоединенная к конкретному объекту, влияет на взаимодействие. Для дальнейшего применения этой концепции рассмотрите возможность использования взаимодействуемых объектов.
Взгляд и взгляд нацеливание
Голографический кадр представляет средство для разработчика, чтобы активировать взаимодействие и оценить, где внимание пользователя находится. Взгляд является одним из ключевых взаимодействий на HoloLens, где взгляд может быть сопряжен с жестами (например, с воздушным касанием) или голосом (что позволяет более короткие, более естественные голосовые взаимодействия). Таким образом, это делает голографический кадр как пространством для наблюдения за цифровым контентом и взаимодействием с ним. Если интерфейс вызывает взаимодействие с несколькими объектами вокруг пространства пользователя (например, многоизбирающие объекты вокруг пространства пользователя с помощью взгляда и жеста), рассмотрите возможность переноса этих объектов в представление пользователя или ограничение объема необходимого перемещения головы для повышения комфорта пользователя.
Взгляд также можно использовать для отслеживания внимания пользователей с помощью интерфейса и просмотра объектов или частей сцены, к которым обращается пользователь. Это может быть особенно полезно для отладки интерфейса, что позволяет аналитическим средствам, таким как тепловой карты, видеть, где пользователи тратят больше всего времени или отсутствуют определенные объекты или взаимодействие. Отслеживание взгляда также может предоставить мощный инструмент для помощников в опыте (см . пример кухни Лоу).
Если вы хотите увидеть основные понятия дизайна "Голова" и "Отслеживание глаз" в действии, ознакомьтесь с нашими демонстрациями по проектированию голограмм - отслеживание головы и отслеживания глаз ниже:
Это видео было записано из приложения Designing Holograms для HoloLens 2. Скачайте его и насладитесь всеми его возможностями здесь.
Производительность
Правильное использование голографического кадра является фундаментальным для качества производительности . Распространенная техническая проблема (и удобство использования) перегружает кадр пользователя цифровым содержимым, что приводит к снижению производительности отрисовки. Вместо этого рекомендуется использовать полное пространство вокруг пользователя, чтобы упорядочить цифровое содержимое, используя описанные выше методы, чтобы уменьшить нагрузку на отрисовку и обеспечить оптимальное качество отображения.
Примеры
Автомобили Volvo
В шоу-зале от Volvo Cars клиенты получают приглашение узнать о возможностях нового автомобиля в опыте HoloLens, управляемом партнером Вольво. Volvo столкнулась с проблемой с голографическим кадром: полноразмерный автомобиль слишком большой, чтобы положить прямо рядом с пользователем. Решением было начать опыт с физической ориентиры, центрального стола в шоу-зале, с меньшей цифровой моделью автомобиля, размещенной на верхней части таблицы. Это гарантирует, что пользователь видит полный автомобиль, когда он появился, что позволяет чувствовать пространственное понимание после того, как автомобиль растет до его реального масштаба позже в интерфейсе.
Опыт Вольво также использует визуальные директора, создавая длинный визуальный эффект от модели малого масштаба автомобиля на столе до стены в шоу-комнате. Это приводит к "магическому окну", показывая полное представление автомобиля на расстоянии, иллюстрируя дальнейшие особенности автомобиля в реальном масштабе. Перемещение головы горизонтально, без прямого взаимодействия с пользователем (вместо того, чтобы собирать подсказки визуально и от речевого представления партнера Вольво).
Кухня Лоу
Опыт магазина от Лоу приглашает клиентов в полномасштабную макетку кухни, чтобы продемонстрировать различные возможности перемоделирования, как видно через HoloLens. Кухня в магазине предоставляет физический фон для цифровых объектов, пустой холст устройств, столовых столов и шкафов для развертывания смешанной реальности.
Физические поверхности действуют как статические ориентиры для пользователя, чтобы заземлить себя в интерфейсе, как связывание Лоу направляет пользователя через различные варианты продукта и завершает работу. Таким образом, помощник может словесно направить внимание пользователя на "холодильник" или "центр кухни", чтобы продемонстрировать цифровое содержимое.
Помощник Лоу использует планшет для руководства клиентам через интерфейс HoloLens.
Взаимодействие с пользователем управляется, в частности, планшетным интерфейсом, контролируемым помощником Лоу. Часть роли партнера в этом случае также будет ограничить чрезмерное движение головы, направляя свое внимание гладко через точки интереса к кухне. Планшетный интерфейс также обеспечивает связь Лоу с данными взгляда в виде тепловой карты кухни, помогая понять, где находится пользователь (например, в определенной области кабинетов), чтобы точнее предоставить им рекомендации по перемоделированиям.
Более глубокое представление о кухне Лоу см . в ключевой статье Майкрософт в Ignite 2016.
Фрагменты
В игре HoloLens Фрагменты, вы гостиная преобразуется в виртуальную сцену преступления, показывающую подсказки и доказательства, и виртуальную комнату для собраний, где вы разговариваете с персонажами, которые сидят на стулах и опираются на стены.
Фрагменты были разработаны для того, чтобы проходить в доме пользователя, с символами, взаимодействующими с реальными объектами и поверхностями.
Когда пользователи изначально начинают работу, они получают короткий период корректировки без взаимодействия. Вместо этого, они поощряются смотреть вокруг и ориентироваться и убедиться, что комната правильно сопоставлена с интерактивным контентом игры.
На протяжении всего опыта символы становятся фокусными точками и действуют в качестве визуальных директоров (движения головы между символами, обращаясь к взгляду или жесту в сторону интересующих областей). Игра также полагается на более заметные визуальные подсказки, когда пользователь занимает слишком много времени, чтобы найти объект или событие и делает интенсивное использование пространственного звука (особенно с символами голоса при вводе сцены).
Назначение: Марс
В месте назначения: Марс опыт, представленный в Космическом центре НАСА Кеннеди, посетители были приглашены в иммерсивную поездку на поверхность Марса, руководствуясь виртуальным представлением легендарного астронавта Buzz Aldrin.
Виртуальный Buzz Aldrin становится фокусом для пользователей в назначении: Марс.
Как иммерсивный интерфейс, эти пользователи были поощряются смотреть вокруг, перемещая голову во всех направлениях, чтобы увидеть виртуальный марсианский пейзаж. Хотя для обеспечения комфорта пользователей, диктор Buzz Aldrin и виртуальное присутствие предоставили фокус на протяжении всего опыта. Эта виртуальная запись Buzz (созданная корпорацией Майкрософт Смешанная реальность Capture Studio) стояла в реальном, человеческом размере, в углу комнаты, что позволяет пользователям видеть его в почти полном представлении. Диктор Buzz направил пользователей сосредоточиться на различных точках в окружающей среде (например, набор марсианских пород на полу или горный диапазон на расстоянии) с определенными изменениями сцены или объектами, введенными им.
Виртуальные экранные дикторы повернутся следовать за движением пользователя, создавая мощный фокус на протяжении всего процесса.
Реалистичное представление Buzz предоставило мощный фокус, полный тонких методов, чтобы повернуть Buzz к пользователю, чтобы чувствовать себя, как будто он там, разговаривая с вами. Когда пользователь перемещается по поводу взаимодействия, Buzz перейдет к порогу, прежде чем вернуться к нейтральному состоянию, если пользователь перемещается слишком далеко за пределы его периферии. Если пользователь полностью выглядит от Buzz (например, смотреть на что-то в другом месте сцены), то обратно в Buzz, направление экранного диктора снова будет сосредоточено на пользователе. Такие методы обеспечивают мощное чувство погружения и создают фокус в голографическом кадре, уменьшая чрезмерное движение головы и повышая комфорт пользователей.