Разработка голограмм

Примечание

Разрешите небольшое окно загрузки для учета всех интересных GIF-файлов и внедренных видео на этой странице.

Научиться проектировать для смешанной реальности может быть трудно, так как среда не всегда хорошо переводится в процессы двухd-проектирования. Здесь, в корпорации Майкрософт, мы создали бесплатное приложение для HoloLens 2, которое поможет вам ознакомиться с основами смешанной реальности UX Design из первых рук. Уникальный подход приложения "Проектирование голограмм" содержит сведения о поведении смешанной реальности, советах и рекомендациях, которые помогут вам создавать привлекательные и удивительные приложения HoloLens. Скачайте приложение бесплатно из Microsoft Store и узнайте у команды разработчиков Смешанная реальность майкрософт!

Скачивание приложения "Проектирование голограмм"

Проектирование демонстрационной комнаты голограммы (также известной как кукольный дом)

Проектирование для смешанной реальности

Как и многие из вас, я использовал для разработки мобильных приложений. Выход из мира 2D-дизайна, переход в полной мере на пространственные вычисления, где все в настоящее время в мире, был значительным сдвигом. В смешанной реальности приложения больше не ограничиваются двухd-экраном; на самом деле, они почти свободны, помещены в реальный мир и взаимодействуют с реальными объектами.

Для меня наиболее сложным аспектом разработки смешанной реальности является подключение трехмерного опыта к обычным процессам двухd-проектирования. В беседах с клиентами я слышал такие вещи, как "Я знаю, какие функции следует включить и как их запустить. Это код, я могу следовать документации и учебникам, но взаимодействие с пользователем? Так много функций, различных вариантов ввода, различных сценариев и физических сред, это слишком много".

Изображение из HoloLens 2 Design Workshop в Сан-Франциско

Возможность преподавать

Сначала это было не очевидно, но была представлена отличная возможность использовать смешанную реальность в качестве среды, чтобы научить ее.

Проектирование голограмм — это визуальный интерфейс, который объясняет концепции и рекомендации по проектированию смешанной реальности. Это просто вы и виртуальный преподаватель, демонстрирующий концепции проектирования смешанной реальности. Все с точки зрения третьего лица с опытом твердо в вашем собственном пространстве.

Видео о разработке голограмм

Изучение кукольного дома

Кукольный дом — это виртуальная среда, используемая во всем приложении. Среда представляет собой миниатюрную комнату 80 x 60 x 40 см, которая содержит основные элементы, общие для большинства комнат, такие как стены, лампы, мебель, стол и телевизор. Кукольный дом является main главным героем приложения, поэтому мы должны убедиться, что он будет работать отлично в любой среде. Думайте о нем как о небольшой демонстрационной комнате для визуализации всех видов концепций смешанной реальности.

Видео о поведении настройки Dollhouse

Прототипы 1:1 и 1:10

Наше первоначальное предположение было, что 1:1 демонстрации будут удивительными, почти как смотреть на реального учителя. Пользователь будет видеть все, что видит преподаватель в реальном жизненном масштабе. Тем не менее, мы сразу поняли, что будет несколько проблем:

• Большинство разработчиков будут запускать свои приложения в офисах или помещениях меньше, чем демонстрационная комната, поэтому они не подходят.
• Дисплеи являются аддитивным, то есть вся виртуальная среда будет наложена на комнату пользователя. Это может спутать с двумя таблицами, может быть, двойные диваны, и стены, которые не выравниваются.
• И что еще хуже, виртуальная среда, сильно ограниченная полем зрения.

Когда мы опробовали мини 1:10 шкалу, результатом был фантастический вид с птицей глаз на реалистичную комнату. Вы могли видеть все, что происходит под любым углом, все в то же время. Что было наиболее удивительно, так это то, что большинство тестировщиков нашли его гораздо более иммерсивным, чтобы увидеть небольшую версию, то они никогда не переключались обратно к шкале 1:1. Поэтому мы решили отказаться от версии 1:1 и избежать дополнительной работы, необходимой для адаптации пользовательского интерфейса и других аспектов приложения.

Поле зрения с масштабом 1:1

Поле зрения с масштабом 1:10

Использование записи Смешанная реальность

Одной из наиболее характерных особенностей этого приложения является использование Смешанная реальность Capture для обучения и демонстрации концепций проектирования смешанной реальности.

Корпорация Майкрософт имеет студию Смешанная реальность Capture в Сан-Франциско. Корпорация Майкрософт также лицензирует эту технологию для других студий, в том числе Avatar Dimension в Вашингтоне, Округ Колумбия, Metastage в Лос-Анджелесе, Dimension Studios в Лондоне, SK Telecom в Сеуле и Volucap в Берлине. Дополнительные сведения о нашей Смешанная реальность Capture Studios можно найти здесь.

Необработанные кадры Даниэль Эскудеро с одной из 106 камер в Смешанная реальность Capture Studio в Сан-Франциско.

В процессе записи создается сетка с ключевым кадром, нормалы и текстуры, которые могут быть доставлены в виде OBJ/PNG-файлов для последующей обработки или готовы к воспроизведению в виде сжатого MP4-файла H.264. Эти файлы можно импортировать в проекты Unity, Unreal, Native и WebXR. Файлы могут работать в Windows, iOS, Mac, Android, Magic Leap и Playstation VR.

Проигрыватель захвата предоставляется для анализа mp4-файлов, содержащих видео со звуком и внедренными сетками.

Управление захватами и виртуальными объектами

Смешанная реальность Захвата создают виртуальные представления людей или животных, но иногда эти символы могут потребоваться для взаимодействия с другими виртуальными объектами. В следующих двух примерах показано, как мы манипулировали сценами для достижения этого эффекта.

Корректировка взгляда головы

Настройка headgaze позволяет перемещать голову захваченного человека во время выполнения, то есть вы можете получить лицо захвата к пользователю. В нашем случае мы использовали его для отображения поля зрения и поля интереса. Ниже вы видите движущийся игровой объект, выступающий в качестве цели для взгляда головы. Когда мы перемещаем цель из стороны в сторону, голова захвата следует.

Мы использовали этот трюк, чтобы убедиться, что бездействующий захват всегда будет лицом к голограммам, размещенным в разных частях кукольного дома.

Голова Capture перемещается во время выполнения после целевого игрового объекта в Unity.

Синхронизация анимированных объектов

Во-вторых, анимация объектов для синхронизации с движением захвата. В разных частях приложения мы импортировали последовательные OBJ определенного захвата каждые пять кадров. Затем OBJs были анимированы в сцене, чтобы убедиться, что они будут соответствовать соответствующему кадру захвата. Это трудоемкий процесс анимации и keyframing, но результат отличный. Теперь вы увидите Смешанная реальность Запись, взаимодействующую с незахватными объектами.

Синхронизированная анимация между Смешанная реальность Capture и панелью пользовательского интерфейса

Творческий процесс пользовательского интерфейса

Когда мы начали проектирование пользовательского интерфейса, мы хотели показать некоторые из магии и возможности, которые могут предложить голограммы. Простое отображение статических двухd окон и текстовых полей не кажется правильным в трехмерном мире. Многие из возможностей под рукой просто не отображаются, поэтому с самого начала мы решили отойти от этого и в полной мере использовать голографическое трехмерное пространство.

Сначала мы начали с добавления некоторой толщины к панелям, значкам и текстовым данным. Тем не менее, как пользователь, я вижу текстовое поле. Текстовые поля с изображениями, но нас там нет. Мы пошли дальше, используя шейдеры Смешанная реальность Toolkit (MRTK). Шейдеры MRTK стали мощным инструментом, и мы использовали его функции трафарета для добавления отрицательной глубины к панелям. Это означает, что вместо добавления элементов перед текстовым полем значки теперь отображаются за прозрачной панелью. То, что я вижу сейчас как пользователь, это то, что я просто не могу реплицировать больше в реальном мире, и именно здесь голографическая магия начала происходить. Кроме того, как пользователь я не очень люблю читать, я многое делаю уже в физическом мире.

Очевидно, что значки работают гораздо лучше, чем простой текст делает, чтобы предоставить еще более мощное руководство, я затем начал создавать набор анимированных объектов и аватаров, каждый из которых рассказывает крошечную историю о том, что делается в соответствующем сценарии и как он используется.

Основные понятия

Отслеживание головы и отслеживание глаз

Отслеживание рук

Отслеживание пространственного положения

Голографический кадр

Системы координат

Отслеживание взгляда

Визуализация сканирования помещений и пространственное сопоставление

Интерпретация сцены

Наведите и зафиксируйте с помощью лучей рук

"Попробуйте" моменты

Разработка голограмм учит концепциям смешанной реальности, но также позволяет опробовать их в своей комнате. После некоторых из этих объяснений, мы останавливаемся и вывезем вас из кукольного дома и в интерактивный момент. Вот несколько примеров этих интерактивных моментов:

Рамка отслеживания рук, показывающая время обнаружения рук и их попадание в поле зрения.

Взаимодействие с сталкивающимися кристаллами через удаленное взаимодействие

Изучение возможностей близкого взаимодействия

О команде

Даниэль Эскудеро Ведущий технический Designer Дэн является креативным директором по разработке голограмм и в настоящее время работает руководителем по дизайну в Академии Смешанная реальность Майкрософт в Сан-Франциско, а ранее был Designer в одной из Смешанная реальность Studios Корпорации Майкрософт в Лондоне.

Мартин Уэттиг Старший 3D-художник Мартин возглавляет 3D-искусство и дизайн пользовательского интерфейса по проектированию голограмм и ранее был старшим 3D-художником в одной из студий Смешанная реальность Майкрософт в Берлине.

Огромное спасибо команде разработчиков Смешанная реальность за обмен таким количеством знаний, и удивительным людям в Теории объектов за то, что они важные товарищи по команде на каждом шаге проекта. Спасибо всем вам за удивительный талант, за вашу страсть и исключительный взгляд на дизайн.

Скачивание приложения "Проектирование голограмм"