Создание интерфейса Ford GT40
"Предварительная версия MRTK, разработка для HoloLens 2 с использованием Unreal была немного трудоемкой, так как все пространственные взаимодействия должны были быть закодированы вручную, в C++. MRTK для Unreal сделал много тех же задач тривиальными. По моим оценкам, это сократит время, необходимое для первоначального прототипа, в два раза". - Хосе Родригес( Jose Rodriguez), разработчик программного обеспечения
"Ford GT40 Experience является доказательством того, что высокая точность HoloLens 2 приложение может быть завершено всего за несколько месяцев, со скромным бюджетом, но по-прежнему доставить весьма эффектные результаты". - Даниэль Cheetham, директор по инновациям, Happy Finish
Используя Смешанная реальность Toolkit (MRTK) для Unreal, творческая производственная компания Happy Finish предоставила HoloLens 2 опыт, который обеспечивает свежий взгляд на Ford GT40, легендарный гоночный автомобиль, который победил Ferrari в 24 часа Ле-Мана!
Используя ряд естественных и интуитивно понятных пространственных взаимодействий, пользователи могут изучить красоту, производительность и проектирование GT40— все это предоставляется таким образом, чтобы воспользоваться преимуществами высокой визуальной точности, предоставляемой Unreal Engine. Разработка программного обеспечения для всего проекта была завершена одним разработчиком менее чем за три месяца, что стало возможным благодаря MRTK для среды разработки визуальных сценариев и дизайна Unreal.
Скачивание приложения из Microsoft Store в HoloLens 2
Если у вас есть HoloLens 2 устройство, вы можете напрямую скачать и установить приложение на своем устройстве.
Запрос
Happy Finish является одной из ведущих мировых творческих производственных компаний, с клиентской базой, которая включает в себя, Ford, Microsoft, Nike, Netflix, Vodafone и другие имена нарицательными. Компания получила свое начало как высококлассное фоторетуширование агентства, ветвление в пленку и CGI, прежде чем расширить свою преданность превосходству в иммерсивном повествовании с трехмерным пространственным дизайном и взаимодействием.
В середине 2020 года корпорация Майкрософт обратилась к Компании Happy Finish, чтобы создать демонстрационное приложение, которое поможет продемонстрировать возможности, предоставляемые новым набором средств Смешанная реальность (MRTK) для Unreal, который основан на поддержке HoloLens 2 в Unreal Engine. На данный момент у компании уже было два успешных проекта Unreal-on-HoloLens 2. Оба были для глобально признанного потребительского бренда, который выбрал Unreal на HoloLens 2 для внутреннего R&D/B2B инструмент продаж за его высокую визуальную точность, как требуется, чтобы лучше продемонстрировать, что клиент собственных высококачественных продуктов.
Хотя само решение было бы оставлено до Happy Finish, оно должно соответствовать нескольким ключевым рекомендациям. Во-первых, он должен был сосредоточиться на корпоративном сценарии, чтобы проиллюстрировать полезность Unreal на HoloLens 2 за пределами игровой индустрии. Во-вторых, он должен быть предназначен только для устройства, то есть он может служить автономной демонстрацией, не требуя сетевого подключения и внешней вычислительной мощности для получения целевой частоты кадров и качества визуализации. В-третьих, он должен сочетать диапазон интуитивно понятных взаимодействий, поддерживаемых MRTK, в простое и естественное взаимодействие. Наконец, предлагаемое решение должно продемонстрировать присущую визуальную точность и другие преимущества самого Unreal Engine, такие как эффективность шейдеров.
Учитывая эти рекомендации, Happy Finish начал мозговой штурм возможностей, придумывая идею о смешанной реальности, которая использовала пространственное взаимодействие для информирования о ценности фирменного, ценного продукта. После рассмотрения ряда объектов, которые включали часы, камеры, автомобили и частные самолеты, Happy Finish в конечном итоге решил ford GT40, автомобильная легенда, которая достигла славы в 1966 году, когда Форд избил Ferrari на 24 часа Ле-Мана, как показано в блокбастере 2019 года Ford против Ferrari.
После получения бай-ина от Ford, существующего клиента Happy Finish, компания намерена доставить свежий взгляд на классический автомобильный значок.
Решение
Работа началась 7 мая 2020 года. После получения файлов моделей GT40 трехмерный художник потратил три недели на оптимизацию моделей многоугольников, УФ-карт, перерисовку карт текстур и сжатие этих карт в как можно меньшее количество текстур. Технический художник работал параллельно, чтобы оценить выходные данные трехмерного художника, определить оптимальные размеры текстур с учетом целевой частоты кадров и выяснить, как лучше всего применять пользовательские шейдеры в Unreal. Вся эта предварительная работа была выполнена для оптимизации работы на устройстве.
Креативный директор Алекс Ламберт вошел в картину после завершения подготовительных работ. Он начал с просмотра Форд против Феррари, думая о том, как ткать вместе повествование вокруг сценариев и взаимодействий. Он также собрал визуальные ссылки для художника пользовательского интерфейса, такие как изображения панели мониторинга GT40 и визуальные элементы ипподрома Ле-Мана, а также собрал аудиозаписи GT40 в действии для звукового дизайнера.
С повествованием определены и оптимизированы подготовительные ресурсы в руках, внештатный разработчик программного обеспечения Хосе Родригес был завербован, чтобы объединить все это вместе. Родригес был разработчиком двух предыдущих проектов Unreal-on-HoloLens 2, что Happy Finish сделал, до выпуска MRTK для Unreal.
Ценность MRTK для Unreal стала очевидной на раннем этапе, помогая Родригесу доставить первоначальный прототип в течение одной недели. Он реализовал три уникальных сценария, по одному для каждого из ключевых аспектов GT40, которые Ламберт определил: его красота, производительность и проектирование. Для каждого сценария Родригес использовал MRTK для интеграции оптимизированных трехмерных ресурсов из подготовительного этапа в диапазон пространственных взаимодействий.
С помощью MRTK для Unreal Родригес создал каждый сценарий с помощью визуального пользовательского интерфейса Unreal Motion Graphics (UMG) Designer вместо того, чтобы реализовывать все в C++. UX Tools for Unreal, подключаемый модуль, содержащий стандартные блоки и компоненты UX в MRTK, дал ему Unreal Blueprints для имитации ввода, визуального скрипта взаимодействия с рукой, нажатия кнопок, трехмерных операций с изображениями, поверхностного магнетизма и многого другого — все это в среде разработки без кода, перетаскивания.
"Pre-MRTK, разработка для HoloLens 2 с использованием Unreal была немного удручающая, потому что все пространственные взаимодействия должны были быть закодированы вручную, в C++", говорит Родригес. "MRTK для Unreal сделал много тех же задач тривиальными. По моим оценкам, это сократит время, необходимое для первоначального прототипа, в два раза".
С прототипом в руках, команда начала еженедельные итерации, чтобы уточнить опыт. "Именно тогда функция захвата Смешанная реальность и портал устройств Windows стали действительно полезными", вспоминает Ламберт. "Я использовал их для сбора отзывов о дизайне, передачи отзывов другим пользователям и совместной работы над изменениями. Работа в изоляции, как это было бы невозможно сделать без таких инструментов".
Когда Ламберт запросил изменения, такие как изменение положения элементов пользовательского интерфейса или изменение поведения кнопки, Родригес реализовал их. Хотя некоторые изменения требовали небольших настроек кода, большинство из них были обработаны в визуальном конструкторе Unreal. "Я был удивлен тем, как быстро я мог итерировать", говорит Родригес. "Время не было потрачено впустую; Я бы внести изменения в конструктор, а затем нажать кнопку play, чтобы сразу просмотреть его на устройстве. МРТК действительно упростил мою работу".
Родригес также вспоминает, что был впечатлен тем, насколько готовы к производству все инструменты разработки. "Мы плавно продвигались от первоначального прототипа до окончательного производства, без необходимости возвращаться и повторно выполнять или оптимизировать вещи в коде", говорит он.
Окончательная сборка
Happy Finish завершил производство Ford GT40 Experience для HoloLens 2 28 июля 2020 года, обеспечивая свежий взгляд на легендарный гоночный автомобиль. Взаимодействие начинается с экрана приветствия, а затем позволяет пользователю настроить привязку, захватив логотип Ford и поместив его на плоскую поверхность, например на стол или стол.
Красоты
Сегмент красоты приводит пользователя к конфигуратору GT40, который отображает GT40 на вращающуюся пьеedestal, аналогично тому, как физический автомобиль может быть показан на автомобильной выставке. Пользователь может применить различные варианты колес, выбрать из разных цветовых схем, а также открыть и закрыть двери и багажник (или загрузки, как они называют это в Великобритании). На протяжении всей красоты опыт, пользователь может забрать автомобиль и свободно манипулировать им для более внимательного взгляда.
Производительность
Сегмент производительности демонстрирует скорость и устойчивость GT40. Закадровый голос начинается с описания того, как автомобиль был разработан и положить через его темпы на Кингман Форда, Штат Аризона испытательных полигонов, с 3D визуальными элементами, показывающими GT40 в движении на тестовом треке. По завершении вводные сведения о сегменте производительности закадровая закадровая закадровая функция предлагает пользователю "Нажмите кнопку Ле-Мана, чтобы попасть на ипподром".
Вторая часть сегмента производительности демонстрирует GT40 в диапазоне условий, которые водители могут испытать на 24 часа Ле-Мана, который проводится ежегодно на цепи de la Sarthe недалеко от Ле-Мана, Франция. Трехмерный вид показывает автомобиль в движении на трассе Ле-Мана, с кнопками, предоставленными для того, чтобы автомобиль шел быстрее или медленнее. Изображения аналогового спидометра и тахометра GT40 плавают над представлением ипподрома, с дополнительными данными телеметрии гонки, отображаемыми в фоновом режиме. Пользователь может переключаться между дневным и ночным видами, а также между сухими и влажными условиями вождения, обеспечивая реалистичную и жизненную перспективу того, что Кен Майлз и другие водители GT40 испытали в реальной гонке.
Engineering
Инженерный сегмент Ford GT40 Опыт демонстрирует одно из инженерных инноваций, которые помогли Форду выиграть гонку: возможность менять тормозные роторы и колодки менее чем за минуту, по сравнению с 20-30 минут, необходимых для всех других команд. С помощью интуитивно понятных жестов пользователь может управлять подробной трехмерной моделью колеса GT40 и тормозной сборки. Чтобы расширить сборку, пользователь берет гаечный ключ, выравнивает его по центру блокировки на колесике, поворачивает его против часовой стрелки, а затем оттягивает его от колеса. Другие жесты используются для удаления изношенных тормозных роторов и колодок, замены их новыми, сворачивания сборки и восстановления центрального замка. В фоновом режиме таймер отображает затраченное время, позволяя пользователю понять, может ли он завершить процесс так же быстро, как команда pit в Ле-Мане.
Ford GT40 Experience можно скачать из Microsoft Store, что позволит всем, у кого есть HoloLens 2, изучить, как Happy Finish принес новый взгляд на легендарный гоночный автомобиль.
Получение впечатляющей визуальной точности
В то время как диапазон пространственных взаимодействий, поддерживаемых Ford GT40 Experience, впечатляет сам по себе, творчество и визуальная точность, которую предоставляет опыт, является то, что действительно делает его блестящим. Благодаря оптимизации трехмерных моделей и использованию пользовательских шейдеров Unreal, Приложение Happy Finish достигло целевого показателя 60 кадров в секунду, даже если размер сегмента производительности приложения приближается к 315 000 многоугольников.
"Я очень доволен тем, как мы смогли собрать вместе набор гибких, интуитивно понятных взаимодействий в последовательное и привлекательное повествование", говорит Ламберт. «Очевидно, что сила Unreal Engine на HoloLens 2 открывает новый мир возможностей для более удивительных и захватывающих опытов смешанной реальности. Бескомпромизуемая визуальная точность не всегда является конечной целью корпоративных приложений на HoloLens 2, но в этом случае поддержка Unreal на HoloLens 2 становится бесценной».
Быстрая доставка решений
Насколько впечатляет конечный пользователь Ford GT40 Experience, насколько быстро компания Happy Finish доставила его. Весь проект — от подготовки до окончательной поставки — был завершен чуть меньше чем за 12 недель. Таким образом, проект потреблял 1088 часов усилий, разбитых следующим образом: креативный директор (80 часов), дизайнер UX (56 часов), дизайнер пользовательского интерфейса (40 часов), звуковой дизайнер (40 часов), трехмерный/технический художник (328 часов), разработчик программного обеспечения (408 часов), технический директор (40 часов), продюсер (56 часов) и контроль качества (40 часов).
"В целом, мы приблизились к нашим первоначальным оценкам проекта", говорит Даниэль Cheetham, директор по инновациям в Happy Finish, который возглавляет интерактивное подразделение компании. "Ford GT40 Experience является доказательством того, что высокая точность HoloLens 2 приложение может быть завершено всего за несколько месяцев, со скромным бюджетом, но по-прежнему доставить весьма эффектные результаты".
С точки зрения разработки, основываясь на его предыдущем опыте работы с Unreal на HoloLens 2, Родригес считает, что MRTK для Unreal сократить общее время и усилия, необходимые с его стороны, в два раза. Он также отмечает, как MRTK может помочь разработчикам, которые никогда не работали с HoloLens 2 начать работу. "Когда другие разработчики говорят, что они заинтересованы в смешанной реальности, я призываю их просто перейти, установить стек разработки HoloLens 2 и MRTK и перейти к нему. MRTK позволяет быстро и легко создавать приложение, а визуальный редактор Unreal работает настолько хорошо, что для начала работы вам даже не требуется HoloLens 2 устройство. Это совсем не сложно — все просто работает».
Потенциальные усовершенствования службы Azure
Ламберт видит несколько способов использования служб смешанной реальности Azure для улучшения возможностей Ford GT40, таких как использование пространственных привязок Azure для предоставления многопользовательского интерфейса, привязанного в реальном мире. «С творческой точки зрения Пространственные привязки Azure открывают совершенно новый спектр возможностей благодаря способности сопоставлять, сохранять и восстанавливать трехмерное содержимое или точки интереса в нашем физическом мире», - говорит он.
Ламберт также описывает, как azure Удаленная отрисовка или потоковую передачу приложения из Azure можно использовать для достижения требуемой частоты кадров при работе с более подробными и сложными трехмерными моделями. "Нам пришлось реализовать некоторые высокооптимизированные пользовательские шейдеры в Unreal, чтобы достигнуть цели на устройстве в 60 кадров в секунду", объясняет он. "С помощью Azure Удаленная отрисовка мы могли бы сделать гораздо больше, и сделать это гораздо проще, без дополнительной работы, необходимой для оптимизации моделей многоугольников, перекрашивать карты текстур и т. д."
Бесконечные новые возможности
Итак, что дальше для Happy Finish? Отзывы Ford о Ford GT40 были в подавляющем большинстве положительными, что привело к дальнейшим обсуждениям между Happy Finish и Ford о будущих HoloLens 2 проектах. За пределами своей связи с Ford, Happy Finish уже начинает новый проект на HoloLens 2, где MRTK для Unreal будет базовым строительным блоком для большинства пользователей.
«Мы всегда придерживались технологического подхода к каждому новому проекту, предлагая, какой набор инструментов лучше всего подходит для того, чтобы помочь клиенту достичь желаемых результатов», - говорит Cheetham. "Тем не более, HoloLens 2 стал де-факто золотым стандартом для смешанной реальности, особенно на предприятии, стоя голова и плечи выше всех других вариантов с точки зрения возможностей устройств и широкой поддержку экосистемы".
По словам Cheetham, глобальная пандемия вызвала огромный интерес к иммерсивной смешанной реальности среди потенциальных клиентов. "Мы заняты, чем когда-либо, с около 50 процентов потенциальных клиентов открыты для обсуждения варианта смешанной реальности", говорит он. "Ключ в том, чтобы заставить людей попробовать это. Вы можете рассказать им о смешанной реальности весь день, но когда вы вручите им HoloLens 2, чтобы испытать для себя, они сразу же получают, как это может быть игра-сменщик. Поддержка Unreal Engine в HoloLens 2 только увеличивает ценность, которую мы можем предложить, позволяя нам предоставлять визуально потрясающие возможности, которые обязательно удовлетворят даже самых требовательных клиентов".
Попробуйте!
Ознакомьтесь с нашим введением в разработку Смешанная реальность на HoloLens 2 или MRTK для Unreal на сайте GitHub.