Мышление по-другому для Смешанная реальность

Когда корпорация Майкрософт запустила HoloLens (1-го поколения) для готовых разработчиков в 2016 году, команда уже сотрудничала со студиями внутри и вне корпорации Майкрософт для создания возможностей запуска устройства. Эти команды учились, открывая новые возможности и сталкиваясь с проблемами в новой области проектирования смешанной реальности.

Мы превратили свои методы и аналитические сведения в учебную программу, которая обучает новых разработчиков в нашей Смешанная реальность Академии. Учебная программа включает недельные семинары по проектированию, которые мы предлагаем нашим корпоративным партнерам).

Ниже приведен снимок всего, что мы узнали, чтобы помочь нашим корпоративным партнерам подготовить свои команды к разработке смешанной реальности. Хотя многие из этих методов изначально нацелены на разработку HoloLens, образы и общение в трехмерном формате критически важны для полного спектра опыта смешанной реальности.

Пространственное мышление во время разработки

Любой процесс проектирования или структура проектирования предназначен для итерации мышления: для решения проблемы в целом, для эффективного обмена идеями с другими пользователями, для оценки этих идей и достижения решения. Сегодня у нас есть хорошо установленные методы проектирования и разработки для создания опыта на настольных компьютерах, телефонах и планшетах. Teams имеют четкие ожидания того, что необходимо, чтобы итерировать идею и превратить ее в продукт для пользователей.

Teams часто состоят из сочетания разработки, проектирования, исследований и управления. Все роли должны участвовать в процессе разработки. Барьер для входа для участия в создании идеи для мобильного приложения так же просто, как рисование прямоугольника для экрана устройства. Между тем, создание эскизов элементов пользовательского интерфейса с полями и линиями достаточно для установления технических требований или определения потенциального поведения пользователя.

При смешанной реальности традиционный процесс проектирования 2D начинает разрушаться. Эскизы в трехмерном формате трудно для большинства людей, и использование двухD-инструментов, таких как перо и бумага или доски, часто может ограничить идеи этими измерениями. Между тем, трехмерные инструменты, созданные для игр или инженерии, требуют высокой степени мастерства, чтобы быстро развернуть идеи. Отсутствие легких инструментов усугубляется технической неопределенностью, присущей новым устройствам, где по-прежнему устанавливаются базовые методы взаимодействия. Эти проблемы могут потенциально ограничить вклад разработчиков участникам команды с трехмерным опытом разработки — резко уменьшая способность команды к итерации.

Teams working during a workshop in the Mixed Reality Academy
Teams из программы партнеров Смешанная реальность в нашем семинаре

Когда мы работаем с внешними партнерами, мы слышим истории команд, ожидающих, пока разработчик завершит прототип, прежде чем они смогут продолжить свой процесс разработки. Остальная часть команды затем потенциально заблокирована от того, чтобы сделать значимый прогресс в продукте. Разработчики в конечном итоге несут всю ответственность за решение как технической реализации, так и взаимодействия с пользователем по мере того, как они пытаются поставить приблизительные идеи в код.

Методы расширения процесса разработки

Наши команды в Корпорации Майкрософт имеют набор методов для более эффективного включения команды и быстрой итерации по сложным проблемам проектирования. Хотя этот процесс не является формальным, эти методы предназначены для дополнения, а не замены рабочего процесса. Эти методы позволяют участникам команды без специализированных трехмерных навыков предлагать идеи перед погружением в этап создания прототипов. Различные роли и дисциплины могут быть частью процесса проектирования, а не только трехмерных дизайнеров и разработчиков. Выявление возможностей и выявление возможных проблем может возникнуть позже в разработке.

Techniques for the design process

Создание идей с помощью bodystorming

Чтобы ваша команда думала о событиях, происходящих в реальном мире, за пределами традиционного мира 2D-устройств, является ключом к разработке инновационных опытов смешанной реальности. В Корпорации Майкрософт мы нашли лучшие результаты, поощряя взаимодействие с физическими реквизитами в реальном пространстве. Используя простые, дешевые материалы для создания физических реквизитов для представления цифровых объектов, пользовательских интерфейсов и анимаций в предлагаемом интерфейсе. Этот метод называется bodystorming и был основным продуктом идея в промышленном дизайне в течение десятилетий.

Teams working with materials in the Mixed Reality AcademyПростые, дешевые предметы искусства, используемые в bodystorming

Простой, физический реквизит уровня игрового поля для участников, позволяя людям с различными наборами навыков и опытом вносить идеи и раскрывать возможности, присущие смешанной реальности опыт вместо того, чтобы быть заблокированы в 2D мышления. Хотя техническое прототипирование или высокоточие раскадровки требует квалифицированного 3D разработчика или художника, несколько шаров Styrofoam и картона может быть достаточно, чтобы продемонстрировать, как интерфейс может разворачиваться в физическом пространстве. Эти методы применяются как к разработке смешанной реальности с помощью HoloLens, так и к иммерсивным гарнитурам. Например, набор пластиковых соединителей может примерно проиллюстрировать размер голограмм, которые отображаются в интерфейсе HoloLens или в качестве реквизита для использования взаимодействующих элементов или конструкций движения в виртуальном мире.

Bodystorming — это метод, используемый для быстрого создания идей и оценки идей, которые слишком туманны для прототипа. В Корпорации Майкрософт, bodystorming чаще всего используется для быстрого проверки идеи. Это также может помочь провести более углубленный сеанс, если вы участвуете вне заинтересованных лиц, которые не знакомы с разработкой смешанной реальности или должны дистиллировать широкие сценарии. Помните, что цель bodystorming заключается в том, чтобы быстро и эффективно мыслить, поощряя участников думать пространственно. Подробные изображения или точные измерения на этом этапе не важны. Физические реквизиты должны соответствовать минимальным требованиям для изучения или общения с идеей. Идеи, представленные через bodystorming, как ожидается, не будут полностью проверены, но процесс может помочь сузить возможности для тестирования позже во время этапа прототипирования на устройстве. Таким образом, bodystorming не заменяет техническое прототипирование, а скорее компенсирует бремя решения как технических, так и проектных задач на этапе создания прототипов.

Отзывы актеров и экспертов

После процесса bodystorming идея с физическими объектами в реальном мире, следующим шагом является пошаговое взаимодействие с этими объектами. Мы называем этот этап действия процесса, и он часто включает промежуточное перемещение пользователя через взаимодействие или определенное взаимодействие.

Teams acting out a scenario during a workshop in the Mixed Reality Academy
Teams действуя по сценарию во время семинара

Действие с физическими реквизитами позволяет участникам испытать перспективу пользователя, позволяя внешним наблюдателям видеть, как события разыгрываются. Это идеальное время для включения более широкой аудитории участников команды или заинтересованных лиц, которые могут предоставлять конкретные отзывы экспертов. Например, если вы изучаете взаимодействие в Смешанной реальности, предназначенное для больниц, то, поделившись своими замыслами с медицинским работником, вы можете получить бесценные отзывы. Другой пример — если у вас может возникнуть конкретная проблема, которую вы пытаетесь понять, например пространственный звук или бюджетирование для качества активов и производительности. В таких случаях действие дает экспертам быстрое, грубое представление о том, как может разворачиваться опыт, без необходимости создания прототипа на основе устройств.

Такого рода актерская деятельность не формализована, без необходимости принести профессиональный талант, но в ситуациях, когда мы хотим поделиться мышлением с другими, которые не присутствуют, мы будем записывать "сцену" взаимодействия или включать раскадровку художника для наблюдения и эскиза ключевых моментов. Актерская деятельность также может быть упрощенной деятельностью, часто происходит в месте во время фазы bodystorming. Выбор способа использования зависит от аудитории и точности, необходимой для запроса соответствующего типа обратной связи. Это в конечном итоге сводится к тому, что будет наиболее эффективно захватывать мышление вашей команды.

Захват идей с помощью раскадровки

Лучший способ передачи идей и концепций предлагаемого опыта зависит от целевой аудитории, а также от типа отзыва, необходимого для следующей итерации. При представлении новых идей членам команды, низкая верность повторное принятие тела может быть достаточно, чтобы привлечь кого-то к скорости. При вводе концепций взаимодействия для новых заинтересованных лиц или потенциальных пользователей лучший метод часто раскадровки. Раскадровка — это техника, распространенная для индустрии развлечений, которая находится за кулисами в кино и разработке видеоигр. Техника помогает передать как общий поток опыта (при низкой точности), так и эстетический вид и чувство (при высокой точности). Как и при создании прототипов, понимание потребностей в точности раскадровки является ключом к сбору правильных отзывов и избеганию контрпродуктивных обсуждений.

Example of a low-fidelity storyboard
Пример раскадровки с низкой точностью

Раскадровки с низкой точностью являются правильной точностью для быстрых дискуссий, особенно при передаче высокоуровневых идей. Они могут быть такими же простыми, как рисунки и примитивные фигуры для обозначения виртуальных элементов в сцене или близости интерактивных компонентов (как физических, так и виртуальных). Хотя они полезны, учитывая относительную легкость и низкий барьер навыка для выполнения, помните урок от bodystorming: Не все могут видеть 2D изображения опыта и понимать 3D последствия.

Example of a high-fidelity storyboard
Пример раскадровки высокой точности

Раскадровки высокой точности являются мощным инструментом при привлечении новых заинтересованных лиц или объединении аналитических сведений из сеанса bodystorming с предлагаемым эстетическим направлением вашего опыта. Раскадровки могут создавать доски настроения, чтобы проиллюстрировать окончательный внешний вид виртуального опыта, и захватить ключевые моменты, которые могут быть ключевыми для конечного продукта. Помните, что раскадровки высокой точности часто требуют художника, особенно одного внедренного в команду, который может захватить трудно описывать идеи. В Корпорации Майкрософт мы добавили раскадровки художников, часто с фоном в разработке игр, в наши команды смешанной реальности, которые посещают собрания, готовые быстро захватить эскизы, которые позже будут расширены в более высокие макеты точности. Эти люди тесно сотрудничают с техническими художниками, помогая передать художественное направление активов, используемых в окончательном опыте.

Процесс разработки

Наш процесс сегодня начинается с доски и липких заметок и расширяется в физическое тело штурма и действуя. Затем мы переводим это мышление в раскадровки и что-то, что мы называем "One-Line Concept" (высокоуровневое предложение, описывающее то, что мы делаем), прежде чем перейти к созданию прототипов и активов. Наша работа по проектированию часто является физической, прежде чем мы приступим к этапу разработки.

Design process flow 1
Общий процесс проектирования

Процесс проектирования грязный, и каждая команда отличается. Однако такие методы, как bodystorming, действующих и раскадровки, могут помочь облегчить трудности в итерации.

Design process flow 2
На самом деле, его непрерывные итеративные фазы

Расширение навыков вашей команды

Изменение процесса для более эффективного взаимодействия с смешанной реальностью зависит от более тесного подключения технических и конструктивных ролей. Работая с партнерами корпорации Майкрософт, мы видели, как несколько команд успешно переходят в трехмерные разработки, и мы находим самое большое преимущество от членов команды, выходя из своей зоны комфорта и развивая навыки, которые дают им больше участия в процессе разработки (а не просто ограничивая свои навыки разработки или разработки).

Обратная связь и итерация являются ключом к любому успешному проектированию, и с опытом смешанной реальности, такой вид обратной связи часто искажает более технические понятия, особенно учитывая относительную непристойность технологий и инструментов смешанной реальности. Создание навыков команды разработчиков в технических областях, включая навыки с помощью таких инструментов, как Unity или Unreal, помогает тем людям лучше понять подход разработчиков и обеспечить более эффективную обратную связь во время прототипа. Аналогичным образом разработчики, которые понимают основные понятия взаимодействия с смешанной реальностью (и потенциальные недостатки проектирования) могут помочь им предоставить аналитические сведения о реализации на ранних этапах планирования.

Обычно мы получаем вопросы от партнеров, работающих в смешанной реальности о том, как лучше развивать свою команду и наборы навыков с помощью трехмерных инструментов. Это трудный вопрос, чтобы ответить, учитывая состояние отрасли, так как команды сталкиваются с созданием завтрашнего опыта с вчерашними инструментами. Многие команды собирают людей с опытом в играх и развлечениях, где трехмерные разработки являются основными в течение десятилетий. Teams также поощряют существующие команды к выбору таких средств, как Unity и программное обеспечение трехмерного моделирования. Хотя это и важные потребности в удовлетворении базовых показателей смешанной реальности сегодня, скорее всего, будет большое количество специализированных инструментов и навыков, которые помогут создать завтрашние новаторские приложения.

Поле проектирования смешанной реальности всегда меняется, при этом больше внимания уделяется данным и облачным службам в голографическом интерфейсе. Это следующее поколение опыта будет использовать преимущества расширенной обработки естественного языка и компьютерного зрения в режиме реального времени, а также более по своей сути социальные сценарии в иммерсивном опыте. Например, опыт в виртуальной реальности позволяет дизайнерам создавать творческие среды и пространства, требуя набора навыков больше сродни архитектуре или психологии, а не традиционному дизайну интерфейса. Или вы можете рассмотреть опыт в реальном мире с HoloLens, где варианты использования часто включают в себя высокоспециализировать такие области, как медицина, инженерия или производство, где конкретные среды и данные в режиме реального времени являются важными элементами опыта. Работа в разных ролях, использование как дизайна, так и специализированных знаний, а также готовность изучать новые инструменты являются бесценным навыком для команд, работающих в смешанной реальности.

Помощь вашей команде в быстром и эффективном изучении смешанной реальности

В первые дни HoloLens эти методы вышли из необходимости, так как раннее прототипное оборудование устройства оказалось менее идеальным форматом для быстрой итерации по идеям дизайна. Методы взаимодействия, включая фундаментальный пользовательский интерфейс в операционной системе, были изучены с помощью bodystorming, а действия помогли нашей команде по удобством использования понять фундаментальные поведения пользователей для сценариев на рабочем месте. В конце концов, команда установила надежный базовый план для HoloLens основного пользовательского интерфейса, взаимодействуя между ролями команды и позволяя разработке ОС быстро перемещаться параллельно с разработкой оборудования.

Workshop materials in the Mixed Reality Academy

Будь то bodystorming, действуя, обзор с экспертами, или раскадровки, эти методы предназначены для экономии времени и усилий. Хотя мы все еще очень много в первые дни HoloLens и разработки виртуальной реальности, расширение процесса проектирования для смешанной реальности поможет вашей команде тратить свою энергию на изучение новых и сложных проблем проектирования, а не преодоление трудностей, сообщающих идеи.

Пример списка материалов для семинаров

Простые материалы искусства предоставляют участникам команды необходимые инструменты для объяснения идей без каких-либо передовых художественных навыков. Ниже приведен пример того, что наша команда часто использует во время bodystorming:

  • Диски Styrofoam
  • Кубы styrofoam
  • Широфоам конусы
  • Сферы styrofoam
  • Картонные коробки
  • Деревянные кувы
  • Палки lollipop
  • Картон
  • Бумажные чашки
  • Лента трубы
  • Маскирование ленты
  • Ножницы
  • Скрепки
  • Зажимы для подачи
  • Пост-его
  • Шпагат
  • Карандаши
  • Шарпики

Следующий этап

Поздравляем, вы завершили основу Смешанная реальность пути обнаружения! Вы можете узнать, как партнеры отрасли используют Смешанная реальность, изучить HoloLens или начать разработку или разработку: