Общий доступ в смешанной реальности

Голограммы не нужно оставаться закрытым только для одного пользователя. Голографические приложения могут совместно использовать пространственные привязки с одного устройства HoloLens, iOS или Android на другое, что позволяет пользователям визуализировать голограмму в одном месте в реальном мире на нескольких устройствах.

Шесть вопросов для определения общих сценариев

Прежде чем приступить к разработке общих возможностей, важно определить целевые сценарии. Эти сценарии помогают уточнить, что вы разрабатываете и устанавливаете общий словарь для сравнения и контрастности функций, необходимых в вашем опыте. Понимание основной проблемы и различных путей решения является ключом к выявлению возможностей, присущих этой новой среде.

С помощью внутренних прототипов и исследований из наших HoloLens партнерских агентств мы создали шесть вопросов, которые помогут вам определить общие сценарии. Эти вопросы образуют платформу, не предназначенную для исчерпывающего использования, чтобы помочь определить важные атрибуты ваших сценариев.

1. Как они обмениваются данными?

Презентация может управляться одним виртуальным пользователем, в то время как несколько пользователей могут совместно работать, или преподаватель может предоставить рекомендации виртуальным учащимся, работающим с виртуальными материалами, — сложность взаимодействия увеличивается на основе уровня агентства, которое пользователь имеет или может иметь в сценарии.

Man and women with holograph on table

Существует много способов поделиться, но мы обнаружили, что большинство из них делятся на три категории:

  • Презентация: при отображении одного и того же содержимого нескольким пользователям. Например: профессор дает лекцию нескольким студентам, использующим один голографический материал, представленный всем. Профессор, однако, может иметь свои собственные намеки и примечания, которые могут быть недоступны для других.
  • Совместная работа: когда люди работают вместе для достижения некоторых общих целей. Например: Профессор выдал проект, чтобы узнать о выполнении операции на сердце. Учащиеся объединяются и создают общий опыт работы с лабораторией навыков, которая позволяет учащимся-медикам работать над моделью сердца и учиться.
  • Руководство. Когда один человек помогает кому-то решить проблему в более одном стиле взаимодействия. Например: Профессор дает рекомендации студенту, когда он /она делает лабораторию навыков хирургии сердца в общем опыте.

2. Какой размер группы?

Возможности совместного использования "один к одному" могут обеспечить надежный базовый план, и в идеале ваши доказательства концепции можно создать на этом уровне. Но имейте в виду, что совместное использование с большими группами (за шесть человек) может привести к трудностям как технических (данных, так и сетей) и социальных сетей (влияние того, что они в комнате с несколькими аватарами). Сложность увеличивается экспоненциально по мере перехода от небольших к большим группам.

Мы обнаружили, что потребности групп могут быть разделены на три категории размеров:

  • 1:1
  • Маленький < 7
  • Большой >= 7

Размер группы имеет важный вопрос, так как он влияет:

  • Представления людей в голографическом пространстве
  • Масштаб объектов
  • Масштаб среды

3. Где все?

Сила смешанной реальности вступает в игру, когда общий опыт может происходить в том же расположении. Мы называем это совместное размещение. И наоборот, если группа распределена и хотя бы один участник не находится в одном физическом пространстве (как это часто бывает с виртуальной реальностью), мы называем это удаленным взаимодействием. Часто бывает так, что в вашей группе есть как совместное размещение, так и удаленные участники (например, две группы в конференц-залах).

Three people with holograph on table

Следующие категории помогают сообщить, где находятся пользователи:

  • Совместное размещение: все пользователи будут находиться в одном физическом пространстве.
  • Удаленный: все пользователи будут находиться в отдельных физических пространствах.
  • Оба: ваши пользователи будут сочетанием совместно размещаемых и удаленных пространств.

Этот вопрос имеет решающее значение, так как он влияет:

  • Как люди общаются?
    • Например: должны ли они иметь аватары?
  • Какие объекты они видят. Являются ли все объекты общими?
  • Нужно ли адаптироваться к своей среде?

4. Когда они совместно используются?

Как правило, мы думаем о синхронном опыте, когда общий опыт приходит на ум: мы все делаем это вместе. Но если мы добавим один виртуальный элемент, добавленный другим пользователем, у нас есть асинхронный сценарий. Imagine заметку или голосовую памятку, оставленную в виртуальной среде. Как вы обрабатываете 100 виртуальных памяток, оставшихся в вашем дизайне? Что делать, если они из десятков людей с разными уровнями конфиденциальности?

Рассмотрим ваши возможности как одну из следующих категорий времени:

  • Синхронно: одновременное совместное использование голографического интерфейса. Например, два учащегося одновременно выполняют лабораторию навыков.
  • Асинхронно: совместное использование голографического интерфейса в разное время. Например: два учащегося выполняют лабораторию навыков, но работают над отдельными разделами в разное время.
  • Оба: пользователи иногда будут делиться синхронно, но в других случаях асинхронно. Например, профессор, оценивая задание, выполненное учащимися позже, и оставляя заметки для учащихся на следующий день.

Этот вопрос важен, так как он влияет на:

  • Сохраняемость объектов и среды. Например: хранение состояний, чтобы их можно было получить.
  • Перспектива пользователя. Например, возможно, вспомните, что пользователь смотрел при выходе заметок.

5. Насколько похожи их физические среды?

Вероятность двух идентичных реальных сред, за пределами совместного взаимодействия, невелика, если эти среды не были разработаны так, чтобы они были идентичными. Скорее всего, у вас будут похожие среды. Например, конференц-залы похожи— они обычно имеют центрально расположенный стол, окруженный стульями. Гостиные, с другой стороны, отличаются друг от друга и могут включать любое количество предметов мебели в бесконечном массиве макетов.

Holograph on table

Рассмотрите возможность совместного использования в одной из этих двух категорий:

  • Аналогичные: среды, которые, как правило, имеют аналогичную мебель, внешний свет и звук, физический размер комнаты. Например: Профессор находится в лекционном зале А, и студенты находятся в лекционном зале Б. Лекционный зал A может иметь меньше стульев, чем B, но оба они могут иметь физический стол для размещения голограмм на.
  • Разнородные: среды, которые отличаются в мебельных настройках, размерах помещений, освещении и звуковых соображениях. Например: профессор находится в фокус-комнате, но студенты находятся в большом лекционном зале, заполненном студентами и учителями.

Важно думать о среде, так как она будет влиять:

  • Как люди будут испытывать эти объекты. Например: если ваш интерфейс лучше всего работает с таблицей и у пользователя нет таблицы? Или на плоской поверхности пола, но у пользователя есть загромождающее пространство.
  • Масштаб объектов. Например: Размещение шести футов человеческой модели на столе может быть сложной, но модель сердца будет работать отлично.

6. Какие устройства используются?

Сегодня вы часто можете увидеть общие возможности между двумя иммерсивными устройствами (эти устройства могут немного отличаться для кнопок и относительных возможностей, но не очень) или двух голографических устройств , учитывая решения, предназначенные для этих устройств. Однако следует учитывать, будут ли 2D-устройства (участник мобильного или рабочего стола или наблюдатель) необходимым фактором, особенно в ситуациях с смешанными 2D-устройствами и трехмерными устройствами. Понимание типов устройств, которые будут использовать участники, важно не только потому, что они поставляются с различными ограничениями точности и данными и возможностями, но и потому, что пользователи имеют уникальные ожидания для каждой платформы.

Изучение потенциала общих возможностей

Ответы на приведенные выше вопросы можно объединить, чтобы лучше понять общий сценарий, кристаллизуя проблемы по мере расширения возможностей. Для команды корпорации Майкрософт это помогло создать дорожную карту для улучшения опыта, который мы используем сегодня, понимания нюансов этих сложных проблем и того, как воспользоваться общим опытом в смешанной реальности.

Например, рассмотрим один из сценариев Skype из HoloLens запуска: пользователь работал над тем, как исправить сломанный переключатель света с помощью удаленного эксперта.

Fixing a light switch with assistance via Skype for HoloLens

Эксперт предоставляет 1:1 руководство от своего 2D-компьютера к пользователю трехмерного устройства смешанной реальности . Руководствоявляется синхронным, и физические среды отличаются.

Опыт, подобный этому, является шагом в переходе от нашего текущего опыта — применение парадигмы видео и голоса к новой среде. Но по мере того как мы смотрим на будущее, мы должны лучше определить возможности наших сценариев и построить опыт, который отражает силу смешанной реальности.

Рассмотрим средство совместной работы OnSight, разработанное лабораторией реактивных двигателей НАСА. Ученые, работающие над данными из миссий марсохода, могут сотрудничать с коллегами в режиме реального времени в данных из марсианского ландшафта.

Collaborating between colleagues separated remotely to plan work for the Mars Rover

Ученый исследует среду с помощью трехмерного устройства смешанной реальности с небольшой группой удаленных коллег, использующих трехмерные и 2D-устройства . Совместная работаявляется синхронной (но может быть изменена асинхронно) и физические среды (практически) похожи.

Такие возможности, как OnSight, представляют новые возможности для совместной работы. С физического указания элементов в виртуальной среде, чтобы стоять рядом с коллегой и делиться своей перспективой, как они объясняют свои выводы. OnSight использует объектив погружения и присутствия, чтобы переосмыслить обмен опытом в смешанной реальности.

Интуитивно понятное сотрудничество является основой общения, совместной работы и понимания того, как мы можем применить эту интуицию к сложности смешанной реальности имеет решающее значение. Если мы не можем воссоздать опыт совместного использования в смешанной реальности, но и заряжить их, это будет смена парадигмы для будущего работы. Проектирование общих возможностей в смешанной реальности — это новое и захватывающее пространство, и мы только в начале.

начало работы создания общих возможностей

В зависимости от вашего приложения и сценария для достижения желаемого опыта будут предъявляться различные требования. Ниже перечислены некоторые из них.

  • Сопоставление: возможность создавать сеансы, объявлять сеансы, обнаруживать и приглашать конкретных людей как локально, так и удаленно для присоединения к сеансу.
  • Совместное использование привязок: возможность выравнивания координат между несколькими устройствами в общем локальном пространстве, поэтому голограммы отображаются в одном месте для всех пользователей.
  • Сеть: возможность иметь позиции, взаимодействия и движения людей и голограммы, синхронизированные в режиме реального времени для всех участников.
  • Хранилище состояний: возможность хранения характеристик голограммы и расположений в пространстве для присоединения к середине сеанса, последующего отзыва и надежности в отношении проблем с сетью.

Ключом к совместному взаимодействию является наличие нескольких пользователей, которые видят одни и те же голограммы в мире на собственном устройстве, часто выполняя совместное использование привязок для выравнивания координат между устройствами.

Чтобы предоставить общий доступ к привязкам, используйте пространственные привязки Azure:

При использовании общей пространственной привязки приложение на каждом устройстве теперь имеет общую систему координат , в которой они могут размещать содержимое. Теперь приложение может обеспечить размещение и расположение голограммы в том же расположении.

На HoloLens устройствах также можно совместно использовать привязки в автономном режиме с одного устройства на другое. Используйте приведенные ниже ссылки, чтобы решить, что лучше всего подходит для вашего приложения.

Оценка технических параметров

Существуют различные варианты служб и технологий, которые помогают создавать интерфейсы смешанной реальности с несколькими пользователями. Это может быть сложно выбрать путь, поэтому с точки зрения сценария некоторые варианты подробно описаны ниже.

Общие статические голограммы (без взаимодействий)

Используйте пространственные привязки Azure в приложении. Включение и совместное использование пространственных привязок на разных устройствах позволяет создавать приложения, в которых пользователи одновременно видят голограммы. Для взаимодействия пользователей с голограммами и просмотра перемещений или обновлений состояния голограмм требуется дополнительная синхронизация между устройствами.

Совместное использование перспективы первого лица

Используйте встроенную Miracast поддержку для локальных пользователей, если у вас есть поддерживаемый приемник Miracast, например пк или телевизор. Дополнительный код приложения не требуется.

Взаимодействие с несколькими пользователями

Начните с нашего учебника по многопользовательскому обучению, в котором используются пространственные привязки Azure для локальных пользователей и пакета SDK Photon для синхронизации содержимого или состояния сцены. Создавайте локальные приложения для совместной работы, где каждый пользователь имеет собственную перспективу на голограммах сцены и может полностью взаимодействовать с голограммами. Обновления предоставляются на всех устройствах, а управление конфликтами взаимодействия обрабатывается Photon.

Примечание

Обратите внимание, что Photon — это продукт, отличный от Корпорации Майкрософт, поэтому для более высокого использования может потребоваться выставление счетов с Photon.

Предстоящая работа

Возможности и интерфейсы компонентов помогут обеспечить общую согласованность и надежную поддержку в различных сценариях и базовых технологиях. До этого выберите оптимальный путь, соответствующий сценарию, который вы пытаетесь достичь в приложении.

Другой сценарий или желание использовать другую технологию или службу? Предоставьте отзыв как GitHub проблемы в соответствующем репозитории, в нижней части этой страницы или обратитесь к holoDevelopers slack.

См. также статью