Разработка в Unity для HoloLens

Unity — одна из ведущих платформ для разработки приложений в реальном времени на рынке. Базовый код выполнения написан на C++, а все скрипты разработки создаются на C#. Независимо от того, какие задачи вам нужно выполнять (создавать игры, синематику для фильмов и анимации или даже визуализировать архитектурные либо инженерные концепции в виртуальном мире), Unity предоставит вам необходимую инфраструктуру. Когда вы будете готовы начать работу, перейдите к этапам разработки ниже.

Важно!

Ознакомьтесь с нашими руководствами по переносу , если вы хотите перенести существующий проект Unity в HoloLens 2. Мы предоставляет руководства для проектов, в которых используется HTK, MRTK v1 или SteamVR.

Этапы разработки

Используйте следующие контрольные точки, чтобы реализовать свои игры и приложения Unity в мире смешанной реальности. Если вы еще не ознакомились с примером приложения для создания голограмм, мы рекомендуем скачать и использовать его для ознакомления с основными сведениями о пользовательском интерфейсе Смешанной реальности.

1. Начало работы

Проще всего разрабатывать приложения в Unity с помощью набора средств для смешанной реальности. Набор MRTK поможет вам автоматически настроить проект для смешанной реальности и предоставит пакет функций для ускорения разработки. Этот раздел позволит вам получить базовое представление о Mixed Reality Toolkit, надлежащим образом настроенной среде разработки для приложений смешанной реальности, и поможет создать в Unity работающий проект MRTK.

Контрольная точка	Результат
Знакомство с Mixed Reality Toolkit	Ознакомление с возможностями набора Mixed Reality Toolkit
Скачивание Mixed Reality Feature Tool	Новое средство разработки для обнаружения, обновления и добавления пакетов функций смешанной реальности в проекты Unity.
настраивать среду разработки;	Скачивание и установка последней версии пакета Unity и настройка проекта для смешанной реальности.
Прохождение серии учебников по HoloLens 2	Ознакомление с руководствами по MRTK начального уровня для работы с оборудованием HoloLens 2

Важно!

Если вы хотите создать проект Unity без импорта набора средств для смешанной реальности, то вам потребуется вручную настроить несколько параметров Unity для Windows Mixed Reality. Дополнительные сведения см. в нашем руководстве по настройке.

Примечание

После настройки MRTK в проекте стандартные игровые объекты Unity (например, камера) будут немедленно активироваться в режиме сидящего оператора. Инструкции по изменению режима приложения можно найти на странице со сведениями о системах координат.

2. Основные компоненты

Все основные стандартные блоки для приложений смешанной реальности предоставляются так же, как и другие интерфейсы API Unity. Эти стандартные блоки доступы в качестве отдельных функций и в Mixed Reality Toolkit. Скорее всего, вам потребуются только некоторые из них, но мы все равно рекомендуем заранее ознакомиться с их возможностями. Изучив стандартные блоки, приведенные ниже, вы сможете использовать набор функций, которые можно интегрировать в проект смешанной реальности (по отдельности или в составе MRTK).

Функция	Возможности
Камера	Полная оптимизация визуального качества и стабильности голограммы в приложениях смешанной реальности
Фиксация в мировой системе координат и пространственные привязки	Позволяют решать проблемы стабилизации, выполнять калибровку камеры и интегрировать стабильное решение системы координат.
общие возможности;	Совместный просмотр одной голограммы в фиксированной точке пространства и взаимодействие с ней с помощью общего доступа к пространственным привязкам.
Взгляд	Предоставление пользователям возможности выбирать голограммы взглядом
Контроллеры движения	Добавление пространственных действий в приложения смешанной реальности
Жесты	Использование жестов руки в качестве входных данных в интерфейсах Смешанной реальности
Отслеживание рук и взгляда	Интеграция выраженного ввода с отслеживанием рук и взгляда в интерфейс пользователя
Пространственное сопоставление	Сопоставление физического пространства с наложением виртуальной сетки для определения границ среды
Пространственный звук	Добавление возможностей иммерсивного трехмерного звука в приложения
Text	Создание четкого и высококачественного текста надлежащего размера и с качественной отрисовкой
Голосовой ввод	Захват произнесенных слов, фраз и диктовка со стороны пользователей

3. Дополнительные функции

Другие ключевые функции, которые играют важную роль в приложениях смешанной реальности, доступны через API Unity, не требуя установки дополнительных пакетов или настройки. Эти функции можно добавлять в проекты Unity с установленным набором MRTK или без него. Изучив расширенные функции, предлагаемые Unity, вы сможете создавать более сложные и интересные приложения смешанной реальности.

Функция	Возможности
Фото- и видеокамера	Получение фотографий и видео в приложении смешанной реальности.
точка фокусировки;	Предоставление HoloLens рекомендаций по оптимальной стабилизации для отображаемой в настоящий момент голограммы.
потеря слежения;	Обработка сценариев, в которых ваше устройство не может определить свое расположение в мировом пространстве приложения.
Ввод с клавиатуры	Получение ввода из реального мира и приложений смешанной реальности в приложении.

4. Развертывание на устройстве или в эмуляторе

После подготовки голографического проекта Unity к тестированию следующим шагом является экспорт и сборка решения Unity в Visual Studio. С помощью этого решения Visual Studio вы можете запустить приложение одним из трех способов, используя физическое или имитированное устройство. Изучив этот раздел, вы сможете развернуть приложение на любом устройстве или эмуляторе, соответствующем вашим потребностями в разработке.

• HoloLens или иммерсивная гарнитура Windows Mixed Reality
• эмулятор HoloLens;
• Симулятор иммерсивной гарнитуры Windows Mixed Reality

5. Добавление служб

На этом этапе разработки вам, возможно, потребуется добавить службы или получить помощь в коммерческой разработке. Интеграция облачных служб Azure позволяет значительно расширить возможности ваших проектов. Мы подготовили несколько основных ресурсов, которые расширят ваши знания о смешанной реальности.

Удаленная отрисовка Azure

Удаленная отрисовка Azure — это служба, которая позволяет преобразовывать для просмотра трехмерные модели высокой сложности в реальном времени. Сейчас служба "Удаленная отрисовка Azure" предоставляется в предварительной версии. Ее можно добавить в проекты Unity или C++, предназначенные для HoloLens 2 или компьютеров с Windows.

• Обзор
• Краткое руководство. Преобразование модели для просмотра в Unity
• Краткое руководство. Развертывание в HoloLens
• Краткое руководство. Развертывание на компьютере
• Руководство. Серия по Удаленной отрисовке Azure
• Пример Удаленной отрисовки Azure

Пространственные привязки Azure

Пространственные привязки Azure (ASA) — это кросс-платформенная служба, позволяющая создавать приложения смешанной реальности с поддержкой пространственных данных. С помощью Пространственных привязок Azure вы можете картировать, сохранять голографическое содержимое и предоставлять к нему доступ на различных устройства и в реальном масштабе.

• Обзор
• Краткое руководство. Создание приложения HoloLens
• Создание и поиск привязок
• Обнаружение ближайших привязок
• Руководство. Совместное использование привязок в сеансах и на устройствах
• Примеры пространственных привязок Azure (GitHub)

Мы также предоставляем полный список сопроводительной документации для дополнительных служб Azure, которые вы можете самостоятельно добавить в свои проекты Unity.

6. Альтернативные варианты с возможностью малокодовой разработки (Low-code)

Dynamics 365

Microsoft Dynamics 365 Guides — это приложение смешанной реальности для Microsoft HoloLens, которое позволяет операторам обучаться в ходе работы, предоставляя при необходимости голографические инструкции. Такие карточки инструкций визуально привязаны к месту выполнения работы и могут включать изображения, видео и трехмерные голографические модели.

• Обзор
• Начало работы
• Я являюсь администратором
• Я являюсь автором
• Я являюсь оператором
• Справка по сущностям для разработчиков

Дальнейшие действия

Разработчику всегда будет чем заняться, особенно при изучении нового инструмента или пакета SDK. В приведенных ниже разделах вы найдете информацию для более опытных разработчиков, а также полезные ресурсы, которые помогут вам, если у вас возникнут трудности. Учтите, что эти темы и ресурсы не имеют определенного порядка, поэтому вы можете изучать их в любой последовательности.

Перенос

Если вы хотите перенести существующие приложения, вам помогут приведенные ниже статьи:

• Перенос из HoloToolkit/MRTK в MRTK v2
• Руководство по переносу для иммерсивных приложений
• Руководство по переносу логики ввода

Учебники

Если вы хотите добавить в свои приложения определенные функции смешанной реальности, вам помогут наши проверенные руководства с пошаговыми инструкциями. Наши самые популярные ресурсы по HoloLens 2 и HoloLens (1-го поколения) перечислены ниже. Полную коллекцию ресурсов можно найти в обзоре руководств.

HoloLens 2

• Начало работы
• Пространственные привязки Azure.
• Многопользовательские возможности
• Службы "Речь" в Azure
• Пространственный звук
• Oблачныe службы Azure2
• Голографическое удаленное взаимодействие на ПК

HoloLens (1-го поколения)

• 100. Основы смешанной реальности: начало работы с Unity
• 101. Основы смешанной реальности: полный проект с использованием устройства
• 101E. Основы смешанной реальности: полный проект с использованием эмулятора

Дополнительные ресурсы

Прежде чем приступать к разработке приложений для смешанной реальности, изучите приведенную ниже документацию по MRTK. Эти статьи содержат понятное и подробное описание принципов работы MRTK. Они помогут сделать ваше приложение более производительным.

Раздел	Описание
Обзор архитектуры MRTK	Подробное описание того, как можно использовать пакет SDK MRTK в проектах.
Настройки и производительность	Сведения о профилировании приложения, изменении параметров Unity и обеспечении наивысшей производительности при стабилизации голограммы.
Начало работы с MRTK и смешанной реальностью	Переход к альтернативному конвейеру смешанной реальности, предоставляемому Unity.

Ресурсы по Unity

Помимо этой документации, вместе с редактором Unity платформа устанавливает документацию по функциям Windows Mixed Reality. Предоставленная документация по Unity включает в себя два раздела.

Ресурс	Описание
Справочник по скриптам	В этом разделе документации приведены сведения об API скриптов, которые предоставляет Unity и которые доступны через Интернет или в редакторе Unity (выберите Help > Scripting Reference (Справка > Справка по скриптам)).
Вручную	Это руководство поможет вам изучить базовые и продвинутые техники работы с Unity. Оно доступно в Интернете или в редакторе Unity (выберите Help > Manual (Справка > Руководство)).

Хотите поделиться мнением?

Найдите нас на форумах Unity, указав тег Microsoft и сочетание следующих тегов, чтобы помочь нам определить подключаемый модуль, о котором вы предоставляете отзыв:

• HoloLens 2
• Windows Mixed Reality
• OpenXR
• XRSDK
• Устаревшая смешанная реальность