Краткое руководство. Создание приложения HoloLens с использованием службы "Объектные привязки Azure" в Unity

В этом кратком руководстве показано, как создать приложение HoloLens в Unity с помощью службы Объектные привязки Azure. "Объектные привязки Azure" — это управляемая облачная служба, которая преобразует трехмерные ресурсы в модели искусственного интеллекта, обеспечивая работу с объектами в смешанной реальности для HoloLens. По завершении работы с руководством у вас будет приложение HoloLens, созданное с помощью Unity, которое может обнаруживать объекты в реальном мире.

Вы изучите следующие темы:

• настроить параметры сборки Unity;
• экспортировать проект HoloLens в Visual Studio;
• развернуть приложение и запустить его на устройстве HoloLens 2.

Необходимые компоненты

В рамках этого краткого руководства вам потребуются:

• Физический объект в среде и его трехмерная модель (CAD-модель или отсканированный объект).
• Компьютер с Windows, на котором установлено следующее:
  • Git для Windows.
  • Visual Studio 2019 с рабочей нагрузкой Разработка приложений для универсальной платформы Windows и компонент Пакет SDK для Windows 10 (10.0.18362.0 или более поздняя версия).
  • Unity 2019.4
• Устройство HoloLens 2 с актуальными обновлениями и включенным режимом разработчика.
  • Чтобы обновить HoloLens до последнего выпуска, откройте приложение Параметры, перейдите в раздел Update & Security (Обновление и безопасность), а затем выберите Проверить обновления.

создать учетную запись Объектных привязок;

Сначала необходимо создать учетную запись с использованием службы Объектные привязки.

1. Перейдите на портал Azure и выберите Создать ресурс.

   

2. Найдите ресурс Объектные привязки.

   Выполните поиск строки "Объектные привязки".

   

   В ресурсе "Привязки объектов" в результатах поиска выберите "Создать -> Привязки объектов".

   

3. В диалоговом окне Учетная запись Объектных привязок сделайте следующее.

   • Введите уникальное имя ресурса.
   • Выберите подписку, к которой хотите подключить ресурс.
   • Создайте группу ресурсов или используйте имеющуюся.
   • Выберите регион, в котором должен находиться ресурс.

   

   Выберите Создать, чтобы начать создание ресурса.

4. После создания ресурса выберите команду Перейти к ресурсу.

   

5. На странице "Обзор" сделайте следующее.

   Запишите Домен учетной записи. Оно понадобится вам позже.

   

   Запишите ИД учетной записи. Оно понадобится вам позже.

   

   Перейдите на страницу Ключи доступа и запишите Первичный ключ. Оно понадобится вам позже.

   

Настройка устройства

Чтобы развернуть приложения на устройстве HoloLens, необходимо связать его с компьютером.

1. В HoloLens перейдите к Параметры —> обновление и безопасность —> для разработчиков.
2. Нажмите Связатьи не закрывайте этот экран, пока не введете PIN-код в Visual Studio во время первого развертывания.

Добавление модели

Перед запуском приложения необходимо сделать ваши модели доступными для приложения. Если у вас еще нет модели объектных привязок, создайте ее, следуя инструкциям в статье Создание модели. Потом возвращайтесь к этому разделу.

Если приложение HoloLens включено и подключено к устройству разработки (ПК), выполните следующие действия, чтобы загрузить модель в папку Трехмерные объекты на вашем HoloLens:

1. Выберите и скопируйте модели, с которыми вы хотите работать, нажав сочетание клавиш CTRL и C (Ctrl + C).

2. Чтобы запустить Проводник, нажмите клавишу Windows и E (Win + E). HoloLens отображается в списке с другими дисками и папками на левой панели.

   

3. Нажмите ссылку HoloLens, чтобы отобразить хранилище на устройстве HoloLens на правой панели.

   

4. В проводник перейдите к внутренним служба хранилища > трехмерных объектов. Теперь вставьте свои модели в папку Трехмерные объекты, нажав сочетание клавиш Ctrl и V (Ctrl + V).

   

Открытие примера проекта

Клонируйте репозиторий примеров, выполнив следующие команды:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

Следующий шаг — скачать пакет объектных привязок Azure для Unity.

Скачивание с помощью веб-браузера

Пакет объектных привязок Azure для Unity (com.microsoft.azure.object-anchors.runtime) см. здесь. Выберите нужную версию и скачайте пакет с помощью кнопки Скачать.

Скачивание с помощью NPM

Для выполнения этого действия должно быть установлено и доступно решение NPM.

Выполните указанную ниже команду, заменив текст <version_number> на номер версии объектных привязок Azure, которую нужно скачать.

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

Примечание.

Чтобы получить список доступных версий пакета объектных привязок Azure, выполните указанную ниже команду.

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

Пакет объектных привязок Azure будет скачан в папку, из которой была выполнена команда.

Mixed Reality Feature Tool (бета-версия)

Перейдите к следующему шагу. Инструмент Mixed Reality Feature Tool понадобиться вам позднее.

В Unity откройте проект quickstarts/apps/unity/basic.

Скачивание с помощью веб-браузера

Следуйте инструкциям в этой статье: импортируйте пакет объектных привязок Azure, которые вы скачали в проект Unity с помощью диспетчера пакетов Unity.

Скачивание с помощью NPM

Следуйте инструкциям в этой статье: импортируйте пакет объектных привязок Azure, которые вы скачали в проект Unity с помощью диспетчера пакетов Unity.

Mixed Reality Feature Tool (бета-версия)

Для выполнения этого действия должно быть скачано и доступно решение Mixed Reality Feature Tool.

Примечание.

Инструмент Mixed Reality Feature Tool в данный момент поддерживается только в Windows.

1. Следуйте инструкциям в документации к Mixed Reality Feature Tool, чтобы настроить этот инструмент и узнать, как его использовать.
2. Установите пакет компонентов "Объектные привязки Microsoft Azure" в папку проекта Unity.

Настройка сведений об учетной записи

Следующим шагом является настройка приложения для использования данных вашей учетной записи. Вы записали значения ключа учетной записи, идентификатора учетной записи и домена учетной записи, как указано в разделе Создание учетной записи Объектных привязок.

В области Проект перейдите к Assets\AzureObjectAnchors.SDK\Resources.

Выберите ObjectAnchorsConfig. В области Инспектор введите Account Key в качестве значения ключа учетной записи Объектных привязок, Account ID в качестве значения идентификатора учетной записи Объектных привязок и Account Domain в качестве значения домена учетной записи Объектных привязок.

Сборка и запуск приложения

Создание примера сцены

В редакторе Unity перейдите к разделу Assets/MixedReality.AzureObjectAnchors/Scenes, откройте AOASampleScene и добавьте этот объект в список для создания сцены.

Выберите файл —> создание Параметры. Выберите Универсальная платформа Windows, после чего выберите Сменить платформу. Если Unity Editor информирует о том, что сначала нужно скачать некоторые компоненты, скачайте и установите их. Настроить параметры сборки можно с помощью следующего снимка экрана. Убедитесь, что рядом с ним есть толькоAOASampleScene проверка mark: все остальные сцены не должны быть включены.

Выберите Сборка и выберите выходную папку. Теперь можно создать проект VS в выходной папке.

Создание и развертывание приложения

Откройте файл .sln, созданный Unity. Измените конфигурацию сборки на указанную ниже.

Далее нужно настроить IP-адрес удаленного компьютера для развертывания и отладки приложения.

Щелкните правой кнопкой мыши проект приложения и выберите Свойства. На странице свойств выберите "Свойства конфигурации —> отладка". Измените значение параметра Имя компьютера на IP-адрес устройства HoloLens и нажмите кнопку Применить.

Закройте страницу свойств. Нажмите Удаленный компьютер. Приложение начнет сборку и развертывание на удаленном устройстве. Убедитесь, что устройство активно.

После экрана-заставки Unity вы увидите сообщение о том, что наблюдатель объектов инициализирован.

Приложение ищет объекты в текущем поле зрения, а после обнаружения отслеживает их. Экземпляр будет удален, если он находится на расстоянии 6 м от пользователя. В тексте отладки отображаются сведения об экземпляре, например идентификатор, метка времени обновления и коэффициент охвата поверхности.

Устранение неполадок

Советы

Если объект не обнаружен, выполните указанные ниже действия.

1. Убедитесь, что вы используете правильную модель для объекта.
2. Визуализируйте область поиска и убедитесь, что она охватывает целевой объект.
3. Попробуйте уменьшить значение MinSurfaceCoverage.
4. На портале устройств Windows щелкните "Представления —> трехмерные представления" и проверьте, завершена ли проверка.

Следующие шаги

Unity HoloLens с MRTK

Общие сведения о пакете SDK среды выполнения

Вопросы и ответы

Пакет SDK преобразования

Устранение неполадок обнаружения объектов