Использование подсистемы Vuforia с Unity

Vuforia Engine предоставляет важную возможность HoloLens — возможность подключения интерфейсов ar к определенным изображениям и объектам в среде. Эту возможность можно использовать для наложения пошаговые инструкции поверх оборудования для промышленного предприятия или добавления цифровых функций и возможностей в физический продукт или игру.

Vuforia Engine предлагает широкий спектр функций и целей, чтобы сделать процесс разработки дополненной реальности более гибким. Одна из наших новейших возможностей, целевых показателей модели Vuforia, является ключевой возможностью как для коммерческого, так и промышленного использования. Целевые объекты модели позволяют приложениям распознавать физические объекты, такие как машины, автомобили или игрушки, и отслеживать их на основе модели CAD или цифровой трехмерной модели. Для промышленного использования эта функция может предоставлять рабочим работникам сборки и техническим специалистам по обслуживанию с помощью инструкций по работе AR и процедурных руководств в то время как на заводе или в полевых условиях.

Существующие приложения Vuforia Engine, созданные для телефонов и планшетов, можно легко настроить в Unity для запуска на HoloLens. Вы даже можете использовать Vuforia Engine, чтобы принять новое приложение HoloLens для Windows 10 планшетов, таких как Surface Pro и Surface Book.

Получить инструменты

Установите рекомендуемые версии Visual Studio и Unity, а затем настройте Unity для использования Visual Studio и предпочтительной интегрированной среды разработки и компилятора.

При установке Unity обязательно установите серверную часть скриптов IL2CPP в Магазине Windows IL2CPP.

Добавьте пакет подсистемы Vuforia, как описано здесь.

Начало работы с Vuforia Engine

Лучший отправной точкой для изучения Vuforia Engine и HoloLens является пример HoloLens подсистемы Vuforia (доступно в хранилище активов Unity). Этот пример предоставляет полный HoloLens проект, включая предварительно настроенные сцены, которые можно развернуть в HoloLens.

Сцены показывают, как использовать целевые объекты изображений Vuforia для распознавания изображения и расширения его цифровым содержимым в HoloLens интерфейсе. Пример HoloLens обработчика Vuforia также включает сцену, показывающую использование целевых объектов модели и VuMarks на HoloLens. Вы можете легко заменить собственное содержимое в сценах, чтобы поэкспериментировать с созданием приложений HoloLens, использующих Vuforia Engine.

Настройка приложения Vuforia для HoloLens

Разработка приложения Vuforia Engine для HoloLens в основном аналогична разработке приложений Vuforia Engine для других устройств. Затем можно применить параметры и конфигурации сборки, описанные в разделе ниже. Это все, что необходимо для включения Vuforia Engine для работы с HoloLens пространственным сопоставлением и системами отслеживания позиций.

Сборка и запуск примера подсистемы Vuforia для HoloLens

  1. Скачайте пример модуля Vuforia для HoloLens из хранилища ресурсов Unity
  2. Применение рекомендуемых параметров подсистемы Unity для питания и производительности
  3. Добавьте пример сцены в сцены в сборке.
  4. В Параметры сборки переключите платформу сборки на UWP, нажав кнопку "Добавить открытые сцены". image
  5. Нажмите кнопку Параметры проигрывателя.
  • Щелкните значок UWP и разверните раздел Параметры XR.
  • Убедитесь, что включена поддержка виртуальной реальности .
  • В пакетах SDK для виртуальной реальности убедитесь, что:
    • Окно Смешанная реальность включено в список и включено включение общего доступа к буферу глубины.
    • Для формата глубины задана 16-разрядная глубина.
  • Убедитесь, что для режима стереорисовки задано значение Single Pass Instanced.
  1. Разверните раздел Параметры публикации.
  • В разделе "Возможности" убедитесь, что выбраны Internet Client, WebCam, Микрофон и SpatialPerception .
  • ПРИМЕЧАНИЕ. Параметр SpatialPerception следует выбирать только в том случае, если вы планируете использовать API Surface Observer.
  • В разделе "Поддерживаемые семейства устройств" убедитесь, что выбран Голографический .
  1. Разверните раздел "Разрешение и презентация ".
  • Отключите запуск в фоновом режиме , чтобы модуль Vuforia приостанавливался, когда приложение помещается в фоновый режим и может снова получить доступ к камере при возобновлении работы приложения.
  • В раскрывающемся списке "Ориентация по умолчанию " убедитесь, что выбран альбомная левая .
  1. Вернитесь в окно "Сборка Параметры" и выберите "Сборка", чтобы создать проект Visual Studio.
  2. Создайте исполняемый файл из Visual Studio и установите его на HoloLens.

Портал разработчика Vuforia

Разработчики, желающие создать собственные интерфейсы AR с Vuforia Engine и HoloLens должны зарегистрироваться на нашем портале разработчиков Vuforia на developer.vuforia.com. На портале разработчики имеют доступ к форумам подсистемы Vuforia , где они могут присоединиться к обсуждениям сообщества, библиотеке с подробной документацией по всем функциям подсистемы Vuforia и диспетчеру целевых объектов Vuforia , где пользователи могут создавать собственные пользовательские целевые объекты. Разработчики также могут зарегистрироваться для получения бесплатной лицензии разработчика с помощью диспетчера лицензий Vuforia.

Отслеживание устройств с помощью Vuforia

Отслеживание устройств поддерживает отслеживание даже в том случае, если целевой объект больше не находится в представлении. Он автоматически включается для всех целевых объектов при включении средства отслеживания позиционных устройств. Для HoloLens приложений средство отслеживания позиционных устройств запускается автоматически в Unity.

Vuforia Engine автоматически сливает позы из отслеживания камеры и пространственного отслеживания HoloLens, чтобы обеспечить стабильную целевую позу независимо от того, замечен ли целевой объект камерой или нет.

Так как процесс обрабатывается автоматически, он не требует программирования разработчиком.

Ниже приведено общее описание процесса:

  1. Целевой трекер Vuforia распознает целевой объект
  2. Затем инициализация целевого отслеживания
  3. Положение и поворот целевого объекта анализируются, чтобы обеспечить надежную оценку положения для HoloLens
  4. Модуль Vuforia преобразует положение целевого объекта в пространство координат HoloLens пространственного сопоставления
  5. HoloLens берет на себя отслеживание, если целевой объект больше не находится в представлении. Всякий раз, когда вы снова посмотрите на цель, Вуфория будет продолжать отслеживать изображения и объекты точно.

Обнаруженные целевые объекты, но больше не просматриваемые, отображаются как EXTENDED_TRACKED. В таких случаях скрипт DefaultTrackableEventHandler, используемый для всех целевых объектов, продолжает отображать содержимое расширения. Разработчик может управлять этим поведением, реализовав пользовательский скрипт обработчика отслеживаемых событий.

Режим производительности с подсистемой Vuforia

С помощью подсистемы Vuforia можно управлять производительностью в HoloLens в степени взаимодействия с ar и уменьшить рабочую нагрузку на ЦП. Подсистема Vuforia предлагает три режима: по умолчанию, для оптимизации скорости и для оптимизации качества.

  • MODE_OPTIMIZE_SPEED позволяет свести к минимуму рабочую нагрузку на устройстве HoloLens и отлично подходит для расширения возможностей ar. Мы рекомендуем для ситуаций, когда приложение отслеживает статические объекты или целевые объекты.
  • MODE_DEFAULT — это обычный режим, который можно использовать в большинстве сценариев.
  • MODE_OPTIMIZE_QUALITY лучше отслеживать перемещаемые целевые объекты или целевые объекты модели, которые вы ожидаете забрать.

Настройка режима

Чтобы изменить режим производительности в Unity, перейдите к конфигурации Vuforia (CTRL+SHIFT+V / Cmd+SHIFT+V), которая находится в качестве компонента в ARCamera GameObject.

  • Выберите раскрывающееся меню для режима устройства камеры и выберите один из трех вариантов.

См. также статью