Что такое Mixed Reality Toolkit 2?
MRTK-Unity — это проект, управляемый Майкрософт, который предоставляет набор компонентов и функций для ускорения кроссплатформенной разработки приложений смешанной реальности в Unity. Ниже приведены некоторые его функции.
- Предоставляет кросс-платформенную систему ввода и стандартные блоки для пространственных взаимодействий и пользовательского интерфейса.
- Поддерживает быстрое создание прототипов с помощью имитации в редакторе, позволяющей сразу просматривать изменения.
- Работает как расширяемая платформа, предоставляющая разработчикам возможность менять основные компоненты.
- Поддерживает широкий спектр устройств:
| Подключаемый модуль пакета SDK для XR (поставщики подключаемого модуля управления подключаемым модулем XR Unity) | Поддерживаемые устройства |
|---|---|
| Подключаемый модуль Unity OpenXR (Unity 2020 или 2021 LTS) (Смешанная реальность для определенных функций на определенных устройствах требуется подключаемый модуль OpenXR) |
Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; Meta Quest Устройство, работающее в SteamVR с помощью OpenXR |
| Подключаемый модуль Windows XR | Microsoft HoloLens; Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; |
| Подключаемый модуль Oculus XR (Unity 2019 или более поздней версии LTS) | Meta Quest (с помощью пакета интеграции Oculus) |
| Подключаемый модуль ARCore XR | Android (через AR Foundation) |
| Подключаемый модуль ARKit XR | iOS (через AR Foundation) |
| Подключаемый модуль пакета SDK для XR (поставщики подключаемого модуля управления подключаемым модулем XR Unity) | Поддерживаемые устройства |
|---|---|
| Подключаемый модуль OpenXR для Unity (предварительная версия в MRTK 2.6, Unity 2020 или 2021 LTS) (Смешанная реальность для определенных функций на определенных устройствах требуется подключаемый модуль OpenXR) |
Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; Meta Quest Устройство, работающее в SteamVR с помощью OpenXR |
| Подключаемый модуль Windows XR | Microsoft HoloLens; Microsoft HoloLens 2; гарнитуры смешанной реальности Windows Mixed Reality; |
| Подключаемый модуль Oculus XR (Unity 2019 или более поздней версии LTS) | Meta Quest (с помощью пакета интеграции Oculus) |
| Подключаемый модуль ARCore XR | Android (через AR Foundation) |
| Подключаемый модуль ARKit XR | iOS (через AR Foundation) |
Дополнительные поддерживаемые устройства:
- Контроллер движения ultraleap Leap для отслеживания рук
Примечание
Мы представили общедоступную предварительную версию MRTK3, которая является развитием MRTK. Дополнительные сведения см. в документации по MRTK3.
Начало работы с MRTK
Если вы не знакомы с MRTK или разработкой для смешанной реальности в Unity, мы рекомендуем установить и изучить пример приложения из центра примеров MRTK на устройстве или в эмуляторе.
Ознакомившись с MRTK и Смешанной реальностью, установите необходимые средства и следуйте инструкциям из серии руководств по HoloLens 2 для начинающих.
Хотите узнать, как это работает?
Документация
 Заметки о выпуске |
 Обзор MRTK |
 Справочник по интерфейсам API |
|---|
Состояние сборки
| Ветвь | Состояние CI | Состояние документации |
|---|---|---|
main |
Функциональные области
Стандартные блоки пользовательского интерфейса
Кнопка
Элемент управления типа "кнопка", поддерживающий различные методы ввода, в том числе свободный ввод с отслеживаем рук в HoloLens 2.
Элемент управления границами
Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространстве.
Манипулятор объектов
Скрипт для манипулирования объектами одной или двумя руками.
Грифель
Плоскость в двухмерном стиле, поддерживающая прокрутку с помощью свободного ввода рукой.
Системная клавиатура
Пример скрипта для использования системной клавиатуры в Unity.
Интерактивный объект
Скрипт, обеспечивающий взаимодействие с объектами, с поддержкой визуальных состояний и тем.
Решатель
Различные модели поведения для позиционирования объектов, такие как следование (tag-along), прикрепление к пользователю (body-lock), зафиксированный размер просмотра (constant view size) и поверхностный магнетизм (surface magnetism).
Коллекция объектов
Скрипт для размещения массива объектов в трехмерной фигуре.
Подсказка
Пользовательский интерфейс заметок с гибкой системой привязки и поворота, который можно использовать, чтобы помечать контроллеры движений и объекты.
Ползунок
Пользовательский интерфейс ползунков для изменения значений, поддерживающих взаимодействие с прямым отслеживанием рук.
Стандартный шейдер MRTK
Стандартный шейдер MRTK поддерживает различные элементы интерфейса Fluent с достаточной производительностью.
Меню руки
Привязанный к руке пользовательский интерфейс, обеспечивающий быстрый доступ и использующий решатель ограничения руки.
Панель приложения
Пользовательский интерфейс для активации элемента управления границами вручную.
Указатели
Сведения о различных типах указателей.
Визуализация с использованием кончика пальца
Визуальный маркер на кончике пальца, повышающий уверенность в прямом взаимодействии.
Быстрое меню
Пользовательский интерфейс подвешенного меню для быстрых взаимодействий.
Представление отслеживания пространственного положения
Обеспечьте взаимодействие голографических объектов с физическими средами.
Голосовая команда
Скрипты и примеры для интеграции голосового ввода.
Индикатор хода выполнения
Визуальный индикатор, сообщающий о ходе процесса или операции.
Диалоговое окно
Элемент пользовательского интерфейса для получения подтверждения пользователя.
Обучающая рука
Компонент, помогающий направлять пользователя, если жест еще не выучен.
Служба физического взаимодействия с помощью рук [экспериментальная функция]
Служба физического взаимодействия с помощью рук поддерживает события столкновения с твердым телом и взаимодействия с помощью свободного ввода руками.
Коллекция прокрутки
Коллекция объектов со встроенной поддержкой прокрутки трехмерных объектов.
Док-панель [экспериментальная функция]
Док-панель позволяет перемещать объекты между заранее определенными позициями.
Отслеживание взгляда: выбор цели
Объедините ввод с помощью взгляда, голоса и рук для быстрого и простого выбора голограмм в сцене.
Отслеживание взгляда: навигация
Узнайте, как автоматически прокручивать текст или быстро увеличить масштаб выбранного содержимого с учетом того, на что направлен ваш взгляд.
Отслеживание взгляда: тепловая карта
Примеры ведения журналов, загрузки и визуализации того, на что смотрят пользователи в вашем приложении.
Инструменты
 Окно оптимизации |
 Окно зависимости |
 Окно сборки |
 Запись ввода |
|---|---|---|---|
| Автоматизируйте настройку проектов смешанной реальности, чтобы оптимизировать производительность. | Анализируйте зависимости между активами и выявляйте неиспользуемые активы. | Настройте и выполните комплексный процесс сборки для приложений смешанной реальности. | Записывайте и воспроизводите данные о перемещении головы и отслеживания рук в редакторе. |
Примеры сцен
MRTK предоставляет примеры сцен, которые демонстрируют использование функций MRTK. Примеры сцен можно найти в папке Assets/MRTK/Examples/Demos. Изучите страницу Примеры сцен, чтобы узнать, как получить и выполнять примеры сцен. Сцена с примерами взаимодействий с помощью рук позволяет изучить базовые блоки MRTK для взаимодействий и пользовательского интерфейса.
Центр примеров MRTK
В центре примеров MRTK вы можете опробовать различные сцены MRTK, при этом вам не понадобится создавать и развертывать каждую сцену. Вы можете скачать готовые пакеты приложений для HoloLens (x86), HoloLens 2 (ARM) и иммерсивных гарнитур Windows Mixed Reality (x64), выбрав пакет Mixed Reality Toolkit Examples в средстве MR Feature Tool. Обязательно используйте портал устройств Windows для установки приложений в HoloLens (1-го поколения). Для HoloLens 2 можно скачать и установить Центр примеров MRTK с помощью приложения Microsoft Store.
Дополнительные сведения о создании центра со сценами с помощью системы сцен и службы перехода между сценами MRTK см. на странице сведений Центра примеров.
Примеры приложений, созданных с помощью MRTK
 |
 |
 |
|---|---|---|
| Periodic Table of the Elements — это пример приложения с открытым кодом, которое демонстрирует, как использовать систему ввода и стандартные блоки MRTK для создания интерфейса приложения для HoloLens и иммерсивных гарнитур. Прочитайте историю о портировании приложения Periodic Table of the Elements на HoloLens 2 с помощью MRTK v2. | Galaxy Explorer — пример приложения с открытым кодом, которое изначально было разработано для HoloLens в марте 2016 г. в рамках кампании Share Your Idea. В Galaxy Explorer добавлены новые возможности для HoloLens 2 с помощью MRTK v2. Прочитайте историю о создании Galaxy Explorer для HoloLens 2. | Surfaces — это пример приложения с открытым кодом для HoloLens 2, которое демонстрирует, как мы можем вызвать тактильные ощущения с помощью визуализации, звуков и отслеживания свободных движений рук. Ознакомьтесь с докладом Microsoft MR Dev Days по наработкам при разработке и использовании приложения Surfaces, чтобы узнать больше о проектировании и разработке. |
Видео докладов с Mixed Reality Dev Days 2020
 |
 |
 |
|---|---|---|
| Учебник по созданию простого приложения MRTK с нуля. Узнайте больше о понятиях взаимодействия и мультиплатформенных возможностях MRTK. | Изучите стандартные блоки взаимодействий в MRTK, которые помогут вам создать великолепные среды смешанной реальности. | Вводная информация о встроенных и внешних средствах оценки производительности для MRTK, а также стандартного шейдера MRTK. |
Другие видео с докладами см. на странице Mixed Reality Dev Days.
Присоединяйтесь к сообществу
Присоединяйтесь к обсуждению MRTK на сайте Slack. Вступить в сообщество Slack можно с помощью автоматической рассылки приглашений.
Задать вопросы об MRTK можно на сайте Stack Overflow (используйте тег MRTK).
Если вы нашли ошибки в коде MRTK, вы можете выполнить поиск по известным проблемам или сообщить о новой проблеме.
Вопросы об участии в разработке MRTK можно задать на канале mixed-reality-toolkit в сообществе Slack.
В рамках этого проекта действуют правила поведения в отношении продуктов с открытым исходным кодом Майкрософт. Дополнительные сведения: Вопросы и ответы по правилам поведения. С любыми другими вопросами или комментариями обращайтесь по адресу opencode@microsoft.com.
Полезные ресурсы в Центре разработки для смешанной реальности
 Обнаружение |
 Проектирование |
 Разработка |
 Распространение |
|---|---|---|---|
| Узнайте, как создавать взаимодействия смешанной реальности для HoloLens и иммерсивных гарнитур (виртуальная реальность). | Получите руководства по проектированию. Создайте пользовательский интерфейс. Узнайте о взаимодействиях и способах ввода. | Получите руководства по разработке. Узнайте о технологиях. Изучите их научную основу. | Подготовка приложения для других пользователей и создание средства для запуска трехмерных приложений. |
Полезные ресурсы в Azure
 Пространственные привязки |
 Службы Речи |
 Службы компьютерного зрения |
|---|---|---|
| Пространственные привязки — это кросс-платформенная служба, которая позволяет создавать взаимодействия смешанной реальности с использованием объектов, сохраняющих свое расположение на различных устройствах с течением времени. | Откройте для себя и интегрируйте в свое приложение возможности обработки речи на платформе Azure, такие как преобразование речи в текст, распознавание говорящего или перевод речи. | Идентифицируйте изображения или видео с помощью служб визуального распознавания с такими возможностями, как компьютерное зрение, определение лиц, распознавание эмоций или индексация видео. |
Как стать соавтором
Узнайте, как принять участие в разработке MRTK.
Получение справки
Если при использовании MRTK у вас возникли проблемы или появились вопросы, вам помогут следующие ресурсы:
- Чтобы сообщить об ошибке, создайте запрос в репозитории GitHub.
- Свой вопрос вы можете задать на сайте StackOverflow или на канале mixed-reality-toolkit в сообществе Slack. Вступить в сообщество Slack можно с помощью автоматической рассылки приглашений.