Голосовой ввод в Unreal
Голосовой ввод в Unreal позволяет взаимодействовать с голограммой без использования жестов руки и поддерживается только HoloLens 2. Голосовой ввод в HoloLens 2 работает на том же механизме, который поддерживает речь во всех других универсальных приложениях для Windows, но Unreal использует более ограниченный механизм для обработки голосового ввода. Это ограничивает возможности голосового ввода в Unreal предопределенными сопоставлениями речи, которые рассматриваются в следующих разделах.
Включение распознавания речи
Если вы используете подключаемый модуль Windows Mixed Reality, голосовой ввод не требует специальных API Windows Mixed Reality. Он основан на существующем API сопоставления входных данных Unreal Engine 4. Если вы используете OpenXR, необходимо дополнительно установить подключаемый модуль Microsoft OpenXR.
Чтобы включить распознавание речи в HoloLens, выполните приведенные далее действия.
- Выберите Параметры > проекта Платформа > Возможности HoloLens > и включите микрофон.
- Включи распознавание речи в разделе Параметры > Конфиденциальность > Речь и выберите Английский.
Примечание
Распознавание речи всегда работает на языке интерфейса Windows, настроенном в приложении "Параметры ". Рекомендуется также включить функцию распознавания речи в Интернете , чтобы обеспечить наилучшее качество обслуживания.
- Диалоговое окно появится, когда приложение впервые начнет спрашивать, хотите ли вы включить микрофон. При нажатии кнопки Да запускается голосовой ввод в приложении.
Добавление сопоставлений речи
Подключение речи к действию является важным шагом при использовании голосового ввода. Эти сопоставления отслеживают в приложении ключевые слова речи, которые пользователь может сказать, а затем запускают связанное действие. Сопоставления речи можно найти по следующим адресам:
- Выберите Изменить > параметры проекта, прокрутите страницу до раздела Подсистема и щелкните Входные данные.
Чтобы добавить новое сопоставление речи для команды перехода, выполните следующие действия:
- + Щелкните значок рядом с элементом Массив и заполните следующие значения:
- jumpWord для имени действия
- перейти к ключевому слову "Речь"
Примечание
В качестве ключевое слово можно использовать любые английские слова или короткие предложения.
Сопоставления речи можно использовать в качестве входных компонентов, таких как сопоставления действий или осей, или в качестве узлов схемы в графе событий. Например, можно связать команду перехода, чтобы вывести два разных журнала в зависимости от того, когда произносится слово:
- Дважды щелкните схему, чтобы открыть ее в графе событий.
- Щелкните правой кнопкой мыши и найдите имя действия для сопоставления речи (в данном случае jumpWord), а затем нажмите клавишу ВВОД , чтобы добавить узел Действия ввода в граф.
- Перетащите нажатую закрепление в узел Печать строки , как показано на рисунке ниже. Вы можете оставить закрепление Released пустым, и он не будет выполнять ничего для сопоставления речи.
- Войдите в приложение, произнесите слово jump и watch консоли распечатайте журналы!
Это все настройки, необходимые для добавления голосового ввода в приложения HoloLens в Unreal. Дополнительные сведения о речи и интерактивности можно найти по ссылкам ниже и обязательно подумать о том, что вы создаете для своих пользователей.
Следующий этап разработки
Если вы выполняете описанный нами путь разработки Unreal, следующая задача — изучение возможностей платформы Смешанная реальность и API:
Вы можете в любой момент вернуться к этапам разработки для Unreal.