Ввод речевых данных — MRTK3

Обзор

Для ввода речевых данных в MRTK используется реализация PhraseRecognitionSubsystem. По умолчанию в состав MRTK входит подсистема WindowsPhraseRecognitionSubsystem, который использует KeywordRecognizer Unity. Как и в MRTK версии 2, эта реализация по умолчанию поддерживается только в редакторе Windows, автономном режиме Windows и UWP.

Примечание

В этом руководстве приведены инструкции по включению подсистемы речи в новом проекте MRTK. При этом предполагается, что базовая настройка, не связанная с речью, уже выполнена. Если вы используете наш пример проекта, обратите внимание, что некоторые действия уже выполнены.

Важно!

Существует внешняя ошибка, из-за которой ключевое слово select не распознается при выполнении WindowsPhraseRecognitionSubsystem в HoloLens 2. Мы уже сотрудничаем с соответствующими сторонами над решением этой проблемы. Чтобы устранить ее, измените ключевое слово распознавания речи в разделе StatefulInteractable (или соответствующем подклассе, например PressableButton-> Advanced StatefulInteractable Settings -> Allow Select By Voice -> Speech Recognition Keyword (Расширенные параметры StatefulInteractable > Разрешить выбор голосом > Ключевое слово распознавания речи).

Настройка

Включение подсистемы распознавания речи

  1. Перейдите в раздел Project Settings -> Mixed Reality Toolkit -> Available MRTK Subsystems (Параметры проекта > Mixed Reality Toolkit > Доступные подсистемы MRTK).
  2. Включите подсистему распознавания речи, которая будет использоваться. В настоящее время с MRTK доступна только подсистема WindowsPhraseRecognitionSubsystem.

Правильная настройка профиля

Некоторым подсистемам для нормальной работы требуется профиль. Для поставляемой в текущей версии подсистемы WindowsPhraseRecognitionSubsystem профиль не требуется, поэтому эту настройку можно пропустить. При этом помните, что профили могут потребоваться в будущих реализациях PhraseRecognitionSubsystem.

Убедитесь, что речевой объект GameObject MRTK активен.

Убедитесь, что соответствующие скрипты активны (должен быть включен параметр MRTK XR Rig -> MRTK Speech (Речь MRTK)).

Убедитесь, что в параметрах проигрывателя задана правильная возможность.

Для примера мы используем платформу UWP: перейдите в раздел Project Settings -> Player -> Publishing Settings -> Capabilities (Параметры проекта > Проигрыватель > Параметры публикации > Возможности) и убедитесь, что выбран параметр Microphone Capabilities (Возможности микрофона).

Запуск сцены на устройстве или в редакторе

Проект должен быть готов к запуску на устройстве или в редакторе.

Примечание.> Для приема голосовых команд, с которыми будет работать подсистема речи, должен быть настроен класс StatefulInteractable (или его подкласс, например PressableButton). Дополнительные параметры, которые можно настроить, можно найти в соответствующем инспекторе в разделе Advanced StatefulInteractable Settings (Расширенные параметры StatefulInteractable), а также SpeechInteractor (MRTK XR Rig -> MRTK Speech (Речь MRTK)).