Диктовка — MRTK2

  • Статья

Диктовка позволяет пользователям записывать аудиоклипы и получать транскрибирование. Чтобы использовать его, убедитесь, что система диктовки зарегистрирована во входном системном профиле. Поставщик входных данных диктовки Windows — это система диктовки, предоставляемая в комплекте, но можно создать альтернативные системы диктовки, реализующие IMixedRealityDictationSystem.

Требования

Система диктовки использует Unity DictationRecognizer , который сам использует базовые API речи Windows для обработки диктовки. Обратите внимание, что это означает, что эта функция доступна только на платформах под управлением Windows.

Для использования системы диктовки требуются возможности приложения "Интернет-клиент" и "Микрофон" в разделе PlayerSettings - Capabilities. Дополнительные сведения о голосовом вводе в Unity см. в документации по Windows Mixed Reality.

Конфигурация

Поставщик данных

После настройки службы диктовки можно использовать DictationHandler сценарий для запуска и остановки сеансов записи и получения результатов транскрибирования с помощью UnityEvents.

Обработчик диктовки
  • Гипотеза диктовки поднимается, когда пользователь говорит с ранним, грубым транскрибированием записанного до сих пор звука.
  • Результат диктовки возникает в конце каждого предложения (т. е. когда пользователь приостанавливается) с окончательным транскрибированием записанного звука.
  • Dictation Complete возникает в конце сеанса записи с полным окончательным транскрибированием звука.
  • Ошибка диктовки вызывается для информирования об ошибках в службе диктовки. Транскрибирование в этом случае содержит описание ошибки.

Пример сцены

Сцена диктовки в показывает MRTK/Examples/Demos/Input/Scenes/Dictation используемый DictationHandler скрипт. Если требуется дополнительный контроль, можно либо расширить этот скрипт, либо создать собственную реализацию IMixedRealityDictationHandler для получения событий диктовки напрямую.

Демонстрация диктовки