Пространственный звук в Unreal
В отличие от зрения, человеческий слух может воспринимать звуки в пространстве с охватом в 360 градусов. Система пространственного звука эмулирует человеческий слух, предоставляя ориентиры для определения расположения источников звука в пространстве. Добавив систему пространственного звука в свои приложения смешанной реальности, вы сделаете их более иммерсивными для пользователей.
Высококачественная обработка пространственного звука очень сложна, поэтому HoloLens 2 поставляется со специальным оборудованием для обработки звуковых объектов. Прежде чем вы сможете воспользоваться этим оборудованием, вам нужно установить подключаемый модуль MicrosoftSpatialSound в своем проекте Unreal. С помощью этой статьи вы сможете установить и настроить этот подключаемый модуль и найти дополнительные ресурсы.
Установка подключаемого модуля пространственного звука (Майкрософт)
Первый шаг по добавлению системы пространственного звука в проект заключается в установке подключаемого модуля пространственного звука (Майкрософт), который можно найти следующим образом:
- Щелкните Edit > Plugins (Правка > Подключаемые модули) и введите MicrosoftSpatialSound в поле поиска.
- Установите флажок Enabled (Включен) для подключаемого модуля MicrosoftSpatialSound.
- Перезапустите Unreal Editor, выбрав Restart Now (Перезапустить) на странице подключаемого модуля.
Примечание
Если вы еще этого не сделали, установите подключаемые модули Microsoft Windows Mixed Reality и HoloLens, выполнив инструкции из раздела Инициализация проекта нашей серии руководств по Unreal.
После перезапуска редактора вы сможете работать с проектом.
Настройка подключаемого модуля пространственной обработки для платформы HoloLens 2
Настройка подключаемого модуля пространственной обработки осуществляется отдельно для каждой платформы. Вы можете включить подключаемый модуль пространственного звука (Майкрософт) для HoloLens 2 следующим образом:
- Выберите Edit > Project Settings (Правка > Параметры проекта), прокрутите до параметра **Platforms (Платформы) и щелкните элемент HoloLens.
- Разверните свойства Audio (Аудио) и укажите в поле Spatialization Plugin (Подключаемый модуль пространственной обработки) значение Microsoft Spatial Sound (Пространственный звук (Майкрософт)).
Если вы планируете тестировать свое приложение в Unreal Editor на компьютере, вам понадобится повторить приведенные выше шаги для платформы Windows:
Включение пространственного звука на рабочей станции
Пространственный звук по умолчанию отключен для настольных версий Windows. Его можно включить следующим образом:
- Щелкните правой кнопкой мыши значок громкости на панели задач.
- Выберите Пространственный звук -> Windows Sonic для наушников, чтобы получить представление о том, каким будет звучание в HoloLens 2.
Примечание
Этот параметр обязателен, только если вы планируете тестировать проект в Unreal Editor.
Создание объектов затухания
После установки и настройки необходимых подключаемых модулей выполните следующие действия:
- Выполните поиск актера Ambient Sound (Звуковое окружение) в окне Place Actors (Размещение актеров) и перетащите его в окно Scene (Сцена).
Сделайте актера Ambient Sound (Звуковое окружение) дочерним элементом визуального элемента в вашей сцене.
- По умолчанию актер Ambient Sound (Звуковое окружение) не имеет визуального представления, поэтому вы будете только слышать звук, поступающий из его расположения в сцене. Если вы присоедините его к визуальному элементу, вы сможете видеть и перемещать актер как любой другой ресурс.
Щелкните правой кнопкой мыши в окне Content Browser (Обозреватель содержимого) и выберите Create Advanced Asset -> Sounds -> Sound Attenuation (Создать расширенный ресурс -> Звуки -> Затухание звука):
- Щелкните правой кнопкой мыши ресурс Sound Attenuation (Затухание звука) в окне Content Browser (Обозреватель содержимого) и выберите Edit (Правка), чтобы открыть окно свойств.
- Установите для параметра Spatialization Method (Метод пространственной обработки) значение Binaural (Стереофоническая).
- Выберите актер Ambient Sound (Звуковое окружение) и прокрутите вниз до раздела Attenuation (Затухание) в области Details (Сведения).
- Задайте для свойства Attenuation Settings (Параметры затухания) созданный вами ресурс Sound Attenuation (Затухание звука).
- Задайте звуковой ресурс, который хотите присоединиться к субъекту звукового окружения:
- Обновите свойство Sound (Звук) субъекта звукового окружения, указав для использования файл SoundAsset.
Примечание
Файл SoundAsset должен иметь монофонический формат, чтобы подключаемый модуль пространственного звука (Майкрософт) мог обработать его. Свойства звукового файла можно найти, наведя курсор на ресурс в окне Content Browser (Обозреватель содержимого), как показано на снимке экрана ниже.
Когда звуковой ресурс будет настроен, для звукового окружения можно включить пространственную обработку с помощью выделенного оборудования HoloLens 2.
Настройка объектов для пространственной обработки
Наличие пространственного звука означает, что вы управляете поведением звука в виртуальной среде. При создании звуковых объектов уделяйте внимание тому, чтобы их громкость повышалась при приближении пользователя и уменьшалась при отдалении. Это называется затуханием звука — оно создает иллюзию того, что звук сосредоточен в фиксированной точке.
Для всех объектов затухания можно изменить такие параметры, как:
- расстояние;
- пространственная обработка;
- абсорбция воздуха;
- фокус слушателя;
- отправка реверберации;
- Загораживание
В статье Затухание звука в Unreal приведены подробные сведения по каждой из этих тем.
Следующий этап разработки
Если вы следуете изложенным нами инструкциям по разработке для Unreal, вы как раз прошли половину в изучении основных стандартных блоков MRTK. Отсюда вы можете перейти к следующему стандартному блоку:
Или перейдите к возможностям и API платформы смешанной реальности:
Вы можете в любой момент вернуться к этапам разработки для Unreal.