Обзор пространственного звука
В реальной жизни пространственный звук имеет жизненно важное значение. Когда кто-то называет ваше имя, вы знаете, в какую сторону искать. Если вы уроните монетку на тротуар, вы можете сказать, в какую сторону она прокатилась. Почему? Так как вы можете слышать "пространственно", другими словами, вы можете определить, где в вашей среде происходит звук.
В приложении смешанной реальности вам может потребоваться смотреть вверх, вниз, из стороны в сторону или позади вас, чтобы найти что-то, что происходит. Иногда, может быть неясно, где вы должны искать. Пространственный звук более глубоко соединяет голограммы с миром смешанной реальности и предоставляет сведения о среде и состоянии объекта. Вы можете предоставлять подсказки с того направления, к которому вы хотите обратить внимание; это помогает пользователям сохранять осведомленность о реальном окружении и направлять их к дальнейшим шагам. Это повышает уверенность пользователей в жестах и голосовых взаимодействиях.
Использование звуков в смешанной реальности требует другого подхода, чем в сенсорных приложениях и приложениях с клавиатурой и мышью. Ключевые решения по проектированию звука включают в себя звуки для пространственной обработки и взаимодействия, которые необходимо указать. Подробные рекомендации см. в статье Рекомендации по пространственному звуку .
пространственная обработка;
Пространственный компонент является направленным компонентом пространственного звука. Для настройки домашнего кинотеатра 7.1, пространственизация так же проста, как сдвиг между громкоговорителями. Но для наушников в смешанной реальности важно использовать технологию на основе HRTF для точности и комфорта. Windows предлагает пространственные функции на основе HRTF, и эта поддержка осуществляется с аппаратным ускорением на HoloLens 2.
Рекомендации по эффективному использованию пространственных данных в приложении см. в статье Рекомендации по пространственному звуку.
Поддержка устройств
| Компонент | HoloLens (1-го поколения) | HoloLens 2 | Иммерсивные гарнитуры |
| пространственная обработка; | ✔️ | ✔️ | ✔️ |
| Аппаратное ускорение пространственной обработки | ❌ | ✔️ | ❌ |
Конкретные случаи
HoloTour практически принимает пользователей в туристические и исторические места по всему миру. См. пример проектирования звука для HoloTour . Для захвата предметных пространств использовались специальный микрофон и настройка отрисовки.
RoboRaid является высокоэнергетическим шутером для HoloLens. Звуковой дизайн для примера RoboRaid описывает варианты проектирования, которые были сделаны для обеспечения того, чтобы пространственный звук использовался в полной мере драматический эффект.
Персонализация пространственных элементов
Отслеживание голов с низкой задержкой для гарнитур смешанной реальности, включая HoloLens, поддерживает высококачественную пространственную функцию на основе HRTF.
HRTF управляет разными уровнями и фазами между ушами по всему спектру частоты. Они основаны на физических моделях и измерениях человеческой головы, туловища и уха (пинь). Наш мозг реагирует на эти различия, чтобы обеспечить воспринимаемое направление в звуке.
Каждый человек имеет уникальную форму уха, размер головы и положение уха. Таким образом, лучшие HRTFs соответствуют вам. Чтобы повысить точность пространственных операций, HoloLens использует расстояние между зрачками (IPD) от дисплеев гарнитуры для настройки HRTF для размера головы.
Поддержка платформы Spatializer
Windows предлагает пространственные функции, включая HRTF, через API ISpatialAudioClient. Этот API предоставляет приложениям аппаратное ускорение HoloLens 2 HRTF.
Поддержка ПО промежуточного слоя Spatializer
Поддержка HRTF Windows доступна для следующих сторонних звуковых подсистем.
Акустика
Пространственный звук больше, чем направление. Другие измерения включают окклюзию, препятствия, реверберацию, порталирование и моделирование источника. В совокупности эти измерения называются акустическими. Без акустики пространственные звуки не имеют воспринимаемого расстояния.
Акустические процедуры варьируются от простых до сложных. Вы можете использовать реверберацию, поддерживаемую любым звуковым механизмом, для отправки пространственных звуков в среду прослушивателя. Акустические системы, такие как Project Acoustics , обеспечивают более богатую и привлекательную акустическую обработку. Project Acoustics может моделировать влияние стен, дверей и другой геометрии сцены на звук. Это эффективный вариант для случаев, когда соответствующая геометрия сцены известна во время разработки.