Introducción al sonido espacial
En la vida real, el sonido espacial es fundamental. Cuando alguien llama a su nombre, sabe qué manera de mirar. Si sueltas una moneda en la acera, puedes saber de qué manera se ha enrollado. ¿Por qué? Dado que puede oír "espacialmente"--en otras palabras, puede indicar dónde está ocurriendo el sonido en su entorno.
En una aplicación de realidad mixta, es posible que tenga que buscar hacia arriba, hacia abajo, de lado a lado o detrás de usted para encontrar algo que está sucediendo. En ocasiones, puede ser poco claro dónde debe mirar. El sonido espacial conecta los hologramas más profundamente al mundo de la realidad mixta y proporciona información sobre el entorno y el estado del objeto. Puede proporcionar indicaciones desde la dirección a la que desea llamar la atención; esto ayuda a los usuarios a mantener la conciencia de sus entornos reales y pueden guiarlos a sus pasos siguientes. Esto aumenta la confianza del usuario en las interacciones de gestos y voz.
El uso de sonidos en realidad mixta requiere un enfoque diferente al de las aplicaciones táctiles y de teclado y mouse. Entre las decisiones clave de diseño de sonido se incluyen los sonidos que se van a espacializar y las interacciones que se van a sonificar. Para obtener instrucciones detalladas, consulte nuestro artículo Procedimientos recomendados de sonido espacial .
Espacialización
La espacialización es el componente direccional del sonido espacial. En el caso de una configuración de cine doméstico de 7.1, la espacialización es tan simple como el movimiento panorámico entre altavoces. Pero para auriculares en realidad mixta, es esencial usar una tecnología basada en HRTF para la precisión y comodidad. Windows ofrece espacialización basada en HRTF y esta compatibilidad se acelera por hardware en HoloLens 2.
Para obtener sugerencias sobre el uso eficaz de la espacialización en la aplicación, consulte Procedimientos recomendados de sonido espacial.
Compatibilidad con dispositivos
| Característica | HoloLens (primera generación) | HoloLens 2 | Cascos envolventes |
| Espacialización | ✔️ | ✔️ | ✔️ |
| Aceleración de hardware de espacialización | ❌ | ✔️ | ❌ |
Casos prácticos
HoloTour lleva virtualmente a los usuarios a sitios turísticos e históricos de todo el mundo. Consulte el caso práctico Diseño de sonido para HoloTour . Se usó una configuración especial de micrófono y representación para capturar los espacios de asunto.
RoboRaid es un tirador de alta energía para HoloLens. El caso práctico Diseño de sonido para RoboRaid describe las opciones de diseño que se realizaron para garantizar que el sonido espacial se usó para el efecto dramático más completo.
Personalización del espacializador
El seguimiento de encabezados de baja latencia de cascos de realidad mixta, incluido HoloLens, admite la espacialización basada en HRTF de alta calidad.
Los HRTF manipulan las diferencias de nivel y fase entre los oídos en el espectro de frecuencia. Se basan en modelos físicos y medidas de cabeza humana, torso y formas orejas (pinnae). Nuestros cerebros responden a estas diferencias para proporcionar la dirección percibido en el sonido.
Cada individuo tiene una forma de oreja única, tamaño de cabeza y posición de oreja. Así que los mejores HRTF se ajustan a usted. Para aumentar la precisión de la espacialización, HoloLens usa la distancia entre alumnos (IPD) de las pantallas de auriculares para ajustar los HRTFs para el tamaño de la cabeza.
Compatibilidad con la plataforma spatializer
Windows ofrece espacialización, incluidas las HRTFs, a través de la API ISpatialAudioClient. Esta API expone el HoloLens 2 aceleración de hardware HRTF a las aplicaciones.
Compatibilidad con middleware de espacializador
La compatibilidad con HRTFs de Windows está disponible para los siguientes motores de audio de terceros.
Acústica
El sonido espacial es más que la dirección. Otras dimensiones incluyen oclusión, obstrucción, reverberación, portaling y modelado de origen. En conjunto, estas dimensiones se conocen como acústicas. Sin acústica, los sonidos espacializados carecen de distancia percibido.
Los tratamientos acústicos van desde simple a complejo. Puede usar una reverberación compatible con cualquier motor de audio para insertar sonidos espacializados en el entorno del agente de escucha. Los sistemas acústicos como Project Acoustics proporcionan un tratamiento acústico más rico y atractivo. Project Acoustics puede modelar el efecto de paredes, puertas y otras geometrías de escena en un sonido. Es una opción eficaz para los casos en los que se conoce la geometría de la escena pertinente en tiempo de desarrollo.