Vue d’ensemble du son spatial
Dans la vie réelle, le son spatial est vital. Quand quelqu’un appelle votre nom, vous savez comment regarder. Si vous déposez une pièce sur le trottoir, vous pouvez savoir comment elle a roulé. Pourquoi ? Étant donné que vous pouvez entendre « spatialement », en d’autres termes, vous pouvez savoir où se produit le son dans votre environnement.
Dans une application de réalité mixte, vous devrez peut-être regarder vers le haut, vers le bas, d’un côté à l’autre ou derrière vous pour trouver quelque chose qui se passe. Parfois, il peut être difficile de voir où vous devriez regarder. Le son spatial connecte plus profondément les hologrammes au monde de réalité mixte et fournit des informations sur l’environnement et l’état de l’objet. Vous pouvez fournir des indices à partir de la direction sur laquelle vous souhaitez attirer l’attention; Cela aide les utilisateurs à rester conscients de leur environnement réel et peut les guider dans leurs étapes suivantes. Cela augmente la confiance de l’utilisateur dans les interactions gestuelles et vocales.
L’utilisation des sons dans la réalité mixte nécessite une approche différente de celle des applications tactiles et clavier-souris. Les décisions clés en matière de conception sonore incluent les sons à spatialiser et les interactions à sonifier. Pour obtenir des conseils détaillés, consultez notre article Bonnes pratiques spatiales .
Spatialisation
La spatialisation est la composante directionnelle du son spatial. Pour une configuration de cinéma maison 7.1, la spatialisation est aussi simple que le panoramique entre les haut-parleurs. Mais pour les casques en réalité mixte, il est essentiel d’utiliser une technologie basée sur HRTF pour la précision et le confort. Windows offre une spatialisation basée sur HRTF, et cette prise en charge est accélérée matériellement sur HoloLens 2.
Pour obtenir des suggestions sur l’utilisation efficace de la spatialisation dans votre application, consultez Bonnes pratiques spatiales.
Prise en charge des appareils
| Fonctionnalité | HoloLens (première génération) | HoloLens 2 | Casques immersifs |
| Spatialisation | ✔️ | ✔️ | ✔️ |
| Accélération matérielle de la spatialisation | ❌ | ✔️ | ❌ |
Études de cas
HoloTour amène virtuellement les utilisateurs à des sites touristiques et historiques dans le monde entier. Consultez l’étude de cas Conception sonore pour HoloTour . Un microphone spécial et une configuration de rendu ont été utilisés pour capturer les espaces d’objet.
RoboRaid est un jeu de tir à haute énergie pour HoloLens. L’étude de cas Sound design for RoboRaid décrit les choix de conception qui ont été faits pour s’assurer que le son spatial a été utilisé à plein effet dramatique.
Personnalisation du spatializer
Le suivi de la tête à faible latence des casques de réalité mixte, y compris HoloLens, prend en charge la spatialisation basée sur HRTF de haute qualité.
Les HRFS manipulent les différences de niveau et de phase entre les oreilles sur l’ensemble du spectre de fréquence. Ils sont basés sur des modèles physiques et des mesures de la tête humaine, du torse et des formes d’oreille (pinnae). Nos cerveaux répondent à ces différences pour fournir une direction perçue dans le son.
Chaque individu a une forme d’oreille unique, la taille de la tête et la position de l’oreille. Ainsi, les meilleurs HRTF sont conformes à vous. Pour augmenter la précision de la spatialisation, HoloLens utilise votre distance inter-pupilaire (IPD) à partir des écrans du casque pour ajuster les HRTF en fonction de la taille de votre tête.
Prise en charge de la plateforme Spatializer
Windows offre la spatialisation, y compris les HRFS, via l’API ISpatialAudioClient. Cette API expose les HoloLens 2 l’accélération matérielle HRTF aux applications.
Prise en charge de l’intergiciel Spatializer
La prise en charge des hrfs de Windows est disponible pour les moteurs audio tiers suivants.
Acoustique
Le son spatial n’est pas qu’une direction. Les autres dimensions incluent l’occlusion, l’obstruction, la réverbération, le portail et la modélisation de la source. Collectivement, ces dimensions sont appelées acoustiques. Sans acoustique, les sons spatialisés manquent de distance perçue.
Les traitements acoustiques vont de simples à complexes. Vous pouvez utiliser une réverbération prise en charge par n’importe quel moteur audio pour envoyer des sons spatialisés dans l’environnement de l’écouteur. Les systèmes acoustiques tels que Project Acoustics offrent un traitement acoustique plus riche et plus attrayant. Project Acoustics peut modéliser l’effet des murs, des portes et d’autres géométries de scène sur un son. Il s’agit d’une option efficace dans les cas où la géométrie de scène appropriée est connue au moment du développement.