Översikt över rumsligt ljud
I verkliga livet är rumsligt ljud avgörande. När någon ringer ditt namn vet du vilket sätt du ska se ut. Om du släpper ett mynt på trottoaren kan du se åt vilket håll det har rullat. Varför? Eftersom du kan höra "rumsligt" med andra ord kan du se var i din miljö ljudet förekommer.
I en mixed reality-app kan du behöva titta upp, ned, från sida till sida eller bakom dig för att hitta något som händer. Ibland kan det vara oklart var du ska leta. Rumsligt ljud förbinder hologram djupare med mixad verklighet och tillhandahåller information om miljön och objekttillståndet. Du kan ge tips från den riktning som du vill uppmärksamma; Detta hjälper användarna att upprätthålla medvetenheten om sin verkliga omgivning och kan vägleda dem till nästa steg. Detta ökar användarnas förtroende för gest- och röstinteraktioner.
Användning av ljud i mixad verklighet kräver en annan metod än i touch- och tangentbords- och musprogram. Viktiga beslut om ljuddesign omfattar vilka ljud som ska rumsligiseras och vilka interaktioner som ska sonifieras. Detaljerad vägledning finns i vår artikel om bästa praxis för rumsliga ljud .
Spatialization
Spatialisering är riktningskomponenten i rumsligt ljud. För en 7,1 hemmabio installation, spatialisering är lika enkel som panorering mellan högtalare. Men för hörlurar i mixad verklighet är det viktigt att använda en HRTF-baserad teknik för noggrannhet och komfort. Windows erbjuder HRTF-baserad spatialisering, och det här stödet är maskinvaruaccelererat på HoloLens 2.
Förslag på effektiv användning av spatialisering i ditt program finns i Bästa praxis för rumsligt ljud.
Stöd för enheter
| Funktion | HoloLens (första generationen) | HoloLens 2 | Integrerande headset |
| Spatialization | ✔️ | ✔️ | ✔️ |
| Acceleration av spatialiseringsmaskinvara | ❌ | ✔️ | ❌ |
Fallstudier
HoloTour tar praktiskt taget användare till turist- och historiska platser runt om i världen. Se fallstudien Ljuddesign för HoloTour . En särskild mikrofon och renderingskonfiguration användes för att avbilda ämnesutrymmena.
RoboRaid är en högenergiskytt för HoloLens. Ljuddesignen för RoboRaid-fallstudien beskriver de designval som gjordes för att säkerställa att rumsligt ljud användes till den fulla dramatiska effekten.
Spatializer-anpassning
Huvudspårning med låg latens av headset för mixad verklighet, inklusive HoloLens, stöder högkvalitativ HRTF-baserad spatialisering.
HRTF:er manipulerar nivå- och fasskillnaderna mellan öronen över frekvensspektrumet. De baseras på fysiska modeller och mätningar av mänskliga huvud-, bål- och öronformer (pinnae). Våra hjärnor svarar på dessa skillnader för att ge upplevd riktning i ljud.
Varje individ har en unik öronform, huvudstorlek och öronposition. Så de bästa HRTF:erna överensstämmer med dig. För att öka rumslighetsprecisionen använder HoloLens ditt inter-elevavstånd (IPD) från headsetet för att justera HRTF:er för din huvudstorlek.
Stöd för Spatializer-plattformen
Windows erbjuder spatialisering, inklusive HRTF:er, via ISpatialAudioClient-API:et. Det här API:et exponerar HoloLens 2 HRTF-maskinvaruacceleration för program.
Stöd för Spatializer-mellanprogram
Stöd för Windows HRTF:er är tillgängligt för följande ljudmotorer från tredje part.
Akustik
Rumsligt ljud handlar om mer än riktning. Andra dimensioner är ocklusion, obstruktion, reverb, portaling och källmodellering. Tillsammans kallas dessa dimensioner för akustik. Utan akustik saknar rumsliga ljud upplevda avstånd.
Akustikbehandlingar sträcker sig från enkla till komplexa. Du kan använda en reverb som stöds av alla ljudmotorer för att push-överföra spatialiserade ljud till lyssnarens miljö. Akustiksystem som Project Acoustics ger rikare och mer övertygande akustikbehandling. Project Acoustics kan modellera effekten av väggar, dörrar och annan scengeometri på ett ljud. Det är ett effektivt alternativ för fall där relevant scengeometri är känd vid utvecklingstillfället.