Übersicht über Raumklang
Im wirklichen Leben ist Raumklang von entscheidender Bedeutung. Wenn jemand Ihren Namen nennt, wissen Sie, wie Sie aussehen sollen. Wenn Sie eine Münze auf den Bürgersteig werfen, können Sie erkennen, wie sie gerollt ist. Warum? Da Sie "räumlich" hören können, das heißt, Sie können erkennen, wo in Ihrer Umgebung der Ton auftritt.
In einer Mixed Reality-App müssen Sie möglicherweise nach oben, unten, von Seite zu Seite oder hinter Ihnen suchen, um etwas zu finden, das passiert. Manchmal kann unklar sein, wo Sie hinschauen sollten. Raumklang verbindet Hologramme tiefer mit der Mixed Reality-Welt und liefert Informationen über die Umgebung und den Objektzustand. Sie können Hinweise aus der Richtung geben, auf die Sie aufmerksam machen möchten. Dies hilft Benutzern, das Bewusstsein für ihre reale Umgebung zu erhalten, und kann sie zu ihren nächsten Schritten führen. Dies erhöht das Vertrauen der Benutzer in Gesten- und Sprachinteraktionen.
Die Verwendung von Sounds in Mixed Reality erfordert einen anderen Ansatz als bei Touch- und Tastatur- und Mausanwendungen. Wichtige Entscheidungen für das Sounddesign umfassen, welche Sounds verräumt werden sollen und welche Interaktionen zu sonifizieren sind. Ausführliche Anleitungen finden Sie in unserem Artikel Zu bewährten Methoden für räumlichen Sound .
Raumklang
Die Spatialisierung ist die direktionale Komponente des Raumklangs. Für ein 7.1-Heimkino-Setup ist die Verräumung so einfach wie das Schwenken zwischen Lautsprechern. Für Kopfhörer in Mixed Reality ist es jedoch unerlässlich, eine HRTF-basierte Technologie für Genauigkeit und Komfort zu verwenden. Windows bietet HRTF-basierte Raumräumung, und diese Unterstützung wird auf HoloLens 2 hardwarebeschleunigt.
Vorschläge zur effektiven Verwendung der Raumräumung in Ihrer Anwendung finden Sie unter Bewährte Methoden für räumlichen Sound.
Geräteunterstützung
| Feature | HoloLens (erste Generation) | HoloLens 2 | Immersive Headsets |
| Raumklang | ✔️ | ✔️ | ✔️ |
| Beschleunigung der Räumlichen Hardware | ❌ | ✔️ | ❌ |
Fallstudien
HoloTour führt Benutzer praktisch zu touristischen und historischen Stätten auf der ganzen Welt. Weitere Informationen finden Sie in der Fallstudie Sounddesign für HoloTour . Ein spezielles Mikrofon- und Rendering-Setup wurde verwendet, um die Themenbereiche zu erfassen.
RoboRaid ist ein High-Energy-Shooter für HoloLens. Die Fallstudie sound design for RoboRaid beschreibt die Entwurfsentscheidungen, die getroffen wurden, um sicherzustellen, dass räumlicher Sound mit der größtmöglichen dramatischen Wirkung verwendet wurde.
Spatializer-Personalisierung
Das Headtracking mit geringer Latenz von Mixed Reality-Headsets, einschließlich HoloLens, unterstützt eine hochwertige HRTF-basierte Raumräumung.
HRTFs bearbeiten die Ebenen- und Phasenunterschiede zwischen den Ohren im Frequenzspektrum. Sie basieren auf physischen Modellen und Messungen von menschlichen Kopf-, Rumpf- und Ohrformen (Pinnae). Unser Gehirn reagiert auf diese Unterschiede, um eine wahrgenommene Richtung im Klang zu geben.
Jede Person hat eine einzigartige Ohrform, Kopfgröße und Ohrposition. Die besten HRTFs entsprechen Also Ihnen. Um die Genauigkeit der Raumräumung zu erhöhen, verwendet HoloLens ihren inter-pupilären Abstand (Inter-Pupilary Distance, IPD) von den Headset-Displays, um die HRTFs für Ihre Kopfgröße anzupassen.
Unterstützung der Spatializer-Plattform
Windows bietet die Raumräumung, einschließlich HRTFs, über die ISpatialAudioClient-API. Diese API macht die HoloLens 2 HRTF-Hardwarebeschleunigung für Anwendungen verfügbar.
Middlewareunterstützung für Spatializer
Unterstützung für Windows-HRTFs ist für die folgenden Audio-Engines von Drittanbietern verfügbar.
Akustik
Raumklang ist mehr als nur Richtung. Weitere Dimensionen sind Okklusion, Obstruktion, Hall, Portaling und Quellmodellierung. Zusammen werden diese Dimensionen als Akustik bezeichnet. Ohne Akustik fehlt es räumlichen Klängen an gefühlter Distanz.
Akustikbehandlungen reichen von einfach bis komplex. Sie können einen Hall verwenden, der von einer beliebigen Audio-Engine unterstützt wird, um räumliche Sounds in die Umgebung des Listeners zu übertragen. Akustiksysteme wie Project Acoustics bieten eine umfassendere und überzeugendere Akustikbehandlung. Project Acoustics kann den Effekt von Wänden, Türen und anderen Szenengeometrien auf einen Sound modellieren. Dies ist eine effektive Option für Fälle, in denen die relevante Szenengeometrie zur Entwicklungszeit bekannt ist.