Räumliche Audiowiedergabe in Unreal
Anders als beim Sehen hören Menschen 360-Grad-Surroundsound. Räumliche Audiowiedergabe emuliert die Funktionsweise des menschlichen Hörens und stellt die Hinweise bereit, die zum Erkennen von Klangpositionen im Raum erforderlich sind. Wenn Sie Ihren Mixed Reality-Anwendungen räumliche Audiowiedergabe hinzufügen, steigern Sie den Grad des Eintauchens, das Ihre Benutzer erleben.
Die erforderliche Verarbeitung für räumliche Audiowiedergabe in hoher Qualität ist komplex, daher besitzt HoloLens 2 dedizierte Hardware für die Verarbeitung dieser Klangobjekte. Damit Sie auf diese Hardwareunterstützung bei der Verarbeitung zugreifen können, müssen Sie das MicrosoftSpatialSound-Plug-In in Ihrem Unreal-Projekt installieren. Dieser Artikel führt Sie durch die Installation und Konfiguration des Plug-Ins und weist Sie auf ausführlichere Ressourcen hin.
Installieren des Microsoft Spatial Sound-Plug-Ins
Der erste Schritt beim Hinzufügen von Raumklang zu Ihrem Projekt ist die Installation des Microsoft Spatial Sound-Plug-Ins, das Sie hier finden können:
- Klicken Sie auf Bearbeiten > Plug-Ins, und suchen Sie im Suchfeld nach MicrosoftSpatialSound.
- Aktivieren Sie das Kontrollkästchen Aktiviert im MicrosoftSpatialSound-Plug-In.
- Starten Sie auf der Plug-Ins-Seite den Unreal Editor neu, indem Sie Jetzt neu starten auswählen.
Hinweis
Wenn dies noch nicht geschehen ist, müssen Sie die Plug-Ins Microsoft Windows Mixed Reality und HoloLens installieren, indem Sie die Anweisungen im Abschnitt Initialisieren des Projekts unserer Reihe mit Unreal-Tutorials befolgen.
Nach dem Neustart des Editors ist Ihr Projekt fertig eingerichtet.
Festlegen des Raumklang-Plug-Ins für die HoloLens 2-Plattform
Die Konfiguration des Raumklang-Plug-Ins erfolgt auf Plattformbasis. Sie können das Microsoft Spatial Sound-Plug-In für HoloLens 2 in folgender Weise aktivieren:
- Wählen Sie Bearbeiten > Projekteinstellungen aus, scrollen Sie zu „**Plattformen“, und klicken Sie auf HoloLens.
- Erweitern Sie die Audio-Eigenschaften, und legen Sie das Feld Spatialization Plugin (Raumklang-Plug-In) auf Microsoft Spatial Sound fest.
Wenn Sie die Vorschau Ihrer Anwendung im Unreal-Editor auf einem Desktop-PC ausführen möchten, müssen Sie die Schritte oben für die Windows-Plattform wiederholen:
Aktivieren von räumlicher Audiowiedergabe auf Ihrer Arbeitsstation
Die räumliche Audiowiedergabe ist in Desktopversionen von Windows standardmäßig deaktiviert. Sie können sie wie folgt aktivieren:
- Klicken Sie mit der rechten Maustaste auf das Lautstärke-Symbol in der Taskleiste.
- Wählen Sie Raumklang > Windows Sonic für Kopfhörer aus, um die beste Darstellung des Höreindrucks mit HoloLens 2 zu erreichen.
Hinweis
Diese Einstellung ist nur erforderlich, wenn Sie beabsichtigen, das Projekt im Unreal-Editor zu testen.
Erstellen von Dämpfungsobjekten
Nachdem Sie die erforderlichen Plug-Ins installiert und konfiguriert haben:
- Suchen Sie nach einem Akteur Ambient Sound (Raumklang) im Fenster Place Actors (Akteure platzieren), und ziehen Sie ihn auf das Szenenfenster.
Machen Sie den Akteur Ambient Sound (Raumklang) zu einem untergeordneten Element eines visuellen Elements in Ihrer Szene.
- Ein Raumklang-Akteur hat standardmäßig keine visuelle Darstellung, Sie hören also lediglich einen Klang von seiner Position in der Szene. Wenn Sie den Akteur an ein visuelles Element anfügen, können Sie ihn sehen und wie jedes andere Medienobjekt verschieben.
Klicken Sie mit der rechen Maustaste auf den Inhalts-Browser, und wählen Sie Create Advanced Asset > Sounds > Sound Attenuation (Erweitertes Medienobjekt erstellen > Sounds > Klangdämpfung) aus:
- Klicken Sie mit der rechten Maustaste auf das Medienobjekt Sound Attenuation (Klangdämpfung) im Fenster des Inhalt-Browsers, und wählen Sie die Option Bearbeiten aus, um das Eigenschaftenfenster anzuzeigen.
- Ändern Sie die Spatialization Method (Raumklangverfahren) in Binaural.
- Wählen Sie den Akteur Ambient Sound (Raumklang) aus, und scrollen Sie nach unten zum Abschnitt Attenuation (Dämpfung) im Bereich Details.
- Legen Sie die Einstellung Attenuation Settings (Dämpfungseinstellungen) auf das von Ihnen erstellte Medienobjekt Sound Attenuation (Klangdämpfung) fest.
- Legen Sie das Sound-Medienobjekt, das Sie an den Raumklang-Akteur anfügen möchten, fest:
- Aktualisieren Sie die Eigenschaft Sound des Raumklang-Akteurs auf die zu verwendende SoundAsset-Datei.
Hinweis
Die SoundAsset-Datei muss in Mono vorliegen, um mithilfe des Microsoft Spatial Sound-Plug-Ins mit Rauminformationen versehen zu werden. Sie können die Eigenschaften der Sounddatei anzeigen, indem Sie den Mauszeiger im Fenster des Inhalt-Browsers auf dem Medienobjekt ruhen lassen, wie im Screenshot unten dargestellt.
Nachdem das Sound-Medienobjekt konfiguriert wurde, kann der Raumklang mithilfe der dedizierten Hardware-Abladungsunterstützung in HoloLens 2 mit Rauminformationen versehen werden.
Konfigurieren von Objekten für die räumliche Wiedergabe
Das Arbeiten mit Raumklang bedeutet, dass Sie dafür zuständig sind, wie sich der Klang in einer virtuellen Umgebung verhält. Der Hauptschwerpunkt liegt auf dem Erstellen von Klangobjekten, die lauter erscheinen, wenn der Benutzer sich in der Nähe befindet, und leiser, wenn der Benutzer weit weg ist. Dies wird als Klangdämpfung bezeichnet und erzeugt den Eindruck, als ob Klänge an einem festen Ort positioniert wären.
Alle Dämpfungsobjekte umfassen konfigurierbare Einstellungen für:
- Abstand
- Raumklang
- Luftabsorption
- Listenerfokus
- Nachhall-Send
- Okklusion
Klangdämpfung in Unreal bietet zu jedem dieser Themen Details und spezifische Eigenheiten der Implementierung.
Nächster Entwicklungsprüfpunkt
Wenn Sie der Unreal-Entwicklungs-Journey folgen, die wir entworfen haben, befinden Sie sich mitten im Kennenlernen der MRTK-Grundbausteine. Von hier aus können Sie mit dem nächsten Baustein fortfahren:
Oder fahren Sie mit den Funktionen und APIs der Mixed Reality-Plattform fort:
Sie können jederzeit zu den Prüfpunkten für die Unreal-Entwicklung zurückkehren.