HoloLens (1. Generation) Spatial 220: Räumlicher Sound

Wichtig

Die Tutorials der Mixed Reality Academy wurden unter Berücksichtigung von HoloLens (1. Generation), Unity 2017 und Mixed Reality Immersive Headsets entwickelt. Daher ist es uns wichtig, diese Tutorials für Entwickler zu belassen, die noch nach Anleitungen bei der Entwicklung für diese Geräte suchen. Diese Tutorials werden nicht mit den neuesten Toolsets oder Interaktionen aktualisiert, die für HoloLens 2 verwendet werden, und sind möglicherweise nicht mit neueren Versionen von Unity kompatibel. Eine neue Reihe von Tutorials für HoloLens 2.

Raumklang haucht Hologrammen Leben ein und verleiht ihnen Präsenz in unserer Welt. Hologramme bestehen aus Licht und Ton, und wenn Sie Ihre Hologramme aus den Augen verlieren, kann räumlicher Klang Ihnen helfen, sie zu finden. Räumlicher Klang ist nicht wie der typische Sound, den Sie im Radio hören würden, es ist der Klang, der im 3D-Raum positioniert ist. Mit räumlichem Klang können Sie Hologramme so klingen lassen, als wären sie hinter Ihnen, neben Ihnen oder sogar auf dem Kopf! In diesem Kurs werden Sie:

• Konfigurieren Sie Ihre Entwicklungsumgebung für die Verwendung von Microsoft Spatial Sound.
• Verwenden Sie Spatial Sound, um Interaktionen zu verbessern.
• Verwenden Sie räumlichen Sound mit räumlicher Zuordnung.
• Grundlegendes zu bewährten Methoden für Sounddesign und Mischung.
• Verwenden Sie Sound, um Spezialeffekte zu verbessern und den Benutzer in die Mixed Reality Welt zu bringen.

Geräteunterstützung

Kurs	HoloLens	Immersive Headsets
MR Spatial 220: Raumklang	✔️	✔️

Vorbereitende Schritte

Voraussetzungen

• Ein Windows 10 PC, der mit den richtigen Installierten Tools konfiguriert ist.
• Einige grundlegende C#-Programmierfunktionen.
• MR-Grundlagen 101.
• Ein HoloLens-Gerät , das für die Entwicklung konfiguriert ist.

Projektdateien

• Laden Sie die für das Projekt erforderlichen Dateien herunter. Erfordert Unity 2017.2 oder höher.
  • Wenn Sie weiterhin Unity 5.6-Unterstützung benötigen, verwenden Sie dieses Release. Dieses Release ist möglicherweise nicht mehr auf dem neuesten Stand.
  • Wenn Sie weiterhin Unity 5.5-Unterstützung benötigen, verwenden Sie dieses Release. Dieses Release ist möglicherweise nicht mehr auf dem neuesten Stand.
  • Wenn Sie weiterhin Unity 5.4-Unterstützung benötigen, verwenden Sie diese Version. Dieses Release ist möglicherweise nicht mehr auf dem neuesten Stand.
• Heben Sie die Archivierung der Dateien auf Ihrem Desktop oder einem anderen leicht erreichbaren Speicherort auf.

Hinweis

Wenn Sie den Quellcode vor dem Herunterladen durchsehen möchten, ist er auf GitHub verfügbar.

Errata und Notizen

• "Nur eigenen Code aktivieren" muss in Visual Studio unter Extras-Optionen-Debuggen>> deaktiviert (deaktiviert) werden, um Breakpoints in Ihrem Code zu erreichen.

Kapitel 1: Unity-Setup

Ziele

• Ändern Sie die Soundkonfiguration von Unity, um Microsoft Spatial Sound zu verwenden.
• Hinzufügen von 3D-Sound zu einem Objekt in Unity.

Anweisungen

• Starten Sie Unity.
• Klicken Sie auf Öffnen.
• Navigieren Sie zu Ihrem Desktop, und suchen Sie den Ordner, den Sie zuvor nicht archiviert haben.
• Klicken Sie auf den Ordner Starting\Decibel , und drücken Sie dann die Schaltfläche Ordner auswählen .
• Warten Sie, bis das Projekt in Unity geladen wurde.
• Öffnen Sie im Bereich Projektdie Option Scenes\Decibel.unity.
• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie P0LY aus.
• Erweitern Sie im Inspektor audioSource , und beachten Sie, dass es kein Kontrollkästchen Spatialize gibt.

Standardmäßig lädt Unity kein Spatializer-Plug-In. Mit den folgenden Schritten wird Spatial Sound im Projekt aktiviert.

• Navigieren Sie im oberen Menü von Unity zu Projekteinstellungen > bearbeiten > Audio.
• Suchen Sie die Dropdownliste Spatializer-Plug-In , und wählen Sie MS HRTF Spatializer aus.
• Wählen Sie im Bereich Hierarchie die Option HologramCollection > P0LY aus.
• Suchen Sie im Bereich Inspektor die Komponente Audioquelle .
• Aktivieren Sie das Kontrollkästchen Verräumlichung .
• Ziehen Sie den Schieberegler Spatial Blend ganz in 3D, oder geben Sie 1 in das Bearbeitungsfeld ein.

Erstellen Sie das Projekt in Unity, und konfigurieren Sie die Projektmappe in Visual Studio.

1. Wählen Sie in Unity Dateibuildeinstellungen >aus.
2. Klicken Sie auf Geöffnete Szenen hinzufügen , um die Szene hinzuzufügen.
3. Wählen Sie in der Liste Plattform Universelle Windows-Plattform aus, und klicken Sie auf Plattform wechseln.
4. Wenn Sie speziell für HoloLens entwickeln, legen Sie Zielgerät auf HoloLens fest. Behalten Sie andernfalls die Option "Beliebiges Gerät" bei.
5. Stellen Sie sicher , dass build type auf D3D und SDK auf Latest installed (dies sollte SDK 16299 oder höher sein) festgelegt ist.
6. Klicken Sie auf Erstellen.
7. Erstellen Sie einen neuen Ordner mit dem Namen "App".
8. Klicken Sie auf den Ordner App .
9. Klicken Sie auf Ordner auswählen.

Wenn Unity fertig ist, wird ein Explorer Fenster angezeigt.

1. Öffnen Sie den Ordner App .
2. Öffnen Sie die Decibel Visual Studio-Projektmappe.

Bei der Bereitstellung in HoloLens:

1. Ändern Sie mithilfe der oberen Symbolleiste in Visual Studio das Ziel von Debuggen in Release und von ARM in x86.
2. Klicken Sie auf den Dropdownpfeil neben der Schaltfläche Lokaler Computer, und wählen Sie Remotecomputer aus.
3. Geben Sie die IP-Adresse Ihres HoloLens-Geräts ein, und legen Sie den Authentifizierungsmodus auf Universell (unverschlüsseltes Protokoll) fest. Klicken Sie auf Auswählen. Wenn Sie Ihre Geräte-IP-Adresse nicht kennen, suchen Sie unter Einstellungen > Netzwerk & Internet > Erweiterte Optionen.
4. Klicken Sie in der oberen Menüleiste auf Debuggen –> Starten ohne Debuggen , oder drücken Sie STRG+F5. Bei der ersten Bereitstellung auf Ihrem Gerät müssen Sie es mit Visual Studio koppeln.

Bei der Bereitstellung in einem immersiven Headset:

1. Ändern Sie über die obere Symbolleiste in Visual Studio das Ziel von Debuggen in Release und von ARM in x64.
2. Stellen Sie sicher, dass das Bereitstellungsziel auf Lokaler Computer festgelegt ist.
3. Klicken Sie in der oberen Menüleiste auf Debuggen –> Starten ohne Debuggen , oder drücken Sie STRG+F5.

Kapitel 2 : Raumklang und Interaktion

Ziele

• Verbessern Sie den Hologramm-Realismus mithilfe von Sound.
• Lenken Sie den Blick des Benutzers mithilfe von Sound.
• Bereitstellen von Gestenfeedback mithilfe von Sound.

Teil 1 - Verbesserung des Realismus

Wichtige Konzepte

• Verräumlichung von Hologrammsounds.
• Schallquellen sollten an einer geeigneten Stelle auf dem Hologramm platziert werden.

Die geeignete Position für den Sound hängt vom Hologramm ab. Wenn das Hologramm beispielsweise von einem Menschen stammt, sollte sich die Schallquelle in der Nähe des Mundes und nicht in der Nähe der Füße befinden.

Anweisungen

Die folgenden Anweisungen fügen einen verräumlichten Klang an ein Hologramm an.

• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie P0LY aus.
• Klicken Sie im Bereich Inspektor in audioSource auf den Kreis neben AudioClip , und wählen Sie polyHover aus dem Popupfenster aus.
• Klicken Sie auf den Kreis neben Ausgabe , und wählen Sie im Popupfenster SoundEffects aus.

Project Decibel verwendet eine Unity AudioMixer-Komponente , um das Anpassen von Soundpegeln für Gruppen von Sounds zu ermöglichen. Durch die Gruppierung von Sounds auf diese Weise kann die Gesamtlautstärke unter Beibehaltung der relativen Lautstärke jedes Sounds angepasst werden.

• Erweitern Sie in AudioSourcedie Option 3D-Soundeinstellungen.
• Legen Sie Dopplerebene auf 0 fest.

Wenn Sie den Dopplerpegel auf 0 (null) festlegen, werden Durch Bewegung verursachte Änderungen der Neigung (entweder des Hologramms oder des Benutzers) deaktiviert. Ein klassisches Beispiel für Doppler ist ein schnell bewegendes Auto. Wenn sich das Auto einem stationären Hörer nähert, steigt die Neigung des Motors. Wenn er den Hörer durchläuft, sinkt die Tonhöhe mit der Entfernung.

Teil 2: Lenken des Anvisierens des Benutzers

Wichtige Konzepte

• Verwenden Sie Sound, um auf wichtige Hologramme aufmerksam zu machen.
• Die Ohren helfen, wohin die Augen schauen sollen.
• Das Gehirn hat einige gelernte Erwartungen.

Ein Beispiel für gelernte Erwartungen ist, dass Vögel im Allgemeinen über den Köpfen des Menschen stehen. Wenn ein Benutzer ein Vogelgeräusch hört, besteht seine erste Reaktion darin, nach oben zu suchen. Das Platzieren eines Vogels unter dem Benutzer kann dazu führen, dass er sich der richtigen Richtung des Geräuschs zeigt, aber das Hologramm nicht finden kann, basierend auf der Erwartung, nachschlagen zu müssen.

Anweisungen

Die folgenden Anweisungen ermöglichen es P0LY, sich hinter Ihnen zu verstecken, sodass Sie sound verwenden können, um das Hologramm zu finden.

• Wählen Sie im Bereich Hierarchie die Option Manager aus.
• Suchen Sie im Bereich Inspektor nach Speech Input Handler.
• Erweitern Sie in Speech Input Handler die Option Gehe ausblenden.
• Ändern Sie No Function in PolyActions.GoHide.

Teil 3: Gestenfeedback

Wichtige Konzepte

• Stellen Sie dem Benutzer eine positive Gestenbestätigung mithilfe von Sound bereit.
• Überfordern Sie den Benutzer nicht - zu laute Töne kommen in den Weg
• Subtile Sounds funktionieren am besten - überschatten Sie die Erfahrung nicht

Anweisungen

• Erweitern Sie im Bereich Hierarchie den Eintrag HologramCollection.
• Erweitern Sie EnergyHub, und wählen Sie Basis aus.
• Klicken Sie im Bereich Inspector (Inspektor ) auf Add Component (Komponente hinzufügen ), und fügen Sie den Gestik-Soundhandler hinzu.
• Klicken Sie in Gesture Sound Handler auf den Kreis neben Navigation Started Clip and Navigation Updated Clip (Navigation gestartet Clip) und Navigation Updated Clip (Navigation aktualisierter Clip), und wählen Sie DrehenKlicken aus dem Popupfenster für beide aus.
• Doppelklicken Sie auf "GestureSoundHandler", um in Visual Studio zu laden.

Der Gestik-Soundhandler führt die folgenden Aufgaben aus:

• Erstellen und konfigurieren Sie eine AudioSource.
• Platzieren Sie die AudioSource an der Position des entsprechenden GameObjects.
• Gibt den der Geste zugeordneten AudioClip wieder.

Erstellen und Bereitstellen

1. Wählen Sie in Unity Dateibuildeinstellungen >aus.
2. Klicken Sie auf Erstellen.
3. Klicken Sie auf den Ordner App .
4. Klicken Sie auf Ordner auswählen.

Überprüfen Sie, ob auf der Symbolleiste "Release", "x86" oder "x64" und "Remote device" (Remotegerät) angezeigt wird. Wenn dies nicht der Fall ist, ist dies die instance von Visual Studio. Möglicherweise müssen Sie die Projektmappe aus dem Ordner App erneut öffnen.

• Laden Sie die Projektdateien erneut, wenn Sie dazu aufgefordert werden.
• Stellen Sie wie zuvor über Visual Studio bereit.

Nach der Bereitstellung der Anwendung:

• Beobachten Sie, wie sich der Sound ändert, während Sie sich um P0LY bewegen.
• Sagen Sie "Gehe ausblenden" , damit P0LY an eine Position hinter Ihnen verschoben wird. Suchen Sie es anhand des Sounds.
• Blicken Sie auf die Basis des Energiehubs. Tippen und ziehen Sie nach links oder rechts, um das Hologramm zu drehen, und beachten Sie, wie der Klicksound die Geste bestätigt.

Hinweis: Es gibt einen Textbereich, der mit Ihnen versehen wird. Diese enthält die verfügbaren Sprachbefehle, die Sie während dieses Kurses verwenden können.

Kapitel 3 : Raumklang und Räumliche Zuordnung

Ziele

• Bestätigen Sie die Interaktion zwischen Hologrammen und der realen Welt mithilfe von Sound.
• Verdecken Sie Sound mithilfe der physischen Welt.

Teil 1 - Physische Weltinteraktion

Wichtige Konzepte

• Physische Objekte geben im Allgemeinen einen Klang aus, wenn sie auf eine Oberfläche oder ein anderes Objekt treffen.
• Sounds sollten kontextgerecht innerhalb der Erfahrung sein.

Wenn Sie z. B. eine Tasse auf einen Tisch setzen, sollte ein leiserer Klang als das Ablegen eines Findlings auf einem Stück Metall angezeigt werden.

Anweisungen

• Erweitern Sie im Bereich Hierarchie den Eintrag HologramCollection.
• Erweitern Sie EnergyHub, und wählen Sie Basis aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Tap To Place With Sound and Action hinzu.
• Tippen Sie auf Zum Platzieren mit Sound und Aktion:
  • Aktivieren Sie Übergeordnetes Element beim Tippen platzieren.
  • Legen Sie Platzierungssound auf Place fest.
  • Legen Sie Pickup Sound auf Pickup fest.
  • Drücken Sie das + in der unteren rechten Ecke unter On Pickup Action und On Placement Action. Ziehen Sie EnergyHub aus der Szene in die Felder Keine (Objekt).
    • Klicken Sie unter Bei Abholung aufKeine Funktion ->EnergyHubBase ->ResetAnimation.
    • Klicken Sie unter Bei Platzierungsaktion auf Keine Funktion ->EnergyHubBase ->OnSelect.

Teil 2 – Schallverdeckung

Wichtige Konzepte

• Sound, wie Licht, kann verdeckt werden.

Ein klassisches Beispiel ist ein Konzertsaal. Wenn ein Zuhörer außerhalb des Saals steht und die Tür geschlossen ist, klingt die Musik dumpf. Es gibt in der Regel auch eine Verringerung der Lautstärke. Wenn die Tür geöffnet wird, wird das gesamte Spektrum des Klanges in der tatsächlichen Lautstärke gehört. Hochfrequente Töne werden mehr absorbiert als niedrige Frequenzen.

Anweisungen

• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie P0LY aus.
• Klicken Sie im Bereich Inspector (Inspektor ) auf Add Component (Komponente hinzufügen ), und fügen Sie Audio emitter hinzu.

Die Audio Emitter-Klasse bietet die folgenden Features:

• Stellt alle Änderungen an der Lautstärke der AudioSource wieder her.
• Führt einen Physics.RaycastNonAlloc von der Position des Benutzers in Richtung des GameObject aus, an das audioEmitter angefügt ist.

Die RaycastNonAlloc-Methode wird als Leistungsoptimierung verwendet, um Zuordnungen und die Anzahl der zurückgegebenen Ergebnisse zu begrenzen.

• Ruft für jeden gefundenen IAudioInfluencer die ApplyEffect-Methode auf.
• Rufen Sie für jedes vorherige IAudioInfluencer , das nicht mehr gefunden wird, die RemoveEffect-Methode auf.

AudioEmitter aktualisiert auf menschlichen Zeitskalen und nicht pro Frame. Menschen bewegen sich in der Regel nicht schnell genug, damit der Effekt häufiger als jede Viertel- oder Halbe Sekunde aktualisiert werden muss. Hologramme, die sich schnell von einem Ort zu einem anderen teleportieren, können die Illusion brechen.

• Erweitern Sie im Bereich Hierarchie den Eintrag HologramCollection.
• Erweitern Sie EnergyHub , und wählen Sie BlobOutside aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Audio occluder hinzu.
• Legen Sie in Audio occluderCutoff Frequency auf 1500 fest.

Diese Einstellung beschränkt die AudioSource-Frequenzen auf 1500 Hz und niedriger.

• Legen Sie Volume Pass Through auf 0,9 fest.

Diese Einstellung reduziert die Lautstärke der AudioSource auf 90 % des aktuellen Pegels.

Audio Occluder implementiert IAudioInfluencer für Folgendes:

• Wenden Sie einen Okklusionseffekt mithilfe eines AudioLowPassFilters an, der an die von AudioSource verwaltete Kauf des AudioEmitters angefügt wird.
• Wendet die Lautstärkedämpfung auf die AudioSource an.
• Deaktiviert den Effekt, indem eine neutrale Cutoff-Häufigkeit festgelegt und der Filter deaktiviert wird.

Die als neutral verwendete Frequenz beträgt 22 kHz (22.000 Hz). Diese Frequenz wurde gewählt, weil sie über der nominalen maximalen Frequenz lag, die vom menschlichen Ohr gehört, was keine erkennbare Auswirkung auf den Klang machte.

• Wählen Sie im Bereich Hierarchie die Option SpatialMapping aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Audio occluder hinzu.
• Legen Sie in Audio occluderCutoff Frequency auf 750 fest.

Wenn sich mehrere Occluder im Pfad zwischen dem Benutzer und dem AudioEmitter befinden, wird die niedrigste Frequenz auf den Filter angewendet.

• Legen Sie Volume Pass Through auf 0,75 fest.

Wenn sich mehrere Occluder im Pfad zwischen dem Benutzer und dem AudioEmitter befinden, wird das durchlaufene Volume additiv angewendet.

• Wählen Sie im Bereich Hierarchie die Option Manager aus.
• Erweitern Sie im Bereich Inspector (Inspektor ) den Eintrag Speech Input Handler (Spracheingabehandler).
• Erweitern Sie in Speech Input Handler (Spracheingabehandler) go charge (Go Charge).
• Ändern Sie No Function in PolyActions.GoCharge.

• Erweitern Sie Hier kommen.
• Ändern Sie No Function in PolyActions.ComeBack.

Erstellen und Bereitstellen

• Erstellen Sie das Projekt wie zuvor in Unity, und stellen Sie es in Visual Studio bereit.

Nach der Bereitstellung der Anwendung:

• Sagen Sie "Go Charge" , um P0LY in den Energiehub einzugeben.

Beachten Sie die Änderung im Sound. Es sollte dumpf und etwas leiser klingen. Wenn Sie in der Lage sind, sich mit einer Wand oder einem anderen Objekt zwischen Ihnen und dem Energy Hub zu positionieren, sollten Sie aufgrund der Verdeckung durch die reale Welt eine weitere Geräuschverdämmung bemerken.

• Sagen Sie "Come Here" , damit P0LY den Energiehub verlässt und sich vor Ihnen positioniert.

Die Soundverdeckung wird entfernt, sobald P0LY den Energy Hub verlässt. Wenn Sie immer noch Okklusion hören, wird P0LY möglicherweise von der realen Welt verdeckt. Versuchen Sie, sich zu bewegen, um sicherzustellen, dass Sie eine klare Sicht auf P0LY haben.

Teil 3 : Raummodelle

Wichtige Konzepte

• Die Größe des Raums stellt unterschwellige Warteschlangen bereit, die zur Soundlokalisierung beitragen.
• Raummodelle werden pro AudioSource festgelegt.
• Das MixedRealityToolkit für Unity stellt Code zum Festlegen des Raummodells bereit.
• Wählen Sie für Mixed Reality Umgebungen das Raummodell aus, das am besten zum realen Raum passt.

Wenn Sie ein Virtual Reality-Szenario erstellen, wählen Sie das Raummodell aus, das am besten zur virtuellen Umgebung passt.

Kapitel 4 : Sounddesign

Ziele

• Grundlegendes zu Überlegungen für ein effektives Sounddesign.
• Lernen Sie Mischtechniken und Richtlinien kennen.

Teil 1 : Sound- und Erlebnisdesign

In diesem Abschnitt werden wichtige Überlegungen und Richtlinien zum Sound- und Erfahrungsentwurf erläutert.

Normalisieren aller Sounds

Dadurch wird die Notwendigkeit eines speziellen Fallcodes zum Anpassen der Lautstärkepegel pro Sound vermieden, was zeitaufwändig sein kann und die Möglichkeit zum einfachen Aktualisieren von Audiodateien einschränkt.

Entwerfen für eine nicht angebundene Oberfläche

HoloLens ist ein vollständig eigenständiger, nicht angebundener holografischer Computer. Ihre Benutzer können Ihre Erfahrungen während der Bewegung nutzen. Stellen Sie sicher, dass Sie Ihre Audiomischung testen, indem Sie herumlaufen.

Ausgeben von Sound von logischen Standorten auf Ihren Hologrammen

In der realen Welt bellt ein Hund nicht vom Schwanz und die Stimme eines Menschen kommt nicht von seinen Füßen. Vermeiden Sie es, dass Ihre Sounds von unerwarteten Teilen Ihrer Hologramme ausgegeben werden.

Bei kleinen Hologrammen ist es sinnvoll, schallend vom Zentrum der Geometrie aus emittieren zu lassen.

Vertraute Sounds sind am meisten lokalisierbar

Die menschliche Stimme und Musik sind einfach zu lokalisieren. Wenn jemand Ihren Namen aufruft, können Sie genau bestimmen, aus welcher Richtung die Stimme stammt und wie weit sie entfernt ist. Kurze, unbekannte Sounds sind schwieriger zu lokalisieren.

Beachten Sie die Erwartungen der Benutzer

Die Lebenserfahrung spielt eine Rolle bei der Fähigkeit, den Ort eines Sounds zu identifizieren, und die menschliche Stimme ist einfach zu lokalisieren. Es ist wichtig, die gelernten Erwartungen Ihrer Benutzer beim Platzieren ihrer Sounds zu kennen.

Wenn jemand beispielsweise einen Vogelgesang hört, sieht er in der Regel nach, da Vögel in der Regel über der Sichtlinie stehen (fliegend oder in einem Baum). Es ist nicht ungewöhnlich, dass ein Benutzer sich in die richtige Richtung eines Sounds dreht, aber in die falsche vertikale Richtung schaut und verwirrt oder frustriert wird, wenn er das Hologramm nicht finden kann.

Vermeiden von ausgeblendeten Emittern

In der realen Welt können wir, wenn wir einen Ton hören, im Allgemeinen das Objekt identifizieren, das den Ton ausgibt. Dies sollte auch für Ihre Erfahrungen gelten. Es kann für Benutzer sehr beunruhigend sein, einen Sound zu hören, zu wissen, woher der Ton stammt, und ein Objekt nicht sehen zu können.

Es gibt einige Ausnahmen von dieser Richtlinie. Umgebungsgeräusche wie Grillen in einem Feld müssen beispielsweise nicht sichtbar sein. Die Lebenserfahrung gibt uns Vertrautheit mit der Quelle dieser Klänge, ohne sie sehen zu müssen.

Teil 2 - Soundmischung

Ziel ihrer Mischung für 70 % Lautstärke auf der HoloLens

Mixed Reality Erfahrungen ermöglichen es Hologramme in der realen Welt zu sehen. Sie sollten auch reale Klänge hören lassen. Ein Lautstärkeziel von 70 % ermöglicht es dem Benutzer, die Welt um sich herum zusammen mit dem Sound Ihrer Erfahrung zu hören.

HoloLens mit einer Lautstärke von 100 % sollte externe Sounds übertönen

Eine Volumeebene von 100 % entspricht einer Virtual Reality-Erfahrung. Visuell wird der Benutzer in eine andere Welt transportiert. Das gleiche sollte hörbar gelten.

Verwenden von Unity AudioMixer zum Anpassen von Soundkategorien

Beim Entwerfen Ihrer Mischung ist es häufig hilfreich, Soundkategorien zu erstellen und die Möglichkeit zu haben, deren Lautstärke als Einheit zu erhöhen oder zu verringern. Dies behält die relativen Pegel jedes Sounds bei und ermöglicht schnelle und einfache Änderungen an der Gesamtmischung. Zu den gängigen Kategorien gehören; Soundeffekte, Ambiente, Voice Overs und Hintergrundmusik.

Mischen von Sounds basierend auf dem Anvisieren des Benutzers

Es kann oft nützlich sein, den Soundmix in Ihrer Erfahrung basierend darauf zu ändern, wo ein Benutzer sucht (oder nicht). Eine häufige Verwendung dieser Technik besteht darin, die Lautstärke für Hologramme außerhalb des Hologramms zu reduzieren, um es dem Benutzer zu erleichtern, sich auf die Informationen vor ihnen zu konzentrieren. Eine weitere Verwendung besteht darin, die Lautstärke eines Sounds zu erhöhen, um die Aufmerksamkeit des Benutzers auf ein wichtiges Ereignis zu lenken.

Erstellen Ihrer Mischung

Wenn Sie Ihre Mischung erstellen, wird empfohlen, mit dem Hintergrundaudio Ihrer Erfahrung zu beginnen und Ebenen basierend auf der Wichtigkeit hinzuzufügen. Häufig führt dies dazu, dass jede Ebene lauter ist als die vorherige.

Stellen Sie sich Ihre Mischung als invertierten Trichter vor. Mit den am wenigsten wichtigen (und im Allgemeinen leisesten Geräuschen) am unteren Rand empfiehlt es sich, die Mischung ähnlich wie im folgenden Diagramm zu strukturieren.

Voice-Overs sind ein interessantes Szenario. Basierend auf der Erfahrung, die Sie erstellen, möchten Sie möglicherweise einen Stereosound (nicht lokalisiert) oder Ihre Voice-Overs verräumen. Zwei von Microsoft veröffentlichte Erfahrungen veranschaulichen hervorragende Beispiele für jedes Szenario.

HoloTour verwendet eine Stereostimme. Wenn die Sprachausgabe die angezeigte Position beschreibt, ist der Sound konsistent und variiert nicht je nach Position des Benutzers. Dadurch kann die Sprachausgabe die Szene beschreiben, ohne die verräumlichten Geräusche der Umgebung zu entfernen.

Fragmente verwenden eine verräumlichte Stimme in Form eines Detektivs. Die Stimme des Detektivs wird verwendet, um die Aufmerksamkeit des Benutzers auf einen wichtigen Hinweis zu lenken, als ob ein tatsächlicher Mensch im Raum wäre. Dies ermöglicht ein noch größeres Gefühl des Eintauchens in die Erfahrung der Lösung des Geheimnisses.

Teil 3 – Leistung

CPU-Auslastung

Bei Verwendung von Spatial Sound verbrauchen 10 bis 12 Emitter ungefähr 12 % der CPU.

Streamen langer Audiodateien

Audiodaten können groß sein, insbesondere bei gängigen Abtastraten (44,1 und 48 kHz). Eine allgemeine Regel ist, dass Audiodateien, die länger als 5 bis 10 Sekunden sind, gestreamt werden sollten, um die Speicherauslastung der Anwendung zu reduzieren.

In Unity können Sie eine Audiodatei für das Streaming in den Importeinstellungen der Datei markieren.

Kapitel 5 - Spezialeffekte

Ziele

• Fügen Sie "Magic Windows" Tiefe hinzu.
• Bringen Sie den Benutzer in die virtuelle Welt.

Magic Windows

Wichtige Konzepte

• Das Erstellen von Ansichten in einer verborgenen Welt ist visuell überzeugend.
• Verbessern Sie den Realismus, indem Sie Audioeffekte hinzufügen, wenn sich ein Hologramm oder der Benutzer in der Nähe der verborgenen Welt befindet.

Anweisungen

• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie Underworld aus.
• Erweitern Sie Unterwelt , und wählen Sie VoiceSource aus.
• Klicken Sie im Bereich Inspector (Inspektor ) auf Add Component (Komponente hinzufügen ), und fügen Sie User Voice Effect hinzu.

VoiceSource wird eine AudioSource-Komponente hinzugefügt.

• Legen Sie in AudioSourceDie Ausgabe auf UserVoice (Mixer) fest.
• Aktivieren Sie das Kontrollkästchen Verräumlichung .
• Ziehen Sie den Schieberegler Spatial Blend ganz in 3D, oder geben Sie 1 in das Bearbeitungsfeld ein.
• Erweitern Sie 3D-Soundeinstellungen.
• Legen Sie Dopplerebene auf 0 fest.
• Legen Sie unter User Voice Effect (Benutzerstimmeffekt) parent object (Übergeordnetes Objekt ) auf die Unterwelt aus der Szene fest.
• Legen Sie Max. Abstand auf 1 fest.

Durch Festlegen des maximalen Abstands wird der Benutzerstimmeeffekt informiert, wie nah der Benutzer am übergeordneten Objekt sein muss, bevor der Effekt aktiviert wird.

• Erweitern Sie in User Voice Effectdie Option Chorusparameter.
• Legen Sie Tiefe auf 0,1 fest.
• Legen Sie Tap 1 Volume, Tap 2 Volume und Tap 3 Volume auf 0,8 fest.
• Legen Sie die Originallautstärke auf 0,5 fest.

Mit den vorherigen Einstellungen werden die Parameter des Unity AudioChorusFilters konfiguriert, mit dem die Stimme des Benutzers reichhaltig wird.

• Erweitern Sie unter Benutzerstimmeffektdie Option Echoparameter.
• Verzögerung auf300 festlegen
• Legen Sie Das Verfallsverhältnis auf 0,2 fest.
• Legen Sie die Originallautstärke auf 0 fest.

Die vorherigen Einstellungen konfigurieren die Parameter des Unity AudioEchoFilters , der verwendet wird, um die Stimme des Benutzers zu echoen.

Das User Voice Effect-Skript ist für Folgendes verantwortlich:

• Messen des Abstands zwischen dem Benutzer und dem GameObject , an das das Skript angefügt ist.
• Bestimmen, ob der Benutzer dem GameObject zugewandt ist.

Der Benutzer muss unabhängig von der Entfernung mit dem GameObject konfrontiert sein, damit der Effekt aktiviert wird.

• Anwenden und Konfigurieren eines AudioChorusFilters und eines AudioEchoFilters auf die AudioSource.
• Deaktivieren sie den Effekt, indem Sie die Filter deaktivieren.

Der Benutzerstimmeffekt verwendet die Komponente Mic Stream Selector aus dem MixedRealityToolkit für Unity, um den hochwertigen Sprachdatenstrom auszuwählen und an das Audiosystem von Unity weiterzuleiten.

• Wählen Sie im Bereich Hierarchie die Option Manager aus.
• Erweitern Sie im Bereich Inspector (Inspektor ) den Eintrag Speech Input Handler (Spracheingabehandler).
• Erweitern Sie unter Speech Input Handler (Spracheingabehandler) die Option Show Underworld (Unterwelt anzeigen).
• Ändern Sie No Function in UnderworldBase.OnEnable.

• Erweitern Sie Unterwelt ausblenden.
• Ändern Sie No Function in UnderworldBase.OnDisable.

Erstellen und Bereitstellen

• Erstellen Sie das Projekt wie zuvor in Unity, und stellen Sie es in Visual Studio bereit.

Nach der Bereitstellung der Anwendung:

• Stellen Sie sich einer Oberfläche (Wand, Boden, Tisch) vor, und sagen Sie "Show Underworld".

Die Unterwelt wird gezeigt und alle anderen Hologramme sind ausgeblendet. Wenn Sie die Unterwelt nicht sehen, stellen Sie sicher, dass Sie eine reale Oberfläche haben.

• Nähern Sie sich innerhalb von 1 Meter des Unterwelt-Hologramms und beginnen Sie zu sprechen.

Es gibt jetzt Audioeffekte, die auf Ihre Stimme angewendet werden!

• Wenden Sie sich von der Unterwelt ab und beachten Sie, dass der Effekt nicht mehr angewendet wird.
• Sagen Sie "Hide Underworld" , um die Unterwelt zu verbergen.

Die Unterwelt ist verborgen und die zuvor verborgenen Hologramme werden wieder angezeigt.

Das Ende

Herzlichen Glückwunsch! Sie haben MR Spatial 220: Spatial sound abgeschlossen.

Hören Sie der Welt zu und erwecken Sie Ihre Erfahrungen mit Klang zum Leben!