HoloLens (1. Generation) Spatial 220: Raumklang

Wichtig

Die Tutorials der Mixed Reality Academy wurden unter Berücksichtigung von HoloLens (1. Generation), Unity 2017 und Mixed Reality Immersive Headsets entwickelt. Daher halten wir es für wichtig, diese Tutorials für Entwickler verfügbar zu halten, die noch nach Anleitung beim Entwickeln für diese Geräte suchen. Diese Tutorials werden nicht mit den neuesten Toolsets oder Interaktionen aktualisiert, die für HoloLens 2 verwendet werden, und sind möglicherweise nicht mit neueren Versionen von Unity kompatibel. Sie werden gewartet, um weiterhin auf den unterstützten Geräten zu funktionieren. Es wurde eine neue Reihe von Tutorials für HoloLens 2 veröffentlicht.

Raumklang haucht Hologrammen Leben ein und verleiht ihnen Präsenz in unserer Welt. Hologramme bestehen aus Licht und Ton, und wenn Sie Ihre Hologramme aus den Augen verlieren, kann raumbezogener Sound Ihnen helfen, sie zu finden. Raumklang ist nicht wie der typische Sound, den Sie auf dem Radio hören würden, es ist Sound, der im 3D-Raum positioniert ist. Mit Raumklang können Sie Hologramme so klingen lassen, als seien sie hinter Ihnen, neben Ihnen oder sogar auf dem Kopf! In diesem Kurs werden Sie:

• Konfigurieren Sie Ihre Entwicklungsumgebung für die Verwendung von Microsoft Spatial Sound.
• Verwenden Sie Raumklang, um Interaktionen zu verbessern.
• Verwenden Sie Raumklang in Verbindung mit räumlicher Zuordnung.
• Grundlegendes zu Sounddesign und bewährten Methoden für das Mischen.
• Verwenden Sie Sound, um Spezialeffekte zu verbessern und den Benutzer in die Mixed Reality Welt zu bringen.

Geräteunterstützung

Kurs	HoloLens	Immersive Headsets
MR räumlich 220: Raumklang	✔️	✔️

Vorbereitung

Voraussetzungen

• Ein Windows 10 PC, der mit den richtigen Installierten Tools konfiguriert ist.
• Einige grundlegende C#-Programmierfunktionen.
• Sie sollten MR-Grundlagen 101 abgeschlossen haben.
• Ein HoloLens-Gerät , das für die Entwicklung konfiguriert ist.

Projektdateien

• Laden Sie die für das Projekt erforderlichen Dateien herunter. Erfordert Unity 2017.2 oder höher.
  • Wenn Sie weiterhin Unity 5.6-Unterstützung benötigen, verwenden Sie dieses Release. Dieses Release ist möglicherweise nicht mehr auf dem neuesten Stand.
  • Wenn Sie weiterhin Unterstützung für Unity 5.5 benötigen, verwenden Sie dieses Release. Dieses Release ist möglicherweise nicht mehr auf dem neuesten Stand.
  • Wenn Sie weiterhin Unterstützung für Unity 5.4 benötigen, verwenden Sie dieses Release. Dieses Release ist möglicherweise nicht mehr auf dem neuesten Stand.
• Heben Sie die Archivierung der Dateien auf Ihrem Desktop oder einem anderen leicht erreichbaren Speicherort auf.

Hinweis

Wenn Sie den Quellcode vor dem Herunterladen durchsuchen möchten, ist er auf GitHub verfügbar.

Errata und Notizen

• "Nur eigenen Code aktivieren" muss in Visual Studio unter Tools-Options-Debugging>> deaktiviert (deaktiviert) werden, um Haltepunkte im Code zu erreichen.

Kapitel 1: Unity-Setup

Ziele

• Ändern Sie die Soundkonfiguration von Unity, um Microsoft Spatial Sound zu verwenden.
• Fügen Sie einem Objekt in Unity 3D-Sound hinzu.

Anweisungen

• Starten Sie Unity.
• Klicken Sie auf Öffnen.
• Navigieren Sie zu Ihrem Desktop, und suchen Sie den Ordner, den Sie zuvor nicht archiviert haben.
• Klicken Sie auf den Ordner Starting\Decibel , und drücken Sie dann die Schaltfläche Ordner auswählen .
• Warten Sie, bis das Projekt in Unity geladen wurde.
• Öffnen Sie im ProjektbereichScenes\Decibel.unity.
• Erweitern Sie im HierarchiebereichhologramCollection , und wählen Sie P0LY aus.
• Erweitern Sie im Inspektor audioSource , und beachten Sie, dass kein Kontrollkästchen Räumliche Größe vorhanden ist.

Standardmäßig lädt Unity kein Spatializer-Plug-In. In den folgenden Schritten wird räumlicher Sound im Projekt aktiviert.

• Navigieren Sie im oberen Unity-Menü zu Projekteinstellungen > audio bearbeiten>.
• Suchen Sie die Dropdownliste Spatializer-Plug-In , und wählen Sie MS HRTF Spatializer aus.
• Wählen Sie im Bereich Hierarchie die Option HologramCollection > P0LY aus.
• Suchen Sie im Bereich Inspektor die Komponente Audioquelle .
• Aktivieren Sie das Kontrollkästchen Spatialize (Verräumlichen).
• Ziehen Sie den Schieberegler Spatial Blend ganz in 3D, oder geben Sie 1 in das Bearbeitungsfeld ein.

Wir erstellen nun das Projekt in Unity und konfigurieren die Projektmappe in Visual Studio.

1. Wählen Sie in Unity Dateibuildeinstellungen >aus.
2. Klicken Sie auf Offene Szenen hinzufügen , um die Szene hinzuzufügen.
3. Wählen Sie in der Liste PlattformUniverselle Windows-Plattform aus, und klicken Sie auf Plattform wechseln.
4. Wenn Sie speziell für HoloLens entwickeln, legen Sie Zielgerät auf HoloLens fest. Andernfalls behalten Sie die Option "Beliebiges Gerät" bei.
5. Stellen Sie sicher , dass Buildtyp auf D3D und SDK auf Latest installed (dies sollte SDK 16299 oder höher sein) festgelegt ist.
6. Klicken Sie auf Erstellen.
7. Erstellen Sie einen neuen Ordner mit dem Namen "App".
8. Klicken Sie auf den Ordner App .
9. Klicken Sie auf Ordner auswählen.

Wenn Unity fertig ist, wird ein Explorer Fenster angezeigt.

1. Öffnen Sie den Ordner App .
2. Öffnen Sie die Visual Studio-Projektmappe von Decibel.

Bei der Bereitstellung in HoloLens:

1. Ändern Sie mithilfe der oberen Symbolleiste in Visual Studio das Ziel von Debuggen in Release und von ARM in x86.
2. Klicken Sie auf den Dropdownpfeil neben der Schaltfläche Lokaler Computer, und wählen Sie Remotecomputer aus.
3. Geben Sie die IP-Adresse Ihres HoloLens-Geräts ein, und legen Sie den Authentifizierungsmodus auf Universal (Unverschlüsseltes Protokoll) fest. Klicken Sie auf Auswählen. Wenn Sie Ihre Geräte-IP-Adresse nicht kennen, suchen Sie unter Einstellungen > Netzwerk & Internet > Erweiterte Optionen.
4. Klicken Sie in der oberen Menüleiste auf Debuggen –> Ohne Debuggen starten , oder drücken Sie STRG+F5. Wenn sie zum ersten Mal auf Ihrem Gerät bereitgestellt werden, müssen Sie es mit Visual Studio koppeln.

Bei der Bereitstellung auf einem immersiven Headset:

1. Ändern Sie mithilfe der oberen Symbolleiste in Visual Studio das Ziel von Debuggen in Release und von ARM in x64.
2. Stellen Sie sicher, dass das Bereitstellungsziel auf Lokaler Computer festgelegt ist.
3. Klicken Sie in der oberen Menüleiste auf Debuggen –> Ohne Debuggen starten , oder drücken Sie STRG+F5.

Kapitel 2 : Raumklang und Interaktion

Ziele

• Verbessern Sie den Hologrammrealismus mithilfe von Sound.
• Richten Sie den Blick des Benutzers mithilfe von Sound.
• Geben Sie Gestenfeedback mithilfe von Sound.

Teil 1 : Verbesserung des Realismus

Wichtige Konzepte

• Verräumen Sie Hologrammgeräusche.
• Schallquellen sollten an einer geeigneten Stelle auf dem Hologramm platziert werden.

Der geeignete Ort für den Sound hängt vom Hologramm ab. Wenn das Hologramm beispielsweise von einem Menschen ist, sollte sich die Schallquelle in der Nähe des Mundes und nicht der Füße befinden.

Anweisungen

Mit den folgenden Anweisungen wird ein räumlicher Klang an ein Hologramm angefügt.

• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie P0LY aus.
• Klicken Sie im Bereich Inspektor in der AudioSource auf den Kreis neben AudioClip , und wählen Sie im Popupfenster PolyHover aus.
• Klicken Sie auf den Kreis neben Ausgabe , und wählen Sie im Popupfenster SoundEffects aus.

Project Decibel verwendet eine Unity AudioMixer-Komponente , um das Anpassen von Soundpegeln für Soundgruppen zu ermöglichen. Durch die Gruppierung von Sounds auf diese Weise kann die Gesamtlautstärke unter Beibehaltung der relativen Lautstärke jedes Sounds angepasst werden.

• Erweitern Sie in AudioSourcedie Option 3D-Soundeinstellungen.
• Legen Sie Dopplerebene auf 0 fest.

Wenn Sie den Dopplerpegel auf 0 festlegen, werden Änderungen in der Tonhöhe deaktiviert, die durch Bewegung (entweder des Hologramms oder des Benutzers) verursacht werden. Ein klassisches Beispiel für Doppler ist ein schnell fahrendes Auto. Wenn sich das Auto einem stationären Hörer nähert, steigt der Neigungswinkel des Motors. Wenn es den Listener passiert, sinkt die Tonhöhe mit der Entfernung.

Teil 2 : Lenken des Blicks des Benutzers

Wichtige Konzepte

• Verwenden Sie Sound, um auf wichtige Hologramme aufmerksam zu machen.
• Die Ohren helfen, wohin die Augen schauen sollen.
• Das Gehirn hat einige gelernte Erwartungen.

Ein Beispiel für gelernte Erwartungen ist, dass Vögel im Allgemeinen über den Köpfen des Menschen stehen. Wenn ein Benutzer ein Vogelgeräusch hört, besteht seine erste Reaktion darin, nach oben zu suchen. Das Platzieren eines Vogels unter dem Benutzer kann dazu führen, dass er die richtige Richtung des Klangs sieht, aber das Hologramm nicht finden kann, basierend auf der Erwartung, nach oben suchen zu müssen.

Anweisungen

Die folgenden Anweisungen ermöglichen es P0LY, sich hinter Ihnen zu verstecken, sodass Sie sound verwenden können, um das Hologramm zu finden.

• Wählen Sie im Bereich Hierarchiedie Option Manager aus.
• Suchen Sie im Bereich Inspektor nach Spracheingabehandler.
• Erweitern Sie im Spracheingabehandlerden Eintrag Ausblenden.
• Ändern Sie Keine Funktion in PolyActions.GoHide.

Teil 3 : Gestenfeedback

Wichtige Konzepte

• Bereitstellen einer positiven Gestenbestätigung durch Sound
• Den Benutzer nicht überfordern – übermäßig laute Geräusche kommen in die Quere
• Subtile Sounds funktionieren am besten - nicht überschatten Sie die Erfahrung

Anweisungen

• Erweitern Sie im HierarchiebereichHologramCollection.
• Erweitern Sie EnergyHub, und wählen Sie Basis aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie den Gestensoundhandler hinzu.
• Klicken Sie im Gesten-Soundhandler auf den Kreis neben Navigation gestarteter Clip und Aktualisierter Navigationsclip , und wählen Sie RotierenKlicken sie im Popupfenster für beide aus.
• Doppelklicken Sie auf "GestureSoundHandler", um in Visual Studio zu laden.

Der Gesten-Soundhandler führt die folgenden Aufgaben aus:

• Erstellen und konfigurieren Sie eine AudioSource.
• Platzieren Sie die AudioSource an der Position des entsprechenden GameObject.
• Gibt den AudioClip ab, der der Geste zugeordnet ist.

Erstellen und Bereitstellen

1. Wählen Sie in Unity Dateibuildeinstellungen >aus.
2. Klicken Sie auf Erstellen.
3. Klicken Sie mit einem Klick auf den Ordner App .
4. Drücken Sie Ordner auswählen.

Überprüfen Sie, ob auf der Symbolleiste "Release", "x86" oder "x64" und "Remotegerät" steht. Andernfalls ist dies die codierende instance von Visual Studio. Möglicherweise müssen Sie die Projektmappe im Ordner App erneut öffnen.

• Wenn Sie dazu aufgefordert werden, laden Sie die Projektdateien neu.
• Stellen Sie wie zuvor in Visual Studio bereit.

Nach der Bereitstellung der Anwendung:

• Beobachten Sie, wie sich der Sound ändert, während Sie sich um P0LY bewegen.
• Sagen Sie "Gehe ausblenden" , um P0LY an einen Speicherort hinter Ihnen zu verschieben. Suchen Sie es nach dem Sound.
• Blicken Sie auf die Basis des Energiehubs. Tippen und ziehen Sie nach links oder rechts, um das Hologramm zu drehen, und sehen Sie, wie der Klickton die Geste bestätigt.

Hinweis: Es gibt einen Textbereich, der mit Ihnen versehen wird. Dies enthält die verfügbaren Sprachbefehle, die Sie während dieses Kurses verwenden können.

Kapitel 3: Raumklang und Räumliche Zuordnung

Ziele

• Bestätigen Sie die Interaktion zwischen Hologrammen und der realen Welt mithilfe von Sound.
• Verdecken Sie Sound mithilfe der physischen Welt.

Teil 1 : Physische Weltinteraktion

Wichtige Konzepte

• Physische Objekte geben in der Regel einen Ton an, wenn sie auf eine Oberfläche oder ein anderes Objekt stoßen.
• Sounds sollten kontextgerecht innerhalb der Benutzeroberfläche sein.

Wenn Sie beispielsweise eine Tasse auf einen Tisch stellen, sollte ein leiserer Klang als ein Felsblock auf ein Stück Metall fallen.

Anweisungen

• Erweitern Sie im HierarchiebereichHologramCollection.
• Erweitern Sie EnergyHub, und wählen Sie Basis aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Tap To Place With Sound and Action hinzu.
• Tippen Sie in Auf Platz mit Sound und Aktion:
  • Aktivieren Sie "Übergeordnetes Element beim Tippen platzieren".
  • Legen Sie Platzierungssound auf Place fest.
  • Legen Sie Pickup Sound auf Pickup fest.
  • Drücken Sie rechts unten unter "On Pickup Action" und " On Placement"-Aktion das + . Ziehen Sie EnergyHub aus der Szene in die Felder Keine (Objekt).
    • Klicken Sie unter Bei Abholungsaktion auf Keine Funktion ->EnergyHubBase ->ResetAnimation.
    • Klicken Sie unter Bei Platzierungsaktion auf Keine Funktion ->EnergyHubBase ->OnSelect.

Teil 2 : Sound occlusion

Wichtige Konzepte

• Sound, wie Licht, kann verworren werden.

Ein klassisches Beispiel ist ein Konzertsaal. Wenn ein Zuhörer außerhalb des Saals steht und die Tür geschlossen ist, klingt die Musik dumpf. Es gibt in der Regel auch eine Verringerung der Lautstärke. Wenn die Tür geöffnet wird, wird das gesamte Spektrum des Klangs in der tatsächlichen Lautstärke zu hören. Hochfrequente Klänge werden in der Regel mehr absorbiert als niedrige Frequenzen.

Anweisungen

• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie P0LY aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Audio-Emitter hinzu.

Die Audio-Emitter-Klasse bietet die folgenden Features:

• Stellt alle Änderungen am Volume der AudioSource wieder her.
• Führt einen Physics.RaycastNonAlloc von der Position des Benutzers in Richtung des GameObject aus, an das der AudioEmitter angefügt ist.

Die RaycastNonAlloc-Methode wird als Leistungsoptimierung verwendet, um Zuordnungen sowie die Anzahl der zurückgegebenen Ergebnisse zu begrenzen.

• Ruft für jeden gefundenen IAudioInfluencer die ApplyEffect-Methode auf.
• Rufen Sie für jeden vorherigen IAudioInfluencer , der nicht mehr gefunden wird, die RemoveEffect-Methode auf.

Beachten Sie, dass AudioEmitter auf menschlichen Zeitskalen aktualisiert wird, und zwar nicht pro Frame. Dies geschieht, weil sich Menschen in der Regel nicht schnell genug bewegen, damit der Effekt häufiger als jede Viertel- oder Halbe Sekunde aktualisiert werden muss. Hologramme, die schnell von einem Ort zu einem anderen teleportieren, können die Illusion brechen.

• Erweitern Sie im HierarchiebereichhologramCollection.
• Erweitern Sie EnergyHub , und wählen Sie BlobOutside aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Audio occluder hinzu.
• Legen Sie in Audio occluderCutoff Frequency auf 1500 fest.

Diese Einstellung beschränkt die AudioSource-Frequenzen auf 1500 Hz und niedriger.

• Legen Sie Volume Pass Through auf 0,9 fest.

Diese Einstellung reduziert die Lautstärke der AudioSource auf 90 % der aktuellen Ebene.

Audio Occluder implementiert IAudioInfluencer für Folgendes:

• Wenden Sie einen Okklusionseffekt mit einem AudioLowPassFilter an, der an die von AudioSource verwaltete AudioEmitter-Instanz angefügt wird.
• Wendet die Lautstärkedämpfung auf die AudioSource an.
• Deaktiviert den Effekt, indem eine neutrale Trennfrequenz festgelegt und der Filter deaktiviert wird.

Die frequenzneutrale Frequenz beträgt 22 kHz (22000 Hz). Diese Frequenz wurde gewählt, da sie über der nominalen maximalen Frequenz lag, die vom menschlichen Ohr gehört werden kann, was keine erkennbare Auswirkung auf den Klang hat.

• Wählen Sie im Bereich Hierarchie die Option SpatialMapping aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie Audio occluder hinzu.
• Legen Sie in Audio occluderCutoff Frequency auf 750 fest.

Wenn sich mehrere Occluder im Pfad zwischen dem Benutzer und dem AudioEmitter befinden, wird die niedrigste Häufigkeit auf den Filter angewendet.

• Legen Sie Volume PassThrough auf 0,75 fest.

Wenn sich mehrere Occluder im Pfad zwischen dem Benutzer und dem AudioEmitter befinden, wird der Volumedurchlauf additiv angewendet.

• Wählen Sie im Bereich Hierarchie die Option Manager aus.
• Erweitern Sie im Bereich Inspektor den Eintrag Spracheingabehandler.
• Erweitern Sie im Spracheingabehandlerdie Option Go Charge.
• Ändern Sie No Function in PolyActions.GoCharge.

• Erweitern Sie Hier kommen.
• Ändern Sie No Function in PolyActions.ComeBack.

Erstellen und Bereitstellen

• Erstellen Sie wie zuvor das Projekt in Unity, und stellen Sie es in Visual Studio bereit.

Nach der Bereitstellung der Anwendung:

• Sagen Sie "Go Charge" , damit P0LY den Energiehub eingibt.

Beachten Sie die Änderung des Sounds. Es sollte gdämpfer und etwas leiser klingen. Wenn Sie sich mit einer Wand oder einem anderen Objekt zwischen Ihnen und dem Energy Hub positionieren können, sollten Sie aufgrund der Okklusion durch die reale Welt eine weitere Erstickung des Klangs bemerken.

• Sagen Sie "Come Here" , damit P0LY den Energy Hub verlassen und sich vor Ihnen positionieren soll.

Beachten Sie, dass die Soundverdeckung entfernt wird, sobald P0LY den Energy Hub verlässt. Wenn Sie noch Okklusion hören, kann P0LY von der realen Welt verdeckt werden. Versuchen Sie, sich zu bewegen, um sicherzustellen, dass Sie eine klare Sichtlinie zu P0LY haben.

Teil 3 : Raummodelle

Wichtige Konzepte

• Die Größe des Raums bietet unterschwellige Warteschlangen, die zu einer soliden Lokalisierung beitragen.
• Raummodelle werden pro AudioSource festgelegt.
• Das MixedRealityToolkit für Unity stellt Code zum Festlegen des Raummodells bereit.
• Wählen Sie für Mixed Reality Erfahrungen das Raummodell aus, das am besten zum realen Raum passt.

Wenn Sie ein Virtual Reality-Szenario erstellen, wählen Sie das Raummodell aus, das am besten zur virtuellen Umgebung passt.

Kapitel 4 : Sounddesign

Ziele

• Grundlegendes zu Überlegungen für einen effektiven Soundentwurf.
• Lernen Sie Mischtechniken und Richtlinien kennen.

Teil 1 : Sound- und Erlebnisdesign

In diesem Abschnitt werden wichtige Überlegungen und Richtlinien zum Sound- und Erfahrungsentwurf erläutert.

Normalisieren aller Sounds

Dadurch wird die Notwendigkeit eines speziellen Case-Codes zum Anpassen der Lautstärke pro Sound vermieden, was zeitaufwändig sein kann und die Möglichkeit zum einfachen Aktualisieren von Sounddateien einschränkt.

Entwerfen einer nicht angebundenen Benutzeroberfläche

HoloLens ist ein vollständig eigenständiger, nicht angebundener holografischer Computer. Ihre Benutzer können und werden Ihre Erfahrungen während der Bewegung nutzen. Stellen Sie sicher, dass Sie Ihre Audiomischung testen, indem Sie herumlaufen.

Ausgeben von Sound von logischen Positionen auf Ihren Hologrammen

In der realen Welt bellt ein Hund nicht aus seinem Schwanz und die Stimme eines Menschen kommt nicht von seinen Füßen. Vermeiden Sie es, dass Ihre Sounds von unerwarteten Teilen Ihrer Hologramme ausgegeben werden.

Bei kleinen Hologrammen ist es sinnvoll, Schall aus der Mitte der Geometrie auszustrahlen.

Vertraute Sounds sind am meisten lokalisierbar

Die menschliche Stimme und Musik sind sehr leicht zu lokalisieren. Wenn jemand Ihren Namen nennt, können Sie sehr genau bestimmen, aus welcher Richtung die Stimme kam und von wie weit weg. Kurze, unbekannte Sounds sind schwieriger zu lokalisieren.

Beachten Sie die Erwartungen der Benutzer

Die Lebenserfahrung spielt eine Rolle in unserer Fähigkeit, den Ort eines Sounds zu identifizieren. Dies ist ein Grund, warum die menschliche Stimme besonders leicht zu lokalisieren ist. Es ist wichtig, dass Sie sich der erlernten Erwartungen Ihrer Benutzer bewusst sind, wenn Sie Ihre Sounds platzieren.

Wenn beispielsweise jemand einen Vogelgesang hört, schauen sie in der Regel nach, da Vögel in der Regel über der Sichtlinie sind (fliegend oder in einem Baum). Es ist nicht ungewöhnlich, dass ein Benutzer sich in die richtige Richtung eines Sounds dreht, aber in die falsche vertikale Richtung blickt und verwirrt oder frustriert wird, wenn er das Hologramm nicht finden kann.

Vermeiden von ausgeblendeten Emittern

In der realen Welt können wir, wenn wir einen Sound hören, im Allgemeinen das Objekt identifizieren, das den Sound ausgibt. Dies sollte auch für Ihre Erfahrungen gelten. Es kann für Benutzer sehr beunruhigend sein, einen Sound zu hören, zu wissen, woher der Sound stammt und ein Objekt nicht sehen kann.

Es gibt einige Ausnahmen von dieser Richtlinie. Umgebungsgeräusche wie Grillen in einem Feld müssen beispielsweise nicht sichtbar sein. Die Lebenserfahrung gibt uns Vertrautheit mit der Quelle dieser Klänge, ohne sie sehen zu müssen.

Teil 2 – Soundmischung

Ziel ihrer Mischung für 70 % Volume auf der HoloLens

Mixed Reality Erfahrungen ermöglichen es Hologramme in der realen Welt zu sehen. Sie sollten auch reale Geräusche hören lassen. Ein Lautstärkeziel von 70 % ermöglicht es dem Benutzer, die Welt um sich herum zusammen mit dem Sound Ihrer Erfahrung zu hören.

HoloLens mit einer Lautstärke von 100 % sollte externe Sounds übertönen

Eine Lautstärke von 100 % entspricht einer Virtual Reality-Erfahrung. Visuell wird der Benutzer in eine andere Welt versetzt. Das gleiche sollte hörbar gelten.

Verwenden von Unity AudioMixer zum Anpassen von Soundkategorien

Beim Entwerfen Ihrer Mischung ist es oft hilfreich, Soundkategorien zu erstellen und die Möglichkeit zu haben, die Lautstärke als Einheit zu erhöhen oder zu verringern. Dies behält die relativen Pegel der einzelnen Sounds bei und ermöglicht gleichzeitig schnelle und einfache Änderungen an der Gesamtmischung. Zu den allgemeinen Kategorien gehören: Soundeffekte, Ambiente, Voice Overs und Hintergrundmusik.

Mischen von Sounds basierend auf dem Blick des Benutzers

Es kann oft nützlich sein, die Soundmischung in Ihrer Erfahrung basierend darauf zu ändern, wo ein Benutzer sucht (oder nicht). Eine häufige Verwendung für diese Technik besteht darin, die Lautstärke für Hologramme außerhalb des Hologramms zu reduzieren, um es dem Benutzer zu erleichtern, sich auf die Informationen vor ihnen zu konzentrieren. Eine weitere Verwendung besteht darin, die Lautstärke eines Sounds zu erhöhen, um den Benutzer auf ein wichtiges Ereignis aufmerksam zu machen.

Erstellen Ihrer Mischung

Wenn Sie Ihre Mischung erstellen, wird empfohlen, mit dem Hintergrundaudio Ihrer Erfahrung zu beginnen und Ebenen basierend auf der Wichtigkeit hinzuzufügen. Häufig führt dies dazu, dass jede Ebene lauter ist als die vorherige.

Wenn Sie sich Ihre Mischung als invertierten Trichter mit den am wenigsten wichtigen (und im Allgemeinen leisesten Sounds) unten vorstelligen, empfiehlt es sich, Ihre Mischung ähnlich wie im folgenden Diagramm zu strukturieren.

Voice overs sind ein interessantes Szenario. Basierend auf der Erfahrung, die Sie erstellen, möchten Sie möglicherweise einen Stereosound (nicht lokalisiert) oder Ihre Voice overs verräumen. Zwei von Microsoft veröffentlichte Erfahrungen veranschaulichen hervorragende Beispiele für jedes Szenario.

HoloTour verwendet ein Stereo-Voice-Over. Wenn die Sprachausgabe den angezeigten Ort beschreibt, ist der Sound konsistent und variiert nicht je nach Position des Benutzers. Dies ermöglicht es dem Erzähler, die Szene zu beschreiben, ohne die räumlichen Geräusche der Umgebung zu entfernen.

Fragments verwendet eine räumliche Stimme in Form eines Detektivs. Die Stimme des Detektivs wird verwendet, um den Benutzer auf einen wichtigen Hinweis aufmerksam zu machen, als ob ein tatsächlicher Mensch im Raum wäre. Dies ermöglicht ein noch größeres Gefühl des Eintauchens in die Erfahrung der Lösung des Geheimnisses.

Teil 3 – Leistung

CPU-Auslastung

Bei Verwendung von Spatial Sound verbrauchen 10 bis 12 Emitter etwa 12 % der CPU.

Streamen von langen Audiodateien

Audiodaten können groß sein, insbesondere bei gängigen Abtastraten (44,1 und 48 kHz). Eine allgemeine Regel ist, dass Audiodateien, die länger als 5 bis 10 Sekunden sind, gestreamt werden sollten, um die Speicherauslastung der Anwendung zu reduzieren.

In Unity können Sie eine Audiodatei für das Streaming in den Importeinstellungen der Datei markieren.

Kapitel 5 - Spezialeffekte

Ziele

• Hinzufügen von Tiefe zu "Magic Windows".
• Bringen Sie den Benutzer in die virtuelle Welt.

Magic Windows

Wichtige Konzepte

• Das Erstellen von Ansichten in einer verborgenen Welt ist visuell überzeugend.
• Verbessern Sie den Realismus, indem Sie Audioeffekte hinzufügen, wenn sich ein Hologramm oder der Benutzer in der Nähe der verborgenen Welt befindet.

Anweisungen

• Erweitern Sie im HierarchiebereichHologramCollection , und wählen Sie Unterwelt aus.
• Erweitern Sie Unterwelt , und wählen Sie VoiceSource aus.
• Klicken Sie im Bereich Inspektor auf Komponente hinzufügen , und fügen Sie den Benutzerstimmeffekt hinzu.

VoiceSource wird eine AudioSource-Komponente hinzugefügt.

• Legen Sie in AudioSourceAusgabe auf UserVoice (Mixer) fest.
• Aktivieren Sie das Kontrollkästchen Spatialize (Verräumlichen).
• Ziehen Sie den Schieberegler Spatial Blend ganz in 3D, oder geben Sie 1 in das Bearbeitungsfeld ein.
• Erweitern Sie 3D-Soundeinstellungen.
• Legen Sie doppler Level auf 0 fest.
• Legen Sie in User Voice Effectübergeordnetes Objekt auf die Unterwelt aus der Szene fest.
• Legen Sie Max. Abstand auf 1 fest.

Das Festlegen der maximalen Entfernung teilt dem Benutzer mit , wie nah der Benutzer am übergeordneten Objekt sein muss, bevor der Effekt aktiviert wird.

• Erweitern Sie in User Voice Effectden Eintrag Chorusparameter.
• Legen Sie Tiefe auf 0,1 fest.
• Legen Sie "Tap 1 Volume", "2 Volume" und "3 Volume" auf 0,8 fest.
• Legen Sie die Originallautstärke auf 0,5 fest.

Die vorherigen Einstellungen konfigurieren die Parameter von Unity AudioChorusFilter , die verwendet werden, um der Stimme des Benutzers eine Fülle zu verleihen.

• Erweitern Sie in User Voice Effectden Eintrag Echoparameter.
• Festlegen der Verzögerung auf 300
• Legen Sie das Verfallsverhältnis auf 0,2 fest.
• Legen Sie die Originallautstärke auf 0 fest.

Die vorherigen Einstellungen konfigurieren die Parameter von Unity AudioEchoFilter , die verwendet werden, um die Stimme des Benutzers zu echoen.

Das User Voice Effect-Skript ist für Folgendes zuständig:

• Messen des Abstands zwischen dem Benutzer und dem GameObject , an das das Skript angefügt ist.
• Bestimmen, ob der Benutzer mit dem GameObject konfrontiert ist.

Der Benutzer muss unabhängig von der Entfernung dem GameObject gegenüberstehen, damit der Effekt aktiviert wird.

• Anwenden und Konfigurieren eines AudioChorusFilters und eines AudioEchoFilters auf die AudioSource.
• Deaktivieren Sie den Effekt, indem Sie die Filter deaktivieren.

User Voice Effect verwendet die Mic Stream Selector-Komponente aus dem MixedRealityToolkit für Unity, um den hochwertigen Sprachdatenstrom auszuwählen und an das Audiosystem von Unity weiterzuleiten.

• Wählen Sie im Bereich Hierarchie die Option Manager aus.
• Erweitern Sie im Bereich Inspektor den Eintrag Spracheingabehandler.
• Erweitern Sie unter Spracheingabehandler die Option Unterwelt anzeigen.
• Ändern Sie No Function in UnderworldBase.OnEnable.

• Erweitern Sie Unterwelt ausblenden.
• Ändern Sie No Function in UnderworldBase.OnDisable.

Erstellen und Bereitstellen

• Erstellen Sie wie zuvor das Projekt in Unity, und stellen Sie es in Visual Studio bereit.

Nach der Bereitstellung der Anwendung:

• Zeigen Sie einer Oberfläche (Wand, Boden, Tisch) und sagen Sie "Unterwelt anzeigen".

Die Unterwelt wird angezeigt, und alle anderen Hologramme werden ausgeblendet. Wenn Sie die Unterwelt nicht sehen, stellen Sie sicher, dass Sie einer realen Oberfläche gegenüberstehen.

• Nähern Sie sich innerhalb von 1 Meter des Unterwelt hologramms und beginnen Sie zu sprechen.

Es gibt jetzt Audioeffekte, die auf Ihre Stimme angewendet werden!

• Wenden Sie sich von der Unterwelt ab und beachten Sie, dass der Effekt nicht mehr angewendet wird.
• Sagen Sie "Unterwelt ausblenden" , um die Unterwelt zu verbergen.

Die Unterwelt wird ausgeblendet, und die zuvor verborgenen Hologramme werden wieder angezeigt.

Das Ende

Herzlichen Glückwunsch! Sie haben mr Spatial 220: Spatial sound abgeschlossen.

Hören Sie der Welt zu und erwecken Sie Ihre Erfahrungen mit Sound zum Leben!