Fallstudie: Raumklangdesign für HoloTour
Panoramavideos und holografische Landschaften sind nur Teil der Formel für eine immersive Microsoft HoloLens Tour. In diesem Artikel wird beschrieben, wie Sound verwendet wurde, um Ihnen das Gefühl zu geben, dass Sie sich tatsächlich an jedem HoloTour-Standort befinden.
Die Technologie
Die wunderschönen Bilder und holografischen Szenen, die Sie in HoloTour sehen, sind nur ein Teil einer glaubwürdigen Mixed Reality-Erfahrung. Während Hologramme nur vor einem Benutzer angezeigt werden, kann HoloLens räumlichen Sound aus allen Richtungen liefern, was eine umfassendere sinnesbezogene Erfahrung bietet.
Raumklang bietet Hinweise, um eine Richtung anzugeben, die der Benutzer drehen sollte, oder um dem Benutzer mitzuteilen, dass mehr Hologramme in ihrem Raum zu sehen sind. Wir können einen Sound auch direkt an ein Hologramm anfügen und ständig die Richtung und den Abstand des Hologramms vom Benutzer aktualisieren. Diese Technik lässt den Anschein, als ob der Sound direkt von diesem Objekt stammt.
Für HoloTour wollten wir die räumlichen Klangfunktionen von HoloLens nutzen, also haben wir eine 360-Grad-Umgebung geschaffen, die mit dem Video synchronisiert wird, um die akustischen Highlights bestimmter Orte zu zeigen.
Abläufe im Hintergrund
Wir haben HoloTour-Erfahrungen von zwei verschiedenen Orten erstellt: Rom und Machu Picchu. Damit sich diese Touren authentisch und überzeugend anfühlen, wollten wir Audio von den Orten aufnehmen, an denen wir gefilmt haben, anstatt generische Sounds zu verwenden.
Aufzeichnen der Audiodaten
In unserer Fallstudie zum Erfassen der visuellen Inhalte für HoloTour sprechen wir über das Design unseres Kamerageräts. Es bestand aus 14 GoPro-Kameras in einem 3D-gedruckten Gehäuse, das für das Stativ entworfen wurde. Um Audio aufzunehmen, haben wir ein Quad-Mikrofonarray unterhalb der Kameras hinzugefügt. Der Sound speist in eine kompakte vierkanalige Aufnahmeeinheit an der Basis des Stativs ein. Wir wählten Mikrofone, die gut funktionierten, aber klein genug waren, um störungen in die Kameras zu vermeiden.
Benutzerdefinierte Kamera und Mikrofon-Rig
Dieses Setup erfasst Sound in vier Richtungen. Wir haben genügend Informationen aufgenommen, um ein 3D-Aural-Panorama des Raumklangs neu zu erstellen, das wir später mit dem 360-Grad-Video synchronisieren konnten.
Eine Herausforderung des Kameraarray-Audios besteht darin, dass Sie Off-Camera-Sounds wie Sirenen, Flugzeugen oder starkem Wind ausgeliefert sind. Um sicherzustellen, dass wir alle benötigten Soundelemente hatten, haben wir Stereo- und Mono-Mobilrekorder verwendet, um asynchronen Umgebungssound an bestimmten Sehenswürdigkeiten an jedem Ort zu erfassen. Diese Aufnahmen geben dem Sounddesigner sauber Inhalte, um Interesse zu wecken und die Richtung in der Postproduktion zu verbessern.
Jeder Erfassungstag generiert viele Dateien. Daher war es wichtig, ein System zu entwickeln, um nachzuverfolgen, welche Dateien einem bestimmten Speicherort oder einer bestimmten Kameraaufnahme entsprechen. Unsere Aufzeichnungseinheit wurde so eingerichtet, dass Dateien automatisch nach Datum und "Take"-Nummer benennen. Am Ende jedes Tages haben wir Dateien auf externen Laufwerken gesichert. Wir fanden es auch wichtig, den Anfang der Audioaufzeichnungen verbal zu verschieben. Diese Vorsichtsmaßnahme ermöglicht eine einfache kontextbezogene Identifizierung des Inhalts für den Fall, dass Dateinamenprobleme auftreten. Es war auch wichtig, die Aufnahme des Kamera-Rigs visuell zu verkleinern, da Video und Audio als separate Medien aufgezeichnet wurden und während der Postproduktion synchronisiert werden mussten.
Bearbeiten der Audiodaten
Zurück im Studio nach der Aufnahmefahrt besteht der erste Schritt bei der Zusammenstellung einer direktionalen und immersiven Klangerfahrung darin, alle aufgezeichneten Audiodaten für einen Ort zu überprüfen. Wir wählen die besten Takes aus und identifizieren Highlights, die während der Integration angewendet werden können. Die Audiodaten werden dann bearbeitet und bereinigt. Beispielsweise kann eine Autohornbläse, die etwa eine Sekunde dauert und einige Male wiederholt wird, durch leiseren Umgebungsaudio aus der gleichen Aufnahmesitzung ersetzt werden.
Nachdem die Videobearbeitung für einen Speicherort festgelegt wurde, kann der Sound-Designer die entsprechenden Audiodaten synchronisieren. An diesem Punkt bewerten wir sowohl das Kameragerät als auch die mobilen Tonaufnahmen, um zu entscheiden, welche Elemente die beste immersive Audioszene bilden würden. Wir fanden es nützlich, alle Soundelemente in einen Audio-Editor zu integrieren und schnelle lineare Modelle zu erstellen, um mit verschiedenen Mixideen zu experimentieren. Dieser Schritt gab uns besser geformte Ideen, wann es an der Zeit war, die eigentlichen HoloTour-Szenen zu erstellen.
Zusammenstellung der Szene
Der erste Schritt zum Erstellen einer 3D-Umgebungsszene besteht darin, ein Bett mit allgemeinen Hintergrund-Ambient-Looping-Sounds zu erstellen, die andere Features und interaktive Soundelemente in einer Szene unterstützen. Wir verfolgen einen ganzheitlichen Ansatz bei der Umsetzung, der von den Designkriterien für eine bestimmte Szene bestimmt wird. Einige Szenen können für die Verwendung der synchronisierten Kameraaufnahme indiziert werden. Mehr "filmische" Momente erfordern möglicherweise einen kuratierten Ansatz, der auf diskret platzierten Sounds, interaktiven Elementen und Musik basiert.
Bei der Indizierung des Kameraaufnahmeaudios haben wir raumklangfähige Ambient-Audio-Emitter platziert, die der richtungsbezogenen Ausrichtung der Kameras entsprachen. Die Nordkameraansicht gibt Audio vom Nordmikrofon und ebenso für die anderen Himmelsrichtungen wieder. Diese Emitter sind weltgebunden, was bedeutet, dass sich der Sound ändert, wenn Benutzer den Kopf drehen. Diese Technik modelliert effektiv den Klang des Stehens an dieser Stelle. Hören Sie sich die Piazza Navona oder das Pantheon an, um Beispiele für Szenen zu erhalten, die eine gute Mischung aus kameragefangenem Audio verwenden.
In einem anderen Ansatz spielen wir manchmal looping Stereo-Ambiente mit Raumklang-Emittern, die um die Szene platziert werden. Diese Emitter geben einmalige Sounds mit zufälliger Lautstärke, Tonhöhe und Triggerfrequenz wieder. Diese Technik schafft ein Ambiente, das ein verstärktes Gefühl der Richtung hat. In Aguas Alienates können Sie beispielsweise hören, wie jeder Quadrant des Panoramas bestimmte Emitter hat, die bestimmte Bereiche der Geografie hervorheben, aber zusammenarbeiten, um ein umfassendes immersives Ambiente zu schaffen.
Tipps und Tricks
Es gibt andere Möglichkeiten, die Richtungsalität hervorzuheben und die Immersion zu verbessern, um die räumlichen Klangfunktionen von HoloLens voll zu nutzen. Wir haben hier eine Liste bereitgestellt. Hören Sie auf diese Effekte, wenn Sie HoloTour das nächste Mal ausprobieren.
- Look-Ziele: Diese Sounds werden ausgelöst, wenn Sie ein bestimmtes Objekt oder einen bestimmten Bereich des holografischen Rahmens betrachten. Schauen Sie beispielsweise in Richtung des Straßencafés an der Piazza Navona in Rom, um subtil vielbeschäftigte Restaurantgeräusche auszulösen.
- Lokale Vision: Die Reise, obwohl HoloTour enthält bestimmte "Beats", bei denen Ihr Reiseleiter, unterstützt von Hologrammen, ein Thema ausführlich untersucht. Für instance, wenn sich die Fassade des Pantheon auflöst, um den Oculus zu offenbaren, ermutigt hallende Audio, die als 3D-Emitter aus dem Pantheon platziert wurde, den Benutzer, das Innere zu erkunden.
- Verbesserte Direktionalität: In vielen Szenen haben wir Sounds auf verschiedene Weise platziert, um die Direktionalität zu ergänzen. In der Pantheon-Szene wurde beispielsweise der Klang des Brunnens als separater Emitter nahe genug für den Benutzer platziert, dass er ein Gefühl für "klangliche Parallaxe" bekommen konnte, während er durch den Spielraum geht. In peruanischer Salinas de Maras-Szene wurden die Klänge einzelner kleiner Streams als separate Emitter platziert, um eine immersivere Umgebung zu schaffen, die den Benutzer mit den authentischen Klängen dieser Location umgibt.
- Spline-Emitter: Diese Emitter bewegen sich im 3D-Raum basierend auf der visuellen Position des Objekts, an das sie angefügt sind. Ein Beispiel ist der Zug in Machu Picchu, wo wir einen Spline-Emitter verwendet haben, um ein deutliches Gefühl von Richtung und Bewegung zu geben.
- Musik und SFX: Bestimmte Aspekte von HoloTour, die einen stilisierten oder filmischen Ansatz darstellen, verwenden Musik und Soundeffekte, um die emotionale Wirkung zu verstärken. Zum Beispiel verwendet der Gladiatorkampf am Ende der Rom-Tour Spezialeffekte wie Whooshes und Stacheln, um die Wirkung von Bezeichnungen zu verstärken, die in den Szenen erscheinen.