Casestudy: Ontwerp van ruimtelijk geluid voor HoloTour
Panoramische video's en holografische landschappen zijn slechts een deel van de formule voor een meeslepende Microsoft HoloLens tour. In dit artikel wordt beschreven hoe geluid is gebruikt om u het gevoel te geven dat u zich op elke HoloTour-locatie bevindt.
De technologie
De prachtige beelden en holografische scènes die u in HoloTour ziet, zijn slechts één onderdeel van een geloofwaardige mixed reality-ervaring. Terwijl hologrammen alleen voor een gebruiker worden weergegeven, kan HoloLens ruimtelijk geluid uit alle richtingen leveren, wat een completere zintuiglijke ervaring biedt.
Ruimtelijk geluid biedt aanwijzingen om een richting aan te geven die de gebruiker moet draaien of om de gebruiker te laten weten dat er meer hologrammen in de ruimte te zien zijn. We kunnen ook een geluid rechtstreeks aan een hologram koppelen en de richting en afstand van het hologram van de gebruiker voortdurend bijwerken. Door deze techniek lijkt het alsof het geluid rechtstreeks van dat object afkomstig is.
Voor HoloTour wilden we profiteren van de mogelijkheden voor ruimtelijk geluid van HoloLens, dus hebben we een omgeving van 360 graden gemaakt die wordt gesynchroniseerd met de video om de sonische hoogtepunten van specifieke locaties te onthullen.
Achter de schermen
We hebben HoloTour-ervaringen gemaakt op twee verschillende locaties: Rome en Machu Picchu. Om ervoor te zorgen dat deze tours authentiek en overtuigend aanvoelen, wilden we audio vastleggen van de locaties waar we filmden in plaats van algemene geluiden te gebruiken.
De audio vastleggen
In onze casestudy over het vastleggen van de visuele inhoud voor HoloTour hebben we het over het ontwerp van onze camera-installatie. Het bestond uit 14 GoPro camera's in een 3D-geprinte behuizing die was ontworpen voor het statief. Om audio vast te leggen, hebben we een matrix met vier microfoons onder de camera's toegevoegd. Het geluid wordt doorgevoerd in een compacte vierkanaals opname-eenheid aan de basis van het statief. We hebben microfoons gekozen die goed deden, maar klein genoeg waren om te voorkomen dat de camera's worden verstoord.
Aangepaste camera- en microfooninstallatie
Tijdens deze installatie wordt geluid in vier richtingen vastgelegd. We hebben voldoende informatie opgenomen om een 3D-auditief panorama van ruimtelijk geluid opnieuw te maken, dat we later kunnen synchroniseren met de 360-gradenvideo.
Een uitdaging van de camera-array audio is dat u bent overgeleverd aan geluiden buiten de camera, zoals sirenes, vliegtuigen of harde wind. Om ervoor te zorgen dat we alle benodigde geluidselementen hadden, gebruikten we stereo- en mono-mobiele recorders om asynchroon, omgevingsgeluid vast te leggen op specifieke nuttige plaatsen op elke locatie. Deze opnamen geven de geluidsontwerper schone inhoud om interesse toe te voegen en de richting te verbeteren in postproductie.
Elke vastlegdag genereert veel bestanden. Het was dus belangrijk om een systeem te ontwikkelen om bij te houden welke bestanden overeenkomen met een bepaalde locatie of cameraopname. Onze opname-eenheid is ingesteld om bestanden automatisch een naam te geven op datum en 'take'-nummer. We hebben aan het einde van elke dag een back-up gemaakt van bestanden op externe stations. We vonden het ook belangrijk om het begin van de audio-opnamen verbaal te maken. Met deze voorzorgsmaatregel kunt u eenvoudig contextuele identificatie van de inhoud in het geval er bestandsnaamproblemen optreden. Het was ook belangrijk om de opname van de camera-rig visueel te maken, omdat de video en audio als afzonderlijke media werden opgenomen en tijdens postproductie moesten worden gesynchroniseerd.
De audio bewerken
Terug in de studio na de opnamereis, is de eerste stap bij het samenstellen van een directionele en meeslepende auditieve ervaring het controleren van alle opgenomen audio voor een locatie. We kiezen de beste takes en identificeren hoogtepunten die tijdens de integratie kunnen worden toegepast. De audio wordt vervolgens bewerkt en opgeschoond. Een autohoornstraal die ongeveer een seconde duurt en een paar keer wordt herhaald, kan bijvoorbeeld worden vervangen door stiller omgevingsgeluid van dezelfde opnamesessie.
Nadat de videobewerking voor een locatie is ingesteld, kan de geluidsontwerper de bijbehorende audio synchroniseren. Op dit moment evalueren we zowel de camera- als mobiele geluidsopnamen om te bepalen welke elementen de beste meeslepende audioscène zouden bouwen. We vonden het handig om alle geluidselementen in een audio-editor te plaatsen en snelle lineaire mock-ups te bouwen om te experimenteren met verschillende mixideeën. Deze stap gaf ons betere ideeën voor wanneer het tijd was om de daadwerkelijke HoloTour-scènes te bouwen.
De scène samenstellen
De eerste stap bij het bouwen van een 3D-omgevingsscène is het maken van een bed met algemene achtergrondgeluiden die ondersteuning bieden voor andere functies en interactieve geluidselementen in een scène. We hanteren een holistische benadering van de implementatie, zoals bepaald door de ontwerpcriteria voor een bepaalde scène. Sommige scènes kunnen indexeren naar het gebruik van de gesynchroniseerde camera-opname. Meer 'filmische' momenten vereisen mogelijk een gecureerde aanpak die afhankelijk is van discreet geplaatste geluiden, interactieve elementen en muziek.
Toen we de camera-opnameaudio indexeerden, plaatsten we omgevingsaudiozenders met ruimtelijk geluid die overeenkomen met de richtingsrichting van de camera's. De noordcameraweergave speelt audio af van de noordmicrofoon en ook voor de andere hoofdrichtingen. Deze emitters zijn wereld vergrendeld, wat betekent dat het geluid verandert wanneer gebruikers hun hoofd draaien. Deze techniek modelleert effectief het geluid van het staan op die locatie. Luister naar Piazza Navona of Het Pantheon voor voorbeelden van scènes die een goede combinatie van camera-opgenomen audio gebruiken.
In een andere benadering spelen we soms lusachtige stereosfeer met ruimtelijke geluidszenders die rond de scène worden geplaatst. Deze emitters spelen eenmalige geluiden van willekeurig volume, toonhoogte en triggerfrequentie. Deze techniek creëert sfeer met een verbeterd gevoel van richting. In Aguas Alienates kunt u bijvoorbeeld horen hoe elk kwadrant van het panorama specifieke emitters heeft die specifieke gebieden van de geografie belichten, maar samenwerken om een algehele meeslepende sfeer te creëren.
Tips en trucs
Er zijn andere manieren om directionaliteit te benadrukken en de onderdompeling te verbeteren om volledig gebruik te maken van de mogelijkheden voor ruimtelijk geluid van HoloLens. We hebben hier een lijst gegeven. Luister naar deze effecten wanneer u HoloTour de volgende keer probeert.
- Zoekdoelen: Deze geluiden worden geactiveerd wanneer u een specifiek object of gebied van het holografische frame bekijkt. Kijk bijvoorbeeld naar het café aan de straatzijde op de Piazza Navona in Rome om op een subtiel wijze drukke restaurantgeluiden te activeren.
- Lokale visie: De reis via HoloTour bevat bepaalde 'beats' waarbij uw gids, geholpen door hologrammen, een onderwerp uitgebreid verkent. Bijvoorbeeld, als de gevel van het Pantheon oplost om de oculus te onthullen, regalmend geluid dat werd geplaatst als een 3D-emitter vanuit het Pantheon moedigt de gebruiker aan om het interieur te verkennen.
- Verbeterde richting: In veel scènes hebben we geluiden op verschillende manieren geplaatst om de directionaliteit toe te voegen. In de pantheonscène werd bijvoorbeeld het geluid van de fontein als een afzonderlijke emitter dicht bij de gebruiker geplaatst om een gevoel van "sonische parallax" te krijgen terwijl ze door de speelruimte lopen. In peru's Salinas de Maras scène werden de geluiden van afzonderlijke stroompjes als afzonderlijke emitters geplaatst om een meer meeslepende omgeving te bouwen, omring de gebruiker met de authentieke geluiden van die locatie.
- Spline emitter: Deze emitters bewegen zich in 3D-ruimte op basis van de visuele positie van het object waaraan ze zijn gekoppeld. Een voorbeeld is de trein in Machu Picchu, waar we een spline emitter gebruikten om een duidelijk gevoel van richting en beweging te geven.
- Muziek en SFX: Bepaalde aspecten van HoloTour die een meer gestileerde of filmische benadering vertegenwoordigen, gebruiken muziek en geluidseffecten om de emotionele impact te verhoogt. Zo maakt de gladiaatorslag aan het einde van de Rome-tour gebruik van speciale effecten zoals whooshes en stingers om het effect van labels die in de scènes verschijnen, te versterken.