Esettanulmány: Térbeli hangtervezés a HoloTourhoz
A panorámavideók és a holografikus tájak csak egy modern Microsoft HoloLens bemutató képletének részei. Ez a cikk azt ismerteti, hogyan használták a hangot, hogy úgy érezhesse magát, mintha az egyes HoloTour-helyeken lenne.
A technológia
A HoloTourban látható gyönyörű képek és holografikus jelenetek csak egy része egy hihető vegyes valósági élménynek. Míg a hologramok csak a felhasználó előtt jelennek meg, a HoloLens minden irányból képes térbeli hangot szolgáltatni, ami teljesebb érzékszervi élményt nyújt.
A térbeli hangjelzések jelzik, hogy a felhasználónak milyen irányt kell fordítania, vagy hogy tudassa a felhasználóval, hogy több hologramot kell látnia a térben. A hangot közvetlenül a hologramhoz is csatolhatjuk, és folyamatosan frissíthetjük a hologram felhasználótól való irányát és távolságát. Ez a technika úgy tűnik, mintha a hang közvetlenül az objektumból származik.
A HoloTour esetében ki akartuk használni a HoloLens térbeli hangképességeit, ezért létrehoztunk egy 360 fokos környezeti környezetet, amely szinkronizálva van a videóval, hogy felfedje az egyes helyek hangkiemeléseit.
A színfalak mögött
A HoloTourt két különböző helyszínről hoztuk létre: Róma és Machu Picchu. Ahhoz, hogy ezek a túrák hitelesnek és meggyőzőnek érezzék magukat, az általános hangok helyett olyan helyekről akartunk hangokat rögzíteni, ahol filmeztünk.
A hang rögzítése
A HoloTour vizuális tartalmának rögzítéséről szóló esettanulmányunkban a kamerafúró berendezés kialakításáról beszélünk. 14 GoPro kamerából állt egy 3D nyomtatott házban, amelyet úgy terveztek, hogy illeszkedjen az állványhoz. A hang rögzítéséhez hozzáadtunk egy quad-mikrofon tömböt a kamerák alá. A hang egy kompakt négycsatornás rögzítőegységbe kerül az állvány alján. Olyan mikrofonokat választottunk, amelyek jól tették, de elég kicsik voltak ahhoz, hogy ne zavarjanak a kamerák.
Egyéni kamera- és mikrofonszerelvény
Ez a beállítás négy irányban rögzíti a hangot. Elég információt rögzítettünk ahhoz, hogy újra létrehozzuk a térbeli hang 3D-s aurális panorámaképét, amelyet később szinkronizálhattunk a 360 fokos videóval.
A kamera-tömb hangjának egyik kihívása, hogy a kamerán kívüli hangok, például a szirénák, a repülőgépek vagy a nagy szélek könyörületessége miatt kell elkeseredni. Annak biztosítása érdekében, hogy minden szükséges hangelemünk elérhető legyen, sztereó és mono mobil felvevőket használtunk az aszinkron, környezeti hang rögzítésére az egyes helyek adott érdekes pontjain. Ezek a felvételek tiszta tartalmat adnak a hangtervezőnek, hogy érdeklődést keltsen, és javítsa az irányt az utómunkában.
Minden rögzítési nap sok fájlt hoz létre. Ezért fontos volt olyan rendszert fejleszteni, amely nyomon követi, hogy mely fájlok felelnek meg egy adott helynek vagy kamerafelvételnek. A rögzítési egység úgy lett beállítva, hogy a fájloknak dátum és "take" szám szerint automatikusan nevet adjon. Minden nap végén biztonsági másolatot készíttünk a fájlokról külső meghajtókra. Azt is fontosnak találtuk, hogy a hangfelvételek elejét szóban is el tudjuk kezdeni. Ez az óvintézkedés lehetővé teszi a tartalom egyszerű környezeti azonosítását abban az esetben, ha fájlnévvel kapcsolatos problémák merülnek fel. Az is fontos volt, hogy vizuálisan el lehessen készíteni a kamerát, mert a videót és a hangot külön adathordozóként rögzítették, és az utómunkálat során szinkronizálni kellett.
A hang szerkesztése
Visszatérve a stúdióba a rögzítési út után, az első lépés az irányított és magával ragadó aurális élmény összeállításában az, hogy áttekintse az összes rögzített hangot egy helyhez. Kiválasztjuk a legjobb felvételeket, és azonosítjuk az integráció során alkalmazható kiemeléseket. A hang ezután szerkesztésre és tisztításra kerül. Előfordulhat például, hogy egy másodpercig tartó és többször ismétlődő autókürtöt ugyanabból a rögzítési munkamenetből származó csendesebb környezeti hangra cserélik.
A hely videószerkesztése után a hangtervező szinkronizálhatja a megfelelő hangot. Ezen a ponton felmérjük a kamerafúró és a mobil hangrögzítést is, hogy eldöntsük, mely elemek építenék a legjobb magával ragadó hangjelenetet. Hasznosnak találtuk, hogy az összes hangelemet egy hangszerkesztőbe helyeztük, és gyors lineáris maketteket hoztunk létre a különböző mixötletek kipróbálásához. Ez a lépés jobbnál jobb ötleteket adott nekünk arra vonatkozóan, hogy mikor jött el az ideje a holoTour-jelenetek összeállításának.
A jelenet összeállítása
A 3D környezeti jelenet létrehozásának első lépése egy általános háttérbeli környezeti hurokhangok ágyának létrehozása, amely támogatja a jelenet egyéb funkcióit és interaktív hangelemét. Holisztikus megközelítést alkalmazunk a megvalósításhoz, amelyet az adott jelenet tervezési kritériumai határoznak meg. Egyes jelenetek indexelhetik a szinkronizált kamerarögzítés használatát. A "filmszerűbb" pillanatokhoz olyan válogatott megközelítésre lehet szükség, amely diszkréten elhelyezett hangokra, interaktív elemekre és zenére támaszkodik.
Amikor indexeltük a kamerarögzítési hangot, olyan térbeli hangalapú környezeti hangleképezőket helyeztünk el, amelyek megfelelnek a kamerák irányirányának. Az északi kamera nézet az északi mikrofonról, valamint a többi számos irányban is lejátszott hangjelzést ad. Ezek a kibocsátók világzárva vannak, ami azt jelenti, hogy a hang megváltozik, amikor a felhasználók megfordítják a fejüket. Ez a technika hatékonyan modelleli az adott helyen való állás hangját. Hallgassa meg a Piazza Navonát vagy a Pantheont olyan jelenetekre, amelyek a kamera által rögzített hang jó kombinációját használják.
Más megközelítésben, néha játszunk hurkos sztereó hangulatot térbeli hang kibocsátókkal, amelyek a jelenet körül vannak elhelyezve. Ezek a kibocsátók véletlenszerű hangerő, hangmagasság és trigger gyakoriságú egyszeri hangokat játszanak le. Ez a technika olyan hangulatot teremt, amely fokozott irányérzéket biztosít. Az Aguas Alienates-ban például hallhatja, hogy a panoráma egyes negyedei olyan specifikus kibocsátókkal rendelkeznek, amelyek a földrajzi terület adott területeit emelik ki, de közösen dolgoznak egy átfogó, magával ragadó hangulat kialakításán.
Tippek és trükkök
Más módokon is kiemelhet irányt, és javíthatja a bemerítést, hogy teljes mértékben kihasználhassa a HoloLens térbeli hangképességeit. Itt adtunk meg egy listát. Figyelje ezeket az effektusokat a HoloTour következő kipróbálásakor.
- Célok keresése: Ezek a hangok akkor aktiválódnak, ha a holografikus keret egy adott objektumát vagy területét vizsgáljuk. Nézze meg például a római Piazza Navona utcaoldali kávézóját, hogy finoman aktiválja a forgalmas éttermi hangokat.
- Helyi látás: Az utazás holoTour tartalmaz bizonyos "beats", ahol az idegenvezető, segített hologramok, feltárja a témát részletesen. Például, ahogy a Pantheon homlokzata feloldódik, hogy felfedje az oculust, a Pantheon belsejéből 3D-s emitterként elhelyezett visszaverő hang arra ösztönzi a felhasználót, hogy vizsgálja meg a belső teret.
- Továbbfejlesztett irány: Számos jelenetben különböző módokon helyeztünk el hangokat, hogy hozzátenjük az irányt. A Pantheon jelenetben például a szökőkút hangját külön emitterként helyezték el, elég közel ahhoz a felhasználóhoz, hogy a "szonikus parallax" érzését kapják, miközben sétálnak a játéktérben. Peru Salinas de Maras jelenetében az egyes kis streamek hangjait különálló kibocsátókként helyezték el, hogy egy magával ragadóbb környezeti környezetet építsenek, körülveszve a felhasználót az adott hely hiteles hangjaival.
- Spline emitter: Ezek a kibocsátók 3D térben mozognak annak az objektumnak a vizuális helyzete alapján, amelyhez csatlakoznak. Ilyen például a Machu Picchuban lévő vonat, ahol egy spline emittert használtunk, hogy különböző irányt és mozgást biztosítsunk.
- Zene és SFX: A HoloTour bizonyos aspektusai, amelyek stilizáltabb vagy filmszerűbb megközelítést képviselnek, zene- és hangeffektusokat használnak az érzelmi hatások felerősítéséhez. Például a gladiátor csata végén a római túra használ különleges effektusok, mint a whooshes és stingers, hogy erősítse a hatását címkék jelennek meg a jelenetekben.