Case study - Uso del suono spaziale in RoboRaid

Questo articolo descrive le sfide affrontate dal team di esperienza Microsoft HoloLens durante la creazione dell'audio per lo sparatutto in prima persona di RoboRaid in realtà mista.

La tecnologia

Il suono spaziale è una delle caratteristiche più interessanti di Microsoft HoloLens, consentendo agli utenti di percepire ciò che accade intorno a loro quando gli oggetti non sono in linea di vista.

In RoboRaid, l'uso più ovvio ed efficace del suono spaziale è avvisare il giocatore di qualcosa che accade al di fuori della loro visione periferica. Ad esempio, il Breacher può entrare da una qualsiasi delle pareti analizzate nella stanza. Se non stai affrontando la posizione in cui sta entrando, potresti perderlo. Per avvisarti di questa invasione, sentirai un po' di audio proveniente da dove sta entrando il Breacher, che ti informa che devi agire rapidamente per fermarlo.

Dietro le quinte

La creazione di suoni spaziali per le app HoloLens è così nuova e univoca che i problemi possono essere difficili da risolvere perché non ci sono progetti passati a cui fare riferimento. Speriamo che questi esempi delle sfide audio che abbiamo affrontato durante la creazione di RoboRaid ti aiuteranno a creare audio per le tue app.

Essere consapevoli di tassare la CPU

L'audio spaziale può essere impegnativo per la CPU. Per un'esperienza intensa come RoboRaid, è stato fondamentale mantenere il numero di istanze sonore spaziali al di sotto di otto in un determinato momento. In genere, è stato facile come impostare il limite di istanze per diversi eventi audio. Tutte le istanze che si verificano dopo il raggiungimento del limite vengono eliminate. Ad esempio, quando i droni vengono generati, le urla sono limitate a tre istanze in un determinato momento. Considerando che solo quattro droni possono generare contemporaneamente, tre urla sono molte perché non c'è modo che il tuo cervello possa tenere traccia di molti eventi audio simili. Questo ha liberato risorse per altri eventi sonori spaziali, come esplosioni nemiche o nemici che si preparano a sparare.

Premiare una schivata di successo

La meccanica di schivatura è una delle meccaniche di gioco più importanti di RoboRaid e anche qualcosa che abbiamo ritenuto davvero unico per l'esperienza HoloLens. Di conseguenza, volevamo rendere le schivate di successo molto gratificanti per il giocatore. Abbiamo ottenuto il Doppler "whizz-by" per sembrare convincente abbastanza presto nello sviluppo. Inizialmente, il mio piano era quello di usare un ciclo e manipolarlo in tempo reale usando volume, passo e filtro. L'implementazione di questa operazione sarebbe stata molto elaborata. Prima di impegnare le risorse per compilare questo modello, è stato creato un prototipo economico usando un asset con l'effetto Doppler creato solo per scoprire come si sentiva. Il nostro talentuoso sviluppo lo ha fatto in modo che questo asset sfrecciante riproducesse esattamente 0,7 secondi prima che il proiettile passasse per l'orecchio del giocatore e i risultati si sentissero sorprendenti! Inutile dire che abbiamo abbandonato la soluzione più complessa e implementato il prototipo.

Per altre informazioni sulla creazione di un asset audio con l'effetto Doppler incorporato, vedere 100 whooshes in 2 minuti.

Fosso di suoni inefficienti

Originariamente, volevamo suonare un suono di esplosione dietro il giocatore una volta che hanno schivato con successo il proiettile nemico, ma abbiamo deciso di abbandonare questo per diversi motivi. In primo luogo, non si sentiva efficace come il whizz-by SFX che abbiamo usato per la schivata. Quando il proiettile colpisce un muro dietro di te, sarebbe successo qualcos'altro nel gioco che avrebbe mascherato quel suono. In secondo luogo, non abbiamo avuto collisioni sul pavimento, quindi non siamo riusciti a far giocare l'esplosione quando il proiettile ha colpito il pavimento invece delle pareti. E infine, c'era il costo della CPU del suono spaziale. Il nemico scorpione d'elite (uno che può strisciare all'interno del muro) ha un attacco speciale che spara circa otto proiettili. Non solo che ha fatto un enorme pasticcio nel mix, ha anche introdotto terribile crepitio perché stava colpendo la CPU troppo difficile.

Comunicazione di un hit

Un problema interessante che abbiamo riscontrato in HoloLens è stato quanto fosse difficile comunicare in modo efficace che un giocatore era stato colpito. Ciò che rende un'esperienza di realtà mista di successo è la sensazione che la storia ti stia accadendo. Ciò significa che devi credere che stai combattendo un'invasione di robot alieni nel tuo salotto.

I giocatori ovviamente non sentiranno nulla quando vengono colpiti, quindi abbiamo dovuto trovare un modo per convincere il giocatore che qualcosa di male è successo a loro. Nei giochi convenzionali, potresti vedere un'animazione che ti informa che il tuo personaggio ha avuto un successo o che lo schermo potrebbe lampeggiare in rosso e il tuo personaggio potrebbe grugnire un po'. Poiché questi tipi di segnali non funzionano in un'esperienza di realtà mista, abbiamo deciso di combinare il segnale visivo con un suono esagerato che indica che hai preso danni. Ho creato un grande suono, e l'ho reso così prominente nel mix che ha abbassato tutto. Poi, per farla risaltare ancora di più, abbiamo aggiunto un breve suono di avvertimento come se un sub nucleare stava affondando.

Ottenere un suono grande da piccoli altoparlanti

Gli altoparlanti HoloLens sono piccoli e leggeri per soddisfare le esigenze del dispositivo, quindi non puoi aspettarti di sentire troppo basso. Analogamente allo sviluppo per smartphone o dispositivi di gioco portatili, i progettisti di suoni e i compositori devono essere consapevoli del contenuto della frequenza del loro audio. Disegno sempre suoni o scrivo musica con gamma a frequenza completa perché indossare le cuffie è un'opzione per gli utenti. Tuttavia, per garantire la compatibilità con gli altoparlanti HoloLens, eseggo un test occasionalmente inserendo un EQ nel master di qualsiasi DAW in cui mi capita di lavorare. L'impostazione EQ è costituita da un filtro a passaggio elevato da 600 Hz a 700 Hz (non troppo ripido) e da un filtro passa basso a circa 10.000 (ripide). Questo dovrebbe darti un'idea approssimativa di come i tuoi suoni verranno riprodotti sul dispositivo.

Se ti affidi al basso per dare il senso del cambio di accordo nella tua musica, potresti scoprire che la tua musica perde completamente il senso della radice quando applichi questa impostazione EQ. Per risolvere questo problema, ho aggiunto un altro strato al basso che è un'ottava più alta (con alcune armoniche ricche) e mescolato per ottenere il senso di radice indietro. A volte usando la distorsione per amplificare le armoniche darà abbastanza contenuto di frequenza nell'intervallo superiore per far pensare al nostro cervello che c'è qualcosa sotto di esso. Questo vale per gli SFX come impatti, esplosioni o suoni per momenti speciali, come gli attacchi super di un boss. Non puoi davvero affidarti alla fascia bassa per dare al giocatore un senso di impatto o peso. Come con la musica, l'uso della distorsione per dare un po 'di crunch sicuramente aiutato.

Far risaltare i segnali audio

Naturalmente, tutti i membri del team volevano musica bombastica, armi ad alto volume ed esplosioni pazzesche; ma volevano anche essere in grado di ascoltare il voiceover o qualsiasi altro segnale audio critico per il gioco.

In un gioco per console con l'intera gamma di frequenza, hai più opzioni per dividere le frequenze in base all'importanza del suono. Per RoboRaid, ero limitato nel numero di intervalli di frequenze che potevo curvare dai suoni. Se si usa il filtro passa basso e si curva troppo dall'estremità superiore dello spettro, non si avrà più nulla sul suono perché non c'è molto fascia bassa.

Per rendere il suono RoboRaid il più grande possibile sul dispositivo, abbiamo dovuto ridurre la gamma dinamica dell'intera esperienza e fatto ampio uso del ducking creando una chiara gerarchia di importanza per i diversi tipi di suoni. Ho impostato il ducking da -2 dB a -6 dB a seconda dell'importanza. Personalmente non mi piace l'ovvia ducking nei giochi, quindi ho trascorso molto tempo ad ottimizzare il tempo di dissolvenza in /out e la quantità di attenuazione del volume. Abbiamo configurato bus separati per il suono spaziale, il suono non spaziale, il VO e l'autobus asciutto senza riverbero per la musica. Sono stati quindi creati bus con priorità elevata, critici e non critici in modo che gli asset fossero configurati per passare ai bus appropriati.

Spero che i professionisti audio là fuori avranno tanto divertimento ed eccitazione lavorare sulle proprie app come ho fatto a lavorare su RoboRaid. Non vedo l'ora di vedere (e sentire!) ciò che le persone di talento al di fuori di Microsoft verranno con per HoloLens.

Procedere autonomamente

Un trucco che ho scoperto per rendere "più grandi" determinati eventi (come le esplosioni), come stanno riempiendo la stanza, è stato quello di creare un asset mono per il suono spaziale e combinarlo con un asset stereo 2D, da riprodurre in 3D. Ci vuole un po 'di ottimizzazione, poiché avere troppe informazioni nel contenuto stereo diminuirà la direzionalità degli asset mono. Tuttavia, ottenere il giusto equilibrio si tradurrà in suoni enormi che consentiranno ai giocatori di girare la testa nella giusta direzione.

È possibile provare i suoni di grandi dimensioni usando gli asset audio seguenti:

Scenario 1 

1. Scaricare roboraid_enemy_explo_mono.wav e impostare per riprodurre il suono spaziale e assegnarlo a un evento.
2. Scaricare roboraid_enemy_explo_stereo.wav e impostare per la riproduzione in stereo 2D e l'assegnazione allo stesso evento di cui sopra. Poiché questi asset sono normalizzati in Unity, attenuare il volume di entrambi gli asset in modo che non venga ritagliato.
3. Riprodurre entrambi i suoni insieme. Sposta la testa in giro per sentire il suono spaziale.

Scenario 2

1. Scaricare roboraid_enemy_explo_summed.wav e impostare per riprodurre il suono spaziale e assegnarlo a un evento.
2. Riprodurre questo asset da solo e quindi confrontarlo con l'evento dello scenario 1.
3. Provare a bilanciare diversi file mono e stereo.

Vedere anche

• Suono spaziale
• RoboRaid per Microsoft HoloLens