Étude de cas : Conception sonore spatiale pour HoloTour
Les vidéos panoramiques et les paysages holographiques ne sont qu’une partie de la formule pour une visite immersive Microsoft HoloLens. Cet article décrit comment le son a été utilisé pour vous donner l’impression d’être dans chaque emplacement HoloTour.
La technologie
Les belles images et scènes holographiques que vous voyez dans HoloTour ne sont qu’une partie d’une expérience de réalité mixte crédible. Alors que les hologrammes s’affichent uniquement devant un utilisateur, HoloLens peut fournir un son spatial de toutes les directions, ce qui offre une expérience sensorielle plus complète.
Le son spatial fournit des indices pour indiquer la direction que l’utilisateur doit tourner ou pour lui faire savoir qu’il y a plus d’hologrammes à voir dans son espace. Nous pouvons également attacher un son directement à un hologramme et mettre continuellement à jour la direction et la distance de l’hologramme par rapport à l’utilisateur. Cette technique donne l’impression que le son provient directement de cet objet.
Pour HoloTour, nous voulions tirer parti des fonctionnalités sonores spatiales de HoloLens. Nous avons donc créé un environnement ambiant à 360 degrés qui est synchronisé avec la vidéo pour révéler les mises en surbrillance sonores d’emplacements spécifiques.
Dans les coulisses
Nous avons créé des expériences HoloTour de deux emplacements différents : Rome et Machu Picchu. Pour que ces visites se sentent authentiques et attrayantes, nous voulions capturer l’audio des lieux où nous avons filmé au lieu d’utiliser des sons génériques.
Capture de l’audio
Dans notre étude de cas sur la capture du contenu visuel pour HoloTour, nous parlons de la conception de notre appareil photo. Il se composait de 14 caméras GoPro dans un boîtier imprimé en 3D qui a été conçu pour s’adapter au trépied. Pour capturer l’audio, nous avons ajouté un réseau de quatre microphones sous les caméras. Le son se nourrit d’une unité d’enregistrement compacte à quatre canaux à la base du trépied. Nous avons choisi des micros qui fonctionnaient bien, mais qui étaient assez petits pour éviter d’interférer avec les caméras.
Appareil photo et microphone personnalisé
Cette configuration capture le son dans quatre directions. Nous avons enregistré suffisamment d’informations pour recréer un panorama sonore 3D sonore, que nous pourrions ensuite synchroniser avec la vidéo à 360 degrés.
L’un des défis de l’audio-réseau de caméras est que vous êtes à la merci des sons hors caméra, tels que les sirènes, les avions ou les vents forts. Pour nous assurer que nous disposions de tous les éléments sonores dont nous avions besoin, nous avons utilisé des enregistreurs mobiles stéréo et mono pour capturer le son asynchrone et ambiant à des points d’intérêt spécifiques dans chaque emplacement. Ces enregistrements donnent au concepteur sonore propre du contenu pour ajouter de l’intérêt et améliorer la direction en post-production.
Chaque jour de capture génère de nombreux fichiers. Il était donc important de développer un système pour suivre les fichiers qui correspondent à un emplacement particulier ou à une photo prise. Notre unité d’enregistrement a été configurée pour nommer automatiquement les fichiers par date et « prendre » le numéro. Nous avons sauvegardé des fichiers sur des lecteurs externes à la fin de chaque journée. Nous avons également trouvé important de planifier verbalement le début des enregistrements audio. Cette précaution permet d’identifier facilement le contenu en cas de problèmes de nom de fichier. Il était également important de planifier visuellement la capture de l’appareil photo, car la vidéo et l’audio étaient enregistrées en tant que médias distincts et devaient être synchronisées pendant la post-production.
Modification de l’audio
De retour au studio après le voyage de capture, la première étape de l’assemblage d’une expérience sonore directionnelle et immersive consiste à passer en revue tout l’audio capturé pour un emplacement. Nous choisissons les meilleures pratiques et identifions les points forts qui peuvent être appliqués pendant l’intégration. L’audio est ensuite modifié et nettoyé. Par exemple, un son de klaxon de voiture qui dure environ une seconde et se répète plusieurs fois peut être remplacé par un son ambiant plus silencieux de la même session de capture.
Une fois l’édition vidéo d’un emplacement définie, le concepteur de sons peut synchroniser l’audio correspondant. À ce stade, nous évaluons à la fois la caméra-rig et les captures sonores mobiles pour déterminer quels éléments créeraient la meilleure scène audio immersive. Nous avons trouvé utile de placer tous les éléments sonores dans un éditeur audio et de créer des maquettes linéaires rapides pour expérimenter différentes idées de mixage. Cette étape nous a donné des idées mieux formées pour le moment venu de créer les scènes HoloTour réelles.
Assemblage de la scène
La première étape de la création d’une scène ambiante en 3D consiste à créer un lit de sons de bouclage ambiants généraux qui prendront en charge d’autres fonctionnalités et éléments sonores interactifs dans une scène. Nous avons une approche holistique de l’implémentation, telle que déterminée par les critères de conception d’une scène particulière. Certaines scènes peuvent être indexées vers l’utilisation de la capture de caméra synchronisée. Des moments plus « cinématographiques » peuvent nécessiter une approche organisée qui s’appuie sur des sons placés discrètement, des éléments interactifs et de la musique.
Lorsque nous avons indexé sur l’audio de capture de la caméra, nous avons placé des émetteurs audio ambiants prenant en charge le son spatial qui correspondaient à l’orientation directionnelle des caméras. La vue de la caméra nord lit l’audio à partir du microphone nord, et de même pour les autres directions cardinales. Ces émetteurs sont verrouillés dans le monde entier, ce qui signifie que le son change lorsque les utilisateurs tournent la tête. Cette technique modélise efficacement le son de se tenir à cet endroit. Écoutez la Piazza Navona ou le Panthéon pour obtenir des exemples de scènes qui utilisent un bon mélange d’audio capturé par caméra.
Dans une approche différente, nous jouons parfois l’ambiance stéréo en boucle avec des émetteurs sonores spatiaux qui sont placés autour de la scène. Ces émetteurs diffusent des sons ponctuels de volume aléatoire, de tonalité et de fréquence de déclenchement. Cette technique crée une ambiance qui a un sens accru de la direction. Dans Aguas Alienates, par exemple, vous pouvez entendre comment chaque quadrant du panorama a des émetteurs spécifiques qui mettent en évidence des zones spécifiques de la géographie, mais travaillent ensemble pour créer une ambiance immersive globale.
Conseils et astuces
Il existe d’autres façons de mettre en évidence la directionnalité et d’améliorer l’immersion pour tirer pleinement profit des fonctionnalités sonores spatiales d’HoloLens. Nous avons fourni une liste ici. Écoutez ces effets la prochaine fois que vous essayez HoloTour.
- Rechercher les cibles : Ces sons sont déclenchés lorsque vous examinez un objet ou une zone spécifique du cadre holographique. Par exemple, regardez vers le café côté rue de la Piazza Navona à Rome pour déclencher subtilement des sons de restaurant occupés.
- Vision locale : Le voyage via HoloTour contient certains « beats » où votre guide, aidé par des hologrammes, explore un sujet en profondeur. Par instance, alors que la façade du Panthéon se dissout pour révéler l’oculus, la réverbération audio placée comme un émetteur 3D de l’intérieur du Panthéon encourage l’utilisateur à explorer l’intérieur.
- Directionnalité améliorée : Dans de nombreuses scènes, nous avons placé des sons de différentes manières pour ajouter à la directionnalité. Dans la scène du Panthéon, par exemple, le son de la fontaine a été placé comme un émetteur distinct suffisamment proche de l’utilisateur pour qu’il puisse avoir une idée de « parallaxe sonique » en se promenant dans l’espace de jeu. Dans la scène de Salinas de Maras au Pérou, les sons de petits flux individuels ont été placés comme émetteurs distincts pour créer un environnement ambiant plus immersif, entourant l’utilisateur avec les sons authentiques de cet emplacement.
- Émetteur spline : Ces émetteurs se déplacent dans l’espace 3D en fonction de la position visuelle de l’objet auquel ils sont attachés. Un exemple est le train à Machu Picchu, où nous avons utilisé un émetteur spline pour donner une impression distincte de direction et de mouvement.
- Musique et SFX : Certains aspects de HoloTour qui représentent une approche plus stylisée ou cinématographique utilisent de la musique et des effets sonores pour augmenter l’impact émotionnel. Par exemple, la bataille de gladiateurs à la fin de la tournée de Rome utilise des effets spéciaux comme whooshes et stingers pour renforcer l’effet des étiquettes qui apparaissent dans les scènes.