Bonnes pratiques relatives au son spatial
Si vous débutez avec le son spatial, consultez notre vue d’ensemble du son spatial.
Vous pouvez utiliser le son pour informer et renforcer le modèle mental de l’utilisateur de l’état de l’application. Utilisez la spatialisation, le cas échéant, pour placer les sons dans le monde de la réalité mixte. Lorsque vous connectez ainsi l’auditif et le visuel, vous approfondissez la nature intuitive des interactions et augmentez la confiance de l’utilisateur.
Quand ajouter des sons
Les applications de réalité mixte ont souvent plus besoin de son que les applications 2D en raison de l’absence d’interface tactile. Ajoutez des sons lorsqu’ils informent l’utilisateur ou renforcent les interactions.
Informer et renforcer
- Pour les événements qui ne sont pas initiés par l’utilisateur, tels que les notifications, utilisez le son pour informer l’utilisateur qu’une modification s’est produite.
- Les interactions peuvent avoir plusieurs étapes. Utilisez le son pour renforcer les transitions de scène.
Consultez les exemples suivants d’interactions, d’événements et de caractéristiques sonores suggérées.
Faire preuve de retenue
Les utilisateurs ne disposent pas d’une capacité illimitée pour les informations audio.
- Chaque son doit communiquer des informations spécifiques et précieuses.
- Lorsque votre application lit un son pour en informer l’utilisateur, réduisez temporairement le volume d’autres sons.
- Pour les sons de pointage de bouton (voir les informations suivantes), ajoutez un délai pour éviter un déclenchement sonore excessif.
Ne vous fiez pas uniquement aux sons
Les sons qui sont bien utilisés sont précieux pour vos utilisateurs. Mais assurez-vous que votre application est utilisable même si le son est désactivé.
- Les utilisateurs peuvent être malentendants.
- Votre application peut être utilisée dans un environnement bruyant.
- Les utilisateurs peuvent avoir des problèmes de confidentialité ou d’autres raisons de désactiver l’audio de l’appareil.
Comment sonifier les interactions
Les types d’interaction dans la réalité mixte incluent le mouvement, la manipulation directe et la voix. Utilisez les caractéristiques suggérées suivantes pour sélectionner ou concevoir des sons pour ces interactions.
Interactions gestuelles
En réalité mixte, les utilisateurs peuvent interagir avec des boutons à l’aide d’une souris. Les actions de bouton se produisent généralement lorsque l’utilisateur relâche plutôt que d’appuyer sur le bouton pour permettre à l’utilisateur d’annuler l’interaction. Utilisez des sons pour renforcer ces phases. Pour aider les utilisateurs à cibler des boutons distants, envisagez également d’utiliser un pointeur sonore.
- Les sons d’appui sur le bouton doivent être un « clic » tactile court.
Exemple : MRTK_ButtonPress.wav - Les sons button-« unpress » doivent avoir une sensation tactile similaire. Un ton plus élevé que le son de presse renforce le sentiment d’achèvement.
Exemple : MRTK_ButtonUnpress.wav - Pour les sons de pointage, envisagez d’utiliser un son subtil et non menaçant, tel qu’un son ou une bosse à basse fréquence.
Manipulation directe
Sur HoloLens 2, le suivi des mains articulé prend en charge la manipulation directe des éléments d’interface utilisateur. Les sons sont importants lorsqu’il n’y a pas d’autres commentaires physiques.
Il est important d’appuyer sur un bouton , car l’utilisateur n’obtient aucune autre indication lorsqu’il atteint le bas du trait de touche. Les indicateurs sonores du déplacement des clés peuvent être petits, subtils et obstrués. Comme pour les interactions gestuelles, les appuis sur les boutons doivent obtenir un son court et tactile comme un clic. Les déspresseurs doivent avoir un son de clic similaire, mais avec un ton élevé.
- Exemple : MRTK_ButtonPress.wav
- Exemple : MRTK_ButtonUnpress.wav
Il est difficile de confirmer visuellement une action de récupération ou de mise en production. La main de l’utilisateur sera souvent dans le chemin de n’importe quel effet visuel, et les objets physiques ne disposent pas d’un analogue visuel réel de « capture ». Les sons peuvent communiquer efficacement des interactions de récupération et de mise en production réussies.
- Les actions de saisie doivent avoir un son tactile court et quelque peu étouffé qui invite à l’idée de doigts se fermant autour d’un objet. Parfois, il y a aussi un son « whoosh » qui mène au son de saisie pour communiquer le mouvement de la main.
Exemple : MRTK_Move_Start.wav - Les actions de libération doivent obtenir un son court et tactile similaire. Il est généralement plus bas que le son de saisie et dans l’ordre inverse, avec un impact puis un « putosh » pour communiquer que l’objet s’installe en place.
Exemple : MRTK_Move_End.wav
Une interaction de dessin doit obtenir un son persistant et en boucle avec un volume déterminé par le mouvement de la main de l’utilisateur. Il doit être silencieux lorsque la main de l’utilisateur est immobile et la plus forte lorsque la main se déplace rapidement.
Interactions vocales
Les interactions vocales ont souvent des éléments visuels subtils. Utilisez des sons pour renforcer les phases d’interaction. Vous pouvez utiliser des sons plus tonaux pour les distinguer des sons de mouvement et de manipulation directe.
- Utilisez un ton positif pour les confirmations de commande vocale. Les tonalités montantes et les intervalles musicaux majeurs sont efficaces.
- Utilisez un ton plus court et moins positif pour les échecs de commande vocale. Évitez les sons négatifs. Au lieu de cela, utilisez un son plus percussif et neutre pour communiquer que l’application se déplace à partir de l’interaction.
- Si votre application a un mot de veille, utilisez un ton court et doux lorsque l’appareil commence à écouter. Utilisez un son de boucle subtile pendant que l’application écoute .
Notifications
Les notifications signalent les changements d’état de l’application et d’autres événements que l’utilisateur n’a pas initiés. Les modifications d’état peuvent inclure des achèvements de processus, des messages et des appels téléphoniques.
Dans la réalité mixte, les objets sortent parfois du champ de vision de l’utilisateur. Associez des objets animés en mouvement à un son spatialisé qui dépend du type d’objet et de la vitesse de mouvement.
- Il permet de lire un son spatialisé à la fin d’une animation pour informer l’utilisateur de la nouvelle position de l’objet.
- Pour les mouvements progressifs, un son « whoosh » pendant le mouvement aide l’utilisateur à suivre l’objet.
Les sons de notification de message peuvent être entendus à plusieurs reprises, parfois dans une succession rapide. Il est important qu’ils ne se distinguent pas ou ne sonnent pas dur. Les sons tonaux positifs de milieu de gamme sont efficaces.
- Les sons d’appel entrants doivent avoir des qualités similaires à celles d’une sonnerie de téléphone portable. Ces sons sont des expressions musicales en boucle qui s’exécutent jusqu’à ce que l’utilisateur réponde à l’appel.
- La connexion de communication vocale et la déconnexion doivent avoir un son court et tonale. Le son de connexion doit être un ton positif pour indiquer une connexion réussie. Le son de déconnexion doit être un son neutre pour indiquer la fin de l’appel.
Gérer la spatialisation
La spatialisation utilise des écouteurs stéréo ou des haut-parleurs pour placer des sons dans le monde de la réalité mixte.
Quels sons spatialiser
Un son doit être spatialisé lorsqu’il est associé à un événement qui a un emplacement spatial. Cela inclut l’interface utilisateur, les voix d’IA incorporées et les indicateurs visuels.
Spatialisez les éléments d’interface utilisateur pour aider à désencombrer l'« espace » sonore de l’utilisateur en limitant le nombre de sons stéréo qu’ils entendent. Les interactions de manipulation telles que le toucher, l’attrapage et la libération semblent plus naturelles lorsque les commentaires audio sont spatialisés. Tenez compte des informations suivantes sur l’atténuation de la distance pour ces éléments.
Spatialisez les indicateurs visuels et les voix d’IA incorporées pour informer intuitivement les utilisateurs lorsque ces éléments sont en dehors du champ de vision.
En revanche, évitez la spatialisation pour les voix IA sans visage et d’autres éléments qui ne disposent pas d’un emplacement spatial bien défini. La spatialisation sans élément visuel associé peut distraire les utilisateurs en leur faisant croire qu’il existe un élément visuel qu’ils ne peuvent pas trouver.
La spatialisation s’accompagne d’un coût d’UC. De nombreuses applications ont au maximum deux sons en lecture simultanée. Dans ce cas, le coût de la spatialisation est probablement négligeable. Vous pouvez utiliser le moniteur de fréquence d’images MRTK pour évaluer l’impact de l’ajout de la spatialisation.
Quand et comment appliquer l’atténuation basée sur la distance
Dans le monde physique, les sons qui sont plus éloignés sont plus silencieux. Votre moteur audio peut modéliser cette atténuation en fonction de la distance source. Utilisez l’atténuation basée sur la distance lorsqu’elle communique des informations pertinentes.
Les distances des indicateurs visuels, des hologrammes animés et d’autres sons informatifs sont pertinentes pour l’utilisateur. Utilisez l’atténuation basée sur la distance pour fournir intuitivement des indices.
Ajustez la courbe d’atténuation pour chaque source en fonction de la taille des espaces de votre monde de réalité mixte. La courbe par défaut de votre moteur audio est souvent destinée à de grands espaces (jusqu’à un demi-kilomètre).
Les sons qui renforcent les étapes progressives des actions de bouton et d’autres interactions ne doivent pas être appliqués. Les effets de renforcement de ces sons sont plus importants que la communication de la distance au bouton. Les variations peuvent être distrayantes, en particulier avec les claviers, lorsque de nombreux clics de bouton peuvent être entendus successivement.
Quelle technologie de spatialisation utiliser
Avec le casque ou les haut-parleurs HoloLens, utilisez les technologies de spatialisation basées sur la fonction de transfert de tête (HRTF). Ces technologies modélisent la propagation du son autour de la tête dans le monde physique. Même lorsqu’une source sonore se trouve du côté éloigné de la tête, le son se propage à l’oreille distante avec un certain atténuation et retard. Le mouvement panoramique de l’orateur s’appuie uniquement sur l’atténuation et applique une atténuation totale dans l’oreille gauche lorsque les sons sont du côté droit et inversement. Cette technique peut être inconfortable pour les écouteurs « entendants normaux » et inaccessible pour les auditeurs qui sont malentendants dans une oreille.