Aanbevolen procedures voor ruimtelijk geluid
Als u nog niet met ruimtelijk geluid werkt, raadpleegt u ons Overzicht van ruimtelijk geluid.
U kunt geluid gebruiken om het mentale model van de toepassingsstatus van de gebruiker te informeren en te versterken. Gebruik ruimtelijkheid, indien van toepassing, om geluiden in de mixed reality-wereld te plaatsen. Wanneer u de auditieve en de visual op deze manier verbindt, verdiept u de intuïtieve aard van interacties en verhoogt u het vertrouwen van de gebruiker.
Wanneer moet u geluiden toevoegen?
Mixed reality-toepassingen hebben vaak meer behoefte aan geluid dan 2D-apps vanwege hun gebrek aan een tactiele interface. Voeg geluiden toe wanneer ze de gebruiker informeren of versterken interacties.
Informeren en versterken
- Voor gebeurtenissen die niet door de gebruiker zijn geïnitieerd, zoals meldingen, gebruikt u geluid om de gebruiker te informeren dat er een wijziging is opgetreden.
- Interacties kunnen verschillende fasen hebben. Gebruik geluid om faseovergangen te versterken.
Bekijk de volgende voorbeelden van interacties, gebeurtenissen en voorgestelde geluidskenmerken.
Bewegingsbeperking
Gebruikers hebben geen onbeperkte capaciteit voor audio-informatie.
- Elk geluid moet specifieke, waardevolle informatie overbrengen.
- Wanneer uw app een geluid afspeelt om de gebruiker te informeren, vermindert u het volume van andere geluiden tijdelijk.
- Voor knopaanwijzergeluiden (zie de volgende informatie) voegt u een tijdvertraging toe om te voorkomen dat overmatig geluid wordt geactiveerd.
Vertrouw niet alleen op geluiden
Geluiden die goed worden gebruikt, zijn waardevol voor uw gebruikers. Maar zorg ervoor dat uw toepassing bruikbaar is, zelfs als het geluid is uitgeschakeld.
- Gebruikers kunnen slechthorend zijn.
- Uw toepassing kan worden gebruikt in een luide omgeving.
- Gebruikers kunnen privacyproblemen hebben of andere redenen hebben om apparaataudio uit te schakelen.
Interacties sonificeren
Interactietypen in mixed reality omvatten gebaren, directe manipulatie en stem. Gebruik de volgende voorgestelde kenmerken om geluiden voor deze interacties te selecteren of te ontwerpen.
Gebareninteracties
In mixed reality kunnen gebruikers met knoppen werken met behulp van een muis. Knopacties vinden meestal plaats wanneer de gebruiker vrijgeeft in plaats van op de knop te drukken om de gebruiker de kans te geven de interactie te annuleren. Gebruik geluiden om deze fasen te versterken. Als u gebruikers wilt helpen bij het richten op knoppen op afstand, kunt u ook een aanwijzer-aanwijsgeluid gebruiken.
- Knopdrukken moeten een korte, tactiele 'klik' zijn.
Voorbeeld: MRTK_ButtonPress.wav - Knopgeluiden"unpress" moeten een vergelijkbaar voelbaar gevoel hebben. Een hogere toonhoogte dan het persgeluid versterkt het gevoel van voltooiing.
Voorbeeld: MRTK_ButtonUnpress.wav - Voor zwevende geluiden kunt u overwegen om een subtiel en niet-bedreigend geluid te gebruiken, zoals een donder of stoot met een lage frequentie.
Directe manipulatie
Op HoloLens 2 ondersteunt articulerend handtracering directe manipulatie van elementen van de gebruikersinterface. Geluiden zijn belangrijk als er geen andere fysieke feedback is.
Een drukgeluid op de knop is belangrijk omdat de gebruiker geen andere indicatie krijgt wanneer hij de onderkant van de toetsstreek bereikt. Geluidsindicatoren van belangrijke reizen kunnen klein, subtiel en overdonderd zijn. Net als bij gebareninteracties, moeten knopdrukken een kort, voelbaar geluid krijgen als een klik. Unpresses moeten een vergelijkbaar klikgeluid hebben, maar met verhoogde toonhoogte.
- Voorbeeld: MRTK_ButtonPress.wav
- Voorbeeld: MRTK_ButtonUnpress.wav
Het is moeilijk om een grijp- of losbewerking visueel te bevestigen. De hand van de gebruiker zal vaak in de weg staan van elk visueel effect, en harde objecten missen een echte visuele analogie van 'grijpen'. Geluiden kunnen effectief geslaagde grab- en release-interacties communiceren.
- Grijpacties moeten een kort, enigszins gedempt tactiel geluid hebben dat het idee van het sluiten van vingers rond een object laat zien. Soms is er ook een 'whoosh'-geluid dat naar het grijpende geluid leidt om de beweging van de hand te communiceren.
Voorbeeld: MRTK_Move_Start.wav - Releaseacties moeten een even kort en voelbaar geluid krijgen. Het is meestal lager dan het grijpgeluid en in omgekeerde volgorde, met een impact en vervolgens een 'whoosh' om te communiceren dat het object op zijn plaats komt.
Voorbeeld: MRTK_Move_End.wav
Een tekeninteractie moet een persistent, lusgeluid krijgen met volume dat wordt bepaald door de handbeweging van de gebruiker. Het moet stil zijn wanneer de hand van de gebruiker stil is en het hardst wanneer de hand snel beweegt.
Spraakinteracties
Spraakinteracties hebben vaak subtiele visuele elementen. Gebruik geluiden om interactiefasen te versterken. Misschien wilt u meer toongeluiden gebruiken om deze te onderscheiden van gebaar- en directe manipulatiegeluiden.
- Gebruik een positief klinkende toon voor bevestigingen van spraakopdrachten. Stijgende tonen en belangrijke muzikale intervallen zijn effectief.
- Gebruik een kortere, minder positief klinkende toon voor fouten in spraakopdrachten. Vermijd negatieve geluiden. Gebruik in plaats daarvan een meer percussief, neutraal geluid om aan te geven dat de toepassing zich voortbewoog van de interactie.
- Als uw toepassing een wake-woord heeft, gebruikt u een korte, zachte toon wanneer het apparaat begint te luisteren. Gebruik een subtiel lusgeluid terwijl de toepassing luistert .
Meldingen
Meldingen signaleert wijzigingen in de toepassingsstatus en andere gebeurtenissen die de gebruiker niet heeft gestart. Statuswijzigingen kunnen procesvoltooiingen, berichten en telefoongesprekken omvatten.
In mixed reality worden objecten soms buiten het gezichtsveld van de gebruiker verplaatst. Koppel bewegende geanimeerde objecten met een ruimtelijk geluid dat afhankelijk is van het objecttype en de bewegingssnelheid.
- Het helpt om een ruimtelijk geluid aan het einde van een animatie af te spelen om de gebruiker te informeren over de nieuwe positie van het object.
- Voor geleidelijke bewegingen helpt een 'whoosh'-geluid tijdens beweging de gebruiker het object te volgen.
Meldingsgeluiden van berichten kunnen herhaaldelijk worden gehoord, soms snel achter elkaar. Het is belangrijk dat ze niet opvallen of hard klinken. Positieve toongeluiden in het middenbereik zijn effectief.
- Geluiden van binnenkomende oproepen moeten vergelijkbare eigenschappen hebben als een beltoon van een mobiele telefoon. Deze geluiden zijn herhalende muzikale zinnen die worden afgespeeld totdat de gebruiker de oproep beantwoordt.
- Spraakcommunicatieverbinding en verbroken verbinding moeten een kort, toongeluid hebben. Het verbindingsgeluid moet een positieve toon zijn om een geslaagde verbinding aan te geven. Het geluid van de verbroken verbinding moet een neutraal geluid zijn om de voltooiing van de oproep aan te geven.
Ruimtelijke ordening verwerken
Ruimtelijke ordening maakt gebruik van stereohoofdtelefoons of luidsprekers om geluiden in de mixed reality-wereld te plaatsen.
Welke geluiden moeten ruimtelijk worden
Een geluid moet ruimtelijk zijn wanneer het is gekoppeld aan een gebeurtenis met een ruimtelijke locatie. Dit omvat gebruikersinterface, opgenomen AI-stemmen en visuele indicatoren.
Maak elementen van de gebruikersinterface ruimtelijk om de geluidsruimte van de gebruiker op te ruimen door het aantal stereogeluiden dat ze horen te beperken. Manipulatie-interacties, zoals aanraken, grijpen en vrijgeven, voelen natuurlijker aan wanneer audiofeedback ruimtelijk wordt gemaakt. Houd rekening met de volgende informatie over de detenuatie van de afstand voor deze elementen.
Visual indicators en opgenomen AI-stemmen ruimtelijk maken om gebruikers intuïtief te informeren wanneer deze dingen zich buiten het gezichtsveld bevinden.
Vermijd daarentegen ruimtelijk maken voor gezichtsloze AI-stemmen en andere elementen die geen goed gedefinieerde ruimtelijke locatie hebben. Ruimtelijke ordening zonder een gerelateerd visueel element kan gebruikers afleiden om te denken dat er een visueel element is dat ze niet kunnen vinden.
Ruimtelijk maken brengt wel wat CPU-kosten met zich mee. Veel toepassingen hebben maximaal twee geluiden die tegelijkertijd worden afgespeeld. De kosten van ruimtelijke ordening zijn in dat geval waarschijnlijk verwaarloosbaar. U kunt de MRTK-framesnelheidsmonitor gebruiken om de impact van het toevoegen van ruimtelijk maken te beoordelen.
Wanneer en hoe u detenuatie op afstand toepast
In de fysieke wereld zijn geluiden die verder weg liggen stiller. Uw audio-engine kan deze detenuatie modelleren op basis van de bronafstand. Gebruik op afstand gebaseerde deactivering wanneer relevante informatie wordt gecommuniceerd.
De afstanden tot visuele indicatoren, geanimeerde hologrammen en andere informatieve geluiden zijn relevant voor de gebruiker. Gebruik op afstand gebaseerde detenuatie om intuïtief aanwijzingen te geven.
Pas de detenuatiecurve voor elke bron aan zodat deze overeenkomt met de grootte van de ruimten in uw mixed reality-wereld. De standaardcurve van uw audio-engine is vaak bedoeld voor grote ruimten (tot een halve kilometer).
Geluiden die de progressieve fasen van knopacties en andere interacties versterken, mogen niet worden afgezwakt. De versterkende effecten van deze geluiden zijn belangrijker dan het doorgeven van de afstand tot de knop. Variaties kunnen afleiden, vooral met toetsenborden, wanneer veel klikken op knoppen achter elkaar te horen zijn.
Welke ruimtetechnologie moet worden gebruikt
Gebruik met een hoofdtelefoon of de HoloLens-luidsprekers op basis van op head-related transfer function (HRTF) gebaseerde spatialisatietechnologieën. Deze technologieën modelleren de geluidsdoorgifte rond het hoofd in de fysieke wereld. Zelfs wanneer een geluidsbron zich aan de andere kant van het hoofd bevindt, wordt het geluid met enige verzwaring en vertraging doorgegeven aan het verre oor. Het pannen van de luidspreker is alleen afhankelijk van de detenuatie en past totale detenuatie in het linkeroor toe wanneer geluiden zich aan de rechterkant bevinden en omgekeerd. Deze techniek kan ongemakkelijk zijn voor "normaal gehoor" listeners en ontoegankelijk zijn voor luisteraars die slechthorend zijn in één oor.