Najlepsze rozwiązania dotyczące dźwięku przestrzennego

  • Artykuł

Jeśli dopiero zaczynasz pracować z dźwiękiem przestrzennym, zobacz nasze omówienie dźwięku przestrzennego.

Możesz użyć dźwięku, aby poinformować i wzmocnić model psychiczny użytkownika stanu aplikacji. Należy użyć przestrzennych, jeśli jest to odpowiednie, aby umieścić dźwięki w świecie rzeczywistości mieszanej. Łącząc słuch i wizualizację w ten sposób, pogłębiasz intuicyjną naturę interakcji i zwiększasz pewność użytkownika.

Kiedy dodać dźwięki

Aplikacje rzeczywistości mieszanej często wymagają większej ilości dźwięku niż aplikacje 2D ze względu na brak interfejsu dotykowego. Dodaj dźwięki, gdy informują użytkownika lub wzmacniają interakcje.

Informowanie i wzmacnianie

  • W przypadku zdarzeń, które nie są inicjowane przez użytkownika, takie jak powiadomienia, użyj dźwięku, aby poinformować użytkownika, że nastąpiła zmiana.
  • Interakcje mogą mieć kilka etapów. Użyj dźwięku, aby wzmocnić przejścia etapowe.

Zapoznaj się z poniższymi przykładami interakcji, zdarzeń i sugerowanych cech dźwiękowych.

Powściągliwość ćwiczeń

Użytkownicy nie mają nieograniczonej pojemności na potrzeby informacji audio.

  • Każdy dźwięk powinien komunikować się z konkretnymi, cennymi informacjami.
  • Gdy aplikacja odtwarza dźwięk, aby poinformować użytkownika, tymczasowo zmniejsz ilość innych dźwięków.
  • Aby uzyskać dźwięki aktywowania przycisku (zobacz poniższe informacje), dodaj opóźnienie czasu, aby zapobiec nadmiernemu wyzwalaniu dźwięku.

Nie polegaj wyłącznie na dźwiękach

Dźwięki, które są dobrze używane, są cenne dla użytkowników. Upewnij się jednak, że aplikacja może być użyteczna nawet z wyłączonym dźwiękiem.

  • Użytkownicy mogą mieć trudności ze słuchem.
  • Aplikacja może być używana w środowisku głośnym.
  • Użytkownicy mogą mieć obawy dotyczące prywatności lub inne powody wyłączenia dźwięku urządzenia.

Jak synyfikować interakcje

Typy interakcji w rzeczywistości mieszanej obejmują gesty, bezpośrednie manipulowanie i głos. Użyj następujących sugerowanych cech, aby wybrać lub zaprojektować dźwięki dla tych interakcji.

Interakcje gestów

W rzeczywistości mieszanej użytkownicy mogą korzystać z przycisków za pomocą myszy. Akcje przycisku zwykle występują, gdy użytkownik zwalnia, a nie naciska przycisk, aby umożliwić użytkownikowi anulowanie interakcji. Użyj dźwięków, aby wzmocnić te etapy. Aby pomóc użytkownikom w określaniu odległych przycisków, rozważ również użycie dźwięku wskaźnika aktywowania wskaźnika.

  • Dźwięki naciśnięcia przycisku powinny być krótkie, dotykowe "kliknięcie".
    Przykład: MRTK_ButtonPress.wav
  • Przyciski-"unpress" dźwięki powinny mieć podobny dotyk. Wyższa wysokość niż dźwięk prasowy wzmacnia poczucie ukończenia.
    Przykład: MRTK_ButtonUnpress.wav
  • W przypadku dźwięków aktywowania należy rozważyć użycie subtelnego i niegrożącego dźwięku, takiego jak niski współczynnik częstotliwości thud lub bump.

Bezpośrednie manipulowanie

W HoloLens 2 śledzenie rąk artykułowanych obsługuje bezpośrednie manipulowanie elementami interfejsu użytkownika. Dźwięki są ważne, gdy nie ma innych fizycznych opinii.

Dźwięk naciśnięcia przycisku jest ważny, ponieważ użytkownik nie otrzymuje żadnych innych wskazówek po osiągnięciu dolnej części pociągnięcia klawisza. Wskaźniki dźwiękowe kluczowych podróży mogą być małe, subtelne i okludowane. Podobnie jak w przypadku interakcji gestów, naciśnięcia przycisków powinny uzyskać krótki, dotykowy dźwięk jak kliknięcie. Unpresses powinny mieć podobny dźwięk kliknięcia, ale z podniesionym boiskiem.

Trudno jest wizualnie potwierdzić akcję chwytu lub wydania. Ręka użytkownika często będzie w drodze dowolnego efektu wizualnego, a twarde obiekty nie mają rzeczywistej wizualnej analogii "chwytania". Dźwięki mogą skutecznie komunikować się z interakcjami z chwytaniem i wydawaniem.

  • Akcje chwytania powinny mieć krótki, nieco wyciszony dźwięk tactile, który skłania do idei palców zamykających się wokół obiektu. Czasami jest również "whoosh" dźwięk, który prowadzi do chwytającego dźwięku, aby komunikować ruch ręki.
    Przykład: MRTK_Move_Start.wav
  • Akcje wydania powinny uzyskać podobnie krótki i dotykowy dźwięk. Jest to zwykle niższe pitched niż dźwięk chwytania i w odwrotnej kolejności, z wpływem, a następnie "whoosh", aby poinformować, że obiekt osiedla się w miejscu.
    Przykład: MRTK_Move_End.wav

Interakcja rysunku powinna uzyskać trwały, pętlowy dźwięk z głośnością określaną przez ruch dłoni użytkownika. Powinno to być ciche, gdy ręka użytkownika jest nadal i najgłośniejsza, gdy ręka szybko się porusza.

Interakcje głosowe

Interakcje głosowe często mają subtelne elementy wizualne. Użyj dźwięków, aby wzmocnić etapy interakcji. Możesz użyć bardziej tonowych dźwięków, aby odróżnić je od gestów i dźwięków manipulowania bezpośredniego.

  • Użyj dźwięku pozytywnego dźwięku na potrzeby potwierdzenia poleceń głosowych. Rosnące tone i główne interwały muzyczne są skuteczne.
  • Użyj krótszego, mniej pozytywnego tonu w przypadku niepowodzeń poleceń głosowych. Unikaj negatywnych dźwięków. Zamiast tego użyj bardziej perkusywnego, neutralnego dźwięku, aby poinformować, że aplikacja przechodzi z interakcji.
  • Jeśli aplikacja ma słowo wznawiania, użyj krótkiego, delikatnego tonu, gdy urządzenie zacznie nasłuchiwać. Używaj subtelnego dźwięku pętli podczas nasłuchiwania aplikacji.

Powiadomienia

Powiadomienia sygnalizują zmiany stanu aplikacji i inne zdarzenia, których użytkownik nie zainicjował. Zmiany stanu mogą obejmować uzupełnianie procesów, wiadomości i połączenia telefoniczne.

W rzeczywistości mieszanej obiekty czasami wyjdą z pola widoku użytkownika. Parowanie animowanych obiektów z przestrzennym dźwiękiem, który zależy od typu obiektu i szybkości ruchu.

  • Pomaga grać dźwięk przestrzenny na końcu animacji, aby poinformować użytkownika o nowej pozycji obiektu.
  • W przypadku stopniowych ruchów dźwięk "whoosh" podczas ruchu pomaga użytkownikowi śledzić obiekt.

Dźwięki powiadomień o wiadomościach mogą być wielokrotnie słyszane, czasami w krótkim czasie. Ważne jest, aby nie wyróżniali się ani nie brzmią surowo. Dźwięki tonalne dodatnie w średnim zakresie są skuteczne.

  • Dźwięki połączeń przychodzących powinny mieć podobne cechy do dzwonka telefonu komórkowego. Te dźwięki zapętlają frazy muzyczne, które grają, dopóki użytkownik nie odpowie na wywołanie.
  • Połączenie komunikacji głosowej i rozłączenie powinno mieć krótki dźwięk tonalny. Dźwięk połączenia powinien być pozytywnym tonem wskazującym pomyślne połączenie. Dźwięk rozłączenia powinien być neutralnym dźwiękiem wskazującym zakończenie połączenia.

Obsługa przestrzennych

Przestrzenność używa słuchawek stereo lub głośników do umieszczania dźwięków w świecie rzeczywistości mieszanej.

Które dźwięki mają być przestrzennie

Dźwięk powinien być przestrzenny, gdy jest skojarzony z zdarzeniem, które ma lokalizację przestrzenną. Obejmuje to interfejs użytkownika, wbudowane głosy sztucznej inteligencji i wskaźniki wizualne.

Przestrzennie elementy interfejsu użytkownika , aby ułatwić usunięcie dźwięku użytkownika "przestrzeń", ograniczając liczbę dźwięków stereo, które słyszą. Interakcje manipulowania, takie jak dotykanie, chwytanie i zwalnianie czują się bardziej naturalne, gdy opinie audio są przestrzenne. Należy wziąć pod uwagę następujące informacje na temat zatłożenia odległości dla tych elementów.

Spatialize wizualnych wskaźników i wbudowanych głosów sztucznej inteligencji, aby intuicyjnie informować użytkowników, gdy te elementy znajdują się poza polem widoku.

Z kolei należy unikać przestrzennych głosów sztucznej inteligencji i innych elementów, które nie mają dobrze zdefiniowanej lokalizacji przestrzennej. Przestrzennie bez powiązanego elementu wizualnego może rozpraszać użytkowników na myślenie, że nie można odnaleźć elementu wizualnego.

Przestrzennie ma jakiś koszt procesora CPU. Wiele aplikacji ma co najwyżej dwa dźwięki odtwarzane jednocześnie. Koszt przestrzenności w tym przypadku jest prawdopodobnie nieznaczny. Możesz użyć monitora szybkości klatek MRTK, aby ocenić wpływ dodawania przestrzenności.

Kiedy i jak zastosować attenuację opartą na odległości

W świecie fizycznym dźwięki, które są dalej, są cichsze. Aparat audio może modelować tę attenuation na podstawie odległości źródłowej. Użyj zatłożenia opartego na odległości, gdy komunikuje się z odpowiednimi informacjami.

Odległości od wskaźników wizualnych, animowanych hologramów i innych dźwięków informacyjnych są istotne dla użytkownika. Użyj zatłożenia opartego na odległości, aby intuicyjnie zapewnić sygnały.

Dostosuj krzywą zagęszczania dla każdego źródła, aby dopasować rozmiar przestrzeni świata rzeczywistości mieszanej. Domyślna krzywa aparatu audio jest często przeznaczona dla dużych (do pół kilometra) przestrzeni.

Dźwięki, które wzmacniają progresywne etapy akcji przycisków i innych interakcji, nie powinny być stosowane przytłoczenie. Wzmacnianie efektów tych dźwięków jest ważniejsze niż komunikowanie odległości do przycisku. Odmiany mogą rozpraszać uwagę, zwłaszcza w przypadku klawiatur, gdy wiele kliknięć przycisków może być słyszanych z rzędu.

Która technologia przestrzenna do użycia

W przypadku słuchawek lub głośników HoloLens należy użyć funkcji transferu związanego z głową (HRTF) opartej na technologiach przestrzennych. Te technologie modelują propagację dźwięku wokół głowy w świecie fizycznym. Nawet wtedy, gdy źródło dźwięku znajduje się po drugiej stronie głowy, dźwięk propaguje się na odległe ucho z pewnym przytłoczeniem i opóźnieniem. Panning osoby mówiącej opiera się tylko na zatłoczenie i stosuje całkowite zatłoczenie w lewym uchu, gdy dźwięki są po prawej stronie, a drugi sposób. Ta technika może być niewygodna dla "normalnych słuchu" odbiorników i niedostępnych dla słuchaczy, którzy są trudne do słyszenia w jednym uchu.

Następne kroki