Descrição geral do som espacial
Na vida real, o som espacial é vital. Quando alguém chama o seu nome, sabe qual o aspeto. Se largares uma moeda na calçada, podes saber para que lado rolou. Porquê? Como pode ouvir "espacialmente" por outras palavras, pode saber onde o som está a ocorrer no seu ambiente.
Numa aplicação de realidade mista, poderá ter de procurar para cima, para baixo, de um lado para o outro ou para trás para encontrar algo que esteja a acontecer. Às vezes, não pode ser claro onde deve procurar. O som espacial liga hologramas mais profundamente ao mundo da realidade mista e fornece informações sobre o ambiente e o estado do objeto. Pode fornecer pistas a partir da direção a que pretende chamar a atenção; isto ajuda os utilizadores a manter a consciência do seu ambiente real e pode guiá-los para os próximos passos. Isto aumenta a confiança dos utilizadores nas interações de gestos e voz.
A utilização de sons na realidade mista requer uma abordagem diferente das aplicações tátil e de teclado e rato. As principais decisões de design de som incluem os sons a espacializar e quais as interações a sonificar. Para obter orientações detalhadas, veja o nosso artigo de melhores práticas de som espacial .
Espacialização
A espacialização é o componente direcional do som espacial. Para uma configuração de teatro em casa 7.1, a espacialização é tão simples como o panning entre altifalantes. No entanto, para auscultadores na realidade mista, é essencial utilizar uma tecnologia baseada em HRTF para precisão e conforto. O Windows oferece uma espacialização baseada em HRTF e este suporte é acelerado por hardware em HoloLens 2.
Para obter sugestões sobre a utilização eficaz da espacialização na sua aplicação, veja Melhores práticas de som espacial.
Suporte de dispositivos
| Funcionalidade | HoloLens (primeira geração) | HoloLens 2 | Auscultadores envolventes |
| Espacialização | ✔️ | ✔️ | ✔️ |
| Aceleração de hardware de espacialização | ❌ | ✔️ | ❌ |
Casos de estudo
O HoloTour leva virtualmente utilizadores a locais turísticos e históricos em todo o mundo. Veja o estudo de caso Design de som do HoloTour . Foi utilizado um microfone especial e uma configuração de composição para capturar os espaços de assunto.
RoboRaid é um atirador de alta energia para o HoloLens. O estudo de caso Sound para RoboRaid descreve as escolhas de design que foram feitas para garantir que o som espacial foi usado para o efeito dramático mais completo.
Personalização do espacializador
O controlo principal de baixa latência de headsets de realidade mista, incluindo o HoloLens, suporta a espacialização baseada em HRTF de alta qualidade.
Os HRTFs manipulam as diferenças de nível e fase entre os ouvidos no espectro de frequência. Baseiam-se em modelos físicos e medições de formas humanas de cabeça, torso e orelha (pinnae). Os nossos cérebros respondem a estas diferenças para fornecer orientação percebida no som.
Cada indivíduo tem uma forma de ouvido, tamanho da cabeça e posição do ouvido exclusivos. Assim, os melhores HRTFs estão em conformidade consigo. Para aumentar a precisão da espacialização, o HoloLens utiliza a distância inter-pupilária (IPD) dos auscultadores para ajustar os HRTFs para o tamanho da cabeça.
Suporte da plataforma espacializador
O Windows oferece espacialização, incluindo HRTFs, através da API ISpatialAudioClient. Esta API expõe o HoloLens 2 aceleração de hardware HRTF às aplicações.
Suporte de middleware espacializador
O suporte para HRTFs do Windows está disponível para os seguintes motores de áudio de terceiros.
Acústica
O som espacial é mais do que direção. Outras dimensões incluem oclusão, obstrução, reverbo, portaling e modelação de origem. Coletivamente, estas dimensões são referidas como acústica. Sem acústica, os sons espacializados não têm distância percebida.
Os tratamentos acústicos variam de simples a complexo. Pode utilizar um reverbo suportado por qualquer motor de áudio para emitir sons espacializados para o ambiente do serviço de escuta. Os sistemas acústicos, como o Project Acoustics , proporcionam um tratamento acústico mais rico e apelativo. O Project Acoustics pode modelar o efeito de paredes, portas e outra geometria de cena num som. É uma opção eficaz para casos em que a geometria de cena relevante é conhecida no momento do desenvolvimento.