Visão geral do som espacial
Na vida real, o som espacial é vital. Quando alguém chama seu nome, você sabe qual é a maneira de olhar. Se você soltar uma moeda na calçada, você pode dizer de que maneira ela rolou. Por quê? Como você pode ouvir "espacialmente" – em outras palavras, você pode dizer onde em seu ambiente o som está ocorrendo.
Em um aplicativo de realidade misturada, talvez seja necessário olhar para cima, para baixo, de um lado para o outro ou atrás de você para encontrar algo que está acontecendo. Às vezes, pode não estar claro onde você deve olhar. O som espacial conecta hologramas mais profundamente ao mundo da realidade misturada e fornece informações sobre o ambiente e o estado do objeto. Você pode fornecer indicações da direção para a qual deseja chamar a atenção; isso ajuda os usuários a manter a consciência de seus arredores do mundo real e pode guiá-los para seus próximos passos. Isso aumenta a confiança do usuário nas interações de gesto e voz.
O uso de sons na realidade misturada requer uma abordagem diferente dos aplicativos de toque e teclado e mouse. As principais decisões de design de som incluem quais sons espacializar e quais interações sonificar. Para obter diretrizes detalhadas, consulte nosso artigo Práticas recomendadas de som espacial .
Espacialização
A espacialização é o componente direcional do som espacial. Para uma configuração de home theater 7.1, a espacialização é tão simples quanto o movimento panorâmico entre alto-falantes. Mas para fones de ouvido em realidade misturada, é essencial usar uma tecnologia baseada em HRTF para precisão e conforto. O Windows oferece espacialização baseada em HRTF e esse suporte é acelerado por hardware em HoloLens 2.
Para obter sugestões sobre o uso efetivo da espacialização em seu aplicativo, consulte Práticas recomendadas de som espacial.
Suporte a dispositivos
| Recurso | HoloLens (primeira geração) | HoloLens 2 | Headsets imersivos |
| Espacialização | ✔️ | ✔️ | ✔️ |
| Aceleração de hardware de espacialização | ❌ | ✔️ | ❌ |
Estudos de caso
O HoloTour virtualmente leva os usuários a locais turísticos e históricos em todo o mundo. Consulte o estudo de caso Design de som para HoloTour . Um microfone especial e uma configuração de renderização foram usados para capturar os espaços de assunto.
RoboRaid é um atirador de alta energia para HoloLens. O projeto Sound para o estudo de caso RoboRaid descreve as escolhas de design que foram feitas para garantir que o som espacial fosse usado para o efeito dramático mais completo.
Personalização do espacializador
O acompanhamento de cabeçalho de baixa latência de headsets de realidade misturada, incluindo o HoloLens, dá suporte à espacialização baseada em HRTF de alta qualidade.
As HRTFs manipulam as diferenças de nível e fase entre as orelhas no espectro de frequência. Eles são baseados em modelos físicos e medidas de cabeça humana, torso e formas de ouvido (pinnae). Nossos cérebros respondem a essas diferenças para fornecer direção percebida no som.
Cada indivíduo tem uma forma de ouvido exclusiva, tamanho da cabeça e posição da orelha. Portanto, as melhores HRTFs estão em conformidade com você. Para aumentar a precisão da espacialização, o HoloLens usa a IPD (distância entre pupilas) dos monitores do headset para ajustar as HRTFs para o tamanho da cabeça.
Suporte à plataforma espacializador
O Windows oferece espacialização, incluindo HRTFs, por meio da API ISpatialAudioClient. Essa API expõe o HoloLens 2 aceleração de hardware HRTF para aplicativos.
Suporte a middleware do espacializador
O suporte para HRTFs do Windows está disponível para os mecanismos de áudio de terceiros a seguir.
Acústica
Som espacial é mais do que direção. Outras dimensões incluem oclusão, obstrução, reverb, portabilidade e modelagem de origem. Coletivamente, essas dimensões são conhecidas como acústica. Sem acústica, sons espacializados não têm distância percebida.
Os tratamentos acústicos variam de simples a complexos. Você pode usar um reverb compatível com qualquer mecanismo de áudio para efetuar push de sons espacializados para o ambiente do ouvinte. Sistemas acústicos como o Projeto Acústico fornecem tratamento acústico mais rico e atraente. O Projeto Acústico pode modelar o efeito de paredes, portas e outras geometrias de cena em um som. É uma opção eficaz para casos em que a geometria de cena relevante é conhecida no momento do desenvolvimento.