立体音響の概要
実生活では、立体音響が不可欠です。 だれかがあなたの名前を呼ぶ時、あなたはどちらを見ればよいかがわかります。 歩道にコインを落とした場合、どちら側に転がったかがわかります。 なぜでしょうか。 それは、あなたが "空間的" に聞いているためです。つまり、環境のどこで音が発生しているかがわかります。
Mixed Reality アプリでは、起きていることを探すために、上下を見たり、左右を見たりして、さらに背後も見なければならないかもしれません。 場合によっては、どこを見るべきなのかが不確かなこともあります。 立体音響は、ホログラムを Mixed Reality の世界により深く接続し、環境とオブジェクトの状態に関する情報を提供します。 注目させたい方向から合図を出すことができます。これにより、ユーザーが実際の環境を把握し続けたり、ユーザーを次の手順に導いたりすることができます。 これにより、ジェスチャおよび音声の対話式操作においてユーザーの信頼度を高めます。
Mixed Reality で音を使用するには、タッチによる場合と、キーボードとマウスを使うアプリケーションでは異なるアプローチが必要です。 主なサウンド設計の決定事項には、どのサウンドを空間化し、どの対話に音響効果を組み込むかが含まれます。 詳細なガイダンスについては、「立体音響のベスト プラクティス」を参照してください。
空間化
空間化は、立体音響の方向コンポーネントです。 7.1 ホーム シアターのセットアップの場合、空間化はスピーカー間のパンと同じくらい簡単です。 しかし、Mixed Reality のヘッドホンの場合、精度と快適さのために HRTF ベースのテクノロジを使用することが不可欠です。 Windows では HRTF ベースの空間化が提供され、このサポートは HoloLens 2 でハードウェア アクセラレーションされます。
アプリケーションで空間化を効果的に使用するための推奨事項については、「立体音響のベスト プラクティス」を参照してください。
デバイス サポート
| 機能 | HoloLens (第 1 世代) | HoloLens 2 | イマーシブ ヘッドセット |
| 空間化 | ✔️ | ✔️ | ✔️ |
| 空間化ハードウェア アクセラレーション | ❌ | ✔️ | ❌ |
ケース スタディ
HoloTour では仮想的に、ユーザーを世界中の観光地や史跡に連れて行きます。 HoloTour の音響設計のケース スタディを参照してください。 被写体の空間をキャプチャするために、特殊なマイクとレンダリングのセットアップが使用されました。
RoboRaid は、HoloLens 用のエネルギッシュなシューティングです。 RoboRaid の音響設計ケース スタディでは、最大限の劇的効果を得るために確実に立体音響が使用されるように行われた設計上の選択が説明されています。
Spatializer の個人用設定
HoloLens を含む、Mixed Reality ヘッドセットの低遅延のヘッド トラッキングでは、高品質の HRTF ベースの空間化がサポートされます。
HRTF では、周波数スペクトルにおける両耳間のレベルと位相の違いを操作します。 これらは、人間の頭、胴体、耳の形 (耳介) の物理的なモデルと測定値に基づいています。 私たちの脳はこれらの違いに反応して、認識された音の方向を示します。
各個人には独自の耳の形、頭のサイズ、および耳の位置があります。 そのため、最適な HRTF があなたに適合します。 空間化の精度を高めるために、HoloLens ではヘッドセット ディスプレイからの瞳孔間距離 (IPD) を使用して、HRTF をあなたの頭のサイズに合わせます。
Spatializer プラットフォームのサポート
Windows では、ISpatialAudioClient API を介して、HRTF などの空間化が提供されます。 この API では、アプリケーションに HoloLens 2 HRTF ハードウェア アクセラレーションを公開します。
Spatializer ミドルウェアのサポート
次のサードパーティのオーディオ エンジンでは、Windows の HRTF のサポートを利用できます。
音響
立体音響は方向に関するものだけではありません。 その他のディメンションには、遮蔽、障害、リバーブ、ポータリング、ソース モデリングが含まれます。 これらのディメンションをまとめて ''音響'' と呼びます。 音響がないと、空間化されたサウンドでは距離を認識できません。
音響処理の範囲は単純なものから複雑なものまであります。 オーディオ エンジンでサポートされているリバーブを使用して、空間化された音をリスナーの環境にプッシュできます。 Project Acoustics などの音響システムでは、より豊富で魅力的な音響処理が提供されます。 Project Acoustics では、壁、ドア、その他のシーン ジオメトリの効果を音でモデル化できます。 これは、開発時に関連するシーン ジオメトリが既知の場合に効果的なオプションです。