立体音響のベスト プラクティス
空間サウンドを初めて使用する場合は、 空間サウンドの概要に関するページを参照してください。
音を使用して、通知したり、ユーザーのアプリケーション状態のメンタル モデルを補強したりできます。 必要に応じて空間化を使用して、複合現実の世界に音を配置します。 この方法で聴覚と視覚を接続すると、対話式操作がより直感的になり、ユーザーの信頼度が向上します。
どのようなときに音を追加するか
Mixed-Reality アプリケーションでは、触覚インターフェイスがないため、多くの場合、2D アプリよりもサウンドのニーズが高くなります。 ユーザーに通知したり、対話式操作を補強したりするときに、音を追加します。
通知と補強
- 通知など、ユーザーによって開始されていないイベントについては、音を使用して、変更が発生したことをユーザーに通知します。
- 対話式操作には複数のステージがあります。 音を使用してステージの遷移を補強します。
対話式操作、イベント、および推奨される音の特性については、次の例を参照してください。
実行時の制限
オーディオ情報に関して制限がないわけではありません。
- それぞれの音は、特定の重要な情報を伝達します。
- アプリがユーザーへの通知のために音を再生するときは、他の音の音量を一時的に下げてください。
- ボタンのホバー音 (次の情報を参照) については、遅延時間を追加して、音が過剰にトリガーされないようにします。
音だけに依存しない
よく使用される音は、ユーザーにとって価値があります。 ただし、音がオフになっていてもアプリケーションが使用できるようにしてください。
- ユーザーが聞き取りにくい場合があります。
- アプリケーションが、騒がしい環境で使用される場合もあります。
- ユーザーに、プライバシーに関する考慮事項や、デバイスのオーディオを無効にするその他の理由があるかもしれません。
対話式操作を組み込む方法
混合現実の対話式操作の種類には、ジェスチャ、直接操作、音声などがあります。 次の推奨される特性を使用して、これらの対話式操作の音を選択または設計します。
ジェスチャの対話式操作
複合現実では、ユーザーはマウスを使用してボタンを操作できます。 ボタンの操作は、ユーザーが対話式操作をキャンセルできるように、通常はボタンを押したときよりも離したときに発生します。 音を使用して、これらのステージを補強します。 離れた場所にあるボタンをユーザーがターゲットとして使用できるようにするには、ポインターのホバー音の使用も検討してください。
- ボタンを押したときの音は、短い、触知できる "クリック" にする必要があります。
例: MRTK_ButtonPress.wav - ボタンを "離した" ときの音も同じように触知的にする必要があります。 押したときの音よりも高くすることで、完了の感覚が補強されます。
例: MRTK_ButtonUnpress.wav - ホバー音には、周波数の低い "ブン" や "ポン" など、控えめで脅威のない音を使用することを検討してください。
直接操作
HoloLens 2 では、多関節ハンド トラッキングがユーザーインターフェイス要素の直接操作をサポートします。 他の物理的なフィードバックがない場合は、音が重要になります。
キー ストロークの一番下に到達したときにユーザーに何も示されないため、ボタンを押したときの音が重要になります。 キー移動の音のインジケーターは、小さく、控えめで、こもった感じにすることができます。 ジェスチャの対話式操作と同様に、ボタンを押すと、クリックのような短い触知的な音が鳴ります。 離すときも、同じようなクリック音ですが、音が高くなります。
つかむ、離すのアクションを視覚的に確認することは困難です。 ユーザーの手が視覚的効果の妨げとなることはよくあります。また、手の形をしたオブジェクトには、実際の世界の "つかむ" と視覚的に対応するものがありません。音は、つかむ、離すの対話式操作が成功したことを効果的に伝えることができます。
- つかむアクションには、指がオブジェクトをつかんでいるイメージを想起させるような、短い、ややこもった、触知的な音が必要です。 また、つかむために手が動いていることを知らせるための "シューッ" という音もあります。
例: MRTK_Move_Start.wav - 離すアクションにも、同様の短い触知的な音が必要です。 通常は、オブジェクトが所定の位置にあることを伝える "シューッ" という音は、つかむ音よりも低く、順序が逆で、インパクトがあります。
例: MRTK_Move_End.wav
描画の対話式操作では、永続的なループ音が鳴ります。音量は、ユーザーの手の動きによって決まります。 ユーザーの手が止まっているときは静かで、手を速く動かすと大きな音になります。
音声の対話式操作
音声の対話式操作には、控えめな視覚的要素が含まれることがよくあります。 音を使用して、対話式操作のステージを補強します。 ジェスチャや直接操作の音と区別するために、より多彩な音を使用することができます。
- 音声コマンドの確認にはポジティブなトーンの音を使用します。 上昇調のメジャーな音程が効果的です。
- 音声コマンドの失敗には、短く、あまりポジティブでないトーンの音を使用します。 ネガティブな音は避けてください。 代わりに、打楽器の音によるニュートラルな音を使用して、アプリケーションが対話式操作から外れていることを通知します。
- アプリケーションにウェイク ワードが含まれている場合は、デバイスがリッスンを開始するときに、短い、穏やかなトーンを使用します。 アプリケーションがリッスンしている間は、控えめなループ音を使用します。
通知
通知は、アプリケーションの状態の変化や、ユーザーが開始しなかったその他のイベントを通知します。 状態の変更には、プロセスの完了、メッセージ、通話の呼び出しなどが含まれます。
複合現実では、オブジェクトがユーザーの視界から外れる場合があります。 オブジェクトの種類とモーションの速度に応じた立体音響でアニメーション オブジェクトの動きをペアリングします。
- これで、アニメーションの最後に立体音響を再生して、オブジェクトの新しい位置をユーザーに通知することができます。
- 段階的な動きでは、動いている最中の 「シューッ」 という音によって、ユーザーがオブジェクトを追跡できます。
メッセージ通知の音は繰り返し、場合によっては素早く連続して聴こえる場合があります。 主張しすぎず、耳障りでないものであることが非常に重要です。 ミッドレンジのポジティブなトーンの音が効果的です。
- 着信音は、携帯電話の着信音と同様の品質である必要があります。 この音は、ループする音楽フレーズで、ユーザーが通話に応答するまで再生されます。
- 音声通信の接続と切断の音は、短いトーンである必要があります。 接続が成功したことを示すため、接続音はポジティブなトーンである必要があります。 切断音は、通話の完了を示すニュートラルな音である必要があります。
空間化を処理する
空間化では、ステレオのヘッドホンまたはスピーカーを使用して、複合現実の世界に音を配置します。
どのような音を空間化するか
空間位置を持つイベントに関連付けられている音は、空間化する必要があります。 これには UI、埋め込み AI 音声、視覚的インジケーターが含まれます。
ユーザー インターフェイスの要素を空間化すると、ユーザーに聴こえるステレオ音の数が制限され、ユーザーのソニック "スペース" が整理されます。 オーディオ フィードバックが空間化されると、タッチ、つかむ、離すなどの対話式操作がより自然になります。 これらの要素の距離の減衰については、次の情報を考慮してください。
覚インジケーターと埋め込み AI 音声を空間化して、これらが視界から外れたときに、ユーザーに直感的に通知します。
これに対して、空間位置が明確に定義されていない、特定化されていない AI 音声とその他の要素は、視覚化しないでください。 関連する視覚的要素なしで空間化すると、視界にないビジュアル要素があるようにユーザーが考えてしまう可能性があります。
空間化にはある程度の CPU コストが伴います。 多くのアプリケーションが同時に再生する音は、最大でも 2 つです。 その場合、空間化のコストはごくわずかです。 MRTK のフレーム レート モニターを使用して、空間化を追加した場合の影響を判断できます。
距離ベースの減衰を適用する場合とその方法
実際の世界では、遠く離れるほど音が小さく聴こえます。 オーディオ エンジンは、ソース距離に基づいてこの減衰をモデル化できます。 関連情報を伝達する場合は、距離ベースの減衰を使用します。
ユーザーに関連するのは、ビジュアル インジケーター、アニメーション ホログラム、その他の情報音との距離です。 距離ベースの減衰を使用して、直感的に手掛かりを提供します。
複合現実世界の空間のサイズに合わせて、各ソースの減衰曲線を調整します。 オーディオ エンジンの既定の曲線は、多くの場合、大きな (最大 0.5 キロメートル) の空間を意図しています。
ボタン アクションやその他の対話式操作の段階的なステージを補強する音には、減衰を適用すべきではありません。 これらの音の補強効果は、ボタンまでの距離を伝えるよりも重要です。 多数のボタン クリックが連続して聴こえる場合、キーボードの場合は特に、バリエーションが気を散らす可能性があります。
使用する空間化テクノロジ
ヘッドホンまたは HoloLens スピーカーでは、頭部伝達関数 (HRTF) ベースの空間化テクノロジを使用します。 これらのテクノロジは、実際の世界の、頭部周辺の音の伝わりをモデル化します。 音のソースが頭から遠い場所にある場合でも、音はある程度の減衰と遅延によって離れた耳に伝わります。 スピーカーのパンは減衰にのみ依存し、音が右側にある場合は左耳の全減衰が適用されます (逆も同様です)。 この手法は、"通常の聴覚" リスナーでは不快であり、片耳の聴覚障碍のあるリスナーにはアクセスできない可能性があります。