本能的な操作の概要
シンプルで本能的な操作の理念は、Mixed Reality (MR) プラットフォーム全体に織り込まれています。 アプリケーションのデザイナーや開発者が顧客に簡単で直感的な操作を提供できるように、3 つの手順を使用しています。
まず、センサーと入力テクノロジをまとめることで、マルチモーダル操作モデルを実現できるようにしました。 これらの操作モデルには、自然言語による入力に加えて、手の追跡や視線の追跡が含まれます。 調査によれば、本能的なエクスペリエンスを作成する鍵となるのは、個々の入力をベースとせずに、マルチモーダル フレームワーク内で設計や開発を行うことです。
2 つ目として、多くの開発者が複数の HoloLens デバイス (HoloLens 2 と HoloLens (第 1 世代) 、HoloLens と VR など) をターゲットにしていることを認識しています。 このため、各デバイスで入力テクノロジが異なる場合でも、複数のデバイスで動作するように操作モデルを設計しています。 たとえば、6DoF コントローラーを使用した Windows イマーシブ ヘッドセットや HoloLens 2 での遠隔インタラクションでは、どちらも同じアフォーダンスとパターンを使用しています。 このため、クロスデバイスのアプリケーション開発が容易になり、ユーザー操作にも自然な感覚を実現できます。
MR では効果的で魅力的な魔法のような何千もの操作が実現できますが、ユーザーが成功と優れたエクスペリエンスを実感できる最善の方法は、アプリケーションで意図的に単一の操作モデルを使用することであることがわかっています。 そのため、この操作ガイドに次の 3 つのことを含めました。
- 3 つの主要な操作モデルと、それぞれに必要なコンポーネントとパターンに関する具体的なガイダンス。
- このプラットフォームが提供するその他のメリットに関する補足的なガイダンス。
- 開発シナリオに適した操作モデルの選択に役立つ全般的なガイダンス。
基本的な手の追跡と本能的な操作のデモ
次に示す「Designing Holograms - 頭の追跡と目の追跡」のビデオ デモを確認して、さらに具体的なトピックに進みます。
このビデオは、"Designing Holograms" HoloLens 2 アプリから作成されました。 完全なエクスペリエンスは、ここからダウンロードしてお楽しみいただけます。
マルチモーダル操作モデル
調査とお客様からのフィードバックに基づき、3 つの主要な操作モデルが大半の Mixed Reality エクスペリエンスに適していることがわかりました。 多くの点で、操作モデルはワークフローの完了方法に関するユーザーのメンタル モデルです。 各操作モデルは一連の顧客ニーズに合わせて最適化されており、適切に使用すれば、どれもが強力かつ便利に使用できます。
次の表は、簡単な概要です。 各操作モデルを使用するための詳細情報は、イメージとコード サンプルを含むページにリンクしています。
| Model | シナリオ例 | 適した使用方法 | ハードウェア |
| 手とモーション コントローラー | 空間レイアウトやデザインなどの 3D 空間エクスペリエンス、コンテンツの操作、またはシミュレーション。 | 音声、視線追跡、頭の視線入力と組み合わせると、新しいユーザーに最適。 習得が容易。 手の追跡と 6 DoF コントローラーで一貫性のある UX。 | HoloLens 2 イマーシブ ヘッドセット |
| ハンズフリー | 実地学習、メンテナンスなど、ユーザーの手がふさがっている場合のコンテキスト対応のエクスペリエンス。 | いくらかの学習が必要。 手が使用できない場合、デバイスにより音声と自然言語が組み合わされる。 | HoloLens 2 HoloLens (第 1 世代) イマーシブ ヘッドセット |
| 視線入力とコミット | クリックスルー エクスペリエンス (3D プレゼンテーション、デモなど)。 | 移動を除く HMD のトレーニングが必要。 アクセシビリティ コントローラーに最適。 HoloLens (第 1 世代) に最適。 | HoloLens 2 HoloLens (第 1 世代) イマーシブ ヘッドセット モバイル AR |
ユーザー操作エクスペリエンスのギャップを避ける最善の方法は、1 つのモデルのガイダンスに最初から最後まで従うことです。
次のセクションでは、これらの操作モデルからいずれかを選択して実装する手順について説明します。
このページでは、以下についてのガイダンスを理解することができます。
- 顧客の操作モデルの選択
- 操作モデルの実装
- 操作モデル間の遷移
- 次の手順の設計
顧客の操作モデルを選択する
通常、開発者と作成者は、顧客が使用できる操作の種類を考慮しています。 顧客中心の設計アプローチを促進するために、次のガイダンスに従って、顧客向けに最適化された操作モデルを選択することをお勧めします。
ガイダンスに従う理由
- Microsoft が提供する操作モデルは、物理効果、認識効果、直感性、学習性など、主観的および客観的な基準でテストされています。
- 操作が異なるため、操作モデル間でビジュアルやオーディオのアフォーダンスやオブジェクトの動作が異なる可能性があります。
- ハンド レイと頭の視線カーソルを同時に使用するなど、複数の操作モデルの一部を組み合わせると、アフォーダンスが競合するリスクが発生します。 その結果、ユーザーが困惑したり混乱したりする可能性があります。
アフォーダンスと動作を最適化する例を操作モデルごとに示します。 新しいユーザーから、 「システムが動作していることはどうすればわかりますか」 、 「何ができるかはどうすればわかりますか」 、 「自分がしたことをシステムが理解していることはどうすればわかりますか」 などの、よく似た質問をしばしば受けます。
| Model | 動作していることはどうすればわかりますか? | 何ができるかはどうすればわかりますか? | 自分が何をしたかはどうすればわかりますか? |
| 手とモーション コントローラー | ハンド メッシュが見える、指先アフォーダンスまたは手やコントローラーの光線が見える。 | オブジェクトに手を近づけると、グラブ可能なハンドルや境界ボックスが表示される。 | 音が聞こえ、グラブやリリースのアニメーションが見える。 |
| 頭の視線入力とコミット | 視野の中央にカーソルが見える。 | カーソルを特定のオブジェクトに重ねると、カーソルの状態が変わる。 | 行動すると、視覚または音声でわかる。 |
| ハンズフリー (頭の視線入力とドウェル) | 視野の中央にカーソルが見える。 | インタラクティブなオブジェクトにドウェルすると、進行状況のインジケーターが見える。 | 行動すると、視覚または音声でわかる。 |
| ハンズフリー (音声コマンド) | リスニング インジケーターとシステムが聞いた音を表示するキャプションが見える。 | 音声プロンプトとヒントが聞こえる。 次のように言います。音声操作の項目 フィードバックが得られる。 | コマンドを与えると、視覚または音声でわかる。必要な場合は不明瞭解消用の UX が提供される。 |
ヘルプ チームが操作モデルを選択する際に使用している質問を次に示します。
Q: ユーザーがホログラムにタッチして細かい操作を行うことはありますか?
A: その場合は、厳密なターゲット指定や操作を行うために、手とモーション コントローラーの操作モデルを確認します。Q: ユーザーは、現実世界で作業を行うために、手を空けておく必要がありますか?
A: その場合は、ハンズフリー操作モデルを確認します。このモデルは、視線入力または音声ベースの操作で優れたハンズフリー エクスペリエンスを提供します。Q: ユーザーには MR アプリケーションの操作を学習する時間はありますか? それとも、最低限の学習で操作を行う必要がありますか?
A: 最低限の学習で最も直感的に操作を行いたい場合、ユーザーが手を使って操作できるのであれば、手とモーション コントローラーのモデルをお勧めします。Q: ユーザーがポイントしたり操作したりする際、モーション コントローラーを使用しますか?
A: 手とモーション コントローラーのモデルには、モーション コントローラーを使用してすばらしいエクスペリエンスを実現するためのガイダンスがすべて含まれています。Q: ユーザーは、アクセシビリティ コントローラーやクリッカーなどの一般的な Bluetooth コントローラーを使用しますか?
A: すべての非追跡コントローラーには、頭の視線入力とコミットのモデルをお勧めします。 ユーザーが単純な「ターゲット指定とコミット」機構によるエクスペリエンス全体を利用できるように設計されています。Q:ユーザーは、UI コントロールが詰まったレイアウトを操作するのではなく、「クリックスルー」によってのみエクスペリエンスを進行させることができますか (たとえば、3D スライド ショーのような環境)?
A: ユーザーが多くの UI を制御する必要がない場合は、頭の視線入力とコミットを使うと、ターゲットの指定について悩むことなく学習できるオプションを提供できます。Q: ユーザーは HoloLens (第 1 世代) と HoloLens 2/Windows Mixed Reality イマーシブ ヘッドセット (VR) の両方を使用しますか?
A: 頭の視線入力とコミットは HoloLens (第 1 世代) の操作モデルであるため、HoloLens (第 1 世代) をサポートする作成者は、ユーザーが HoloLens (第 1 世代) ヘッドセットを使用する可能性があるすべての機能やモードで、頭の視線入力とコミットを使用することをお勧めします。 複数の世代の HoloLens で優れたエクスペリエンスを作成する詳しい方法については、"操作モデルの遷移" について取り上げた次のセクションを参照してください。Q:移動可能 (広い領域をカバーする、またはスペース間を移動する) なユーザーと、1 つのスペースで作業することが多いユーザーを比較するとどうなりますか?
A: どの操作モデルでも、これらのユーザーに対応できます。
Note
アプリの設計に特化したガイダンスは、近日中に公開します。
操作モデルの遷移
複数の操作モデルを使用することが必要になるユース ケースもあります。 たとえば、アプリケーションの作成フローで "手とモーション コントローラー" 操作モデルを利用しつつ、現場技術者向けにはハンズフリー モードを使用する場合などです。 エクスペリエンスに複数の操作モデルが必要な場合、ある操作モデルから別の操作モデルに切り替えるのをユーザー (特に、Mixed Reality を初めて使用するユーザー) が難しく感じる場合があります。
Note
開発者やデザイナーが使用できるガイダンスの作成に常に取り組んでおり、複数の MR 操作モデルを使用するための方法、タイミング、および理由についてお知らせしています。