注視並認可
注視和認可 是與我們使用滑鼠與電腦互動的方式緊密相關的基本輸入模型: 點 & 選。 在此頁面上,我們將介紹兩種類型的注視輸入 (頭部和眼睛注視) 和不同類型的認可動作。 注視和認可 被視為具有間接操作的遠輸入模型。 它最適合用來與無法連線的全像攝影內容互動。
混合實境頭戴式裝置可以使用使用者頭部的位置和方向來判斷其頭部方向向量。 將注視視為直接在使用者眼睛之間直接指向的雷射。 這是相當粗略的使用者觀看位置概算。 您的應用程式可以與虛擬或真實世界物件交集此光線,並在該位置繪製游標,讓使用者知道其目標。
除了頭部注視之外,某些混合實境頭戴裝置,例如HoloLens 2,包括產生眼球注視向量的眼球追蹤系統。 這會對使用者觀看的位置提供精細的測量。 在這兩種情況下,注視代表使用者意圖的重要訊號。 系統越能解譯及預測使用者的預期動作越好,使用者滿意度和效能就越好。
以下是您身為混合實境開發人員如何受益于頭部或眼睛注視的一些範例:
- 您的應用程式可以與場景中的全像投影交集注視,以判斷使用者的注意力 (更精確的眼球注視) 。
- 您的應用程式可以根據使用者的注視來通道手勢和控制器按下,讓使用者順暢地選取、啟用、抓取、捲動或與其全像投影互動。
- 您的應用程式可讓使用者將全像投影放在真實世界表面,方法是將其注視光線與空間對應網格交集。
- 您的應用程式可以知道使用者何時沒有看到重要物件的方向,這可能會導致您的應用程式提供視覺和音訊提示,以轉向該物件。
裝置支援
輸入模型 | HoloLens (第 1 代) | HoloLens 2 | 沉浸式頭戴裝置 |
頭部注視並認可 | ✔️ 建議使用 | ✔️ 建議使用 (第三個選擇 - 查看其他選項) | ➕ 替代選項 |
眼部注視並認可 | ❌ 無法使用 | ✔️ 建議使用 (第三個選擇 - 查看其他選項) | ❌ 無法使用 |
頭部和眼球追蹤設計概念示範
如果您想要查看作用中的頭部和眼球追蹤設計概念,請參閱下面的 設計全像投影 - 頭部追蹤和眼球追蹤 影片示範。 當您完成時,請繼續進行,以深入瞭解特定主題。
這段影片取自「設計全像投影」HoloLens 2應用程式。 在這裡下載並享受完整的體驗。
注視
眼睛或頭部注視?
面對問題時,有數個考慮是您應該使用「眼睛注視和認可」或「頭部注視和認可」輸入模型。 如果您要針對沉浸式頭戴式裝置或 HoloLens (第 1 代) 進行開發,則選擇很簡單:頭部注視和認可。 如果您要針對HoloLens 2進行開發,選擇會變得更困難。 請務必瞭解每個優點和挑戰。 我們已在下表中編譯一些廣泛的優缺點,以對比頭部與眼睛注視目標。 這遠不完全,建議您在這裡深入瞭解混合實境中的眼球注視目標:
- HoloLens 2上的眼球追蹤:我們有關HoloLens 2的新眼球追蹤功能的一般簡介,包括一些開發人員指引。
- 眼球注視互動:規劃使用眼球追蹤做為輸入時的設計考慮和建議。
眼球注視目標 | 頭部注視定向 |
快速! | 慢 |
低心力 (幾乎不需要任何體體移動) | 可能會變模糊 - 可能 ( (,例如) |
不需要游標,但建議使用細微的意見反應 | 需要顯示資料指標 |
沒有平滑的眼球移動 – 例如,不適合繪製 | 更受控制且明確 |
小型目標 (困難,例如小型按鈕或網頁連結) | 可靠! 大後援! |
... | ... |
無論您是針對注視和認可輸入模型使用頭部注視或眼球注視,每個輸入模型都有不同的設計條件約束集。 這些分別涵蓋在 眼睛注視和認可 和 認可和頭部注視和認可 文章中。
資料指標
對於頭部注視,大部分的應用程式都應該使用 游標 或其他稽核/視覺指示,讓使用者確信他們即將與之互動的內容。
您通常會將此游標放在其頭部注視光線第一次與物件交集的世界中,可能是全像投影或真實世界表面。
對於眼睛注視,我們通常不建議 不要 顯示游標,因為這可能會讓使用者快速分心和令人困擾。
相反地反白顯示視覺目標,或使用模糊眼球游標來提供使用者即將與之互動的信賴度。 如需詳細資訊,請參閱我們的HoloLens 2眼型輸入設計指引。
影像:顯示注視的範例視覺游標
Commit
在討論以不同方式注視目標之後,讓我們進一步討論注視和認可中的認可部分。 以物件或 UI 元素為目標之後,使用者可以使用次要輸入進行互動或按一下。 這就是所謂的輸入模型認可步驟。
支援的認可方法如下:
- 空中點選手勢 (,也就是在前面舉手,並將索引指和指紋結合在一起)
- 說 出「選取」 或其中一個目標語音命令
- 在HoloLens Clicker上按單一按鈕
- 按下 Xbox 遊戲台上的 [A] 按鈕
- 按下 Xbox 調適型控制器上的 [A] 按鈕
注視和空中點選手勢
空中點選是手部直立的點選手勢。 若要使用空中點選,請將您的索引指向上向上移至就緒的位置,然後使用您的指紋捏合,然後讓索引指重新放開。 在 HoloLens (第 1 代) 上,空中點選是最常見的次要輸入。
就緒位置中的手指
向下按手指點選或按一下
您也可以在HoloLens 2上使用空中點選。 它已從原始版本寬鬆。 只要手部直立並保持,現在支援幾乎所有類型的 pinches。 這可讓使用者更輕鬆地學習和使用手勢。 這個新的空中點選會透過相同的 API 取代舊的,因此現有的應用程式會在重新編譯HoloLens 2之後自動擁有新的行為。
注視和「選取」語音命令
語音命令是混合實境中的主要互動方法之一。 它提供功能強大的免手機制來控制系統。 語音互動模型有不同類型的:
- 使用按一下動作或認可作為次要輸入的泛型 「Select」 命令。
- 物件命令 (例如「Close」 或 「Make it bigger」,) 以次要輸入的形式執行並認可至動作。
- 例如,全域命令 (「移至啟動」) 不需要目標。
- Cortana 之類的交談使用者介面或實體具有 AI 自然語言功能。
- 自訂語音命令
若要深入瞭解詳細資料和可用語音命令的完整清單及其使用方式,請參閱我們的 語音命令 指引。
注視和 HoloLens Clicker
HoloLens Clicker 是專為 HoloLens 所建置的第一個周邊裝置。 它隨附于 HoloLens (第 1 代) Development Edition。 HoloLens Clicker 可讓使用者按一下最少的手部動作,並認可為次要輸入。 HoloLens Clicker 會使用藍牙低能源 (BTLE) 連線到 HoloLens (第 1 代) 或 HoloLens 2。
配對裝置的詳細資訊和指示
影像:HoloLens Clicker
注視和Xbox 無線控制器
Xbox 無線控制器會使用 [A] 按鈕,以次要輸入執行點選動作。 裝置會對應至一組預設動作,以協助巡覽及控制系統。 如果您想要自訂控制器,請使用 Xbox Accessories 應用程式來設定您的Xbox 無線控制器。
如何將 Xbox 控制器與您的電腦配對
影像:Xbox 無線控制器
注視和 Xbox 調適型控制器
Xbox 調適型控制器主要是為了符合具有有限行動性之玩家的需求,是裝置的整合中樞,可協助讓混合實境更容易存取。
Xbox 調適型控制器會使用 [A] 按鈕,執行按一下動作作為次要輸入。 裝置會對應至一組預設動作,以協助巡覽及控制系統。 如果您想要自訂控制器,請使用 Xbox Accessories 應用程式來設定 Xbox Adaptive Controller。
Xbox Adaptive Controller
連接外部裝置,例如交換器、按鈕、掛接和搖桿,以建立您唯一的自訂控制器體驗。 按鈕、搖桿和觸發程式輸入是透過 3.5 公釐插孔和 USB 埠連線的輔助裝置所控制。
Xbox Adaptive Controller 連接埠
複合手勢
空中點選
空中點選手勢 (,而下方的其他手勢) 只會回應特定點選。 若要偵測其他點選,例如功能表或掌握,您的應用程式必須直接使用上述兩個主要元件手勢一節中所述的較低層級互動。
點選並按住
按住只是維持空中點選的手指朝下位置。 空中點選和按住的組合可讓各種更複雜的「按一下和拖曳」互動結合在一起,例如挑選物件,而不是啟動它或滑鼠向下次要互動,例如顯示操作功能表。 不過,設計此手勢時,請小心,因為使用者很容易在任何延伸手勢期間放寬其手部狀態。
操作
當您想要全像投影對使用者的手部移動反應 1:1 時,操作手勢可用來移動、調整大小或旋轉全像投影。 這類 1:1 移動的用途之一是要讓使用者可以實際繪圖。 操作手勢的初始定向應經由注視或指向來完成。 一旦點選並按住即會由手部移動來處理任何物件操作,讓使用者在操作時四處查看。
導覽
瀏覽手勢的運作方式如同虛擬搖桿,可用來瀏覽 UI 小工具,例如放射狀功能表。 您可點選並按住來啟動手勢,然後在標準化 3D Cube (在初次按壓時置中) 中移動您的手。 您可以將手沿著 X、Y 或 Z 軸從 -1 的值移至 1,而 0 是起點。 瀏覽可用來建置以速度為基礎的連續捲動或縮放手勢,類似於藉由按一下滑鼠中間按鈕,然後上下移動滑鼠來捲動 2D UI。
使用滑軌流覽是指辨識特定座標軸中移動的能力,直到達到該軸上的特定臨界值為止。 這只有在開發人員在應用程式中啟用多個軸移動時才有用,例如,如果應用程式設定為辨識 X、Y 軸上的流覽手勢,但也會使用滑軌指定 X 軸。 在此情況下,如果手部移動也發生在 Y 軸上,系統就會辨識跨 X 軸的手部移動,只要它們保留在虛構滑軌內 (輔助線) 。
在 2D 應用程式內,使用者可以使用垂直瀏覽手勢在應用程式內捲動、縮放或拖曳。 這會在應用程式中插入虛擬手指觸控,以模擬同類型的觸控手勢。 使用者可以選取按鈕或說「 < 捲動/拖曳/縮放 > 工具」,以選取應用程式上方列的工具之間切換,以選取這些動作的哪一項。
手勢辨識器
使用手勢辨識的其中一個優點是,您只能針對目前目標全像投影可以接受的手勢設定手勢辨識器。 平臺只會視需要去除混淆,以區分那些特定的支援手勢。 如此一來,只支援空中點選的全像投影可以接受按下和放開之間的任何時間長度,而支援點選和按住的全像投影可以在保留時間閾值之後將點選提升為保留。
手部辨識
HoloLens 可藉由追蹤裝置可見的任一手或雙手位置來辨識手勢。 當手部處於就緒狀態 (手背朝向您且食指朝上) 或按下狀態 (手背朝向您且食指朝下) 時,HoloLens 就會看見手部。 當手處於其他姿勢時,HoloLens 會忽略它們。 針對 HoloLens 偵測到的每個手,您可以存取其位置,而不需要方向和按下的狀態。 當手部接近手勢框架邊緣時,您也會取得方向向量,而您可對使用者顯示該向量,讓他們知道如何移動其手部以回到 HoloLens 可看見手部的位置。
手勢框架
對於 HoloLens 上的手勢,手部必須位於手勢框架內,以手勢感知相機可適當地看到的範圍,從臉孔到孔之間以及雙手之間。 使用者必須針對此辨識領域進行訓練,才能成功執行動作,以及自有的緩和性。 許多使用者一開始會假設手勢框架必須透過 HoloLens 在其檢視中,並按住其雙手不動以互動。 使用 HoloLens Clicker 時,不需要手部位於手勢框架內。
特別是針對連續手勢,使用者在移動全像攝影物件時,在手勢框架外移動手部有一些風險,例如,並遺失其預定的結果。
您應該考量下列三個事項:
手勢框架的存在和近似界限的使用者教育。 這會在 HoloLens 設定期間進行教學。
當使用者的手勢接近或中斷應用程式內的手勢框架界限時,通知使用者遺失的手勢會導致不想要的結果。 研究已顯示這類通知系統的主要品質。 HoloLens 殼層會在中央游標上提供這種類型的通知視覺效果的良好範例,指出界限跨越的方向。
您應該將突破手勢框架界限的後果最小化。 一般而言,這表示手勢的結果應該在界限停止,而不是反轉。 例如,如果使用者在房間之間移動一些全像攝影物件,移動應該會在手勢畫面外泄時停止,而不會返回起點。 使用者可能會遇到一些挫折,但可能會更快速地瞭解界限,而不需要每次重新開機其完整的預定動作。