注視並認可

注視和認可 是一種基本輸入模型,與我們使用滑鼠與計算機互動的方式緊密相關: 點 & 點選。 在此頁面上,我們引進了兩種類型的注視輸入 (頭部和眼部注視) 和不同類型的認可動作。 注視和認可 會被視為具有間接操作的遠方輸入模型。 它最適合用來與觸達的全像攝影內容互動。

混合實境頭戴式裝置可以使用用戶頭部的位置和方向來判斷其頭部方向向量。 將注視視為直接從使用者眼睛之間直接指向的雷射。 這是相當粗略的使用者觀看位置概算。 您的應用程式可以與虛擬或真實世界物件交集此光線,並在該位置繪製游標,讓使用者知道其目標。

除了頭部注視之外,某些混合實境頭戴式裝置,例如 HoloLens 2,包括產生眼球注視向量的眼球追蹤系統。 這會對使用者觀看的位置提供精細的測量。 在這兩種情況下,注視代表使用者意圖的重要訊號。 系統可以解譯和預測用戶預期動作越好,用戶滿意度和效能就越高。

以下是您身為混合實境開發人員如何受益於頭部或眼部注視的一些範例:

  • 您的應用程式可以與場景中的全像投影交集注視,以判斷使用者的注意力 (更精確的眼球注視) 。
  • 您的應用程式可以根據使用者的注視來通道手勢和控制器按下,讓用戶順暢地選取、啟用、抓取、捲動,或與其全像投影互動。
  • 您的應用程式可以讓使用者將全像投影放在真實世界表面,方法是將其注視光線與空間對應網格交集。
  • 您的應用程式可以知道使用者何時沒有查看重要物件的方向,這可引導您的應用程式提供視覺和音訊提示來轉向該物件。

裝置支援

輸入模型 HoloLens (第 1 代) HoloLens 2 沉浸式頭戴裝置
頭部注視並認可 ✔️ 建議使用 ✔️ 建議使用 (第三個選擇 - 查看其他選項) ➕ 替代選項
眼部注視並認可 ❌ 無法使用 ✔️ 建議使用 (第三個選擇 - 查看其他選項) ❌ 無法使用

頭部和眼球追蹤設計概念示範

如果您想要查看作用中的頭部和眼球追蹤設計概念,請參閱下方的設計 全像投影 - 頭部追蹤和眼球追蹤 影片示範。 當您完成時,請繼續進行以取得更詳細的特定主題深入探討。

這段影片取自「設計全像投影」HoloLens 2 應用程式。 在這裡下載並享受完整的體驗。

注視

眼部或頭部注視?

面對問題時,有數個考慮是您應該使用「眼部注視和認可」或「頭部注視和認可」輸入模型。 如果您要針對沉浸式頭戴式裝置或 HoloLens (第 1 代) 進行開發,則選擇很簡單:頭部注視和認可。 如果您要開發 HoloLens 2,選擇會變得比較困難。 請務必瞭解每個優點和挑戰。 我們已在下表中編譯一些廣泛的優缺點,以對比頭部與眼球注視目標。 這不是完整的,我們建議在這裡深入瞭解混合實境中的眼部注視目標:

眼球注視目標 頭部注視定向
快速!
低心力 (幾乎不需要任何) 的主體移動 可能會變模糊 – 可能 (的癥狀,例如,壓力)
不需要游標,但建議使用細微的意見反應 需要顯示數據指標
沒有平滑的眼球移動 – 例如,不適合繪製 更受控制且明確
小型目標難以 (例如小型按鈕或網頁連結) 可靠! 大後援!
... ...

不論您是針對注視和認可輸入模型使用頭部注視或眼球注視,每個模型都有不同的設計條件約束。 這些會分別涵蓋在 眼部注視和認可和認可頭部注視和認可 文章中。



資料指標

針對頭部注視,大部分的應用程式都應該使用 游標 或其他稽核/視覺指示,讓使用者確信他們即將與之互動的內容。 您通常會將此游標放在其頭部注視光線第一次與物件交集的世界中,可能是全像投影或真實世界表面。

對於眼球注視,我們通常不建議 不要 顯示游標,因為這可能會對使用者快速分心和令人困擾。 相反地,請稍微醒目提示視覺目標,或使用模糊眼球游標,讓使用者對使用者所要互動的內容提供信賴度。 如需詳細資訊,請參閱我們的設計指引,以瞭解 HoloLens 2 上以眼球為基礎的輸入

顯示注視的範例視覺游標
影像:顯示注視的範例視覺游標



提交

在討論注目標的不同方式之後,讓我們進一步討論注視和認可中的認可部分。 以物件或 UI 元素為目標之後,使用者可以使用次要輸入來互動或按兩下它。 這就是所謂的輸入模型認可步驟。

支援的認可方法如下:

  • 空中點選手勢 (,也就是將手放在您前面,並將您的食指和指紋結合在一起)
  • 「選取」 或其中一個目標語音命令
  • 按下 HoloLens Clicker 上的單一按鈕
  • 按下 Xbox 遊戲板上的 [A] 按鈕
  • 按下 Xbox 調適型控制器上的 [A] 按鈕

注視和空中點選手勢

空中點選是手部直立的點選手勢。 若要使用空中點選,請將您的食指提高到就緒位置,然後使用您的手指捏合,然後讓索引手指向上向上放開。 在 HoloLens (第 1 代) 上,空中點選是最常見的次要輸入。

位於就緒位置的手指
位於就緒位置的手指

向下按手指以點選或按一下
向下按手指以點選或按一下

您也可以在 HoloLens 2 上使用空中點選。 它已從原始版本寬鬆。 只要手部是直立並按住,現在就支持幾乎所有類型的 Pinches。 這可讓使用者更容易學習和使用手勢。 這個新的空中點選會透過相同的 API 取代舊的點選,因此現有的應用程式會在重新編譯 HoloLens 2 之後自動擁有新的行為。



注視和「選取」語音命令

語音命令是混合實境中的主要互動方法之一。 它提供功能強大的免操作機制來控制系統。 語音互動模型有不同類型的:

  • 使用單擊動作或認可作為次要輸入的一般 「Select」 命令。
  • 物件命令 (例如“Close” 或 “Make it bigger”,) 執行動作並認可為次要輸入。
  • 例如,全域命令 (「移至開始」) 不需要目標。
  • Cortana 之類的交談使用者介面或實體具有 AI 自然語言功能。
  • 自訂語音命令

若要深入瞭解詳細數據和可用語音命令的完整清單,以及如何使用這些命令,請參閱我們的 語音命令 指引。



注視和 HoloLens Clicker

HoloLens Clicker 是專為 HoloLens 建置的第一個周邊裝置。 它隨附於 HoloLens (第 1 代) Development Edition。 HoloLens Clicker 可讓用戶按兩下最少的手部動作,並認可為次要輸入。 HoloLens Clicker 會使用藍牙低能源 (BTLE) 連線到 HoloLens (第 1 代) 或 HoloLens 2。

配對裝置的詳細資訊和指示

影像:HoloLens Clicker

HoloLens Clicker



注視和 Xbox 無線控制器

Xbox 無線控制器 會使用 [A] 按鈕,執行按下動作作為次要輸入。 裝置會對應至一組默認動作,以協助巡覽和控制系統。 如果您想要自定義控制器,請使用 Xbox Accessories 應用程式來設定您的 Xbox 無線控制器。

如何將 Xbox 控制器與您的電腦配對

影像:Xbox 無線控制器

Xbox 無線控制器



注視和 Xbox 調適型控制器

主要是為了符合具有有限行動性的玩家需求,Xbox Adaptive Controller 是裝置的統一中樞,可協助讓混合實境更容易存取。

Xbox 調適型控制器會使用 [A] 按鈕,執行按兩下動作作為次要輸入。 裝置會對應至一組默認動作,以協助巡覽和控制系統。 如果您想要自定義控制器,請使用 Xbox Accessories 應用程式來設定您的 Xbox 調適型控制器。

Xbox 調適型控制器
Xbox Adaptive Controller

連接外部裝置,例如交換器、按鈕、掛接和遊戲桿,以建立獨特的自定義控制器體驗。 按鈕、遊戲桿和觸發程式輸入是由透過 3.5 公厘插接器和 USB 埠連線的輔助裝置所控制。

Xbox 調適型控制器埠
Xbox Adaptive Controller 連接埠

裝置配對指示

在 Xbox 網站上可取得更多資訊



複合手勢

空中點選

空中點選手勢 (,而下方的其他手勢) 只會回應特定點選。 若要偵測其他點選,例如功能表或擷取,您的應用程式必須直接使用上述兩個主要元件手勢一節中所述的較低層級互動。

點選並按住

按住只是維持空中點選的手指朝下位置。 空中點選和按住的組合可在結合手部移動時,允許各種更複雜的「按兩下和拖曳」互動,例如挑選物件,而不是啟動它或滑鼠向下次要互動,例如顯示操作功能表。 不過,設計此手勢時應謹慎,因為用戶可以在任何延伸手勢期間輕鬆放寬其手部狀態。

操作

當您想要全像投影對使用者的手部移動時,操作手勢可用來移動、重設大小或旋轉全像投影。 這類 1:1 移動的用途之一是要讓使用者可以實際繪圖。 操作手勢的初始定向應經由注視或指向來完成。 點選並按住一旦啟動,任何物件操作都是由手部移動來處理,可讓使用者在操作時四處查看。

瀏覽手勢的運作方式如同虛擬搖桿,可用來瀏覽 UI 小工具,例如放射狀功能表。 您可點選並按住來啟動手勢,然後在標準化 3D Cube (在初次按壓時置中) 中移動您的手。 您可以將手沿著 X、Y 或 Z 軸從 -1 的值移至 1,而 0 是起點。 瀏覽可用來建置以速度為基礎的連續捲動或縮放手勢,類似於藉由按一下滑鼠中間按鈕,然後上下移動滑鼠來捲動 2D UI。

使用滑軌流覽是指辨識特定軸移動的能力,直到在該軸上達到特定臨界值為止。 只有在開發人員在應用程式中啟用一個以上的軸移動時,這才很有用,例如,如果應用程式設定為辨識 X、Y 軸上的瀏覽手勢,但也會使用滑軌指定 X 軸。 在此情況下,只要在 X 軸上保持虛線 (參考線) ,如果手部移動也發生在 Y 軸上,系統就會辨識跨 X 軸的手部移動。

在 2D 應用程式內,使用者可以使用垂直瀏覽手勢在應用程式內捲動、縮放或拖曳。 這會在應用程式中插入虛擬手指觸控,以模擬同類型的觸控手勢。 用戶可以選取按鈕或說出 「<捲動/拖曳/縮放> 工具」,在應用程式上方的列之間切換工具,以選取這些動作的其中一個。

複合手勢的詳細資訊

手勢辨識器

使用手勢辨識的其中一個優點是,您可以只針對目前目標全像投影可以接受的手勢設定手勢辨識器。 平臺只會視需要區分這些特定支援手勢的模棱兩可。 如此一來,只支援空中點選的全像投影可以接受按下和放開之間的任何時間長度,而支援點選和按住的全像投影可以在保留時間閾值之後將點選升為保留。

手部辨識

HoloLens 可藉由追蹤裝置可見的任一手或雙手位置來辨識手勢。 當手部處於就緒狀態 (手背朝向您且食指朝上) 或按下狀態 (手背朝向您且食指朝下) 時,HoloLens 就會看見手部。 當手在其他姿勢中時,HoloLens 會忽略它們。 針對 HoloLens 偵測到的每個手,您可以存取其位置,而不需方向和按下的狀態。 當手部接近手勢框架邊緣時,您也會取得方向向量,而您可對使用者顯示該向量,讓他們知道如何移動其手部以回到 HoloLens 可看見手部的位置。

手勢框架

對於 HoloLens 上的手勢,手部必須位於手勢框架內,在手勢感測器相機可以適當地查看的範圍,從口到頭到雙手之間。 用戶必須針對此辨識領域進行訓練,才能成功執行動作,以及自行獲得舒適。 許多使用者一開始會假設手勢框架必須透過 HoloLens 在其檢視中,並按住其雙手不動以互動。 使用 HoloLens Clicker 時,不需要手部位於手勢框架內。

特別是針對連續手勢,使用者在手勢框架外移動其手部時有一些風險,而在移動全像攝影物件時,在中間手勢中移動,並遺失其預期的結果。

您應該考量下列三個事項:

  • 手勢框架的存在和近似界限的使用者教育。 這是在 HoloLens 設定期間所教導的。

  • 當使用者的手勢接近或中斷應用程式內的手勢框架界限時,通知使用者失去手勢導致不想要的結果。 研究已顯示這類通知系統的重要品質。 HoloLens 殼層會在中央游標上提供這種類型的通知--視覺效果範例,指出界限交叉發生的方向。

  • 您應該將突破手勢框架界限的後果最小化。 一般而言,這表示手勢的結果應該在界限停止,而不會反轉。 例如,如果使用者在房間間移動一些全像攝影對象,移動應該會在手勢畫面外泄時停止,而不會返回起點。 使用者可能會遇到一些挫折,但可能會更快速地瞭解界限,而不需要每次重新啟動其完整預期動作。

另請參閱