運動控制器

動作控制器是 硬體配件 ,可讓使用者在混合實境中採取動作。 動作控制器優於 手勢 的優點是控制器在空間中有精確的位置,允許與數位物件的細微互動。 對於Windows Mixed Reality沉浸式頭戴式裝置,運動控制器是使用者在其世界中採取動作的主要方式。

影像:Windows Mixed Reality動作控制器

Windows Mixed Reality motion controllers



裝置支援

功能 HoloLens (第 1 代) HoloLens 2 沉浸式頭戴裝置
運動控制器 ✔️

硬體詳細資料

Windows Mixed Reality運動控制器會使用沉浸式頭戴式裝置中的感應器,在您的視野中提供精確且回應的動作追蹤。 您不需要在空間的牆上安裝硬體。 這些運動控制器提供與Windows Mixed Reality沉浸式頭戴式裝置相同的設定和可攜性。 我們的裝置合作夥伴計畫在此假日的零售架上行銷及銷售這些控制器。

Get to know your controller
瞭解您的控制器

特徵:

  • 光學追蹤
  • 觸發程序
  • 抓取按鈕
  • 搖桿
  • Touchpad

安裝程式

開始之前

您需要:

  • 一組兩個動作控制器。
  • 四個 AA 電池。
  • 支援 藍牙 4.0 的電腦。

檢查Windows、Unity 和驅動程式更新

配對控制器

動作控制器可以與主機電腦搭配使用Windows設定,就像任何其他藍牙裝置一樣。

  1. 將兩個 AA 電池插入控制器背面。 讓電池暫時關閉。
  2. 如果您使用外部 USB 藍牙介面卡,而不是內建藍牙無線電,請先檢閱藍牙最佳做法,再繼續進行。 針對具有內建無線電的桌面設定,請確定天線已連線。
  3. 開啟Windows 設定- >Devices - >Add 藍牙或其他裝置- >藍牙,並移除任何先前的 「Motion controller – Right」 和 「Motion controller – Left」 實例。 另請檢查清單底部的其他裝置類別。
  4. 選取[新增藍牙或其他裝置],然後看到它開始探索藍牙裝置。
  5. 按住控制器的 [Windows] 按鈕以開啟控制器,一旦它響鈴後放開。
  6. 按住電池區間中的配對按鈕 (索引標籤,) 直到 LED 開始脈衝。
  1. 等候 「動作控制器 - 左」或「動作控制器 - 右」出現在清單底部。 選取以配對。 控制器會在連線時震動一次。

    影像:選取 [動作控制器] 進行配對;如果有多個實例,請從清單底部選取一個實例

Select Motion controller to pair, if multiple instances select one from appearing bottom of the list

  1. 您會看到控制器出現在 [滑鼠、鍵盤、 & 手寫筆] 類別下的 [藍牙 設定] 中,顯示為 [已連線]。 此時,您可能會收到韌體更新 – 請參閱 下一節
  2. 重新連接電池覆蓋。
  3. 針對第二個控制器重複步驟 1-9。

成功配對這兩個控制器之後,您的設定看起來應該如下所示,在[滑鼠、鍵盤、 & 手寫筆] 類別

影像:連線的動作控制器

Motion controllers connected

如果控制器在配對後關閉,其狀態會顯示為 [已配對]。 對於控制器永久位於 [其他裝置] 類別之下,配對可能只有部分完成。 在此情況下,請再次執行配對步驟,以取得控制器的功能。

更新控制器韌體

  • 如果有沉浸式頭戴式裝置連線到您的電腦,且有新的控制器韌體可供使用,韌體會在下次開啟時自動推送至您的運動控制器。 控制器韌體更新是以迴圈動作中亮起 LED 象限的模式來表示,而且需要 1-2 分鐘。
  • 韌體更新完成之後,控制器會重新開機並重新連線。 這兩個控制器都應該立即連線。

    映射:藍牙設定中連線的控制器

Controllers connected

  • 確認您的控制器正常運作:
    1. 啟動Mixed Reality 入口網站,然後輸入您的Mixed Reality首頁。
    2. 移動控制器並確認追蹤、測試按鈕,以及確認 遠端傳送 可運作。 如果沒有,請查看 動作控制器疑難排解

Gazing and pointing

Windows Mixed Reality支援兩個主要的互動模型;注視和認可指向和認可

  • 透過 注視和認可,使用者會以注 物件為目標,然後使用手部點選、遊戲台、按一下器或其語音來選取物件。
  • 透過 點和認可,使用者可以將具指標功能的動作控制器設為目標物件,然後選取具有控制器觸發程式的物件。

支援指向運動控制器的應用程式也應該盡可能啟用注視驅動互動,讓使用者選擇他們所使用的輸入裝置。

指向時管理 Recoil

使用動作控制器指向並認可時,您的使用者將會使用控制器來鎖定並藉由提取其觸發程式來互動。 提取觸發程式的使用者最後可能會將控制器的目標設定為高於其觸發程式提取的結尾。

若要管理使用者提取觸發程式時可能發生的任何這類重新編列,您的應用程式可以在觸發程式的類比軸值高於 0.0 時貼齊其目標光線。 然後,只要最後一次在短時間內按下最後一次,您就可以使用該目標光線採取動作,一旦觸發程式值達到 1.0 之後,就可以採取動作。 使用較高層級的複合點選手勢時,Windows會為您管理此目標光線擷取和逾時。

底框姿勢與指向姿勢

Windows Mixed Reality支援不同尺寸的動作控制器,每個控制器的設計在使用者手部位置與應用程式在轉譯控制器時應該用於指向的自然「向前」方向之間的關聯性不同。

為了更妥善地代表這些控制器,您可以調查每個互動來源的兩種姿勢; 底框姿勢指標姿勢

底框姿勢

底框姿勢代表由HoloLens偵測到的手部手部位置,或是按住運動控制器的手掌。

在沉浸式頭戴式裝置上,底框姿勢最適合用來轉譯 使用者手 部或 使用者手上所持有的物件,例如一個字或手。 在視覺化運動控制器時也會使用底框姿勢,因為動作控制器Windows所提供的可轉譯模型會使用底框姿勢做為其原點和旋轉中心。

底框姿勢明確定義如下:

  • 底框位置:在自然按住控制器時,由左或右調整為置中位置的手掌心。 在Windows Mixed Reality動作控制器上,此位置通常會與 [掌握] 按鈕對齊。
  • 底框方向的右軸:當您完全開啟手部以形成平面五指姿勢時,從左手掌往前 (往前的光線,從右手掌向後向)
  • 底框方向的 [正向軸]:當您關閉手部部分 (時,就像按住控制器) 一樣,指向由非指指形成之管「向前」的光線。
  • 底框方向的向上軸:由 Right 和 Forward 定義所隱含的向上軸。

指標姿勢

指標姿勢代表指向正向的控制器提示。

當您 轉譯控制器模型本身時,系統提供的指標姿勢最適合用於 Raycast。 如果您要轉譯一些其他虛擬物件來取代控制器,例如虛擬手部,您應該指向該虛擬物件最自然的光線,例如沿著應用程式定義之手邊移動的光線模型。 因為使用者可以看到虛擬物件,而不是實體控制器,所以使用虛擬物件對使用您的應用程式的使用者來說,可能更自然。

控制器追蹤狀態

如同頭戴式裝置,Windows Mixed Reality運動控制器不需要設定外部追蹤感應器。 相反地,控制器會由頭戴式裝置本身的感應器追蹤。

如果使用者將控制器移出頭戴式裝置的檢視範圍,在大部分情況下,Windows會繼續推斷控制器位置,並將其提供給應用程式。 當控制器遺失視覺追蹤的時間夠長時,控制器的位置會下降到近似精確度的位置。

此時,系統會將控制器主體鎖定給使用者,並在使用者移動時追蹤使用者的位置,同時仍使用其內部方向感應器公開控制器的真實方向。 許多使用控制器來指向並啟用 UI 元素的應用程式都可以正常運作,而不需要使用者注意到。


明確追蹤狀態的考慮

想要根據追蹤狀態以不同方式處理位置的應用程式可能會進一步檢查控制器狀態的屬性,例如 SourceLossRisk 和 PositionAccuracy:

追蹤狀態 SourceLossRisk PositionAccuracy TryGetPosition
高精確度 < 1.0 true
高精確度 (遺失) 的風險 == 1.0 true
近似精確度 == 1.0 大約 true
無位置 == 1.0 大約 false

這些動作控制器追蹤狀態的定義如下:

  • 高精確度: 雖然動作控制器位於頭戴式裝置的檢視範圍內,但通常會根據視覺追蹤提供高精確度位置。 暫時離開檢視欄位或暫時遮蔽頭戴式感應器的移動控制器 (,例如,使用者的另一手) 會根據控制器本身的慣性追蹤,繼續傳回短時間的高精確度姿勢。
  • 高精確度 (遺失) 的風險: 當使用者將動作控制器移至頭戴式裝置欄位的邊緣時,頭戴式裝置很快就會無法以視覺化方式追蹤控制器的位置。 應用程式知道控制器何時到達此 FOV 界限,方法是看到 SourceLossRisk 達到 1.0。 此時,應用程式可以選擇暫停需要高品質穩定資料流程的控制器手勢。
  • 近似精確度: 當控制器遺失視覺追蹤的時間夠長時,控制器的位置會下降到近似精確度的位置。 此時,系統會將控制器主體鎖定給使用者,並在使用者移動時追蹤使用者的位置,同時仍使用其內部方向感應器公開控制器的真實方向。 許多使用控制器來指向並啟用 UI 元素的應用程式都可以正常運作,而不需要使用者注意到的近似精確度。 具有較重輸入需求的應用程式可能會透過檢查PositionAccuracy屬性,選擇從精確度到近似的精確度,例如,在這段期間,讓使用者在螢幕外目標上提供更寬鬆的點擊框。
  • 沒有位置: 雖然控制器可以長時間以近似精確度運作,但有時系統知道即使主體鎖定的位置目前沒有意義。 例如,開啟的控制器可能從未以視覺方式觀察到,或者使用者可能會放下由其他人挑選的控制器。 在這些時候,系統不會提供應用程式的任何位置, 而 TryGetPosition 會傳回 false。

互動:低階空間輸入

跨手部和動作控制器的核心互動包括SelectMenuTouchpadThumbstickHome

  • 選取 是啟用全像投影的主要互動,其中包含按下後接發行。 針對動作控制器,您可以使用控制器的觸發程式執行 Select press。 執行 Select 的其他方式是說出 語音命令 「選取」。 您可以在任何應用程式內使用相同的選取互動。 將 [選取] 視為滑鼠按一下的對等專案;您學習一次的通用動作,然後套用到所有應用程式。
  • 功能表 是用於在物件上執行動作的次要互動,用來提取操作功能表或採取一些其他次要動作。 使用動作控制器時,您可以使用控制器的功能表按鈕採取 功能表 動作。 (也就是說,其上具有漢堡「功能表」圖示的按鈕)
  • 瞭解 使用者如何直接對物件採取動作,以操作物件。 透過運動控制器,您可以藉由緊密地捏合您的虛線來執行掌握動作。 動作控制器可能會偵測到具有抓取按鈕、手掌觸發程式或其他感應器的擷取。
  • 觸控板 可讓使用者沿著動作控制器的觸控板表面調整兩個維度的動作,按一下觸控板來認可動作。 觸控板提供已按下的狀態、觸控狀態,以及正規化的 XY 座標。 X 和 Y 範圍從 -1 到 1,橫跨圓形觸控板的範圍,中心位於 (0, 0) 。 若為 X,-1 位於左側,而 1 位於右側。 若為 Y,-1 位於底部,而 1 位於頂端。
  • 搖桿 可讓使用者在兩個維度中移動動作控制器的搖桿在其圓形範圍內,藉由按一下搖桿來認可動作。 搖桿也會提供按下的狀態和正規化的 XY 座標。 X 和 Y 範圍從 -1 到 1,橫跨圓形觸控板的範圍,中心位於 (0, 0) 。 若為 X,-1 位於左側,而 1 位於右側。 若為 Y,-1 位於底部,而 1 位於頂端。
  • 首頁 是一種特殊系統動作,用來返回 [開始] 功能表。 它類似于在鍵盤上按下Windows鍵或 Xbox 控制器上的 Xbox 按鈕。 您可以按下動作控制器上的 [Windows] 按鈕來返回首頁。 請注意,您一律可以返回 [開始],方法是說「Hey Cortana,Go Home」。 應用程式無法特別回應 Home 動作,因為這些動作是由系統處理。

複合手勢:高階空間輸入

手部手勢和動作控制器都可以經過一段時間追蹤,以偵測一組常見的高階複合手勢。 這可讓您的應用程式偵測高階 選、 按住操作流覽 手勢,無論使用者最終是使用手部或控制器。

轉譯動作控制器模型

3D 控制器模型Windows讓 app 成為系統中目前作用中每個動作控制器的可轉譯模型。 藉由讓應用程式在執行時間動態載入並表達這些系統提供的控制器模型,您可以確定您的應用程式與任何未來的控制器設計向前相容。

我們建議將所有可轉譯的模型呈現在控制器的 底板姿勢 上,因為模型的原點與實體世界中的這個點一致。 如果您要轉譯控制器模型,您可以接著從 指標姿勢將光線傳送到場景,這代表使用者自然預期指向的光線,前提是該控制器的實體設計。

如需如何在 Unity 中動態載入控制器模型的詳細資訊,請參閱 在 Unity 中轉譯動作控制器模型一 節。

2D 控制器線條藝術師 雖然我們建議將應用程式內控制器秘訣和命令附加至應用程式內控制器模型本身,但有些開發人員可能會想要使用一般「教學課程」或「操作說明」UI 中動作控制器的 2D 線條藝術標記法。 針對這些開發人員,我們已在下方 (以滑鼠右鍵按一下以儲存) ,讓.png動作控制器線條藝術檔案可供使用。

Preview of motion controllers line art

'''white'' 中的全解析度運動控制器線條藝術

'''black'' 中的全解析度運動控制器線條藝術

常見問題集

我可以將運動控制器配對到多部電腦嗎?

動作控制器支援與單一電腦配對。 請遵循 動作控制器設定 的指示,將您的控制器配對。

如何?更新動作控制器韌體嗎?

動作控制器韌體是頭戴式裝置驅動程式的一部分,並視需要自動更新連線。 韌體更新通常需要 1-2 分鐘,視藍牙無線電和連結品質而定。 在罕見的情況下,控制器韌體更新最多可能需要 10 分鐘的時間,這表示連線能力或無線電干擾藍牙不佳。 請參閱藍牙的最佳做法,以針對連線問題進行疑難排解。 韌體更新之後,控制器會重新開機並重新連線到主機電腦, (您可能會注意到 LED 亮起以追蹤) 。 例如,如果韌體更新中斷 (,控制器就會失去電源) ,下次控制器開機時會再次嘗試。

如何檢查電池計量?

Windows Mixed Reality家中,您可以將控制器翻轉,以查看其虛擬模型的反向電池計量。 沒有實體電池計量指示器。

您是否可以使用這些沒有頭戴式裝置的控制器? 只是針對搖桿/觸發程式/etc 輸入嗎?

不適用於通用Windows應用程式。

疑難排解

請參閱愛好者指南中的 運動控制器疑難排解

提出動作控制器意見反應/Bug

使用 [Mixed Reality - > 輸入] 類別,在意見反應中樞提供意見反應。

另請參閱