HoloLens 2 的眼球追蹤
HoloLens 2可讓開發人員能夠使用使用者所查看內容的相關資訊，在全像攝影體驗中提供新層級的內容和人類理解。 此頁面說明開發人員如何受益于各種使用案例的眼球追蹤，以及設計眼球注視型使用者互動時要尋找的內容。
眼球追蹤 API 的設計考慮使用者隱私權;它可避免傳遞任何可識別的資訊，特別是任何生物特徵辨識。 針對具備眼球追蹤功能的應用程式，使用者必須授與應用程式使用眼球追蹤資訊的許可權。
裝置支援
| 功能 | HoloLens (第 1 代) | HoloLens 2 | 沉浸式頭戴裝置 |
| 眼球注視 | ❌ | ✔️ | ❌ |
頭部和眼球追蹤設計概念示範
如果您想要查看作用中的頭部和眼球追蹤設計概念，請參閱下面的 設計全像投影 - 頭部追蹤和眼球追蹤 影片示範。 當您完成時，請繼續進行，以深入瞭解特定主題。
這段影片取自「設計全像投影」HoloLens 2應用程式。 在這裡下載並享受完整的體驗。
校正
若要讓眼球追蹤正確運作，每位使用者都必須經過使用者必須查看一組全像攝影目標的 眼球追蹤使用者校正 。 這可讓裝置調整系統，讓使用者擁有更熟悉且更高品質的檢視體驗，並確保同時進行精確的眼球追蹤。
眼球追蹤應該適用于大部分的使用者，但使用者無法成功校正的罕見情況。 校正可能會因為各種原因而失敗，包括但不限於：
- 使用者先前退出宣告校正程式。
- 使用者分心，且未遵循校正目標。
- 使用者具有系統尚不支援的特定連絡人鏡頭和眼鏡類型。
- 使用者有特定的眼部物理或眼球狀況，或有眼球神經，系統尚不支援。
- 外部因素會禁止可靠的眼球追蹤，例如 HoloLens visor 或眼球上的模糊、密集直接眼球，以及因為眼睛前方的毛髮而遮蔽。
開發人員應該務必為無法 (無法) 成功校正眼球追蹤資料的使用者提供適當的支援。 我們已在此頁面底部的 區段中提供後援解決方案的建議。
若要深入瞭解校正以及如何確保順暢的體驗，請參閱我們的 眼球追蹤使用者校正 頁面。
可用的眼球追蹤資料
HoloLens 2上的眼球追蹤可讓開發人員設計自然且直覺的輸入和互動案例。 眼球追蹤 API 提供使用者以單一眼睛注視光線 (注視原點和方向) 大約 30 FPS (30 Hz) 的相關資訊。 為了讓眼球追蹤精準運作，每個使用者都必須接受眼球追蹤使用者校正。 如需如何存取眼球追蹤資料的詳細資訊，請參閱我們的開發人員指南，以在 DirectX 中使用眼球注視 ，並在 Unity 中使用眼球注視。
預測的眼睛注視大約在實際目標周圍的 1.5 度內， (請參閱下圖) 。 預期稍微不精確，因此開發人員應該針對此下限值規劃一些邊界 (，例如，2.0-3.0 度可能會導致更熟悉的體驗) 。 我們將討論如何更詳細地解決小型目標的選取。
以 2 公尺距離的最佳目標大小
延伸眼球追蹤資料
延伸眼球追蹤 API 可讓開發人員透過提供使用者眼部注視的更精細資訊，來解除鎖定下一層創新案例，例如健康情況評定、監視和資訊。
延伸眼球追蹤 API 可讓您存取現有的眼球追蹤值和新功能，例如個別 (左右) 眼睛注視向量、支援的畫面播放速率，以及將眼球追蹤畫面播放速率設定為 30、60 或 90fps 的能力。 若要使用擴充眼球追蹤 API，請參閱我們的開發人員指南，以使用 原生 或 Unity的擴充眼球追蹤 API。
使用案例
眼球追蹤可讓應用程式即時追蹤使用者的視線方向。 下列使用案例描述一些在混合實境中HoloLens 2的眼球追蹤可能互動。 這些使用案例還不屬於全像攝影殼層體驗的一部分， (您在啟動HoloLens 2) 時看到的介面。 您可以在Mixed Reality Toolkit中嘗試其中一些。 工具組提供數個有趣且功能強大的範例來使用眼球追蹤，例如快速且輕鬆的眼球支援目標選取專案，並根據使用者查看的內容自動捲動文字。
使用者意圖
使用者查看的位置和內容的相關資訊，可為其他輸入提供強大的內容，例如語音、手部和控制器。 這可以運用在各種不同的工作上。 例如，使用者可藉由查看全像投影並說出「選取」 (也會看到注視並認可) 或「放置此...」，然後查看想要放置全像投影的位置並說「...在那裡。」 您可以在混合實境工具組 - 視線導向目標選取和混合實境工具組 - 視線導向目標定位中找到相關範例。
此外，使用者意圖的範例可能包括使用使用者查看的資訊來增強與內含虛擬代理程式和互動式全像投影的互動。 例如，虛擬代理程式可能會根據目前檢視的內容來調整可用的選項及其行為。
隱含動作
隱含動作的類別與使用者意圖有密切的關係。 概念是全像投影或使用者介面元素會以直覺的方式回應，可能甚至不像使用者完全與系統互動，而是系統與使用者同步處理。其中一個範例是以 眼睛注視為基礎的自動捲動 ，使用者可以讀取長文字，當使用者到達文字方塊底部時，會自動開始捲動。 這可讓使用者在讀取流程中，而不需要手指。 這的一個重要層面是捲動速度會適應使用者的閱讀速度。
另一個範例是 支援眼睛的縮放和移動流覽 ，使用者可以覺得他們想要完全跳到他們專注的任何專案。
觸發和控制縮放速度可以透過語音或手部輸入來控制，這對於為使用者提供控制感很重要，同時避免負荷過大。 我們將在下方更詳細地討論這些設計考慮。 放大之後，使用者可以順暢地追蹤街道，使用眼睛注視來探索其鄰近地區。 您可以在混合實境工具組 - 視線導向瀏覽範例中找到這類互動的示範。
隱含動作的其他使用案例可能包括：
- 智慧型通知： 您是否曾收到通知在檢視中間快顯的通知？ 您可以藉由將使用者目前位於何處的通知位移，讓此體驗變得更好。 這會限制干擾，並在使用者完成閱讀後自動關閉。
- 全像投影： 這些全像投影會在注視時以細微的方式回應。 這可以從稍微光暈 UI 元素到緩慢的開花，到虛擬狗開始查看使用者並拖曳其尾端。 此互動可提供您應用程式中連線能力與滿意度的有趣感。
注意力追蹤
使用者查看的位置或內容的相關資訊，可能是非常強大的工具。 這有助於評估設計的可用性，並找出工作流程中的問題，使其更有效率。 眼球追蹤視覺效果和分析是各種應用領域的常見做法。 透過HoloLens 2，我們提供這個瞭解的新維度;3D 全像投影可以放在真實世界的內容中，並據以進行評估。
Mixed Reality工具組提供記錄和載入眼球追蹤資料的基本範例，以及如何將其視覺化。
Microsoft 致力於促進創新，同時確保使用者對於其眼球追蹤資訊的使用方式有明智的透明體驗。 我們將繼續與開發人員和 UX 小組合作，為協力廠商提供指引，以確保體驗以使用者為中心。
同屬此領域的其他應用程式包括：
- 遠端眼球注視視覺效果： 視覺化哪些遠端共同作業者正在查看。 這可以提供立即的意見反應，並加速更精確的資訊處理。
- 使用者研究： 注意追蹤可提供使用者如何察覺及與自然環境互動，而不會干擾的深入解析。 這可協助開發人員設計更直覺的人類電腦互動。 眼球追蹤可以提供不是由研究參與者直接表達的資訊，而且研究人員可以輕鬆地錯過。
- 訓練和效能監視： 藉由在執行流程中更有效率地識別瓶頸，以練習並優化工作的執行。 眼球追蹤可以提供自然、即時和目標的資訊，以協助改善工作場所中的訓練、生產力和安全性。
- 設計評估、行銷和消費者研究： 眼球追蹤可讓商業公司在真實世界環境中執行行銷和消費者研究，或分析擷取使用者對產品或空間設計之注意力的擷取。
其他使用案例
- 遊戲： 您是否想要擁有超級能力？ 機會來了！
您可以藉由在全像投影上注視全像投影。
從眼睛射出射光--在RoboRaid 中試用，以進行HoloLens 2。
將敵人轉換成石塊或凍結。
您可以用 X 光視線掃描建築物。
您想得到的都行！ 不過，請注意，使用者不會壓倒。 若要深入瞭解，請參閱 我們的眼睛注視型輸入設計指導方針。
Expressive 虛擬人偶： 眼球追蹤透過使用即時眼球追蹤資料來動畫顯示虛擬人眼，讓他們遵循使用者所查看的內容，來協助更具表達性的 3D 虛擬人偶。
文字專案： 眼球追蹤可用來做為低心力文字輸入的替代方案，特別是語音或手部不方便使用時。
使用眼球注視進行互動
建置利用快速移動眼球目標的互動可能會是一項挑戰。 由於眼睛可以快速移動，如果您不小心如何使用眼球注視輸入，使用者可能會發現體驗令人感到壓力或干擾。 但這很值得挑戰，因為眼球追蹤可讓您建立真正令人驚奇的體驗，以吸引您的使用者！ 為了協助您，請查看我們對於 眼球注視進行互動的主要優點、挑戰和設計建議概觀。
無法使用眼球追蹤時的後援解決方案
在少數情況下，可能無法使用眼球追蹤資料。 這可能會因為許多原因而發生--最常見的原因如下：
- 系統無法 校正使用者。
- 使用者略過 校正。
- 使用者已校正，但決定不要授與您的應用程式使用其眼球追蹤資料的許可權。
- 使用者有唯一的眼球或系統尚不支援的一些眼球狀況。
- 外部因素會禁止可靠的眼球追蹤，例如 HoloLens visor 或眼球上的模糊、密集直接眼球，以及因為眼睛前面有毛髮而遮蔽。
開發人員應該確保這些使用者有適當的後援支援。 在 DirectX 的 [眼球追蹤 ] 頁面上，我們會說明偵測眼球追蹤資料是否可用所需的 API。
有些使用者可能會決定更大的隱私權比眼球追蹤可提供的改善體驗更為重要，因此他們刻意撤銷其眼球追蹤資料的存取權。 不過，在某些情況下，此撤銷可能不小心。 如果您的應用程式使用眼球追蹤，而這是體驗的重要部分，建議您明確地向使用者傳達這一點。 向使用者說明眼球追蹤如何解除鎖定應用程式的完整可能性，以協助他們進一步瞭解他們放棄的內容。 如果開啟眼球追蹤但無法運作，請協助使用者使用上述檢查清單作為指南來識別並解決問題。 例如，如果您可以偵測到系統支援眼球追蹤，而且使用者已校正並已獲得其許可權，但尚未收到任何眼球追蹤資料，這可能表示遮蔽眼睛等問題。
在少數情況下，眼球追蹤不會對某人運作，而且沒有明顯的原因。 允許使用者關閉或停用在應用程式中啟用眼球追蹤的提醒，以尊重該情況。
使用眼球注視作為主要輸入指標的應用程式回溯
如果您的 app 使用眼球注視作為指標輸入來快速選取整個場景的全像投影，但眼球追蹤資料無法使用，建議您回到頭部注視並顯示頭部注視游標。 我們建議使用逾時 (例如，500–1500 毫秒) 來判斷是否要切換。 此動作可防止每次系統因為快速眼球動作或閃爍而短暫失去追蹤時，游標才會出現。 如果您是 Unity 開發人員，Mixed Reality工具組中已處理自動回溯至頭部注視。 如果您是 DirectX 開發人員，您必須自行處理此參數。
其他眼球追蹤特定應用程式的後援
您的應用程式可能會以特別針對眼睛量身打造的唯一方式使用眼球注視，例如，以動畫顯示虛擬人臉的眼睛或眼睛型注意力熱度圖，以依賴視覺注意力的精確資訊。 在此情況下，沒有明確的後援。 如果無法使用眼球追蹤，可能需要停用這些功能。 同樣地，建議您明確地將此通訊給使用者，但可能不知道此功能無法運作。
此頁面希望提供您良好的概觀，讓您開始瞭解HoloLens 2眼球追蹤和眼球注視輸入的角色。 若要開始開發，請查看 我們的眼球注視角色，以與全像投影互動、 Unity 中的眼睛注視 ，以及 DirectX 中的眼球注視。