Unreal 開發概觀
開始使用 混合實境應用程式是一項大型工作。 新的概念、平台和尖端硬體看起來可能像是障礙。 不過，如果您是 Unreal 開發人員，很幸運。 Unreal Engine 5 已完整支援 Windows Mixed Reality (VR) 和 AR) 裝置。
最新的 Unreal Engine 4.27+ 版本包括：
- Windows Mixed Reality (WMR) 外掛程式取代為 OpenXR 和 Microsoft OpenXR 外掛程式 (Marketplace 或 GitHub)
- OpenXR 提供與 WMR 的功能同位
- 跨平台開發的整合 API
- OpenXR 可用於在引擎內建立應用程式 — Microsoft OpenXR 外掛程式提供的完整功能集
- Microsoft OpenXR 外掛程式會在就緒時更新版本，而不是引擎內更新
- 使用適用於 Unreal 的圖形工具外掛程式來改善 Mixed Reality 應用程式的視覺逼真度，同時維持效能
- HoloLensAR 外掛程式已在 Unreal 5.0 中移除
- 支援 世界鎖定工具 (5.0+)
- 支援 Azure Object Anchors (4.27+)
如需詳細資訊，請參閱 Unreal Engine 5.0 資訊。
如果您不熟悉 Unreal 開發，請不要盲目跳入。 探索 Unreal 資源 ，並在 Unreal Marketplace 中尋找資產。 您也可以在混合實境 論壇 和 Unreal 檔中找到支援。 這些資源可將您連結至今日混合實境市集中建置者和問題解決者的社群。
重要
如果您有現有 Unreal 專案要帶到沉浸式頭戴式裝置 (例如 Reverb G2)，請參閱我們的 移植指南 。
開發檢查點
使用下列檢查點，將您的 Unreal 遊戲和應用程式融入混合實境的世界中。 如果您尚未探索 設計全像投影範例應用程式，建議您下載以熟悉混合實境 UX 的基本概念。
1.開始使用
首先，您必須安裝適用於 HoloLens 2 開發的工具。 接下來，完成我們的教學課程系列，以大致了解混合實境工具組、針對混合實境應用程式正確設定的開發環境，以及可在 Unreal 中運作的 MRTK 專案。 從 Unreal 4.26 開始，您也可以選擇開發適用於 HoloLens 2 的 OpenXR 應用程式。
| Checkpoint | 結果 |
|---|---|
| 安裝最新工具 | 下載並安裝最新版的 Unreal Engine，並設定您的混合實境專案 |
| 設定專案 | 取得最新版本的 Unreal Engine 和 MRTK |
| 建立您的第一個 HoloLens Unreal 應用程式 | 建置基本 Mixed Reality 應用程式，以開始 Unreal 和 HoloLens 開發旅程 |
| HoloLens 2 教學課程系列 | 在 Unreal 中設定混合實境開發、使用 MRTK 建置您的第一個應用程式，並將您的應用程式部署至 HoloLens 2 |
| 在 Unreal 中開始使用 OpenXR | 從 Unreal Engine Marketplace 安裝並啟用下列外掛程式：請確定 Microsoft Windows Mixed Reality 外掛程式已停用。 以下完整列出 OpenXR 中目前支援的功能。 |
2.核心基本要素
有幾項重要的混合實境功能並不在我們的教學課程系列討論範圍內。 這些建置組塊是透過混合實境工具組提供的獨立功能。 您目前可能不需用到所有功能，但建議您及早探索。 深入探討下列核心建置組塊後，您將了解如何將包含多樣化功能的工具箱整合到混合實境專案中。
適用於 Unreal 的混合實境工具組是為了加速您在 Unreal 中進行開發而設計的一組外掛程式。 每個外掛程式都包含用於設定沉浸式體驗的元件、範例和文件。
適用於 Unreal 的 UX 工具是第一個要發行的外掛程式，目前僅在 HoloLens 2 上提供支援。 外掛程式包含 C++ 程式碼、藍圖，以及用於輸入模擬、手部互動、表面磁性的常見 UX 功能的範例資產。
Graphics Tools for Unreal 是一個 UE 遊戲外掛程式，其中包含程式代碼、藍圖和範例資產，可協助改善 Mixed Reality 應用程式的視覺逼真度，同時保持在效能預算內。
| 功能 | 功能 |
|---|---|
| 輸入模擬 | 在編輯器中使用滑鼠和鍵盤輸入，模擬頭戴式顯示器 (HMD) 和手部追蹤功能 |
| 手部互動 | 使用關節手部輸入與 UX 元件互動 |
| 可點按的按鈕 | 透過低階元件驅動按鈕藍圖的狀態 |
| 操作工具 | 使用單手或雙手操作輸入來移動和旋轉動作項目 |
| 追蹤行為 | 將動作項目或元件保持在另一個元件的可見範圍內 |
注意
您可以深入探索 適用於 Unreal 的 UX 工具 GitHub 存放庫，以取得更多詳細資料。
3.進階功能
在混合實境應用程式中各有作用的其他重要功能，不需要任何額外的封裝或設定即可使用。 這些功能可以新增至 Unreal 專案，且不一定需要先安裝 MRTK。 深入了解這些進階功能後，您將能夠建置更複雜的混合實境應用程式。
| 功能 | 功能 |
|---|---|
| HoloLens 相機 | 從您在 HoloLens 裝置上執行的應用程式，擷取混合實境和真實世界的視覺內容 |
| QR 代碼 | 在每個代碼的實際位置上使用座標系統，將 QR 代碼轉譯為全像投影 |
| WinRT | 透過可供 Unreal 的建置系統使用的 WinRT 程式碼，建立個別的二進位檔 |
4.串流並部署至裝置
如果您想要在開發階段以 HoloLens 裝置測試應用程式，您可以使用 Unreal 編輯器或已封裝的 Windows 可執行檔，直接從電腦加以串流。
如果這是您第一次將 Unreal 應用程式部署至 HoloLens 2，則需從 Epic Launcher 下載支援的檔案。 安裝這些檔案之後，您就可以從 Unreal 編輯器或裝置入口網站進行部署。
5.新增服務
到了開發旅程的這個階段，您可能會想要新增服務，或是需要商業部署方面的協助。 整合 Azure 雲端服務 可以透過主要方式提升您的專案。 我們編譯了一些方便您探索及擴充混合實境知識的起點。
Azure 空間錨點 (ASA) 是一種跨平台服務，可讓您建置空間感知的混合實境應用程式。 您可以使用 Azure 空間錨點，在全球規模的多個裝置之間對應、保存及共用全像攝影內容。
6.低程式代碼替代方案
Microsoft Dynamics 365 Guides 是 Microsoft HoloLens 的混合實境應用程式，可讓操作員適時適地提供全像攝影指示，藉以在工作流程中進行學習。 這些指示卡會以視覺化方式傳輸至必須完成工作之處，且可以包含影像、影片和3D 全像攝影模型。
接下來要做什麼？
開發人員的工作無止境，在學習新工具或 SDK 方面尤其如此。 完成入門級教學後，以下各節將帶領您前往更深入的領域，並提供有用的資源協助您脫離瓶頸。 請注意，這些主題和資源無須依序使用，您可以隨意來回參考並探索！
偵錯
如果您想要使用 Visual Studio 對正在裝置上執行的應用程式進行偵錯，請依照這些指示操作。
效能
針對混合實境進行開發時，隨附依賴平台的效能檢查點。 HoloLens 2 應用程式必須以每秒 60 格執行，才能讓全像投影穩定顯示並且看起來有回應。 幸好，我們的效能建議可讓您在 Unreal 應用程式中升級效能。
支援的功能
| HoloLens 2 功能 | 最早支援的 Unreal Engine 版本 | OpenXR (4.26+) |
|---|---|---|
| ARM64 支援 | 4.23 | ✔️ |
| 來自電腦的串流 | 4.23 | ✔️ |
| 空間對應 | 4.23 | ✔️ |
| 手部和關節追蹤 | 4.23 | ✔️ |
| 眼球追蹤 | 4.23 | ✔️ |
| 語音輸入 | 4.23 | ✔️ |
| 空間錨點 | 4.23 | ✔️ |
| 相機存取 | 4.23 | ✔️ |
| QR 代碼 | 4.23 | ✔️ |
| 空間音訊 | 4.23 | ✔️ |
| 透過串流的平面 LSR | 4.24 | |
| 範例應用程式 | 4.24 | ✔️ |
| 行動多重檢視：效能命中 60 fps | 4.25 | ✔️ |
| 從已封裝的桌面應用程式串流 | 4.25.1 | ✔️ |
| 適用於 HoloLens 2的 Azure Spatial Anchors | 4.25 | ✔️ |
| 混合實境 UX 工具支援 | 4.25 | ✔️ |
| 開發人員文件和教學課程 | 4.25 | ✔️ |
| 系統鍵盤 | 4.26 | ✔️ |
| HoloLens 媒體播放器外掛程式 | 4.26 | ✔️ |
| 適用於 iOS 和 Android 的 Azure Spatial Anchors | 4.26 | |
| 具有 Microsoft 廠商特定 OpenXR 擴充功能的 Microsoft OpenXR 外掛程式 | 4.26 | ✔️ |
| 從 Azure 串流至 HoloLens 2 | 4.26 | ✔️ |
| 適用於已封裝應用程式的 Windows 應用程式認證套件合規性 | 4.26 | ✔️ |
| HP Reverb G2 控制器支援 | 4.26 | ✔️ |