什麼是Mixed Reality工具組 2?

混合實境工具組


MRTK-Unity 是由 Microsoft 所推動的專案,其提供一組元件與功能,可用來加快 Unity 中的跨平台 MR 應用程式開發。 以下是其中的一些功能:

  • 提供 空間互動和 UI 的跨平臺輸入系統和建置組塊
  • 透過編輯器內模擬來 快速建立原型 ,可讓您立即查看變更。
  • 可延伸架構 的形式運作,讓開發人員能夠交換核心元件。
  • 支援各種裝置
XR SDK 外掛程式 (Unity XR 外掛程式管理外掛程式提供者) 支援的裝置
Unity OpenXR 外掛程式 (Unity 2020 或 2021 LTS)
(Mixed Reality特定裝置上特定功能所需的 OpenXR 外掛程式)
Microsoft HoloLens 2
Windows Mixed Reality 頭戴式裝置
Meta Quest
透過 OpenXR 在串流VR 上執行的裝置
Windows XR 外掛程式 Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality 頭戴式裝置
(Unity 2019 或更新版本的 LTS) 透過) 整合套件的 Meta Quest (
ARCore XR 外掛程式 透過 AR Foundation) 的 Android (
ARKit XR 外掛程式 透過 AR Foundation) 的 iOS (
XR SDK 外掛程式 (Unity XR 外掛程式管理外掛程式提供者) 支援的裝置
MRTK 2.6、Unity 2020 或 2021 LTS) 中的 Unity OpenXR 外掛程式 (預覽
(Mixed Reality特定裝置上特定功能所需的 OpenXR 外掛程式)
Microsoft HoloLens 2
Windows Mixed Reality 頭戴式裝置
Meta Quest
透過 OpenXR 在串流VR 上執行的裝置
Windows XR 外掛程式 Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality 頭戴式裝置
(Unity 2019 或更新版本的 LTS) 透過) 整合套件的 Meta Quest (
ARCore XR 外掛程式 透過 AR Foundation) 的 Android (
ARKit XR 外掛程式 透過 AR Foundation) 的 iOS (

支援的其他裝置:

  • 用於手部追蹤的 Ultraleap Leap 動作控制器

注意

我們已介紹 MRTK3 的公開預覽,這是 MRTK 的下一章。 如需詳細資訊,請移至 MRTK3 檔

開始使用 MRTK

如果您不熟悉 Unity 中的 MRTK 或Mixed Reality開發,建議您在裝置或模擬器上安裝並探索 MRTK 範例中樞範例應用程式。

當您知道Mixed Reality和 MRTK 必須提供哪些內容之後,請安裝必要的工具,並遵循我們的初學者層級HoloLens 2教學課程系列。

想要瞭解幕後發生什麼事?

文件

版本資訊
版本資訊
MRTK 概觀
MRTK 概觀
API 參考
API 參考

組建狀態

分支 CI 狀態 檔狀態
main CI 狀態 檔狀態

功能範圍

UX 建置組塊

按鈕按鈕
支援各種輸入方法的按鈕控制項,包括HoloLens 2的接合手

界限控制項界限控制項
在 3D 空間中操作物件的標準 UI

物件操作工具物件操作工具
使用一或兩手操作物件的腳本

SlateSlate
2D 樣式平面,可支援使用清楚的手部輸入捲動

系統鍵盤系統鍵盤
在 Unity 中使用系統鍵盤的範例腳本

Interactable Interactable
讓物件與視覺狀態和主題支援互動的腳本

規劃求解規劃求解
各種物件定位行為,例如標籤、主體鎖定、常數檢視大小和表面磁力

物件集合物件集合
在三維圖形中設定物件陣列的腳本

工具提示工具提示
具有彈性錨點/樞紐系統的注釋 UI,可用於標記運動控制器和物件

滑杆滑杆
調整支援直接手部追蹤互動值的滑杆 UI

MRTK 標準著色器 MRTK 標準著色器
MRTK 的標準著色器支援具有效能的各種 Fluent 設計項目

手部功能表手部功能表
使用手部條件約束規劃求解快速存取的手動鎖定 UI

應用程式行應用程式行應用程式行
界限控制項手動啟用的 UI

指標指標
瞭解各種類型的指標

指尖視覺效果指尖視覺效果
手指尖上的視覺能供性,可改善直接互動的信賴度

接近功能表附近的功能表
近距離互動的浮動功能表 UI

空間感知開始使用空間感知檢視
讓全像攝影物件與實體環境互動

語音命令語音命令
整合語音輸入的腳本和範例

進度指標進度指標
用於通訊資料進程或作業的視覺指標

對話方塊對話方塊
要求使用者確認或通知的 UI

手部指導手部指導
未教導手勢時協助引導使用者的元件

手部物理服務手部物理服務 [實驗性]
手部物理服務可讓固定的主體碰撞事件與與已表達的手部互動

捲動集合捲動集合
原生捲動 3D 物件的物件集合

擴充座 [實驗性]
擴充座可讓物件移入和移出預先決定的位置

眼球追蹤:目標選取範圍眼球追蹤:目標選取
結合眼睛、語音和手部輸入,以快速且輕鬆地在整個場景中選取全像投影

眼球追蹤:流覽眼球追蹤:流覽
瞭解如何根據您正在查看的內容自動捲動文字或以流暢方式放大焦點內容

眼球追蹤:熱度圖眼球追蹤:熱度圖
記錄、載入和視覺化使用者在應用程式中查看的範例

工具

優化視窗優化視窗 相依性視窗相依性視窗 建置視窗建置視窗 輸入錄製 輸入錄製
自動設定Mixed Reality專案以進行效能優化 分析資產之間的相依性,並識別未使用的資產 設定和執行Mixed Reality應用程式的端對端建置程式 在編輯器中錄製和播放頭部移動和手部追蹤資料

範例場景

MRTK 提供示範如何使用 MRTK 功能的範例場景。 您可以在 Assets/MRTK/Examples/Demos 資料夾下找到範例場景。 閱讀 範例場景 頁面,瞭解如何取得和執行範例場景。 手部互動範例場景 是開始體驗 MRTK 互動和 UI 建置組塊的絕佳位置。

範例場景 2

MRTK 範例中樞

透過 MRTK 範例中樞,您可以在 MRTK 中嘗試各種範例場景,而不需建置和部署每個場景。 您可以下載 HoloLens (x86) 、HoloLens 2 (ARM) ,以及Windows Mixed Reality沉浸式頭戴式裝置 (x64) ,方法是在MR 功能工具中選取[Mixed Reality工具組範例] 套件。 請務必 使用 Windows 裝置入口網站在 HoloLens (第 1 代) 上安裝應用程式 。 在HoloLens 2上,您可以透過 Microsoft Store 應用程式下載並安裝 MRTK 範例中樞

請參閱 範例中樞讀我檔案頁面 ,以瞭解使用 MRTK 場景系統和場景轉換服務建立多場景中樞的詳細資料。

範例場景中樞

使用 MRTK 建立的範例應用程式

元素週期表 Galaxy Explorer Surfaces 範例應用程式
元素的定期資料表 是開放原始碼範例應用程式,示範如何使用 MRTK 的輸入系統和建置組塊來建立 HoloLens 和沈浸式頭戴式裝置的應用程式體驗。 閱讀移植本文:使用 MRTK v2 將元素應用程式的定期資料表帶入HoloLens 2 Galaxy Explorer 是一個開放原始碼範例應用程式,最初是在 2016 年 3 月開發,作為 HoloLens「分享您的想法」活動的一部分。 Galaxy Explorer 已使用 MRTK v2 更新HoloLens 2的新功能。 閱讀本文:建立適用于 HoloLens 2 的 Galaxy Explorer Surfaces是開放原始碼應用程式,適用于HoloLens 2,其會探索如何使用視覺、音訊和完全清楚的手部追蹤來建立觸覺觸覺。 如需詳細的設計和開發案例,請參閱來自 Surfaces 應用程式的Microsoft MR Dev Days 課程學習。

Mixed Reality Dev Days 2020 中的研討會影片

MRDevDays 1 MRDevDays 3 MRDevDays 2
如何從頭到尾建立簡單 MRTK 應用程式的教學課程。 瞭解互動概念和 MRTK 的多平臺功能。 深入探討 MRTK 的 UX 建置組塊,以協助您建置美觀的混合實境體驗。 MRTK 和外部的效能工具簡介,以及 MRTK 標準著色器的概觀。

請參閱Mixed Reality開發天數,以探索更多會話影片。

與社群互動

此專案採用了 Microsoft 開放原始碼管理辦法。 如需詳細資訊,請參閱管理辦法常見問題集,如有其他問題或意見,請連絡 opencode@microsoft.com

Mixed Reality開發人員中心上的實用資源

探索探索 設計設計 開發開發 散發) 散發
瞭解如何建置 HoloLens 和沉浸式頭戴式裝置的混合實境體驗, (VR) 。 取得設計指南。 建置使用者介面。 瞭解互動和輸入。 取得開發指南。 瞭解技術。 瞭解科學。 準備好您的應用程式以供其他人使用,並考慮建立 3D 啟動器。

Azure 上的實用資源

Spatial Anchors
Spatial Anchors
語音服務語音服務 視覺服務視覺服務
Spatial Anchors 是一項跨平臺服務,可讓您使用物件來建立Mixed Reality體驗,這些物件會在一段時間內跨裝置保存其位置。 探索及整合 Azure 提供的語音功能,例如語音轉換文字、說話者辨識或語音翻譯至您的應用程式。 使用視覺服務識別並分析您的影像或視訊內容,例如電腦視覺、臉部偵測、表情辨識或影片索引器。

如何參與

瞭解如何參與 MRTK

取得說明

如果您遇到 MRTK 所造成的問題,或有關于如何執行動作的問題,有幾個資源可協助: