混合實境中的共用體驗

全像投影不需要只對一位使用者保持私人。 全像攝影應用程式可能會將空間錨點從一個HoloLens、iOS 或 Android 裝置共用到另一個裝置,讓使用者能夠在多個裝置的相同位置轉譯全像投影。

定義共用案例的六個問題

開始設計共用體驗之前,請務必定義目標案例。 這些案例有助於厘清您正在設計的內容,並建立常見的詞彙,以協助比較和對比體驗所需的功能。 瞭解核心問題以及解決方案的不同途徑,是找出這個新媒體固有的機會的關鍵。

透過我們HoloLens合作夥伴機構的內部原型和探索,我們建立了六個問題來協助您定義共用案例。 這些問題形成架構,並非詳盡,是為了協助擷取案例的重要屬性。

1.他們如何共用?

簡報可能是由單一虛擬使用者所引導,而多位使用者可以共同作業,或者教師可能會為使用虛擬教材的虛擬學生提供指引,根據使用者擁有或可在案例中擁有的機構層級增加體驗的複雜度。

Man and women with holograph on table

有許多方式可以共用,但我們發現其中大部分都分成三種類別:

  • 簡報:對數位使用者顯示相同的內容時。 例如:教授使用對每個人呈現的相同全像攝影內容,向數位學生教授演講。 不過,教授可以有自己的提示,並注意其他人可能無法看到。
  • 共同作業:當人員共同合作以達成一些共同目標時。 例如:教授提供一個專案,以瞭解如何進行心力學習。 學生配對並建立共用技能實驗室體驗,讓醫療學生能夠共同處理心形模型和學習。
  • 指引:當一個人協助某人以一對一的互動方式解決問題時。 例如:當教授在共用體驗中執行心力異常技能實驗室時,該教授會提供指導給學生。

2.群組大小為何?

一對一 共用體驗可以提供強式基準,在理想情況下,您可以在此層級建立概念證明。 但請注意,與大型群組共用 (超過六個人) 可能會導致技術 (資料和網路) 和社交 (在具有 數個虛擬 人偶) 會議室中的影響。 當您從小型群組到大型群組時,複雜度會以指數方式增加。

我們發現群組的需求可以分成三種大小類別:

  • 1:1
  • 小 < 7
  • 大型 > = 7

群組大小會產生重要的問題,因為它會影響:

  • 全像攝影空間中人員的標記法
  • 物件的縮放比例
  • 環境規模

3.每個人在哪裡?

當共用體驗可以在相同位置進行時,混合實境的強度就會生效。 我們稱之為 共置。 相反地,當群組散發,且至少有一個參與者位於相同的實體空間 (,如同 VR) 我們稱之為 遠端體驗的情況。 通常,您的群組 共置和遠端參與者 (例如會議室中的兩個群組) 。

Three people with holograph on table

下列類別有助於傳達使用者所在的位置:

  • 共置:您的所有使用者都會位於相同的實體空間中。
  • 遠端:您的所有使用者都會位於個別的實體空間中。
  • 兩者:您的使用者將會混合共置和遠端空間。

這個問題很重要,因為它會影響:

  • 人員如何溝通?
    • 例如:他們是否應該有虛擬人偶?
  • 他們看到的物件。 是否共用所有物件?
  • 是否需要適應其環境?

4.何時共用?

我們通常會在分享體驗時考慮 同步 體驗:我們全都在一起執行。 但是,如果我們包含其他人新增的單一虛擬元素,我們有 非同步 案例。 Imagine虛擬環境中的記事或語音備忘。 如何在設計上處理 100 個虛擬備忘? 如果他們來自數十名具有不同隱私權層級的人員,該怎麼辦?

請將您的體驗視為下列其中一種時間類別:

  • 同步:同時共用全像攝影體驗。 例如:兩位學生同時執行技能實驗室。
  • 非同步:在不同時間共用全像攝影體驗。 例如:兩位學生執行技能實驗室,但在不同的時間處理不同的區段。
  • 兩者:您的使用者有時會以同步方式共用,但其他時間則以非同步方式共用。 例如:教授在稍後完成的作業,並為學生下一天留下筆記。

此問題很重要,因為它會影響:

  • 物件和環境持續性。 例如:儲存狀態,以便擷取狀態。
  • 使用者檢視方塊。 例如:或許記住使用者在離開筆記時所查看的內容。

5.其實體環境有多類似?

除非這些環境設計成相同,否則在共置體驗之外,兩個相同實際環境的可能性是微不足道的。 您更可能擁有 類似的 環境。 例如,會議室很類似,它們通常會有一個中央位置的表格,以椅子括住。 另一方面,會議室不相同**,而且可以在無限的版面配置陣列中包含任意數目的裝飾。

Holograph on table

請考慮您的共用體驗,適合下列兩種類別之一:

  • 類似:通常具有類似房間大小、環境光線和音效的環境。 例如:教授位於演講場 A,而學生位於演講場 B 中。演講場 A 的椅子可能比 B 少,但兩者都有實體桌面可放置全像投影。
  • 不同:在室內設定、房間大小、光線和音效考慮中不同的環境。 例如:教授位於焦點會議室,但學生位於大型演講場,並填入學生和教師。

請務必 考慮環境,因為它會影響:

  • 人們將如何體驗這些物件。 例如:如果您的體驗最適合在資料表上,而且使用者沒有資料表? 或者,在平面表面,但使用者有雜亂的空間。
  • 物件的縮放比例。 例如:將六英呎人類模型放在資料表上可能很困難,但心心模型會很適合。

6.他們使用哪些裝置?

現在,您通常可能會看到兩個 沉浸式裝置 之間的共用體驗, (這些裝置可能稍有不同。對於按鈕和相對功能,但未大幅) 或兩個 全像攝影裝置 ,因為這些裝置的目標解決方案。 但請考慮 2D 裝置 是否 (行動/桌面參與者或觀察者) 是必要的考慮,特別是在 混合 2D 和 3D 裝置的情況下。 瞭解參與者將使用的裝置類型很重要,不僅因為它們具有不同的逼真度和資料限制和機會,還因為使用者對於每個平臺都有獨特的期望。

探索共用體驗的可能性

您可以結合上述問題的答案,以進一步瞭解您的共用案例,在擴充體驗時將挑戰化。 對於 Microsoft 的小組而言,這有助於建立一個藍圖,以改善我們目前使用的體驗、瞭解這些複雜問題的細微差異,以及如何利用混合實境中的共用體驗。

例如,請考慮HoloLens啟動Skype的其中一個案例:使用者已透過如何透過遠端專家的協助修正損壞的光線開關

Fixing a light switch with assistance via Skype for HoloLens

專家提供 1:12D桌上型電腦指引給 3D、混合實境 裝置的使用者。 指導方針是同步的,而且實體環境不同

這類體驗是目前體驗的逐步變更,將視訊和語音的範例套用至新的媒體。 但是,當我們想要未來時,我們必須更妥善地定義案例的機會,並建置體驗來反映混合實境的強度。

請考慮 NASA 的 Jet Pro pulseion 實驗室所開發的 OnSight 共同作業工具。 從 Mars Rover 任務處理資料的科學家可以在 Martian 環境的資料內即時與同事共同作業。

Collaborating between colleagues separated remotely to plan work for the Mars Rover

科學家會探索使用3D、混合實境裝置的環境,以及一小組使用3D 和 2D裝置的遠端同事。 共同作業同步 (,但可以非同步地重新流覽) ,而實體環境 (幾乎) 類似

OnSight 等體驗提供新的共同作業機會。 從實際指出虛擬環境中的元素到同事旁邊,並在他們說明其發現時分享其觀點。 OnSight 使用沉浸式和存在感的鏡頭來重新思考混合實境中的共用體驗。

直覺式共同作業是對話的基礎,共同合作並瞭解如何將此直覺套用至混合實境的複雜度非常重要。 如果我們不只能夠在混合實境中重新建立共用體驗,而是將體驗加總,這會是未來工作的範例轉移。 在混合實境中設計共用體驗是全新且令人興奮的空間,而我們只在一開始。

開始建置共用體驗

視您的應用程式和案例而定,將會有不同的需求來達成您所需的體驗。 其中包含:

  • 比對:能夠建立會話、公告會話、探索和邀請特定人員,同時在本機和遠端加入您的會話。
  • 錨點共用:能夠在通用本機空間中跨多個裝置對齊座標,因此全像投影會顯示在所有人員相同的位置。
  • 網路功能:能夠讓所有參與者即時同步處理人員與全像投影的位置、互動和移動。
  • 狀態儲存體:能夠將全像投影特性和位置儲存在空間中,以進行會話中聯結、稍後重新叫用,以及針對網路問題的健全性。

共用體驗的關鍵在於讓多個使用者在自己的裝置上看到相同的全像投影,通常是藉由共用錨點來對齊裝置上的座標。

若要共用錨點,請使用 Azure Spatial Anchors

  • 首先,使用者放置全像投影。
  • 應用程式會建立 空間錨點,以精確地釘選世界全像投影。
  • 您可以透過Azure Spatial Anchors將錨點共用至HoloLens、iOS 和 Android 裝置。

透過共用空間錨點,每個裝置上的應用程式現在都有 一個通用座標系統 ,可放置內容。 現在,應用程式可以確保將全像投影放置在相同的位置,並將全像投影定位。

在HoloLens裝置上,您也可以從一個裝置離線共用錨點到另一個裝置。 使用下列連結來決定最適合您應用程式的內容。

評估技術選項

有各種服務和技術選項可用來協助建置多使用者混合實境體驗。 選擇路徑可能很棘手,因此採用以案例為主的檢視方塊,以下詳述一些選項。

共用靜態全像投影 (沒有互動)

在您的應用程式中運用 Azure Spatial Anchors 。 啟用和共用裝置之間的空間錨點,可讓您建立應用程式,讓使用者同時在相同的位置看到全像投影。 需要跨裝置進行額外的同步處理,讓使用者能夠與全像投影互動,並查看全像投影的移動或狀態更新。

分享第一人稱檢視方塊

當您有電腦或電視等支援的Miracast接收者時,請利用本機使用者的內建Miracast支援。 不需要額外的應用程式程式碼。

多使用者共同作業體驗

我們的多使用者學習教學課程開始,此教學課程會利用適用于本機使用者的 Azure Spatial AnchorsPhoton SDK 來同步處理場景中的內容/狀態。 建立本機共同作業應用程式,其中每位使用者都有自己的全像投影檢視方塊在場景中,並可與全像投影完全互動。 所有裝置都會提供更新,且 Photon 會處理互動衝突管理。

注意

請注意, Photon 是非 Microsoft 產品,因此可能需要與 Photon 的計費關係,才能將產品化和調整以提升使用量。

未來的工作

元件功能和介面有助於跨各種案例和基礎技術提供常見的一致性和強固支援。 在那之前,請選擇符合您嘗試在應用程式中達成之案例的最佳路徑。

不同的案例或想要使用不同的技術/服務? 提供意見反應,作為對應存放庫中、此頁面底部的GitHub問題,或連絡HoloDevelopers Slack

另請參閱