以不同方式思考Mixed Reality

當 Microsoft 在 2016 年啟動HoloLens (第 1 代) 給積極開發人員時,小組已與 Microsoft 內外的工作室合作,以建置裝置的啟動體驗。 這些團隊藉由實踐,在混合實境設計的新領域中找到機會和挑戰。

我們已將其方法和深入解析轉換成我們在Mixed Reality Academy 中教導新開發人員的課程。 本課程包含我們提供給企業合作夥伴) 的周長設計研討會。

以下是我們學到的一切快照,可協助企業合作夥伴準備其小組以進行混合實境開發。 雖然其中許多方法最初以HoloLens開發為目標,但 3D 中的虛構和通訊對於混合實境體驗的完整範圍至關重要。

在設計過程中以空間方式思考

任何設計程式或設計架構都是要逐一查看思考:若要廣泛地解決問題,以有效地與其他人分享想法,以評估這些想法並觸達解決方案。 現今,我們已建立完善的設計和開發方法,以在桌面、手機和平板電腦上建置體驗。 Teams清楚預期需要逐一查看想法,並將其轉換成使用者的產品。

Teams通常是由開發、設計、研究和管理混合所組成。 所有角色都應該參與設計程式。 為行動應用程式貢獻想法的進入障礙,就像繪製裝置畫面的矩形一樣簡單。 同時,使用方塊和線條繪製 UI 元素足以建立技術需求或定義潛在的使用者行為。

透過混合實境,傳統 2D 設計程式會開始細分。 在 3D 中的草圖對於大部分的人而言很困難,而且使用畫筆和紙張或白板等 2D 工具,通常可能會限制這些維度的想法。 同時,針對遊戲或工程建置的 3D 工具需要高度的技能,才能快速表達想法。 缺少輕量型工具是由新裝置固有的技術不確定所複合,其中仍會建立基礎互動方法。 這些挑戰可能會限制具有 3D 開發背景的小組成員的設計貢獻,大幅減少小組反復專案的能力。

Teams working during a workshop in the Mixed Reality Academy
Teams我們的研討會中的Mixed Reality合作夥伴計畫

當我們與外部合作夥伴合作時,我們會聽到小組的故事,等待開發人員完成原型,才能繼續其設計程式。 然後,小組的其餘部分可能會遭到封鎖,使其無法對產品進行有意義的進度。 開發人員最終會負責解決技術實作和使用者體驗,因為他們嘗試將粗略的想法放在程式碼中。

擴充設計程式的技術

Microsoft 的小組有一組技術,可更有效率地包含小組,並快速逐一查看複雜的設計問題。 雖然不是正式程式,但這些技術旨在補充而非取代您的工作流程。 這些方法可讓沒有特殊 3D 技能的小組成員在深入原型設計階段之前提供想法。 不同的角色和專業領域可以是設計程式的一部分,而不只是 3D 設計工具與開發人員。 發現機會並找出開發後可能發生的可能挑戰。

Techniques for the design process

使用本文激蕩產生想法

讓您的小組思考在真實世界中發生的事件,超越 2D 裝置的傳統世界,是開發創新混合實境體驗的關鍵。 在 Microsoft,我們藉由鼓勵在真實世界空間中與實體屬性互動,找到最佳結果。 使用簡單、便宜的製作材質,我們會建置實體屬性,以在建議的體驗中代表數位物件、使用者介面和動畫。 這項技術稱為「本文激蕩」,在工業設計內已成為產品設計中數十年的裝訂型態。

Teams working with materials in the Mixed Reality Academy用於本文激蕩的簡單、便宜藝術供應專案

簡單、實體屬性可讓具有不同技能集和背景的個人參與想法,並找出混合實境體驗固有的機會,而不是鎖定 2D 思維。 雖然技術原型設計或高逼真度分鏡腳本需要技能的 3D 開發人員或藝術師,但一些 Styrofoam 球和卡片板可能足以展示介面在實體空間中如何展開。 這些技術適用于混合實境開發與HoloLens和沉浸式頭戴式裝置。 例如,一組金屬連接器可能會大致說明在HoloLens體驗中出現的全像投影大小,或做為在虛擬世界中採取行動可互動的元素或動作設計的屬性。

Bodystorming 是一種技術,可用來快速產生想法,並評估太不模糊而無法建立原型的想法。 在 Microsoft 中,本文激蕩最常用來快速審查想法。 如果您牽涉到不熟悉混合實境開發或需要廣泛案例的外部專案關係人,它也有助於主控更深入的研討會。 請記住,本文分析的目的是鼓勵參與者以空間方式快速且有效率地思考。 在這個階段,詳細的圖稿或精確測量並不重要。 實體屬性只需要符合探索或傳達想法的最低需求。 在裝置內原型設計階段稍後,不會完全審查透過本文分析呈現的概念,但此程式有助於縮小稍後在裝置內原型設計階段測試的可能性。 因此,本文激蕩不會取代技術原型設計,而是會位移在原型設計階段解決技術和設計挑戰的負擔。

動作和專家意見反應

遵循在真實世界中以實體物件進行概念的本文剖析程式之後,下一個步驟是逐步解說這些物件的體驗。 我們呼叫此階段的程式,通常牽涉到暫存使用者如何經歷體驗或特定互動。

Teams acting out a scenario during a workshop in the Mixed Reality Academy
Teams在研討會期間執行案例

使用實體屬性採取行動可讓參與者體驗使用者的觀點,同時允許外部觀察者查看事件如何運作。這會提供理想的時間,以包含更廣大的小組成員或專案關係人,這些成員或專案關係人可以提供特定的「專家」意見反應。 例如,如果您正在探索專為醫院設計的混合實境體驗,對醫療專業人員演出您的想法可提供寶貴意見反應。 另一個範例是當您嘗試瞭解的特定挑戰時,例如資產品質與效能的空間音訊或預算。 在這些情況下,採取行動可讓專家快速、粗略地瞭解體驗如何展開,而不需要裝置型原型。

這種動作並非正式化,不需要引進專業人才,但在我們想要與不存在的人分享思維的情況下,我們將影片錄製互動的「場景」,或包含腳本藝術師來觀察和草繪關鍵時刻。 動作也可以是輕量型活動,通常會在主體激蕩階段進行就地發生。 決定要使用的方法取決於物件,以及提示適當意見反應類型所需的精確度。 最終會歸結到最有效率地擷取小組的想法。

使用分鏡腳本擷取想法

傳達建議體驗之想法和概念的最佳方法取決於您的目標物件,以及下一個反復專案所需的意見反應類型。 將新想法呈現給小組成員時,低逼真度重新制定本文激蕩可能足以讓某人加快速度。 將體驗概念介紹給新的專案關係人或潛在使用者時,最佳方法是腳本。 分鏡腳本是娛樂產業常見的技術,可在電影和視訊遊戲開發幕後找到。 這項技術可協助傳達體驗的整體流程, (低精確度) ,以及 (高逼真度) 的美觀外觀和風格。 如同原型設計,瞭解分鏡腳本的逼真度需求是收集正確意見反應並避免反生產力討論的關鍵。

Example of a low-fidelity storyboard
低精確度分鏡腳本的範例

低精確度分鏡腳本是快速討論的正確精確度,特別是在傳達高階想法時。 這些可以像黏附圖繪圖和基本圖形一樣簡單,以表示場景中的虛擬元素,或是實體和虛擬) 的互動式 (元件鄰近性。 雖然這些是相當容易且低技能的障礙來執行,但請記住本文中的課程:並非所有人都能看到體驗的 2D 描述,並瞭解 3D 含意。

Example of a high-fidelity storyboard
高精確度分鏡腳本的範例

高逼真度分鏡腳本是一項功能強大的工具,可帶入新的專案關係人,或結合來自本文激蕩會話的深入解析,以及您體驗的建議美感方向。 分鏡腳本可以建置情緒面板,以說明虛擬體驗的最終外觀,並擷取可能對最終產品至關重要的重要時刻。 請記住,高逼真度分鏡腳本通常需要一位作者,特別是內嵌在小組中的人,誰可以擷取難以描述的想法。 在 Microsoft,我們已將遊戲開發背景的腳本藝術師新增至我們的混合實境小組,這些小組會準備快速擷取稍後會擴充為更逼真模擬的草圖。 這些個人與技術藝術師密切合作,協助傳達最終體驗中所用資產的藝術方向。

設計程式

我們的程式現在從白板和黏附筆記開始,並擴充到實體本文激蕩和作用中。 接著,我們會將該思考轉譯為分鏡腳本,以及稱為「單行概念」的一些內容, (高階句子,說明我們要) 的專案,再繼續進行原型設計和資產建立。 我們的設計工作通常會在進入開發階段之前實際執行。

Design process flow 1
整體設計程式

設計程式很雜亂,而且每個小組都不同。 不過,bodystorming、動作和分鏡腳本等方法有助於減輕反復專案的困難。

Design process flow 2
事實上,其連續反復階段

擴充小組的技能

改變您的程式以更妥善地容納混合實境體驗,取決於更緊密地連接技術和設計角色。 與 Microsoft 的合作夥伴合作,我們看過數個小組成功轉換成 3D 開發,我們發現最大的優點來自于小組成員跳出其舒適區域並開發技能,讓他們在開發過程中更具參與性, (不只是限制其設計或開發技能) 。

意見反應和反復專案對於任何成功的設計,以及混合實境體驗的關鍵,這種意見反應通常會扭曲至更多技術概念,特別是考慮到混合實境技術和工具的相對效能。 在技術領域中建置設計小組的技能,包括 Unity 或 Unreal 等工具的技能,可協助這些人員進一步瞭解開發人員的方法,並在原型設計期間提供更有效率的意見反應。 同樣地,瞭解混合實境體驗的基本 UX 概念 (和潛在設計陷阱的開發人員) 可協助他們在規劃初期階段提供實作見解。

我們通常會從在混合實境中工作的合作夥伴取得問題,以瞭解如何使用 3D 工具拓展小組和技能集。 這是一個難以回答的問題,因為小組正面臨使用昨天工具建置明天的體驗。 許多小組正在收集具有遊戲與娛樂背景的個人,其中 3D 開發已裝訂數十年。 Teams也鼓勵其現有的小組挑選 Unity 和 3D 模型化軟體等工具。 雖然這些是符合目前混合實境體驗基準的基本需求,但可能會有大量的特製化工具和技能,以協助建置明天的重大應用程式。

混合實境設計的領域一律會變更,更著重于全像攝影體驗中的資料和雲端服務。 這個新一代的體驗將利用進階的自然語言處理和即時電腦視覺,以及沉浸式體驗中更固有的社交案例。 例如,虛擬實境中的體驗可讓設計工具建置虛構的環境和空間,而需要更類似于架構或創意的技能集,而不是傳統的介面設計。 或者,您可以考慮使用HoloLens真實世界中的體驗,其中使用案例通常牽涉到高度特製化的欄位,例如醫療、工程或製造,其中特定環境和即時資料是體驗的重要元素。 使用設計和特製化知識來跨角色工作,並願意學習新工具,對於在混合實境中工作的小組而言,是寶貴的技能。

協助小組快速且有效地探索混合實境

在HoloLens初期,由於裝置的早期原型硬體證明為較不理想的格式,因此需要這些技術來快速逐一查看設計構想。 互動方法,包括作業系統中的基本 UI 都是使用本文激蕩來探索,同時協助我們的可用性小組瞭解工作場所案例的基本使用者行為。 最後,小組為HoloLens核心 UX 建立了強式基準,跨小組角色溝通概念,並允許作業系統開發與硬體開發平行移動。

Workshop materials in the Mixed Reality Academy

無論是本文激蕩、動作、使用專家檢閱或分鏡腳本,這些技術都是為了節省您的時間和精力。 雖然我們仍在HoloLens和虛擬實境開發的早期,但擴充混合實境的設計程式可協助小組探索新設計問題,而不是克服溝通想法的困難。

工作坊供應專案的範例清單

簡單的藝術提供小組成員所需的工具來說明想法,而不需要任何進階的藝術技能。 以下是我們的小組在本文激蕩期間常用的範例:

  • Styrofoam 光碟
  • Styrofoam Cubes
  • Styrofoam cones
  • Styrofoam 球體
  • 紙箱
  • 水瀏
  • Lollipop 搖桿
  • 卡片
  • 紙杯
  • 膠帶
  • 遮罩磁帶
  • 剪刀
  • 紙片
  • 提出限制
  • 後置
  • 麻線
  • 鉛筆
  • 尖角

下一個探索檢查點

恭喜,您已完成Mixed Reality探索旅程的核心! 您可以查看產業合作夥伴如何使用Mixed Reality探索HoloLens,或開始您的設計或開發旅程: