Tänka annorlunda för Mixed Reality

När Microsoft lanserade HoloLens (första generationen) för ivriga utvecklare 2016 hade teamet redan samarbetat med studior inom och från Microsoft för att skapa enhetens lanseringsupplevelser. Dessa team lärde sig genom att hitta både möjligheter och utmaningar inom det nya området mixad verklighetsdesign.

Vi omvandlade deras metoder och insikter till en läroplan som vi lär nya utvecklare i vår Mixed Reality Academy. Läroplanen innehåller veckolånga designworkshops som vi erbjuder våra företagspartners).

Nedan visas en ögonblicksbild av allt vi har lärt oss för att hjälpa våra företagspartner att förbereda sina team för utveckling av mixad verklighet. Även om många av dessa metoder ursprungligen är inriktade på HoloLens-utveckling är inbillning och kommunikation i 3D avgörande för hela spektrumet av upplevelser med mixad verklighet.

Tänker rumsligt under designprocessen

Alla designprocesser eller designramverk är avsedda att iterera tänkande: Att hantera ett problem brett, att dela idéer med andra effektivt, att utvärdera dessa idéer och nå en lösning. Idag har vi väletablerade design- och utvecklingsmetoder för att skapa upplevelser på stationära datorer, telefoner och surfplattor. Teamen har tydliga förväntningar på vad som krävs för att iterera en idé och förvandla den till en produkt för användarna.

Team består ofta av en blandning av utveckling, design, forskning och hantering. Alla roller bör delta i designprocessen. Barriären för att bidra till en idé för en mobilapp är lika enkel som att rita en rektangel för enhetens skärm. Samtidigt räcker det med att skissa gränssnittselement med rutor och linjer för att fastställa tekniska krav eller definiera potentiellt användarbeteende.

Med mixad verklighet börjar den traditionella 2D-designprocessen att brytas ned. Skissning i 3D är svårt för de flesta, och att använda 2D-verktyg som penna och papper eller whiteboards kan ofta begränsa idéer till dessa dimensioner. Under tiden kräver 3D-verktyg, byggda för spel eller teknik, en hög grad av skicklighet för att snabbt utveckla idéer. Bristen på lätta verktyg förvärras av den tekniska osäkerhet som är inneboende i nya enheter, där grundläggande interaktionsmetoder fortfarande etableras. Dessa utmaningar kan potentiellt begränsa designbidragen till teammedlemmar med 3D-utvecklingsbakgrund – vilket drastiskt minskar teamets iterationsförmåga.

Team som arbetar under en workshop i Mixed Reality Academy
Team från Mixed Reality partnerprogrammet i vår workshop

När vi arbetar med externa partner hör vi berättelser om team som väntar på att utvecklaren ska slutföra prototypen innan de kan fortsätta sin designprocess. Resten av teamet blockeras sedan potentiellt från att göra meningsfulla framsteg på produkten. Utvecklare får allt ansvar för att lösa både den tekniska implementeringen och användarupplevelsen när de försöker lägga en grov idé i kod.

Metoder för att utöka designprocessen

Våra team på Microsoft har en uppsättning tekniker för att mer effektivt inkludera sitt team och snabbt iterera genom komplexa designproblem. Även om dessa tekniker inte är en formell process är de avsedda att komplettera i stället för att ersätta arbetsflödet. Dessa metoder gör det möjligt för teammedlemmar utan specialiserade 3D-färdigheter att erbjuda idéer innan de dyker in i prototypfasen. Olika roller och discipliner kan vara en del av designprocessen, inte bara 3D-designers och utvecklare. Att upptäcka affärsmöjligheter och identifiera möjliga utmaningar kan inträffa senare under utvecklingen.

Tekniker för designprocessen

Generera idéer med bodystorming

Att få ditt team att tänka på händelser som inträffar i den verkliga världen, bortom den traditionella världen med 2D-enheter, är nyckeln till att utveckla innovativa upplevelser med mixad verklighet. På Microsoft har vi hittat de bästa resultaten genom att uppmuntra interaktion med fysisk rekvisita i ett verkligt utrymme. Med enkla, billiga hantverksmaterial skapar vi fysiska rekvisita för att representera digitala objekt, användargränssnitt och animeringar i en föreslagen upplevelse. Denna teknik kallas bodystorming och har varit en häftklammer av produktidé inom industriell design i årtionden.

Team som arbetar med material i Mixed Reality AcademySimple, billiga konstmaterial som används i bodystorming

Enkel, fysisk rekvisita jämnar ut spelplanen för deltagarna, vilket gör det möjligt för individer med olika kompetensuppsättningar och bakgrunder att bidra med idéer och avslöja möjligheter som är inneboende i blandade verklighetsupplevelser istället för att låsas in i 2D-tänkande. Även om tekniska prototyper eller high-fidelity storyboarding kräver en skicklig 3D-utvecklare eller konstnär, kan några styrofoambollar och kartong räcka för att visa hur ett gränssnitt kan utvecklas i fysiskt utrymme. Dessa tekniker gäller både utveckling av mixad verklighet med HoloLens och de uppslukande headseten. Till exempel kan en uppsättning plastkopplingar ungefär illustrera storleken på hologram som visas i en HoloLens-upplevelse eller som rekvisita för att agera ut interaktionsbara element eller rörelsedesign i en virtuell värld.

Bodystorming är en teknik som används för att snabbt generera idéer och utvärdera idéer som är för oklara för prototyper. På Microsoft används bodystorming oftast för att snabbt granska en idé. Det kan också vara en värd för en mer djupgående session om du involverar externa intressenter som inte är bekanta med utveckling av mixad verklighet eller behöver destillera breda scenarier. Kom ihåg att syftet med bodystorming är att snabbt och effektivt skapa idéer genom att uppmuntra deltagarna att tänka rumsligt. Detaljerade konstverk eller exakta mått är inte viktiga i det här skedet. Fysisk rekvisita behöver bara uppfylla minimikraven för att utforska eller kommunicera en idé. Idéer som presenteras genom bodystorming förväntas inte granskas fullt ut, men processen kan hjälpa till att begränsa möjligheterna att testa senare under prototypfasen på enheten. Därför ersätter bodystorming inte tekniska prototyper, utan kompenserar snarare bördan av att lösa både tekniska och designutmaningar under prototypfasen.

Skådespeleri och expertfeedback

Efter bodystorming-processen för idéskapande med fysiska objekt i den verkliga världen är nästa steg att gå igenom en upplevelse med dessa objekt. Vi kallar den här fasen i processen och det handlar ofta om att mellanlagring av hur en användare skulle gå igenom upplevelsen eller en specifik interaktion.

Team som agerar ut ett scenario under en workshop i Mixed Reality Academy
Team som agerar ut ett scenario under en workshop

Genom att agera med fysisk rekvisita kan deltagarna uppleva användarens perspektiv, samtidigt som utomstående observatörer kan se hur händelserna agerar. Detta är en idealisk tid för att inkludera en bredare publik av teammedlemmar eller intressenter som kan ge specifik "expert"-feedback. Om du till exempel utforskar en Mixed Reality-upplevelse som är utformad för sjukhus kan du få värdefull feedback genom att agera dina idéer för sjukvårdspersonal. Ett annat exempel är när du kan ha en specifik utmaning som du försöker förstå, till exempel rumsligt ljud eller budgetering för tillgångskvalitet kontra prestanda. I dessa fall ger skådespeleriet experter ett snabbt, grovt begrepp om hur upplevelsen kan utvecklas, utan att behöva en enhetsbaserad prototyp.

Den här typen av skådespeleri är inte formaliserat, utan behov av att ta in professionella talanger, men i situationer där vi vill dela tänkandet med andra som inte är närvarande, kommer vi att videospela en "scen" av interaktion eller inkludera en storyboardartist för att observera och skissa viktiga ögonblick. Skådespeleri kan också vara en lätt aktivitet, som ofta sker på plats under bodystorming-fasen. Att bestämma vilken metod som ska användas beror på målgruppen och vilken återgivning som krävs för att fråga efter lämplig typ av feedback. Det handlar i slutändan om vad som mest effektivt kommer att fånga ditt teams tänkande.

Fånga idéer med storyboards

Den bästa metoden för att förmedla idéer och koncept för den föreslagna upplevelsen beror på din avsedda målgrupp, och vilken typ av feedback din nästa iteration kräver. När du presenterar nya idéer för teammedlemmar kan det räcka med att återskapa bodystorming med låg återgivning för att få någon att komma igång. När du introducerar dina upplevelsekoncept för nya intressenter eller potentiella användare är den bästa metoden ofta storyboarding. Storyboarding är en teknik som är gemensam för underhållningsindustrin, som finns bakom kulisserna i filmer och videospelutveckling. Tekniken hjälper till att förmedla både det övergripande flödet av en upplevelse (vid låga fidelities) och det estetiska utseendet och känslan (vid höga fidelities). Precis som med prototyper är det viktigt att förstå återgivningsbehoven i din storyboard för att samla in rätt feedback och undvika kontraproduktiva diskussioner.

Exempel på en storyboard med låg återgivning
Exempel på en storyboard med låg återgivning

Storyboards med låg återgivning är rätt återgivning för snabba diskussioner, särskilt när du förmedlar idéer på hög nivå. Dessa kan vara så enkla som stick-figure-ritningar och primitiva former för att beteckna virtuella element i en scen eller närheten till interaktiva komponenter (både fysiska och virtuella). Även om dessa är användbara med tanke på den relativa lättheten och låg färdighetsbarriären att köra, kom ihåg lektionen från bodystorming: Inte alla kan se 2D-skildringar av en upplevelse och förstå 3D-konsekvenserna.

Exempel på en storyboard med hög återgivning
Exempel på en storyboard med hög återgivning

Storyboards med hög återgivning är ett kraftfullt verktyg när du tar in nya intressenter eller kombinerar insikter från en bodystorming-session med den föreslagna estetiska riktningen för din upplevelse. Storyboards kan bygga av stämningstavlor för att illustrera det slutliga utseendet på en virtuell upplevelse och fånga viktiga ögonblick som kan vara avgörande för den slutliga produkten. Tänk på att storyboards med hög återgivning ofta kräver en konstnär, särskilt en som är inbäddad i teamet, som kan fånga svåra att beskriva idéer. På Microsoft har vi lagt till storyboardartister, ofta med bakgrund inom spelutveckling, till våra team för mixad verklighet som deltar i möten som är beredda att snabbt fånga skisser som senare kommer att utökas till modeller med högre återgivning. Dessa individer arbetar nära tekniska konstnärer och hjälper till att förmedla den konstnärliga riktningen för tillgångar som används i den slutliga upplevelsen.

Designprocess

Vår process börjar idag med whiteboarding och klibbiga anteckningar och expanderar till fysisk bodystorming och skådespeleri. Vi översätter sedan det tänkandet till storyboards och något vi kallar ett "one-line concept" (den övergripande meningen som beskriver vad vi gör) innan vi går vidare till prototyper och tillgångsskapande. Vårt designarbete är ofta fysiskt innan vi går in i utvecklingsfasen.

Designprocessflöde 1
Övergripande designprocess

Designprocessen är rörig och alla team är olika. Metoder som bodystorming, skådespeleri och storyboarding kan dock hjälpa till att lindra iterationsproblem.

Designprocessflöde 2
I verkligheten är dess kontinuerliga iterativa faser

Utöka teamets kunskaper

Att ändra din process för att bättre hantera upplevelser med mixad verklighet beror på att tekniska roller och designroller kopplas samman närmare. I samarbete med partner på Microsoft har vi sett flera team framgångsrikt gå över till 3D-utveckling, och vi tycker att den största fördelen kommer från teammedlemmar som kliver ut ur sin komfortzon och utvecklar färdigheter som ger dem mer engagemang under hela utvecklingsprocessen (inte bara begränsa deras färdigheter till design eller utveckling).

Feedback och iteration är nyckeln till en lyckad design, och med mixade verklighetsupplevelser skevar den här typen av feedback ofta till mer tekniska begrepp, särskilt med tanke på den relativa nascencyen i mixad verklighets teknik och verktyg. Genom att bygga upp designteamets kunskaper inom tekniska områden, inklusive färdigheter med verktyg som Unity eller Unreal, kan dessa personer bättre förstå utvecklarnas tillvägagångssätt och ge mer effektiv feedback under prototyper. På samma sätt kan utvecklare som förstår de grundläggande UX-begreppen för upplevelser med mixad verklighet (och potentiella designgropar) hjälpa dem att erbjuda implementeringsinsikter under de tidiga planeringsfaserna.

Vi får vanligtvis frågor från partner som arbetar i mixad verklighet om hur de bäst kan utöka sitt team och kompetensuppsättningar med 3D-verktyg. Detta är en svår fråga att besvara med tanke på branschens tillstånd, eftersom teamen står inför att bygga morgondagens erfarenheter av gårdagens verktyg. Många team samlar individer med bakgrund inom spel och underhållning, där 3D-utveckling har varit en stapelvara i årtionden. Teams uppmuntrar också sina befintliga team att hämta verktyg som Unity och 3D-modelleringsprogramvara. Även om dessa båda är viktiga behov för att uppfylla baslinjen för upplevelser med mixad verklighet idag, kommer det sannolikt att finnas ett stort antal specialiserade verktyg och färdigheter som hjälper dig att skapa morgondagens banbrytande program.

Designområdet för mixad verklighet förändras alltid, med mer fokus på data och molntjänster i holografiska upplevelser. Nästa generations upplevelser kommer att dra nytta av avancerad bearbetning av naturligt språk och visuellt innehåll i realtid och mer sociala scenarier i fördjupade upplevelser. Till exempel gör upplevelser i virtuell verklighet att designers kan skapa fantasifulla miljöer och utrymmen, vilket kräver en kompetensuppsättning som mer liknar arkitektur eller psykologi snarare än traditionell gränssnittsdesign. Eller så kan du överväga upplevelser i verkligheten med HoloLens, där användningsfallen ofta omfattar mycket specialiserade områden som medicin, teknik eller tillverkning, där specifika miljöer och realtidsdata är viktiga delar av upplevelsen. Att arbeta över roller, använda både design och specialiserad kunskap och ha en vilja att lära sig nya verktyg är ovärderliga färdigheter för team som arbetar i mixad verklighet.

Hjälpa ditt team att snabbt och effektivt utforska mixad verklighet

I början av HoloLens kom dessa tekniker av nödvändighet eftersom enhetens tidiga prototypmaskinvara visade sig vara ett mindre idealiskt format för att snabbt iterera genom designidéer. Interaktionsmetoder, inklusive grundläggande användargränssnitt i operativsystemet, utforskades med bodystorming, samtidigt som vårt användbarhetsteam hjälpte oss att förstå grundläggande användarbeteenden för scenarier på arbetsplatsen. I slutändan etablerade teamet en stark baslinje för HoloLens Core UX, kommunicerade begrepp mellan teamroller och gjorde det möjligt för OS-utveckling att gå snabbt parallellt med maskinvaruutveckling.

Workshopmaterial i Mixed Reality Academy

Oavsett om det handlar om bodystorming, skådespeleri, granskning med experter eller storyboarding är dessa tekniker avsedda att spara tid och ansträngning. Även om vi fortfarande är mycket i början av HoloLens och utveckling av virtuell verklighet, kommer en utökning av din designprocess för mixad verklighet att hjälpa ditt team att ägna sin energi åt att utforska nya och utmanande designproblem i stället för att övervinna svårigheter med att kommunicera idéer.

Exempellista över verkstadsmaterial

Enkla konstmaterial ger teammedlemmar de verktyg som krävs för att förklara idéer utan några avancerade konstnärliga färdigheter. Här är ett exempel på vad vårt team ofta använder under bodystorming:

  • Frigolitskivor
  • Frigolitkuber
  • Frigolitstrutar
  • Frigolitsfärer
  • Pappkartonger
  • Trä dowels
  • Lollipop pinnar
  • Kort
  • Pappersmuggar
  • Rörtejp
  • Maskeringstejp
  • Sax
  • Gem
  • Arkivklämmor
  • Post-its
  • Garn
  • Pennor
  • Skärp

Nästa kontrollpunkt för identifiering

Grattis, du har slutfört kärnan i Mixed Reality upptäcktsresa! Du kan antingen se hur branschpartner använder Mixed Reality, utforska HoloLens eller starta dina design- eller utvecklingsresor: