Anders denken voor Mixed Reality
Toen Microsoft in 2016 de HoloLens (1e generatie) introduceerde voor enthousiaste ontwikkelaars, was het team al een partnerschap aangegaan met studio's binnen en buiten Microsoft om de lanceringservaring van het apparaat te bouwen. Deze teams hebben geleerd door zowel kansen als uitdagingen te vinden in het nieuwe gebied van mixed reality-ontwerp.
We hebben hun methoden en inzichten omgezet in een curriculum dat we nieuwe ontwikkelaars leren in onze Mixed Reality Academy. Het curriculum omvat ontwerpworkshops van een week die we aan onze zakelijke partners aanbieden.
Hieronder ziet u een momentopname van alles wat we hebben geleerd om onze zakelijke partners te helpen hun teams voor te bereiden op mixed reality-ontwikkeling. Hoewel veel van deze methoden oorspronkelijk zijn gericht op HoloLens-ontwikkeling, zijn het bedenken en communiceren in 3D essentieel voor het volledige spectrum van mixed reality-ervaringen.
Ruimtelijk denken tijdens het ontwerpproces
Elk ontwerpproces of ontwerpframework is bedoeld om het denken te herhalen: om een probleem breed te benaderen, om ideeën effectief met anderen te delen, om deze ideeën te evalueren en een oplossing te bereiken. Vandaag de dag hebben we bewezen ontwerp- en ontwikkelmethoden voor het bouwen van ervaringen op desktops, telefoons en tablets. Teams hebben duidelijke verwachtingen van wat nodig is om een idee te herhalen en om te zetten in een product voor gebruikers.
Teams bestaan vaak uit een combinatie van ontwikkeling, ontwerp, onderzoek en beheer. Alle rollen moeten deelnemen aan het ontwerpproces. De toegangsdrempel voor het bijdragen van een idee voor een mobiele app is net zo eenvoudig als het tekenen van een rechthoek voor het scherm van het apparaat. Ondertussen is het schetsen van UI-elementen met vakken en lijnen voldoende om technische vereisten vast te stellen of potentieel gebruikersgedrag te definiëren.
Met mixed reality begint het traditionele 2D-ontwerpproces af te breken. Schetsen in 3D is voor de meeste mensen moeilijk en het gebruik van 2D-hulpmiddelen zoals pen en papier of whiteboards kan ideeën vaak beperken tot die dimensies. Ondertussen vereisen 3D-tools, gebouwd voor gaming of engineering, een hoge mate van vaardigheid om ideeën snel uit te kunnen vaardigen. Het gebrek aan lichtgewicht hulpprogramma's wordt nog verergerd door de technische onzekerheid die inherent is aan nieuwe apparaten, waar nog steeds basisinteractiemethoden worden vastgesteld. Deze uitdagingen kunnen mogelijk de ontwerpbijdragen beperken voor teamleden met 3D-ontwikkelingsachtergronden, waardoor de mogelijkheid van het team om te itereren drastisch wordt verminderd.
Teams van het Mixed Reality Partner Program in onze workshop
Wanneer we samenwerken met externe partners, horen we verhalen van teams die wachten tot de ontwikkelaar het prototype heeft voltooid voordat ze hun ontwerpproces kunnen voortzetten. De rest van het team wordt dan mogelijk geblokkeerd om zinvolle vooruitgang te boeken op het product. Ontwikkelaars hebben uiteindelijk alle verantwoordelijkheid voor het oplossen van zowel de technische implementatie als de gebruikerservaring wanneer ze proberen een ruw idee in code te plaatsen.
Technieken voor het uitbreiden van het ontwerpproces
Onze teams bij Microsoft hebben een set technieken om hun team effectiever op te nemen en snel complexe ontwerpproblemen te doorlopen. Hoewel het geen formeel proces is, zijn deze technieken bedoeld om uw werkstroom aan te vullen in plaats van te vervangen. Met deze methoden kunnen teamleden zonder gespecialiseerde 3D-vaardigheden ideeën aanbieden voordat ze in de prototypefase duiken. Verschillende rollen en disciplines kunnen deel uitmaken van het ontwerpproces, niet alleen 3D-ontwerpers en ontwikkelaars. Het ontdekken van kansen en het identificeren van mogelijke uitdagingen kan zich later in de ontwikkeling voordoen.
Ideeën genereren met bodystorming
Uw team laten nadenken over gebeurtenissen die plaatsvinden in de echte wereld, buiten de traditionele wereld van 2D-apparaten, is essentieel voor het ontwikkelen van innovatieve mixed reality-ervaringen. Bij Microsoft hebben we de beste resultaten gevonden door interactie met fysieke rekwisieten in een echte ruimte aan te moedigen. Met behulp van eenvoudige, goedkope knutselmaterialen bouwen we fysieke rekwisieten om digitale objecten, gebruikersinterfaces en animaties te vertegenwoordigen in een voorgestelde ervaring. Deze techniek wordt bodystorming genoemd en is al tientallen jaren een nietje van productideeën binnen industrieel ontwerp.
Eenvoudige, goedkope kunstbenodigdheden die worden gebruikt in bodystorming
Eenvoudige, fysieke rekwisieten zorgen voor een gelijk speelveld voor deelnemers, zodat personen met verschillende vaardigheden en achtergronden ideeën kunnen bijdragen en kansen kunnen ontdekken die inherent zijn aan mixed reality-ervaringen in plaats van vast te zitten in 2D-denken. Hoewel technisch prototypen of high-fidelity storyboarding een ervaren 3D-ontwikkelaar of kunstenaar vereist, kunnen een paar styrofoam ballen en karton voldoende zijn om te laten zien hoe een interface zich in de fysieke ruimte kan ontvouwen. Deze technieken zijn van toepassing op zowel mixed reality-ontwikkeling met HoloLens als de immersive headsets. Een set plastic connectors kan bijvoorbeeld grofweg de grootte van hologrammen illustreren die worden weergegeven in een HoloLens-ervaring of als rekwisieten om interactiebare elementen of bewegingsontwerpen in een virtuele wereld uit te voeren.
Bodystorming is een techniek die wordt gebruikt om snel ideeën te genereren en ideeën te evalueren die te vaag zijn om te prototypen. Bij Microsoft wordt bodystorming meestal gebruikt om snel een idee te onderzoeken. Het kan ook helpen bij het hosten van een meer diepgaande sessie als u externe belanghebbenden betrekt die niet bekend zijn met mixed reality-ontwikkeling of brede scenario's moeten analyseren. Vergeet niet dat het doel van bodystorming is om snel en efficiënt ideeën te maken door deelnemers aan te moedigen ruimtelijk te denken. Gedetailleerde illustraties of nauwkeurige metingen zijn in dit stadium niet belangrijk. Fysieke props hoeven alleen te voldoen aan de minimale vereisten om een idee te verkennen of te communiceren. Ideeën die via bodystorming worden gepresenteerd, worden naar verwachting niet volledig gecontroleerd, maar het proces kan helpen bij het beperken van mogelijkheden om later te testen tijdens de fase van het in-device prototyping. Als zodanig vervangt bodystorming technische prototypen niet, maar wordt de belasting van het oplossen van zowel technische als ontwerpuitdagingen tijdens de fase van het prototype gecompenseerd.
Acterende en deskundige feedback
Na het bodystorming-proces van ideeën maken met fysieke objecten in de echte wereld, bestaat de volgende stap uit het doorlopen van een ervaring met deze objecten. We noemen deze fase van het proces acterend en het omvat vaak fasering van hoe een gebruiker zich door de ervaring of een specifieke interactie zou bewegen.
Teams die een scenario uitvoeren tijdens een workshop
Met fysieke rekwisieten kunnen deelnemers het perspectief van de gebruiker ervaren, terwijl externe waarnemers kunnen zien hoe gebeurtenissen zich afspelen. Dit is een ideaal moment om een breder publiek van teamleden of belanghebbenden te betrekken die specifieke 'deskundige' feedback kunnen geven. Als u bijvoorbeeld een Mixed Reality-ervaring verkent die is ontworpen voor ziekenhuizen, kan het uitbeelden van uw idee aan een medische professional onschatbare feedback opleveren. Een ander voorbeeld is wanneer u een specifieke uitdaging hebt die u probeert te begrijpen, zoals ruimtelijke audio of budgetteren voor de kwaliteit van assets versus prestaties. In dergelijke gevallen geeft acteren experts een snel, ruw concept van hoe de ervaring zich zou kunnen ontvouwen, zonder dat er een prototype op basis van een apparaat nodig is.
Dit soort acteren is niet geformaliseerd en hoeft geen professioneel talent aan te brengen, maar in situaties waarin we het denken willen delen met anderen die niet aanwezig zijn, nemen we een 'scène' van interactie op of voegen we een storyboardartiest toe om belangrijke momenten te observeren en te schetsen. Acteren kan ook een lichte activiteit zijn, die vaak in-situ plaatsvindt tijdens de bodystormingfase. Bepalen welke methode moet worden gebruikt, is afhankelijk van de doelgroep en de betrouwbaarheid die nodig is om het juiste type feedback te vragen. Het komt uiteindelijk neer op wat het denken van uw team het meest effectief kan vastleggen.
Ideeën vastleggen met storyboards
De beste methode voor het overbrengen van de ideeën en concepten van uw voorgestelde ervaring is afhankelijk van uw beoogde doelgroep en het type feedback dat uw volgende iteratie vereist. Wanneer u nieuwe ideeën presenteert aan teamleden, kan een lage betrouwbaarheid van bodystorming voldoende zijn om iemand op de hoogte te brengen. Wanneer u uw ervaringsconcepten introduceert bij nieuwe belanghebbenden of potentiële gebruikers, is de beste methode vaak storyboarding. Storyboarding is een techniek die veel voorkomt in de entertainmentindustrie, achter de schermen in de ontwikkeling van films en videospellen. De techniek helpt zowel de algehele stroom van een ervaring (bij lage kwaliteit) als het esthetische uiterlijk (bij hoge kwaliteit) over te brengen. Net als bij prototypen is het begrijpen van de betrouwbaarheidsbehoeften van uw storyboard essentieel voor het verzamelen van de juiste feedback en het vermijden van contraproductieve discussies.
Voorbeeld van een storyboard met lage kwaliteit
Storyboards met een lage kwaliteit zijn de juiste kwaliteit voor snelle discussies, met name wanneer ideeën op hoog niveau worden overgebracht. Deze kunnen zo eenvoudig zijn als tekeningen met een stokfiguur en primitieve vormen om virtuele elementen in een scène aan te geven of de nabijheid van interactieve onderdelen (zowel fysiek als virtueel). Hoewel deze handig zijn gezien het relatieve gemak en de lage vaardigheidsbarrière om uit te voeren, moet u de les van bodystorming onthouden: niet iedereen kan 2D-weergaven van een ervaring zien en de 3D-implicaties begrijpen.
Voorbeeld van een high-fidelity storyboard
Hoogwaardige storyboards zijn een krachtig hulpmiddel bij het binnenhalen van nieuwe belanghebbenden of het combineren van inzichten uit een bodystorming-sessie met de voorgestelde esthetische richting van uw ervaring. Storyboards kunnen moodboards bouwen om het uiteindelijke uiterlijk van een virtuele ervaring te illustreren en belangrijke momenten vast te leggen die van cruciaal belang kunnen zijn voor het eindproduct. Houd er rekening mee dat voor hoogwaardige storyboards vaak een artiest is vereist, met name een die is ingebed in het team, die moeilijk te beschrijven ideeën kan vastleggen. Bij Microsoft hebben we storyboardartiesten, vaak met achtergronden in gameontwikkeling, toegevoegd aan onze mixed reality-teams die vergaderingen bijwonen die zijn voorbereid om snel schetsen vast te leggen die later worden uitgebreid naar modellen met een hogere kwaliteit. Deze personen werken nauw samen met technische kunstenaars en helpen bij het overbrengen van de artistieke richting van assets die in de uiteindelijke ervaring worden gebruikt.
Ontwerpproces
Ons proces begint vandaag met whiteboarden en plaknotities en breidt zich uit naar fysieke bodystorming en acteren. Vervolgens vertalen we dat denken in storyboards en iets wat we een 'One-Line Concept' noemen (de zin op hoog niveau die beschrijft wat we maken) voordat we verdergaan met prototypen en het maken van assets. Ons ontwerpwerk is vaak fysiek voordat we in de ontwikkelingsfase komen.
Algemeen ontwerpproces
Het ontwerpproces is rommelig en elk team is anders. Methoden zoals bodystorming, acteren en storyboarding kunnen echter helpen bij het verminderen van problemen bij iteratie.
In werkelijkheid zijn de continue iteratieve fasen
De vaardigheden van uw team uitbreiden
Het wijzigen van uw proces om mixed reality-ervaringen beter mogelijk te maken, is afhankelijk van een nauwer verband tussen technische en ontwerprollen. In samenwerking met partners bij Microsoft hebben we gezien dat verschillende teams met succes zijn overgestapt op 3D-ontwikkeling. Het grootste voordeel is dat teamleden uit hun comfortzone stappen en vaardigheden ontwikkelen die hen meer betrokkenheid geven tijdens het ontwikkelingsproces (niet alleen het beperken van hun vaardigheden om te ontwerpen of ontwikkelen).
Feedback en iteratie zijn essentieel voor elk succesvol ontwerp, en bij mixed reality-ervaringen scheeftrekken dit soort feedback vaak naar meer technische concepten, vooral gezien de relatieve nascentie van de technologie en hulpprogramma's van mixed reality. Door de vaardigheden van uw ontwerpteam op technische gebieden te ontwikkelen, inclusief vaardigheden met hulpprogramma's zoals Unity of Unreal, krijgen deze personen meer inzicht in de aanpak van ontwikkelaars en kunnen ze effectiever feedback geven tijdens het maken van prototypen. Op dezelfde manier kunnen ontwikkelaars die de fundamentele UX-concepten van mixed reality-ervaringen (en mogelijke ontwerp valkuilen) begrijpen, hen helpen bij het bieden van implementatie-inzichten in de vroege fasen van de planning.
We krijgen meestal vragen van partners die werken in mixed reality over hoe ze hun team en vaardighedensets het beste kunnen uitbreiden met 3D-hulpprogramma's. Dit is een moeilijke vraag, gezien de status van de branche, omdat teams worden geconfronteerd met het bouwen van de ervaringen van morgen met de hulpprogramma's van gisteren. Veel teams verzamelen personen met een achtergrond in gaming en entertainment, waar 3D-ontwikkeling al tientallen jaren een belangrijk onderdeel is. Teams moedigen hun bestaande teams ook aan om hulpprogramma's zoals Unity en 3D-modelleringssoftware op te halen. Hoewel dit beide essentiële behoeften zijn om te voldoen aan de basislijn van mixed reality-ervaringen, zijn er waarschijnlijk een groot aantal gespecialiseerde hulpprogramma's en vaardigheden om de baanbrekende toepassingen van morgen te bouwen.
Het gebied van mixed reality-ontwerp verandert voortdurend, met meer focus op gegevens en cloudservices in holografische ervaringen. Deze volgende generatie ervaringen zal profiteren van geavanceerde verwerking van natuurlijke taal en realtime computer vision, en meer inherente sociale scenario's binnen immersive ervaringen. Ervaringen in virtual reality stellen ontwerpers bijvoorbeeld in staat om fantasierijke omgevingen en ruimten te bouwen, waarvoor een vaardighedenset is vereist die meer lijkt op architectuur of psychologie dan op het traditionele interfaceontwerp. U kunt ook ervaringen in de echte wereld overwegen met HoloLens, waarbij de use cases vaak betrekking hebben op zeer gespecialiseerde gebieden, zoals geneeskunde, engineering of productie, waarbij specifieke omgevingen en realtime gegevens essentiële elementen van de ervaring zijn. Werken in verschillende rollen, het gebruik van zowel ontwerp als gespecialiseerde kennis en de bereidheid om nieuwe hulpprogramma's te leren zijn van onschatbare vaardigheden voor teams die in mixed reality werken.
Uw team helpen mixed reality snel en effectief te verkennen
In de begindagen van HoloLens kwamen deze technieken uit noodzaak omdat de vroege prototypehardware van het apparaat een minder dan ideaal formaat bleek te zijn om snel te herhalen door ontwerpideeën. Interactiemethoden, waaronder de fundamentele gebruikersinterface in het besturingssysteem, zijn verkend met bodystorming, terwijl acteren ons bruikbaarheidsteam heeft geholpen bij het begrijpen van fundamenteel gebruikersgedrag voor scenario's op de werkplek. Uiteindelijk heeft het team een sterke basislijn opgesteld voor de HoloLens-kern-UX, waarbij concepten werden gecommuniceerd tussen teamrollen en de ontwikkeling van het besturingssysteem snel kon worden uitgevoerd in combinatie met hardwareontwikkeling.
Of het nu gaat om bodystormen, acteren, beoordelen met experts of storyboarding, deze technieken zijn bedoeld om u tijd en moeite te besparen. Hoewel we nog in de begindagen van holoLens en ontwikkeling van virtuele realiteit zitten, helpt het uitbreiden van uw ontwerpproces voor mixed reality uw team om hun energie te besteden aan het verkennen van nieuwe en uitdagende ontwerpproblemen in plaats van problemen met het communiceren van ideeën te overwinnen.
Voorbeeldlijst met werkplaatsbenodigdheden
Eenvoudige kunstbenodigdheden bieden teamleden de nodige hulpmiddelen om ideeën uit te leggen zonder geavanceerde artistieke vaardigheden. Hier volgt een voorbeeld van wat ons team vaak gebruikt tijdens bodystorming:
- Piepschuimschijven
- Piepschuimkubussen
- Piepschuimkegels
- Piepschuimbolen
- Kartonnen dozen
- Houten deuvels
- Lollipop sticks
- Cardstock
- Papieren bekers
- Kanaaltape
- Maskeringstape
- Schaar
- Paperclips
- Klemmen voor archiveren
- Post-Its
- Bindgaren
- Potloden
- Sharpies
Volgend detectiecontrolepunt
Gefeliciteerd, u hebt de kern van de Mixed Reality ontdekkingsreis voltooid. U kunt zien hoe partners uit de branche Mixed Reality gebruiken, de HoloLens verkennen of uw ontwerp- of ontwikkelingstrajecten starten: