Casestudy - Mensen vertegenwoordigen in mixed reality

James Turrell ontwerpt met licht. Door in zijn werk te stappen vervaagt je gevoel voor diepte en focus. Muren lijken zowel dichtbij als oneindig, helderheid geeft een manier om schaduwen. Onbekende waarnemingen die zijn ontworpen door zorgvuldig de kleur en diffusie van het licht in balans te brengen. Turrell beschrijft deze sensaties als 'gevoel met je ogen', een manier om het begrip van de werkelijkheid uit te breiden. Fantastische werelden, zoals die van Turrell, zijn krachtige hulpmiddelen om onze zintuigen te exploiteren, niet in tegenstelling tot de meeslepende omgevingen van mixed reality vandaag.

Artwork by James Turrell. Created in 1998 and titled Wide Out.

Hoe vertegenwoordigt u complexe echte omgevingen in mixed reality?

Het vertegenwoordigen van Turrell's werk in een meeslepende ervaring maakt een aantrekkelijke uitdaging. Verlichting, schaal en ruimtelijke audio presenteren mogelijkheden om zijn werk te vertegenwoordigen. Hoewel de geometrische omgeving van de tentoonstelling relatief eenvoudige 3D-modellering vereist, zijn ze secundair aan de focus van de kunstenaar: de impact van het licht op de zintuigen.

Turrell's starre minimalisme is het kenmerk van zijn werk, maar wat als we een tentoonstelling willen vertegenwoordigen met complexere materialen in mixed reality?

Artwork by Ai Weiwei. The installation, Bang, was shown in 2013.

In 2013 onthulde de kunstenaar Ai Weiwei een verwarrend kunstwerk met 886 antieke krukken in de Venetië-Biënnale. Elke houten kruk kwam uit een tijdperk waarin Chinees vakmanschap zeer gewaardeerd werd, waar deze krukken tussen generaties zouden zijn doorgegeven. De krukken zelf ( de complexiteit van het hout, de precisie van de stukken, hun zorgvuldige plaatsing ) zijn essentieel voor het commentaar van Ai over moderne cultuur.

De antieke krukken leveren de boodschap van de kunstenaar door hun authenticiteit. Hun realistische representatie is essentieel voor de ervaring, het creëren van een technische uitdaging: het beeldhouwen van elk van de 886 krukken zou enorm volledig en duur zijn. Hoe lang duurt het om te modelleren en te positioneren? Hoe zou je de echtheid van het materiaal behouden? Het opnieuw maken van deze objecten wordt op veel manieren een interpretatie van het kunstwerk zelf. Hoe kun je de intentie van de kunstenaar behouden?

Methoden voor het vastleggen van mixed reality-assets

Het alternatief voor het maken van iets helemaal zelf is het vastleggen van het echte ding. Met behulp van een steeds geavanceerde set capture-methoden kunnen we authentieke representaties ontwikkelen van elk van de kernassettypen in mixed reality (omgevingen, objecten en personen).

De brede categorieën variëren van gevestigde 2D-video tot de nieuwste vormen van volumetrische video. In het geval van de tentoonstelling van Ai Weiwei kan scannen (vaak aangeduid door de fundamentele techniek, fotogrammetrie) worden gebruikt tijdens het maken van de tentoonstelling, waarbij elk van de krukken zelf wordt gescand. 360° foto- en video-opnamen is een andere methode voor het virtualiseren van de ervaring met behulp van een hoogwaardige omnidirectionele camera die in de hele tentoonstelling wordt weergegeven. Met deze technieken begint men het gevoel van schaal te begrijpen, idealiter met voldoende details om het vakmanschap van elk stuk te zien. Dit alles in een digitale vorm die nieuwe vergezichten en perspectieven mogelijk maakt in werkelijkheid.

Diagram showing individual icons that represent the categories 2D video, 360 degree capture, motion capture, scanning, and volumetric video.

Welke mogelijkheden ontstaan er als we niet alleen fantastische elementen kunnen creëren, maar ook de meest realistische opnamen van omgevingen, objecten en mensen in mixed reality kunnen gebruiken? Het verkennen van de overlap tussen deze methoden helpt te verlichten waar het medium naartoe gaat.

Voor omgevingen en objecten ontwikkelt 360° imaging software zich tot elementen van fotogrammetrie. Het isoleren van diepte-informatie uit scènes, geavanceerde 360° video's helpen het gevoel te verlichten dat uw hoofd vastzit in een visbowl wanneer u rond een virtuele scène kijkt.

Voor mensen zijn er nieuwe methoden ontstaan die bewegingsopname en -scan combineren en uitbreiden: Motion Capture is een basis voor het brengen van gedetailleerde menselijke bewegingen naar visuele effecten en filmische personages, terwijl het scannen is geavanceerd om gedetailleerde menselijke visuele elementen zoals gezichten en handen vast te leggen. Met verbeteringen in renderingtechnologie bouwt een nieuwe methode met de naam volumetrische video deze technieken voort, waarbij visuele en dieptegegevens worden gecombineerd om de volgende generatie 3D menselijke opnamen te maken.

Volumetrische video en het streven naar authentieke menselijke opname

Mensen staan centraal in verhalen in de meest letterlijke zin: een mens die spreekt, presteert of als onderwerp van het verhaal. Enkele van de meest meeslepende en oogverruimende momenten van de vroege meeslepende ervaringen van vandaag zijn sociaal: het delen van een mixed reality-ervaring samen in uw woonkamer, het zien van uw vrienden in ongelooflijke nieuwe omgevingen. Het menselijke element maakt zelfs de meest fantastische realiteit, een realiteit.

A V R character shown in a virtual environment that represents use of a mixed reality experience.

Avatars in insluitende ervaringen maken een nieuw soort belichaming in verhalen mogelijk. De nieuwste apps herzien het concept van eigendom van virtuele lichamen en het instellen van een generatiesprong om de afstand tussen mensen te elimineren. Bedrijven zoals Mindshow ontwikkelen creatieve tools die gebruikmaken van avatars, zodat gebruikers volledig nieuwe persona's en personages kunnen overnemen. Anderen verkennen methoden van artistieke expressie, een potentieel onbeperkte creatieve kans om de natuur (en noodzaak) van menselijke kenmerken te verkennen. Vandaag de dag helpt deze afwezigheid van realisme de onverknadigde vallei van menselijke gelijkenis te voorkomen, samen met een groot aantal technische problemen voor alledaagse ontwikkelaars. Om deze redenen (en meer) is het waarschijnlijk dat niet-realistische avatars de standaardwaarde worden voor de nabije toekomst. En toch, terwijl realisme een enorme uitdaging vormt voor mixed reality, zijn er belangrijke scenario's die een authentieke representatie van mensen in 3D-ruimte vereisen.

Bij Microsoft heeft een klein team dat is geboren uit Microsoft Research de afgelopen jaren een methode ontwikkeld voor het vastleggen van mensen via een vorm van volumetrische video. Het proces is tegenwoordig vergelijkbaar met videoproductie: in plaats van beweging toe te passen op een beeldhouwasset, is het een volledige 3D-opname. De prestaties en de afbeelding worden in realtime vastgelegd. Het is niet het werk van een kunstenaar, het is een authentieke representatie. En hoewel de technologie net begint uit te breiden naar commerciële toepassingen, zijn de implicaties van volumetrische video essentieel voor de visie van Microsoft op Meer persoonlijke computing.

A volumetric video presented at SIGGRAPH 2015 showing an interaction that contains human and virtual elements.

Authentieke menselijke capture ontgrendelt nieuwe unieke categorieën ervaringen in mixed reality. Als je iemand ziet die je herkent, of het nu een beroemdheid, een collega of een geliefde is, creëert een diepte van vertrouwelijkheid die nooit eerder mogelijk is in een digitaal medium. Hun gezicht, hun uitdrukkingen, de nuance in hun bewegingen maken allemaal deel uit van wie ze zijn. Welke mogelijkheden ontsluiten wanneer we deze menselijke kwaliteiten in 3D-ruimte kunnen vastleggen?

Vandaag pusht het team de grenzen van volumetrische video door zich te concentreren op sectoren zoals entertainment en onderwijs: Actiongram bevat creatieve personages en beroemdheden om mixed reality-verhalen te maken. Bestemming: Mars tentoonstelling, nu in NASA's Kennedy Space Center, beschikt over een volumetrische video van legendarische astronaut Buzz Aldrin. De ervaring stelt bezoekers in staat om rond het oppervlak van Mars te lopen met Buzz terwijl hij het streven naar menselijke kolonisatie op Mars introduceert.

Mensen zijn fundamenteel voor mixed reality

Het ontwerpen van manieren om deze video's te maken lijkt natuurlijk een uitdaging, maar een waarin het team enorme mogelijkheden ziet. En deze mogelijkheden zullen zich uitbreiden naarmate de technologie toegankelijker wordt en wordt verplaatst van opnamen naar realtime capture.

Holoportatie is een onderzoeksinspanning die voortbouwt op dezelfde fundamentele technologie, het authentiek vastleggen van visuele en diepte-informatie en het weergeven van het resultaat in realtime. Het team onderzoekt wat de kracht van realistische menselijke representatie betekent voor de toekomst van gesprekken en gedeelde ervaringen. Wat gebeurt er wanneer een driedimensionale opname van iemand, van overal ter wereld, kan worden toegevoegd aan uw omgeving?

Future of conversation represented by a photo showing a conversation using video chat.

Van het lagen van een nieuw niveau van onderdompeling op alledaagse apps zoals Skype, tot het radicale hervormen van het concept van digitale vergaderingen en zakenreizen — volumetrische video opent unieke scenario's: een specialist die virtueel traint artsen op een ver weg continent of digitale vrienden die op de banken en stoelen in uw woonkamer zitten. Het toevoegen van authentieke menselijke representaties aan mixed reality-ervaringen zal het concept van digitale vergaderingen en zakenreizen ingrijpend hervormen.

Net zoals de abstracte kunst van James Turrell en het kritische realisme van Ai Weiwei hun eigen unieke technische uitdagingen bieden, dus doen de methoden om mensen te vertegenwoordigen als creatieve avatars en realistische opnamen. Een kan niet worden genegeerd in het licht van de andere en het verkennen van het potentieel van elk zal ons helpen om menselijke interactie in deze nieuwe ruimte te begrijpen.

Over de auteur

Picture of Mark Vitazko Mark Vitazko
UX Designer-@Microsoft