Wat is mixed reality?

Mixed reality is de volgende golf in computing, gevolgd door mainframes, pc's en smartphones. Mixed reality wordt mainstream voor consumenten en bedrijven. Het bevrijdt ons van schermgebonden ervaringen door instinctieve interacties aan te bieden met gegevens in onze woonkamers en met onze vrienden. Online explorers, in honderden miljoenen over de hele wereld, hebben mixed reality ervaren via hun handheld-apparaten. Mobiele AR biedt momenteel de meest gangbare mixed reality-oplossingen op sociale media. Mensen realiseert zich misschien niet eens dat de AR-filters die ze op Instagram gebruiken mixed reality-ervaringen zijn. Windows Mixed Reality brengt al deze gebruikerservaringen naar een hoger niveau met verbluffende holografische weergaven van mensen, holografische 3D-modellen van hoge kwaliteit en de echte wereld om hen heen.

Aanwijzen en doorvoeren met praktische HoloLens 2

Mixed reality is een mix van fysieke en digitale werelden, waardoor natuurlijke en intuïtieve 3D-interacties tussen mensen, computers en omgevingen worden ontgrendeld. Deze nieuwe realiteit is gebaseerd op vooruitgang in Computer Vision, grafische verwerking, weergavetechnologieën, invoersystemen en cloudcomputing. De term 'mixed reality' werd geïntroduceerd in een artikel uit 1994 door Paul Milgram en Fumio Kishino, 'A Taxonomy of Mixed reality Visual Displays'. Hun artikel verkende het concept van een virtualiteitscontinuüm en de taxonomie van visuele weergaven. Sindsdien is de toepassing van mixed reality verder gegaan dan beeldschermen, waaronder:

  • Omgevingskennis: ruimtelijke toewijzing en ankers.
  • Menselijk begrip: handtracering, oogtracering en spraakinvoer.
  • Ruimtelijk geluid.
  • Locaties en plaatsing in zowel fysieke als virtuele ruimten.
  • Samenwerking aan 3D-assets in mixed reality-ruimten.

De afbeelding van het mixed reality-spectrum
Afbeelding: mixed reality is het resultaat van het combineren van de fysieke wereld met de digitale wereld.



Omgevingsinvoer en perceptie

In de afgelopen decennia is de relatie tussen mens en computer steeds verder ontwikkeld door middel van invoermethoden. Er is een nieuwe discipline ontstaan die bekend staat als interactie tussen mens en computer of 'HCI'. Menselijke invoer kan nu toetsenborden, muizen, touch, inkt, spraak en Kinect-skelettracering omvatten.

Vooruitgang in sensoren en verwerkingskracht creëren nieuwe computerpercepties van omgevingen op basis van geavanceerde invoermethoden. Daarom worden API-namen in Windows die omgevingsinformatie onthullen, de perceptie-API's genoemd. Omgevingsinvoer kan het volgende vastleggen:


Venn-diagram met interacties tussen computers, mensen en omgevingen
Afbeelding: De interacties tussen computers, mensen en omgevingen.


Een combinatie van drie essentiële elementen stelt de basis voor het creëren van echte mixed reality-ervaringen:

  • Computerverwerking mogelijk gemaakt door de cloud
  • Geavanceerde invoermethoden
  • Milieupercepties

Terwijl we ons door de fysieke wereld bewegen, worden onze bewegingen in kaart gebracht in een digitale realiteit. Fysieke grenzen zijn van invloed op mixed reality-ervaringen, zoals games of taakgebaseerde richtlijnen in een productiefaciliteit. Met omgevingsinvoer en percepties gaan ervaringen zich vermengen tussen fysieke en digitale realiteiten.



Het mixed reality-spectrum

Mixed reality combineert zowel fysieke als digitale werelden. Deze twee realiteiten markeren de polaire uiteinden van een spectrum dat bekend staat als het virtualiteitscontinuüm. We noemen dit spectrum van realiteiten het mixed reality-spectrum. Aan de ene kant van het spectrum hebben we de fysieke realiteit dat we als mensen bestaan. Aan de andere kant van het spectrum hebben we de bijbehorende digitale realiteit.



Augmented vs. virtual reality

De meeste mobiele telefoons op de markt hebben tegenwoordig weinig tot geen mogelijkheden voor omgevingsperceptie. De ervaringen die deze telefoons bieden, kunnen fysieke en digitale realiteit niet combineren.

De ervaringen die afbeeldingen, videostreams of hologrammen in de fysieke wereld overlays, worden augmented reality genoemd. De ervaringen die uw weergave bevatten om een volledig meeslepende digitale ervaring te bieden, zijn virtual reality. De ervaringen die kunnen overschakelen tussen uitgebreide en virtuele realiteiten vormen mixed reality, waar u het volgende kunt doen:

  • Plaats een digitaal object, zoals een hologram, in de fysieke wereld alsof het fysiek aanwezig is.
  • Persoonlijk en digitaal aanwezig zijn in de fysieke wereld, in de vorm van een avatar, om op verschillende momenten asynchroon samen te werken met anderen.

Wanneer een gebruiker zich in virtual reality bevindt, worden de fysieke obstakels in de directe omgeving, zoals muren en meubels, digitaal weergegeven in de ervaring, zodat de gebruiker kan voorkomen dat deze fysieke obstakels botsen.


Het mixed reality-spectrum
Afbeelding: Het mixed reality-spectrum


De meeste augmented reality- en virtual reality-ervaringen die momenteel beschikbaar zijn, vertegenwoordigen een kleine subset van het grotere mixed reality-spectrum. Windows 10 is gebouwd met het hele spectrum in gedachten en maakt het mogelijk om digitale representaties van mensen, plaatsen en dingen te combineren met de echte wereld.

Apparaten en ervaringen

Er zijn twee hoofdtypen apparaten die Windows Mixed Reality ervaringen bieden:

  1. Holografische apparaten worden gekenmerkt door het vermogen van het apparaat om digitale objecten weer te geven alsof ze in de echte wereld bestaan.
  2. Insluitende VR-apparaten worden gekenmerkt door het vermogen van het apparaat om een gevoel van aanwezigheid te creëren door de fysieke wereld te blokkeren en deze te vervangen door een volledig meeslepende digitale ervaring.
Kenmerk Holografische apparaten Insluitende apparaten
Voorbeeldapparaat Microsoft HoloLens

afbeelding Microsoft HoloLens 2
Samsung HMDSee+

Samsung HMDSee+ afbeelding
Weergave Doorknende weergave. Hiermee kan de gebruiker de fysieke omgeving zien terwijl hij de headset draagt. Ondoorzichtig beeldscherm. Blokkeert de fysieke omgeving tijdens het dragen van de headset.
Verplaatsing Volledige beweging van zes vrijheidsgraden, zowel rotatie als vertaling. Volledige beweging van zes vrijheidsgraden, zowel rotatie als vertaling.

Notitie

Of een apparaat is gekoppeld aan een afzonderlijke pc (via EEN USB-kabel of Wi-Fi) of niet-gekoppeld is, geeft niet aan of een apparaat holografisch of meeslepend is. Functies die de mobiliteit verbeteren, bieden vaak betere ervaringen. Holografische en insluitende apparaten kunnen worden gekoppeld of los van elkaar worden gekoppeld.

Mixed reality-ervaringen zijn het resultaat van technologische vooruitgang. Windows 10 biedt een gemeenschappelijk mixed reality-platform voor zowel apparaatfabrikanten als ontwikkelaars. Elk apparaat kan tegenwoordig een specifiek bereik binnen het mixed reality-spectrum ondersteunen. In de toekomst worden nieuwe apparaten met een groter bereik verwacht: holografische apparaten worden meeslepender en insluitende apparaten worden holografischer.


Apparaattypen in het mixed reality-spectrum
Afbeelding: waar apparaten zich bevinden in het mixed reality-spectrum

Welk type ervaringen wilt u als ontwikkelaar van toepassingen of games maken? De ervaringen zijn doorgaans gericht op een specifiek punt of onderdeel van het spectrum. U moet rekening houden met de mogelijkheden van apparaten waarop u zich wilt richten. Ervaringen die afhankelijk zijn van de fysieke wereld, werken het beste op HoloLens.

  • Naar links (nabij fysieke realiteit). Gebruikers blijven aanwezig in hun fysieke realiteit en worden niet laten geloven dat ze die realiteit hebben verlaten.
  • In het midden (volledig mixed reality). Deze ervaringen combineren de echte wereld en de digitale wereld. In de film Jumanji werd de fysieke structuur van het huis waar het verhaal plaatsvond bijvoorbeeld vermengd met een jungleomgeving.
  • Naar rechts (dichtbij digitale realiteit). Gebruikers ervaren een digitale realiteit en zijn zich niet bewust van de fysieke realiteit om hen heen.

Volgend detectiecontrolepunt

U staat aan het begin van het ontdekkingstraject dat we voor u hebben uitgedeeld en verkent de basisbeginselen van mixed reality. Hier kunt u doorgaan naar het volgende basisonderwerp: