Delade upplevelser i mixad verklighet
Hologram behöver inte vara privata för bara en användare. Holografiska appar kan dela rumsliga fästpunkter från en HoloLens-, iOS- eller Android-enhet till en annan, vilket gör det möjligt för användare att återge ett hologram på samma plats i den verkliga världen på flera enheter.
Sex frågor för att definiera delade scenarier
Innan du börjar utforma för delade upplevelser är det viktigt att definiera målscenarierna. De här scenarierna hjälper dig att klargöra vad du utformar och upprättar en gemensam vokabulär för att jämföra och kontrastera funktioner som krävs i din upplevelse. Att förstå kärnproblemet och de olika lösningarna är nyckeln till att upptäcka möjligheter som är inneboende i det här nya mediet.
Genom interna prototyper och utforskningar från våra HoloLens-partnerbyråer skapade vi sex frågor som hjälper dig att definiera delade scenarier. Dessa frågor utgör ett ramverk, som inte är avsett att vara uttömmande, för att hjälpa till att destillera de viktiga attributen i dina scenarier.
1. Hur delar de?
En presentation kan ledas av en enda virtuell användare, medan flera användare kan samarbeta, eller så kan en lärare ge vägledning till virtuella elever som arbetar med virtuellt material – komplexiteten i upplevelserna ökar baserat på vilken nivå av agentur en användare har eller kan ha i ett scenario.
Det finns många sätt att dela, men vi har upptäckt att de flesta av dem finns i tre kategorier:
- Presentation: När samma innehåll visas för flera användare. Till exempel: En professor ger ut en föreläsning till flera studenter med samma holografiska material som presenteras för alla. Professorn kan dock ha sina egna tips och anteckningar som kanske inte är synliga för andra.
- Samarbete: När människor arbetar tillsammans för att uppnå några gemensamma mål. Till exempel: Professorn gav ut ett projekt för att lära sig om att göra en hjärtkirurgi. Eleverna parar ihop och skapar en delad kunskapslabbupplevelse, som gör det möjligt för läkarstudenter att samarbeta om hjärtmodellen och lära sig.
- Vägledning: När en person hjälper någon att lösa ett problem i en mer en-till-en-stil interaktion. Exempel: Professorn ger vägledning till en student när han/hon utför hjärtkirurgins kunskapslabb i den delade upplevelsen.
2. Vad är gruppstorleken?
En-till-en-delningsupplevelser kan ge en stark baslinje och helst kan dina konceptbevis skapas på den här nivån. Men tänk på att delning med stora grupper (utöver sex personer) kan leda till svårigheter både tekniska (data och nätverk) och sociala (effekten av att vara i ett rum med flera avatarer). Komplexiteten ökar exponentiellt när du går från små till stora grupper.
Vi har upptäckt att behoven för grupper kan delas in i tre storlekskategorier:
- 1:1
- Liten < 7
- Stor >= 7
Gruppstorlek ger en viktig fråga eftersom den påverkar:
- Representationer av personer i holografiskt utrymme
- Skalning av objekt
- Skalning av miljö
3. Var är alla?
Styrkan i mixad verklighet spelar in när en delad upplevelse kan äga rum på samma plats. Vi kallar det samlokaliserat. När gruppen däremot distribueras och minst en deltagare inte befinner sig i samma fysiska utrymme (vilket ofta är fallet med VR) kallar vi det en fjärrupplevelse. Ofta är det så att din grupp har både samlokaliserade och fjärranslutna deltagare (till exempel två grupper i konferensrum).
Följande kategorier hjälper dig att förmedla var användarna finns:
- Samlokaliserad: Alla dina användare kommer att vara i samma fysiska utrymme.
- Fjärr: Alla dina användare kommer att finnas i separata fysiska utrymmen.
- Båda: Användarna kommer att vara en blandning av samlokaliserade och fjärranslutna utrymmen.
Den här frågan är avgörande eftersom den påverkar:
- Hur människor kommunicerar?
- Till exempel: Om de ska ha avatarer?
- Vilka objekt de ser. Delas alla objekt?
- Om vi behöver anpassa oss till deras miljö?
4. När delar de?
Vi tänker vanligtvis på synkrona upplevelser när delade upplevelser kommer att tänka på: Vi gör det tillsammans. Men om vi inkluderar ett enda virtuellt element som har lagts till av någon annan har vi ett asynkront scenario. Föreställ dig en anteckning, eller ett röstmemorandum, som finns kvar i en virtuell miljö. Hur hanterar du 100 virtuella pm kvar i din design? Vad händer om de är från dussintals människor med olika nivåer av integritet?
Betrakta dina upplevelser som en av följande kategorier av tid:
- Synkront: Dela den holografiska upplevelsen samtidigt. Till exempel: Två elever som gör kunskapslabbet samtidigt.
- Asynkront: Dela holografisk upplevelse vid olika tidpunkter. Till exempel: Två elever gör kunskapslabbet men arbetar med separata avsnitt vid olika tidpunkter.
- Båda: Användarna delar ibland synkront men andra gånger asynkront. Till exempel: En professor som bedömer uppgiften som utförs av studenterna vid ett senare tillfälle och lämnar anteckningar till eleverna för nästa dag.
Den här frågan är viktig eftersom den påverkar:
- Objekt- och miljöbeständighet. Till exempel: Lagra tillstånden så att de kan hämtas.
- Användarperspektiv. Till exempel: Kanske komma ihåg vad användaren tittade på när de lämnade anteckningar.
5. Hur lika är deras fysiska miljöer?
Sannolikheten för två identiska verkliga miljöer, utanför samlokaliserade upplevelser, är liten om inte dessa miljöer har utformats för att vara identiska. Det är mer troligt att du har liknande miljöer. Till exempel är konferensrummen likartade – de har vanligtvis ett centralt placerat bord omgivet av stolar. Vardagsrummen är å andra sidan olika** och kan innehålla valfritt antal möbler i ett oändligt utbud av layouter.
Tänk på att dina delningsupplevelser passar in i någon av dessa två kategorier:
- Liknande: Miljöer som tenderar att ha liknande möbler, omgivande ljus och ljud, fysisk rumsstorlek. Exempel: Professorn är i föreläsningssal A och eleverna är i föreläsningssal B. Föreläsningssal A kan ha färre stolar än B, men båda kan ha ett fysiskt skrivbord att placera hologram på.
- Olika: Miljöer som skiljer sig åt i möbler, rumsstorlekar, ljus- och ljudöverväganden. Till exempel: En professor är i ett fokusrum, men eleverna är i en stor föreläsningssal, fylld med elever och lärare.
Det är viktigt att tänka på miljön eftersom den påverkar:
- Hur människor kommer att uppleva dessa objekt. Exempel: Om din upplevelse fungerar bäst i en tabell och användaren inte har någon tabell? Eller på en plan golvyta men användaren har ett rörigt utrymme.
- Skalning av objekten. Till exempel: Att placera en sex meter mänsklig modell på ett bord kan vara utmanande men en hjärtmodell skulle fungera bra.
6. Vilka enheter använder de?
Idag ser du ofta delade upplevelser mellan två uppslukande enheter (dessa enheter kan skilja sig något för knappar och relativ kapacitet, men inte mycket) eller två holografiska enheter med tanke på de lösningar som är riktade mot dessa enheter. Men tänk på om 2D-enheter (en deltagare eller observatör för mobil/stationär dator) är en nödvändig faktor, särskilt i situationer med blandade 2D- och 3D-enheter. Det är viktigt att förstå vilka typer av enheter som deltagarna kommer att använda, inte bara för att de har olika begränsningar och möjligheter för återgivning och data, utan för att användarna har unika förväntningar på varje plattform.
Utforska potentialen i delade upplevelser
Svar på frågorna ovan kan kombineras för att bättre förstå ditt delade scenario och kristallisera utmaningarna när du utökar upplevelsen. För teamet på Microsoft hjälpte detta till att skapa en färdplan för att förbättra de upplevelser vi använder idag, förstå nyanserna i dessa komplexa problem och hur du kan dra nytta av delade upplevelser i mixad verklighet.
Tänk till exempel på ett av Skypes scenarier från HoloLens-lanseringen: en användare arbetade med hur man åtgärdar en trasig ljusbrytare med hjälp av en fjärransluten expert.
En expert ger 1:1 vägledning från sin 2D, stationära dator till en användare av en 3D- och mixed reality-enhet . Vägledningen är synkron och de fysiska miljöerna är olika.
En upplevelse som denna är en stegvis förändring från vår nuvarande upplevelse – att tillämpa paradigmet för video och röst på ett nytt medium. Men när vi blickar framåt måste vi bättre definiera möjligheten för våra scenarier och skapa upplevelser som återspeglar styrkan i mixad verklighet.
Överväg samarbetsverktyget OnSight, som utvecklats av NASA:s Jet Propulsion Laboratory. Forskare som arbetar med data från Mars rover-uppdragen kan samarbeta med kollegor i realtid inom data från marslandskapet.
En forskare utforskar en miljö med hjälp av en 3D-enhet med mixad verklighet med en liten grupp fjärranslutna kollegor som använder 3D- och 2D-enheter . Samarbetet är synkront (men kan ses över asynkront) och de fysiska miljöerna är (praktiskt taget) lika.
Upplevelser som OnSight ger nya möjligheter att samarbeta. Från att fysiskt peka ut element i den virtuella miljön till att stå bredvid en kollega och dela deras perspektiv när de förklarar sina resultat. OnSight använder linsen för nedsänkning och närvaro för att ompröva delningsupplevelser i mixad verklighet.
Intuitivt samarbete är grunden för konversation, att arbeta tillsammans och förstå hur vi kan tillämpa denna intuition på komplexiteten i mixad verklighet är avgörande. Om vi inte bara kan återskapa delningsupplevelser i mixad verklighet utan superladda dem, kommer det att vara ett paradigmskifte för framtidens arbete. Design för delade upplevelser i mixad verklighet är nytt och spännande utrymme – och vi är bara i början.
Kom igång med att skapa delade upplevelser
Beroende på ditt program och scenario finns det olika krav för att uppnå önskad upplevelse. Några av dessa är:
- Matchning: Möjlighet att skapa sessioner, annonsera sessioner, identifiera och bjuda in specifika personer, både lokalt och via fjärranslutning för att ansluta till sessionen.
- Fästpunktsdelning: Möjlighet att justera koordinater mellan flera enheter i ett gemensamt lokalt utrymme, så att hologram visas på samma plats för alla personer.
- Nätverk: Möjlighet att ha positioner, interaktioner och rörelser av personer och hologram synkroniserade i realtid för alla deltagare.
- Tillståndslagring: Möjlighet att lagra hologramegenskaper och platser i utrymme för anslutning till mellansessioner, återkalla vid ett senare tillfälle och robusthet mot nätverksproblem.
Nyckeln till delade upplevelser är att flera användare ser samma hologram i världen på sin egen enhet, ofta genom att dela fästpunkter för att justera koordinater mellan enheter.
Om du vill dela fästpunkter använder du Azure Spatial Anchors:
- Först placerar användaren hologrammet.
- Appen skapar en spatial fästpunkt för att fästa hologrammet exakt i världen.
- Fästpunkterna kan delas till HoloLens-, iOS- och Android-enheter via Azure Spatial Anchors.
Med en delad spatial fästpunkt har appen på varje enhet nu ett gemensamt koordinatsystem där de kan placera innehåll. Nu kan appen se till att placera och orientera hologrammet på samma plats.
På HoloLens-enheter kan du också dela fästpunkter offline från en enhet till en annan. Använd länkarna nedan för att bestämma vad som är bäst för ditt program.
Utvärdera tekniska alternativ
Det finns olika tjänst- och teknikalternativ som hjälper dig att skapa mixed reality-upplevelser för flera användare. Det kan vara svårt att välja en väg, så med ett scenariofokuserat perspektiv beskrivs några alternativ nedan.
Delade statiska hologram (inga interaktioner)
Använd Azure Spatial Anchors i din app. Genom att aktivera och dela rumsliga fästpunkter mellan enheter kan du skapa ett program där användarna ser hologram på samma plats samtidigt. Ytterligare synkronisering mellan enheter krävs för att användarna ska kunna interagera med hologram och se förflyttningar eller tillståndsuppdateringar av hologram.
Dela förstapersonsperspektiv
Använd inbyggt Miracast-stöd för lokala användare när du har en Miracast-mottagare som stöds, till exempel en PC eller TV. Ingen ytterligare appkod behövs.
Samarbetsupplevelse för flera användare
Börja med vår självstudie om utbildning för flera användare, som använder Azure Spatial Anchors för lokala användare och Photon SDK för att synkronisera innehållet/tillståndet i scenen. Skapa lokalt samarbetsprogram där varje användare har sitt eget perspektiv på hologram i scenen och var och en kan interagera helt med hologram. Uppdateringar tillhandahålls på alla enheter och hantering av interaktionskonflikter hanteras av Photon.
Anteckning
Observera att Photon är en produkt som inte kommer från Microsoft, så en faktureringsrelation med Photon kan krävas för att produktisera och skala för högre användning.
Framtida arbete
Komponentfunktioner och -gränssnitt hjälper till att ge gemensam konsekvens och robust stöd i olika scenarier och underliggande tekniker. Tills dess väljer du den bästa sökvägen som passar det scenario som du försöker uppnå i ditt program.
Ett annat scenario eller en önskan att använda en annan teknik/tjänst? Ge feedback som GitHub-problem på motsvarande lagringsplats längst ned på den här sidan eller kontakta HoloDevelopers slack.