Megosztott élmények a vegyes valóságban
A hologramoknak nem kell egyetlen felhasználó számára privátnak maradniuk. A holografikus alkalmazások megoszthatnak térbeli horgonyokat egy HoloLens, iOS vagy Android-eszközről egy másikra, így a felhasználók a valós világban ugyanazon a helyen jeleníthetnek meg egy hologramot több eszközön.
Hat kérdés a megosztott forgatókönyvek definiálásához
Mielőtt elkezdené a közös élmények tervezését, fontos meghatározni a célforgatókönyveket. Ezek a forgatókönyvek segítenek tisztázni, hogy mit tervez, és közös szókészletet hoz létre a felhasználói élményhez szükséges összehasonlítása és kontrasztja érdekében. Az alapvető probléma és a megoldások különböző lehetőségeinek megértése kulcsfontosságú az új médiumban rejlő lehetőségek feltárásában.
A HoloLens partnerirodáinak belső prototípusain és feltárásain keresztül hat kérdést hoztunk létre a megosztott forgatókönyvek meghatározásához. Ezek a kérdések olyan keretrendszert alkotnak, amely nem teljes körű, és segít a forgatókönyvek fontos attribútumainak lepárlásában.
1. Hogyan osztják meg őket?
A bemutatókat egyetlen virtuális felhasználó vezetheti, miközben több felhasználó is működhet együtt, vagy egy tanár útmutatást nyújthat a virtuális anyagokkal dolgozó virtuális diákoknak – a szolgáltatások összetettsége attól függően nő, hogy a felhasználó milyen ügynökséggel rendelkezik vagy rendelkezhet egy adott helyzetben.
A megosztásnak számos módja van, de megállapítottuk, hogy a legtöbbjük három kategóriába tartozik:
- Bemutató: Ha ugyanazt a tartalmat több felhasználó is megjeleníti. Például: Egy professzor előadást tart több hallgatónak, akik ugyanazt a holografikus anyagot használják, amelyet mindenki bemutat. A professzornak azonban lehetnek saját tippjei és jegyzetei, amelyek mások számára nem láthatók.
- Együttműködés: Amikor az emberek közös célok elérése érdekében dolgoznak együtt. Például: A professzor adott ki egy projektet, hogy megtudja, hogyan kell elvégezni a szívműtétet. A diákok párosítják egymást, és létrehoznak egy közös képesség-tesztkörnyezetet, amely lehetővé teszi, hogy az orvostanhallgatók együttműködjenek a szívmodellel és tanuljanak.
- Útmutató: Ha egy személy segít valakinek megoldani egy problémát egy egy az egy az egyhez típusú interakcióban. Például: A professzor útmutatást ad egy tanulónak, amikor a közös élményben a szívsebészeti készségek tesztkörnyezetét végzi.
2. Mi a csoport mérete?
Az egy-az-egyhez megosztási élmények erős alapkonfigurációt nyújthatnak, és ideális esetben ezen a szinten létrehozhatják a megvalósíthatósági igazolásokat. De ne feledje, hogy a nagy csoportokkal való megosztás (hat emberen túl) nehézségeket okozhat mind a technikai (adat- és hálózatkezelés), mind a társadalmi (a több avatart tartalmazó szobában való használat hatása). Az összetettség exponenciálisan nő, ahogy a kicsitől a nagy csoportokig halad.
Megállapítottuk, hogy a csoportok igényei három méretkategóriába sorolhatók:
- 1:1
- Kicsi < 7
- Nagy >= 7
A csoportméret fontos kérdést tesz fel, mert befolyásolja a következő tényezőket:
- Személyek ábrázolása a holografikus térben
- Objektumok skálázása
- Környezet skálázása
3. Hol van mindenki?
A vegyes valóság erőssége akkor jön létre, ha egy megosztott élmény ugyanazon a helyen valósulhat meg. Ezt közösen hívjuk. Ezzel szemben, ha a csoport el van osztva, és legalább egy résztvevő nem ugyanabban a fizikai térben van (ahogy a VR esetében gyakran előfordul), ezt távoli élménynek nevezzük. Gyakran előfordul, hogy a csoportnak közös és távoli résztvevői is vannak (például két csoport a konferenciatermekben).
Az alábbi kategóriák segítenek átadni a felhasználók tartózkodási helyét:
- Áthelyezve: Minden felhasználó ugyanabban a fizikai térben lesz.
- Távoli: Minden felhasználó külön fizikai helyen lesz.
- Mindkettő: A felhasználók a megosztott és távoli szóközök kombinációját fogják használni.
Ez a kérdés kulcsfontosságú, mert befolyásolja:
- Hogyan kommunikálnak az emberek?
- Például: Rendelkezniük kell-e avatarokkal?
- Milyen objektumokat látnak. Minden objektum meg van osztva?
- Alkalmazkodnunk kell-e a környezetükhöz?
4. Mikor osztják meg őket?
Általában szinkron élményre gondolunk, amikor a megosztott élmények jutnak eszembe: Mindannyian együtt csináljuk. Ha azonban egyetlen virtuális elemet is felveszünk, amelyet valaki más adott hozzá, akkor aszinkron forgatókönyvünk van. Képzeljen el egy megjegyzést vagy hangjegyzetet, amely egy virtuális környezetben marad. Hogyan kezeli a tervben maradt 100 virtuális feljegyzést? Mi van, ha több tucat, különböző szintű adatvédelemmel rendelkező embertől származnak?
Az alábbi időkategóriák egyikének tekintheti a tapasztalatait:
- Szinkronban: A holografikus élmény megosztása egyszerre. Például: Két tanuló egyszerre végzi el a készséglabort.
- Aszinkron módon: A holografikus élmény megosztása különböző időpontokban. Például: Két tanuló végzi el a készséglabort, de különböző időpontokban külön szakaszokon dolgozik.
- Mindkettő: A felhasználók néha szinkronban, máskor aszinkron módon osztanak meg egymással. Például: Egy professzor, aki egy későbbi időpontban osztályozná a diákok által végzett feladatot, és a következő napra jegyzeteket hagy a diákok számára.
Ez a kérdés azért fontos, mert befolyásolja:
- Objektum- és környezetmegőrzés. Például: Az állapotok tárolása, hogy lekérhetők legyenek.
- Felhasználói perspektíva. Például: Talán emlékszik arra, hogy mit nézett a felhasználó a jegyzetek elhagyásakor.
5. Milyen hasonlóak a fizikai környezeteik?
A két azonos valós környezet valószínűsége az együttlökött élményeken kívül kicsi, kivéve, ha ezeket a környezeteket azonosra tervezték. Nagyobb valószínűséggel rendelkezik hasonló környezetekkel. A konferenciatermek például hasonlóak – általában egy székekkel körülvett központi asztaluk van. A nappalik viszont eltérőek** és tetszőleges számú bútort tartalmazhatnak végtelen elrendezésben.
Vegye figyelembe, hogy a megosztási élmény megfelel az alábbi két kategória egyikének:
- Hasonló: Olyan környezetek, amelyek általában hasonló bútorokkal, környezeti fényekkel és hangokkal, fizikai helyiségmérettel rendelkeznek. Például: A professzor az A előadóteremben van, a diákok pedig a B előadóteremben vannak. Az A előadóteremnek kevesebb széke lehet, mint A, de mindkettőnek lehet egy fizikai asztala, amelyen hologramokat helyezhet el.
- Eltérő: A bútorok beállításaiban, a helyiségméretekben, a fényben és a hangban eltérő környezetek. Például: Egy professzor egy fókuszteremben van, de a diákok egy nagy előadóteremben vannak, tele diákokkal és tanárokkal.
Fontos a környezetre gondolni, mivel az a következőkre lesz hatással:
- Hogyan fogják tapasztalni az emberek ezeket az objektumokat. Például: Ha a felhasználói élmény a legjobban működik egy táblán, és a felhasználónak nincs táblája? Vagy egy lapos padlófelületen, de a felhasználó zsúfolt helytel rendelkezik.
- Az objektumok skálázása. Például: Ha egy 1,5 méteres emberi modellt helyezünk egy asztalra, az kihívást jelenthet, de a szívmodell nagyszerűen működne.
6. Milyen eszközöket használnak?
Ma gyakran előfordul, hogy megosztott élményt lát két magával ragadó eszköz között (ezek az eszközök kissé eltérhetnek a gombok és a relatív képességek tekintetében, de nem nagy mértékben), vagy két holografikus eszköz között, mivel ezekre az eszközökre vonatkozó megoldások vannak megcélzva. De fontolja meg, hogy a 2D-s eszközök (mobil/asztali résztvevő vagy megfigyelő) szükséges megfontolandók-e, különösen vegyes 2D és 3D eszközök esetén. A résztvevők által használt eszközök típusainak megértése nemcsak azért fontos, mert különböző hűséggel és adatkorlátozásokkal és lehetőségekkel rendelkeznek, hanem azért is, mert a felhasználók egyedi elvárásokkal rendelkeznek az egyes platformokhoz.
A megosztott élményekben rejlő lehetőségek feltárása
A fenti kérdésekre adott válaszok kombinálhatók, hogy jobban megértsék a megosztott forgatókönyvet, és kikristályosíthatják a kihívásokat, miközben bővíti az élményt. A Microsoft csapata számára ez segített létrehozni egy ütemtervet a ma használt élmények javításához, ezeknek az összetett problémáknak az árnyalatainak megértéséhez és a vegyes valóságban nyújtott megosztott élmények előnyeinek kihasználásához.
Vegyük például a Skype HoloLens-indítási forgatókönyveinek egyikét: a felhasználó végigdolgozta , hogyan javíthat ki egy meghibásodott villanykapcsolót egy távoli fekvésű szakértő segítségével.
A szakértő 1:1 útmutatót nyújt a 2D asztali számítógépről egy 3D-s, vegyes valóságú eszköz felhasználójának. Az útmutatószinkron , és a fizikai környezetek eltérőek.
Az ehhez hasonló élmény lépésről lépésre eltér a jelenlegi élménytől – a videó és a hang paradigmáját alkalmazva egy új médiumra. De ahogy a jövőbe tekintünk, jobban meg kell határoznunk a forgatókönyveink lehetőségét, és olyan élményeket kell létrehoznunk, amelyek tükrözik a vegyes valóság erejét.
Fontolja meg a NASA Jet Propulsion Laboratóriuma által fejlesztett OnSight együttműködési eszközt. A Mars marsjáró küldetéseinek adatain dolgozó tudósok valós időben együttműködhetnek munkatársaikkal a marsi tájról származó adatokon belül.
Egy tudós egy 3D- és 2D-s eszközöket használó távoli munkatársak kis csoportjával rendelkező, 3D-s, vegyes valóságú eszközt használó környezetet ismer meg. Az együttműködésszinkron (de aszinkron módon újra látogatható), és a fizikai környezetek (gyakorlatilag) hasonlóak.
Az OnSighthoz hasonló élmények új együttműködési lehetőségeket jelentenek. A virtuális környezet elemeinek fizikai rámutatásától a munkatárs mellett való állásig és a nézőpontjuk megosztásától az eredmények magyarázatától kezdve. Az OnSight a bemerítés és a jelenlét lencséjét használja a vegyes valóságbeli élmények megosztásának újragondolására.
Az intuitív együttműködés a beszélgetés alapja, a közös munka és annak megértése, hogy hogyan alkalmazhatjuk ezt az intuíciót a vegyes valóság összetettségére, elengedhetetlen. Ha nem csak a vegyes valóságban tudjuk újra létrehozni a megosztási élményeket, hanem feltöltjük őket, az paradigmaváltás lesz a munka jövőjére nézve. A vegyes valóságban megosztott élmények tervezése új és izgalmas tér – és még csak az elején vagyunk.
A megosztott élmények létrehozásának első lépései
Az alkalmazástól és a forgatókönyvtől függően különböző követelmények vonatkoznak a kívánt élmény eléréséhez. Ilyenek például a következők:
- Egyezés-készítés: Lehetőség munkamenetek létrehozására, munkamenetek meghirdetésére, adott személyek felderítésére és meghívására helyileg és távolról is a munkamenethez való csatlakozáshoz.
- Horgonymegosztás: A koordináták egy közös helyi térben több eszközön is igazíthatók, így a hologramok minden személy számára ugyanazon a helyen jelennek meg.
- Hálózatkezelés: Az emberek és hologramok pozíciói, interakciói és mozgásai valós időben szinkronizálhatók az összes résztvevő között.
- Állapottárolás: A hologram jellemzőinek és helyeinek tárolása a munkamenet közepén történő csatlakozáshoz, a későbbi visszahíváshoz és a hálózati problémák robusztusságához.
A megosztott élmény kulcsa, hogy több felhasználó is ugyanazt a hologramot látja a világon a saját eszközén, gyakran a horgonyok megosztásával, hogy összehangolja a koordinátákat az eszközök között.
A horgonyok megosztásához használja az Azure Spatial Anchorst:
- Először a felhasználó helyezi el a hologramot.
- Az alkalmazás létrehoz egy térbeli horgonyt, amely pontosan a világon rögzíti ezt a hologramot.
- A horgonyok megoszthatók HoloLens-, iOS- és Android-eszközökkel az Azure Spatial Anchors használatával.
A megosztott térbeli horgony használatával az egyes eszközökön lévő alkalmazás mostantól rendelkezik egy közös koordinátarendszerrel , amelyben tartalmakat helyezhetnek el. Most az alkalmazás biztosíthatja, hogy a hologramot ugyanazon a helyen helyezze el és irányítsuk.
HoloLens-eszközökön a horgonyokat offline is megoszthatja egyik eszközről a másikra. Az alábbi hivatkozások segítségével eldöntheti, hogy mi a legjobb az alkalmazás számára.
Technikai lehetőségek kiértékelése
Különböző szolgáltatási és technológiai lehetőségek állnak rendelkezésre, amelyek segítenek a többfelhasználós vegyes valósági élmények létrehozásában. Nehéz lehet útvonalat választani, ezért a forgatókönyv-központú perspektívát figyelembe véve néhány lehetőséget alább részletezünk.
Megosztott statikus hologramok (interakciók nélkül)
Használja ki az Azure Spatial Anchorst az alkalmazásban. A térbeli horgonyok eszközök közötti engedélyezésével és megosztásával olyan alkalmazást hozhat létre, amelyben a felhasználók hologramokat láthatnak ugyanabban a helyen. További szinkronizálásra van szükség az eszközök között, hogy a felhasználók interakcióba léphessenek a hologramokkal, és láthassák a hologramok mozgását vagy állapotfrissítéseit.
Első személy perspektíva megosztása
A beépített Miracast-támogatás kihasználása a helyi felhasználók számára, ha támogatott Miracast-fogadóval, például PC-vel vagy TV-vel rendelkezik. Nincs szükség további alkalmazáskódra.
Többfelhasználós együttműködés
Kezdje a többfelhasználós tanulási oktatóanyagunkkal, amely az Azure Spatial Anchorst használja a helyi felhasználók számára, a Photon SDK-t pedig a tartalom/állapot szinkronizálásához a jelenetben. Helyi együttműködésen alapuló alkalmazásokat hozhat létre, amelyekben minden felhasználó saját szemszögből tekint a jelenet hologramjaira, és teljes mértékben együttműködhet a hologramokkal. Frissítések minden eszközön rendelkezésre állnak, és az interakciók ütközéskezelését a Photon kezeli.
Megjegyzés
Vegye figyelembe, hogy a Photon nem Microsoft-termék, ezért előfordulhat, hogy a Photon-tal való számlázási kapcsolat szükséges a termékméretezéshez és a skálázáshoz a nagyobb használat érdekében.
Jövőbeli munka
Az összetevők képességei és felületei segítenek a különböző forgatókönyvek és mögöttes technológiák egységes konzisztenciájának és robusztus támogatásának biztosításában. Addig válassza ki a legjobb útvonalat, amely igazodik az alkalmazásban elérni kívánt forgatókönyvhöz.
Eltérő forgatókönyv, vagy más technológiát/szolgáltatást szeretne használni? Visszajelzés küldése GitHub-problémákként a megfelelő adattárban, a lap alján, vagy lépjen kapcsolatba a HoloDevelopers slack szolgáltatással.