Koordináta-rendszerek
A vegyes valósági alkalmazások központi elemeként hologramokat helyeznek el a világában, amelyek valós objektumoknak tűnnek és hangjelzést adnak. Ez magában foglalja a hologramok pontos elhelyezését és tájolását a világ értelmes helyeinél, függetlenül attól, hogy a világ a fizikai helyük vagy egy ön által létrehozott virtuális tartomány. A Windows különböző valós koordinátarendszereket biztosít a geometria kifejezéséhez – ezeket térbeli koordináta-rendszereknek nevezzük. Ezeket a rendszereket használhatja a hologram helyzetének, tájolásának, tekintetsugarának vagy kézpozícióinak okára.
Eszköztámogatás
| Szolgáltatás | HoloLens (1. generációs) | HoloLens 2 | Modern headsetek |
| Helyhez kötött referenciakeret | ✔️ | ✔️ | ✔️ |
| Csatolt referenciakeret | ✔️ | ✔️ | ✔️ |
| Referencia szakaszkerete | Egyelőre nem támogatott | Egyelőre nem támogatott | ✔️ |
| Térbeli horgonyok | ✔️ | ✔️ | ✔️ |
| Térbeli leképezés | ✔️ | ✔️ | ❌ |
| Jelenetfelismerés | ❌ | ✔️ | ❌ |
Vegyes valósági élmény skálázása
Vegyes valósági alkalmazásokat sokféle felhasználói élményhez tervezhet, a headset-tájolást használó 360 fokos videómegjelenítőktől a teljes világszintű alkalmazásokig és játékokig térbeli leképezéssel és térbeli horgonyokkal:
| Felhasználói élmény skálázása | Követelmények | Példaélmény |
|---|---|---|
| Csak tájolás | Headset tájolása (gravitációval igazított) | 360°-os videómegjelenítő |
| Ülőméret | Plusz a headset pozíciója a nulla pozíció alapján | Versenyjáték vagy űrszimulátor |
| Álló skálázás | Felette és a padlószint felett | Akciójáték, ahol kacsa és dodge a helyén |
| Helyiségméret | Plusz szakaszhatárok fölötti sokszög | Puzzle játék, ahol séta körül a puzzle |
| Világszintű | Térbeli horgonyok (és jellemzően térbeli leképezés) | Játék ellenségek érkező valódi falak, mint például RoboRaid |
A fenti élményskálák egy "beágyazási babák" modellt követnek. A Windows Mixed Reality fő tervezési elve a következő: egy adott headset támogatja a célélmény-méretezéshez készült alkalmazásokat, és minden kisebb skálázást.
| 6DOF-nyomkövetés | Padló definiálva | 360°-os nyomkövetés | Definiált korlátok | Térbeli horgonyok | Maximális élmény |
|---|---|---|---|---|---|
| No | - | - | - | - | Csak tájolás |
| Igen | No | - | - | - | Ülő |
| Igen | Igen | No | - | - | Álló – Előre |
| Igen | Igen | Igen | No | - | Álló - 360° |
| Igen | Igen | Igen | Igen | No | Szoba |
| Igen | Igen | Igen | Igen | Igen | Világ |
A Szakasz referenciakerete még nem támogatott a HoloLensben. A HoloLens helyiségskálázási alkalmazásának jelenleg térbeli leképezéssel vagy jelenetfelismeréssel kell megkeresnie a felhasználó padlóját és falait.
Térbeli koordinátarendszerek
Minden 3D grafikus alkalmazás Cartesian koordinátarendszereket használ a virtuális objektumok helyzetének és tájolásának magyarázatára. Ezek a koordinátarendszerek három merőleges tengelyt hoznak létre: X, Y és Z. Minden jelenethez hozzáadott objektum XYZ-pozícióval rendelkezik a koordinátarendszerben. A Windows egy olyan koordinátarendszert hív meg, amelynek valós jelentése van a fizikai világban, egy térbeli koordinátarendszert, amely mérőkben fejezi ki a koordináta-értékeit. Ez azt jelenti, hogy az X, Y vagy Z tengelyen két egységre helyezett objektumok két méterre jelennek meg egymástól, ha vegyes valóságban renderelnek. Ennek ismeretében egyszerűen renderelhet objektumokat és környezeteket valós méretekben.
A cartesian koordinátarendszereket általában "jobbkezesnek" vagy "balkezesnek" nevezik, mivel a XYZ tengelyek irányának jelzésére kézpozíciók használhatók. Mindkét koordinátarendszerben a pozitív X tengely jobbra, a pozitív Y tengely pedig felfelé mutat. A kettő közötti különbség az, hogy a jobbkezes koordinátarendszerben a Z tengely ön felé mutat, míg a balkezes koordinátarendszerben a Z tengely távolodik öntől.
A Térbeli koordinátarendszerek Windows rendszeren (és ezért Windows Mixed Reality) mindig jobbkezesek.
[! MEGJEGYZÉSEK]
- A Unity és az Unreal a balkezes koordinátarendszert használja.
- Bár a balkezes és a jobbkezes koordináták a leggyakoribb rendszerek, más koordinátarendszereket is használnak a 3D szoftverekben. Nem szokatlan például, hogy a 3D modellezési alkalmazások olyan koordinátarendszert használnak, amelyben az Y tengely a megtekintő felé vagy attól távol, a Z tengely pedig felfelé mutat.
Csak tájolásos vagy ülő szintű élmény kialakítása
A holografikus renderelés kulcsa, hogy az alkalmazás a hologramok minden egyes képkockáját megváltoztatja, miközben a felhasználó mozog, hogy megfeleljen az előrejelzett fejmozgásnak. A helyhez kötött referenciakerettel olyan ülő szintű élményeket hozhat létre, amelyek tiszteletben tartják a felhasználó fejpozíciójának és fej tájolásának változásait.
Egyes tartalmaknak figyelmen kívül kell hagyniuk a fej helyzetének frissítését, és mindig rögzítettnek kell maradniuk a választott címsornál és a felhasználótól való távolságnál. Az elsődleges példa a 360 fokos videó: mivel a videó egyetlen rögzített perspektívából van rögzítve, tönkreteheti azt az illúziót, hogy a nézet pozíciója a tartalom alapján mozogjon, annak ellenére, hogy a nézet tájolása megváltozik, ahogy a felhasználó körülnéz. Ilyen , csak tájolásra képes élményeket egy csatolt referenciakerettel hozhat létre.
Helyhez kötött referenciakeret
A helyhez kötött referenciakeret által biztosított koordinátarendszer úgy működik, hogy a világ alapján a lehető legstabilabban tartsa a felhasználó közelében lévő objektumok pozícióját, miközben tiszteletben tartja a felhasználó fejpozíciójának változásait.
Az olyan játékmotorok ülő szintű élményeihez, mint a Unity, egy helyhez kötött referenciakeret határozza meg a motor "világát". Az egy adott világkoordináta-koordinátára helyezett objektumok a helyhez kötött hivatkozási kerettel határozzák meg a valós világban elfoglalt helyüket ugyanazokkal a koordinátákkal. Az olyan tartalmakat, amelyeket a felhasználó körbejárva is a világba helyez, világra zárolt tartalomnak nevezzük.
Az alkalmazások általában egy helyhez kötött referenciakeretet hoznak létre indításkor, és az alkalmazás teljes élettartama során használják annak koordinátarendszerét. A Unity alkalmazásfejlesztőjeként egyszerűen megkezdheti a tartalom elhelyezését a forrás alapján, amely a felhasználó kezdeti fejpozíciójában és tájolásában lesz. Ha a felhasználó egy új helyre költözik, és szeretné folytatni a ülő szintű élményét, akkor az adott helyen frissebb lehet a világ eredete.
Idővel, ahogy a rendszer többet tud meg a felhasználó környezetéről, megállapíthatja, hogy a valós világ különböző pontjai közötti távolságok rövidebbek vagy hosszabbak, mint ahogyan azt korábban a rendszer gondolta. Ha a hologramokat egy holoLens-alkalmazás helyhez kötött referenciakeretében rendereli, ahol a felhasználók egy körülbelül 5 méter széles területen haladnak túl, előfordulhat, hogy az alkalmazás a hologramok megfigyelt helyén eltérést észlel. Ha a felhasználói élménye 5 méternél tovább kóborol, akkor egy világszintű élményt hoz létre, amely más technikákat igényel a hologramok stabil állapotának megőrzéséhez, az alábbiakban leírtak szerint.
Csatolt referenciakeret
A csatolt referenciakeret a felhasználóval együtt mozog, miközben járkál, és egy rögzített címsor van meghatározva, amikor az alkalmazás először létrehozza a keretet. Ez lehetővé teszi, hogy a felhasználó kényelmesen nézzen körül az adott referenciakereten belül elhelyezett tartalomban. Az ebben a felhasználói relatív módon renderelt tartalmat törzs zárolt tartalomnak nevezzük.
Ha a headset nem tudja megállapítani, hogy hol van a világon, egy csatolt referenciakeret biztosítja az egyetlen koordinátarendszert, amely a hologramok renderelésére használható. Ez ideálissá teszi a tartalék felhasználói felület megjelenítését, hogy tájékoztassa a felhasználót arról, hogy az eszköz nem találja őket a világon. A helyalapú vagy magasabb szintű alkalmazásoknak csak tájolásos tartalékot kell tartalmazniuk, hogy segítsenek a felhasználónak a visszatérésben, a felhasználói felületnek pedig hasonlónak kell lennie, mint az Mixed Reality kezdőlapon.
Álló vagy helyiségméretű élmény kialakítása
Ahhoz, hogy túllépjen a magával ragadó headset ülőméretén, és álló léptékű élményt nyújt, használhatja a referencia szakaszkeretét.
A helyiségszintű élmény biztosításához, amely lehetővé teszi, hogy a felhasználók az előre meghatározott 5 méteres határon belül járkáljanak, ellenőrizheti a szakaszhatárokat is.
Referencia szakaszkerete
A modern headset első beállításakor a felhasználó meghatároz egy szakaszt, amely azt a helyiséget jelöli, amelyben vegyes valóságot fog tapasztalni. A szakasz minimálisan meghatározza a szakasz eredetét, egy térbeli koordinátarendszert, amely a felhasználó választott padlópozíciójára és előre tájolására irányul, ahol az eszközt használni kívánja. Ha ebben a fáziskoordináta-rendszerben elhelyezi a tartalmat az Y=0 padlósíkon, biztosíthatja, hogy a hologramok kényelmesen jelenjenek meg a padlón, amikor a felhasználó állva van, így a felhasználók állandó élményt érhetnek el.
Szakaszhatárok
A felhasználó opcionálisan szakaszhatárokat is definiálhat, egy területet a helyiségen belül, amelyet kiürített, hogy mozogjon a vegyes valóságban. Ha igen, az alkalmazás létrehozhat egy helyiségméretű felületet, és ezekkel a határokkal biztosíthatja, hogy a hologramok mindig oda kerüljenek, ahol a felhasználó elérheti őket.
Mivel a referencia fáziskerete egyetlen rögzített koordinátarendszert biztosít, amelyen belül a padlóhoz viszonyított tartalmak helyezhetők el, ez a legegyszerűbb módja a virtuális valóság headsetjeihez fejlesztett álló- és helyiségméretű alkalmazások portolásának. Az ilyen VR-platformokhoz hasonlóan azonban egyetlen koordináta-rendszer csak körülbelül 5 méter átmérőjűen képes stabilizálni a tartalmat, mielőtt a kar-kar effektusok a középponttól távol lévő tartalmat észrevehetően eltolják a rendszer beállításakor. Az 5 métert meghaladó távolsághoz térbeli horgonyokra van szükség.
Világszintű élmény létrehozása
A HoloLens valódi világszintű élményeket tesz lehetővé, amelyek lehetővé teszik, hogy a felhasználók 5 méternél nagyobb távolságra barangoljon. A világszintű alkalmazások létrehozásához a helyiségszintű élményekhez használt technikákon túl új technikákra is szüksége lesz.
Miért nem használható egyetlen merev koordinátarendszer 5 méternél tovább?
Napjainkban játékok, adatvizualizációs alkalmazások vagy virtuális valóságbeli alkalmazások írásakor a tipikus megközelítés egy olyan abszolút világkoordináta-rendszer létrehozása, amelyre minden más koordináták megbízhatóan visszaképezhetők. Ebben a környezetben mindig talál egy stabil átalakítást, amely a világ bármely két objektuma közötti kapcsolatot definiálja. Ha nem helyezné át ezeket az objektumokat, a relatív átalakítások mindig változatlanok maradnának. Ez a fajta globális koordináta-rendszer jól működik, ha tisztán virtuális világot jelenít meg, ahol előre ismeri az összes geometriát. A szobaméretű VR-alkalmazások ma általában ilyen abszolút helyiségméretű koordinátarendszert hoznak létre, amelynek eredete a padlón található.
Ezzel szemben a holoLenshez hasonló, nem kötött vegyes valóságú eszközök dinamikus érzékelőalapú ismeretekkel rendelkeznek a világról, és folyamatosan igazítják tudását a felhasználó környezetének idejében, miközben egy épület teljes emeletén több métert gyalogolnak. Egy világszintű élményben, ha az összes hologramot egyetlen merev koordinátarendszerbe helyezi, akkor ezek a hologramok szükségszerűen elsodródnak az idő múlásával, akár a világ, akár egymással szemben.
Például a headset jelenleg úgy véli, hogy a világ két helye 4 méterre van egymástól, majd később finomíthatja ezt a megértést, és megtanulhatja, hogy a helyek valójában 3,9 méterre vannak egymástól. Ha ezek a hologramok eredetileg 4 méter távolságra lettek volna egymástól egyetlen merev koordinátarendszerben, akkor az egyik mindig 0,1 méterre lenne a való világtól.
Térbeli horgonyok
Windows Mixed Reality az előző szakaszban leírt problémát úgy oldja meg, hogy lehetővé teszi térbeli horgonyok létrehozását, hogy megjelölje a világ azon fontos pontjait, ahol a felhasználó hologramokat helyezett el. A térbeli horgony egy fontos pontot jelöl a világon, amelyet a rendszernek nyomon kell követnie az idő múlásával.
Ahogy az eszköz megismeri a világot, ezek a térbeli horgonyok szükség szerint módosíthatják helyzetüket, hogy minden horgony pontosan ott maradjon, ahol a valós világ alapján elhelyezték. Ha egy térbeli horgonyt azon a helyen helyez el, ahol a felhasználó hologramot helyez el, majd a hologramot a térbeli horgonya alapján helyezi el, biztosíthatja, hogy a hologram optimális stabilitást biztosítson, még akkor is, ha a felhasználó több tíz méteren keresztül barangol.
A térbeli horgonyok egymás alapján történő folyamatos módosítása a koordinátarendszerek és a térbeli horgonyok és a referenciakeretek közötti fő különbség:
A helyhez kötött referenciakeretbe helyezett hologramok mind merev kapcsolatot tartanak egymással. Mivel azonban a felhasználó nagy távolságokon halad, a keret koordinátarendszere a világ alapján sodródhat, hogy a felhasználó melletti hologramok stabilnak tűnjenek.
A referencia fáziskeretébe helyezett hologramok szintén merev kapcsolatot tartanak egymással. A helyhez kötött kerettel ellentétben a fáziskeret mindig a helyén marad a meghatározott fizikai eredet alapján. A szakasz koordinátarendszerében az 5 méteres határon túl megjelenített tartalom azonban csak akkor jelenik meg stabilan, ha a felhasználó ezen a határon belül áll.
Az egyik térbeli horgony használatával elhelyezett hologramok egy másik térbeli horgony használatával elhelyezett hologramok alapján sodródhatnak. Ez lehetővé teszi, hogy a Windows jobban megértse az egyes térbeli horgonyok helyzetét, még akkor is, ha például egy horgonynak balra kell igazítania magát, egy másik horgonynak pedig jobbra kell állítania.
Ellentétben a helyhez kötött referenciakerettel, amely mindig optimalizálja a felhasználó közelében lévő stabilitást, a referencia szakaszkerete és a térbeli horgonyok biztosítják a stabilitást a forrásuk közelében. Ez segít ezeknek a hologramoknak a pontos helyén maradni az idő múlásával, de azt is jelenti, hogy a koordinátarendszer eredetétől túl messze renderelt hologramok egyre súlyosabb kar-kar hatásokat fognak tapasztalni. Ennek az az oka, hogy a szakasz vagy horgony helyzetének és tájolásának kis mértékű igazítása a horgony távolságával arányos.
Egy jó hüvelykujjszabály annak biztosítása, hogy bármi, amit egy távoli térbeli horgony koordinátarendszere alapján renderel, körülbelül 3 méteren belül legyen. A közeli szakasz eredeténél a távoli tartalom renderelése rendben van, mivel a megnövekedett pozícióhiba csak azokat a kis hologramokat érinti, amelyek nem tolódnak el sokat a felhasználó nézetében.
Térbeli horgony megőrzése
A térbeli horgonyok lehetővé teszik, hogy az alkalmazás még az alkalmazás felfüggesztése vagy az eszköz leállása után is megjegyezze a fontos helyeket.
Mentheti a lemezre az alkalmazás által létrehozott térbeli horgonyokat, majd később újra betöltheti őket, ha megőrzi őket az alkalmazás térbeli horgonytárolójában. Horgony mentésekor vagy betöltésekor meg kell adnia egy, az alkalmazás számára értelmezhető sztringkulcsot, amely később azonosítja a horgonyt. Gondoljon erre a kulcsra a horgony fájlneveként. Ha más adatokat szeretne társítani a horgonyhoz, például egy 3D-s modellt, amelyet a felhasználó adott helyre helyezett, mentse azokat az alkalmazás helyi tárolójába, és társítsa azokat a választott kulccsal.
A tároló horgonyainak megőrzésével a felhasználók egyedi hologramokat helyezhetnek el, vagy elhelyezhetnek egy munkaterületet, amely körül az alkalmazás elhelyezi a különböző hologramokat, majd később megkereshetik azokat a hologramokat, ahol elvárják őket.
Az Azure Spatial Anchors használatával aszinkron hologram-megőrzést is végezhet HoloLens-, iOS- és Android-eszközökön. A tartós felhőbeli térbeli horgony megosztásával több eszköz is megfigyelheti ugyanazt az állandó hologramot, még akkor is, ha ezek az eszközök nem egyszerre vannak jelen.
Térbeli horgonymegosztás
Az alkalmazás valós időben is megoszthatja a térbeli horgonyt más eszközökkel, így valós idejű megosztott élményeket érhet el.
Az Azure Spatial Anchors használatával az alkalmazás több HoloLens-, iOS- és Android-eszközön is megoszthat egy térbeli horgonyt. Ha minden eszköz ugyanazt a térbeli horgonyt használva renderel egy hologramot, a felhasználók a valós világban ugyanazon a helyen fogják látni a hologramot.
Ne legyen fejbe zárt tartalom
Határozottan megakadályozzuk a fejre zárt tartalom renderelését, amely rögzített helyen marad a kijelzőn (például a HUD-ban). Általánosságban elmondható, hogy a fejre zárt tartalom kényelmetlen a felhasználók számára, és nem érzi magát a világ természetes részének.
A fejre zárt tartalmat általában a felhasználóhoz csatolt vagy a világon elhelyezett hologramokra kell cserélni. A kurzorokat például általában ki kell húzni a világba, természetesen skálázva, hogy tükrözzék az objektum pozícióját és távolságát a felhasználó tekintete alatt.
Nyomon követési hibák kezelése
Bizonyos környezetekben, például a sötét folyosókon előfordulhat, hogy egy belső nyomkövetést használó headset nem képes megfelelően megtalálni önmagát a világon. Ez azt eredményezheti, hogy a hologramok nem jelennek meg, vagy helytelen helyen jelennek meg, ha helytelenül kezelik. Most bemutatjuk azokat a feltételeket, amelyekben ez bekövetkezhet, hogy milyen hatással van a felhasználói élményre, és tippeket adunk a helyzet legjobb kezeléséhez.
A headset nem tud nyomon követni, mert nincs elegendő érzékelőadat
Néha a headset érzékelői nem tudják megállapítani, hogy hol van a headset. Ez a következő esetekben fordulhat elő:
- A szoba sötét.
- Ha az érzékelőket haj vagy kéz fedi
- Ha a környezet nem rendelkezik elegendő anyagmintával.
Ha ez történik, a headset nem fogja tudni elég pontossággal nyomon követni a pozícióját a világ zárolt hologramjainak megjelenítéséhez. Nem lehet megállapítani, hogy a térbeli horgony, a rögzített keret vagy a fáziskeret hol alapul az eszközön. A csatolt referenciakeretben azonban továbbra is megjelenítheti a törzs által zárolt tartalmat.
Az alkalmazásnak meg kell mondania a felhasználónak, hogyan kérhet vissza pozíciókövetést, hogyan jelenítheti meg a tartalék test által zárolt tartalmakat, amelyek néhány tippet írnak le, például felfedik az érzékelőket, és bekapcsolják a további fényeket.
A headset a környezet dinamikus változásai miatt helytelenül követi nyomon a nyomkövetést
Az eszköz nem tudja megfelelően nyomon követni, ha sok dinamikus változás van a környezetben, például sokan sétálnak a szobában. Ebben az esetben a hologramok úgy tűnhetnek, hogy ugrik vagy sodródnak, amikor az eszköz megpróbálja nyomon követni magát ebben a dinamikus környezetben. Ha ezt a forgatókönyvet alkalmazza, javasoljuk, hogy kevésbé dinamikus környezetben használja az eszközt.
A headset helytelenül követi nyomon a nyomkövetést, mert a környezet az idő múlásával jelentősen megváltozott
Ha olyan környezetben kezdi el használni a fejhallgatót, ahol bútorok, fali függők stb. kerültek áthelyezésre, előfordulhat, hogy egyes hologramok elmozdulnak az eredeti helyükről. A korábbi hologramok is ugorhatnak, amikor a felhasználó az új térben mozog, mert a rendszer már nem ismeri a helyet. A rendszer ezután megpróbálja újraképezni a környezetet, miközben megpróbálja összeegyeztetni a helyiség funkcióit is. Ebben a forgatókönyvben ajánlott arra ösztönözni a felhasználókat, hogy cseréljenek le hologramokat, amelyeket a világon rögzítettek, ha nem a várt helyen jelennek meg.
A headset a környezet azonos terei miatt helytelenül követi nyomon a nyomkövetést
Előfordulhat, hogy egy otthon vagy más tér két azonos területtel rendelkezik. Például két azonos konferenciaterem, két azonos sarokterület, két nagy, azonos poszter, amelyek lefedik az eszköz látóterét. Ilyen esetekben előfordulhat, hogy az eszköz időnként összekeveredik az azonos részek között, és a belső reprezentációban ugyanazként jelöli meg őket. Ez azt okozhatja, hogy egyes területek hologramjai más helyeken is megjelennek. Előfordulhat, hogy az eszköz gyakran veszít a nyomon követésből, mivel a környezet belső reprezentációja sérült. Ebben az esetben javasoljuk, hogy állítsa alaphelyzetbe a rendszer környezeti megértését. A térkép alaphelyzetbe állítása az összes térbeli horgonyhely elvesztéséhez vezet. Ez azt eredményezi, hogy a headset jól nyomon követi a környezet egyedi területeit. A probléma azonban újra felmerülhet, ha az eszköz ismét összekeveredik az azonos területek között.