Esettanulmány - HoloTour
A HoloTour for Microsoft HoloLens magával ragadó 3D-s személyes túrákat kínál a világ ikonikus helyeinek. Ahogy a projekten dolgozó tervezők, művészek, producerek, hangtervezők és fejlesztők megtudták, egy jól ismert hely meggyőzően valós 3D-s renderelésének létrehozása a kreatív és technológiai varázslók egyedülálló kombinációját veszi igénybe. Ez az esettanulmány végigvezeti a HoloTourhoz használt tartalom rögzítésének és létrehozásának folyamatán.
A technológia
A HoloTour segítségével lehetővé akartuk tenni az emberek számára, hogy meglátogathassák a világ legcsodálatosabb úticéljait – például a Peruban található Machu Picchu romjait vagy a modern olaszországi Piazza Navonát – közvetlenül a saját nappalijukból. Csapatunk a HoloTour céljaként tűzte ki, hogy "úgy érezd magad, mintha tényleg ott vagy." A felhasználói élménynek nem csak képeknek vagy videóknak kellett lennie. A HoloLens egyedi megjelenítési, nyomkövetési és hangtechnológiájának felhasználásával úgy gondoljuk, hogy gyakorlatilag át tudjuk szállítani Önt egy másik helyre. Minden felkeresett hely nevezetességeit, hangjait és háromdimenziós geometriáit rögzíteni kell, majd újra létre kell hoznunk az alkalmazáson belül.
Ehhez egy 360°-os kameratoronyra volt szükség, amely irányított hangrögzítéssel rendelkezik. Rendkívül nagy felbontásban kellett rögzítenie, hogy a felvétel élesen nézzen ki, amikor visszajátszott egy HoloLensen, és a kamerákat egymáshoz közel kell elhelyezni az összefűzési összetevők minimalizálása érdekében. Teljes gömbfedést akartunk, nem csak a horizont mentén, hanem feletted és alattad is. A fúrótoronynak hordozhatónak is kellett lennie, hogy az egész világon elvihessük. Kiértékeltük a rendelkezésre álló, a polcon kívüli lehetőségeket, és rájöttünk, hogy egyszerűen nem elég jók a látásunk megvalósításához – akár a felbontás, a költség, akár a méret miatt. Ha nem találnánk meg az igényeinknek megfelelő kamera-szerelvényt, magunknak kellene felépítenünk egyet.
A fúrótorony felépítése
Az első verzió – amely kartonból, tépőzárból, csőszalagból és 14 GoPro kamerából készült – olyan volt, amire a MacGyver büszke lett volna. Miután áttekintett mindent az alacsony szintű megoldásoktól az egyénileg gyártott fúrótornyokig, a GoPro kamerák végső soron a legjobb választás voltak számunkra, mivel kicsik, megfizethetőek voltak, és könnyen használható memóriatárolóval rendelkeztek. A kis méretű tényező különösen fontos volt, mert lehetővé tette számunkra, hogy a kamerák viszonylag közel legyenek egymáshoz – minél kisebb a kamerák közötti távolság, annál kisebb lesz az összefűzési összetevők. Egyedi kameraelrendezésünk lehetővé tette, hogy teljes gömb lefedettséget és elegendő átfedést biztosítsunk a kamerák intelligens igazításához és egyes összetevők simításához az összefűzési folyamat során.
A HoloLens térbeli hangfunkcióinak kihasználása kritikus fontosságú ahhoz, hogy meggyőzően magával ragadó élményt teremtsen. Egy négy mikrofonos tömböt használtunk az állvány kamerái alatt, amely négy irányban rögzítette a kamera helyéről származó hangot, így elég információt adtunk ahhoz, hogy térbeli hangokat hozzunk létre a jeleneteinkben.
A Pantheonon kívüli forgatásra beállított 360°-os kameraberendezésünk.
Teszteltük a házi készítésű fúrótornyunkat, hogy felvisztük a Seattle-hez közeli Rattlesnake Ridge-be, és rögzítettük a tájat a túra tetején. Az eredmény, bár lényegesen kevésbé csiszolt, mint a holoTourban ma látható helyek, bizalmat adott nekünk, hogy a fúrótorony kialakítása elég jó volt ahhoz, hogy úgy érezd, mintha tényleg ott vagy.
Tépőzárról és kartonról egy 3D-s nyomtatott kameraházra frissítettük a fúrótornyot, és külső akkumulátorcsomagokat vásároltunk a GoPro kamerákhoz az akkumulátorkezelés egyszerűsítése érdekében. Ezután kiterjedtebb tesztet tettünk, san francisco-ba utaztunk, hogy miniatűr túrát hozzunk létre a város partjairól és az ikonikus Golden Gate hídról. Ez a kameratorony az, amit a holoTourban meglátogatott helyek legtöbb rögzítéséhez használtunk.
A Machu Picchu 360°-os kamerás fúrótornya.
A színfalak mögött
A forgatás előtt ki kellett derítenünk, hogy mely helyeket szeretnénk belefoglalni a virtuális túránkba. Róma volt az első hely, ahová szállítani akartunk, és meg akartuk szerezni, ezért úgy döntöttünk, hogy előre kirándulunk. Egy hat főből álló csapatot küldtünk , beleértve a művészeket, tervezőket és producereket is, hogy személyesen látogassanak el az általunk mérlegelt webhelyekre. Az utazás körülbelül 9 napot vett igénybe – 2,5 utazás, a többi filmezés. (Machu Picchu esetében úgy döntöttünk, hogy nem teszünk felderítő utat, előre kutatunk, és lefoglalunk néhány nap puffert a forgatáshoz.)
Míg Rómában, a csapat fényképeket készített az egyes területekről, és érdekes tényeket és gyakorlati szempontokat is feljegyzett, például hogy mennyire nehéz minden helyre utazni, és milyen nehéz lenne filmezni a tömegek vagy korlátozások miatt. Ez úgy hangzik, mint egy nyaralás, de ez egy csomó munka. A napok kora reggel kezdődtek, és estig nem állnak meg. Minden este feltöltöttek egy felvételt a csapatnak Seattle-ben, hogy átnézhessenek.
A foglyaink Rómában.
Miután a felderítő út befejeződött, végleges tervet készítettek a tényleges filmezésre. Ez részletes listát igényelt arról, hogy hol fogunk filmet, milyen napon és mikor. A tengerentúlon minden nap drága, ezért ezeknek az utaknak hatékonynak kellett lenniük. Rómában útmutatókat és kezelőket foglaltunk, hogy segítsenek nekünk, és teljes mértékben használják minden nap napkelte előtttől napnyugta utánig. A lehető legjobb felvételt kell szereznünk, hogy úgy érezd, tényleg ott vagy.
A videó rögzítése
A rögzítés során néhány egyszerű művelet sokkal egyszerűbbé teheti az utófeldolgozást. Ha például több kamerából származó képeket fűz össze, vizuális összetevőkkel fog végződni, mivel mindegyik kamera kissé eltérő nézettel rendelkezik. Minél közelebb vannak az objektumok a kamerához, annál nagyobb a különbség a nézetek között, és minél nagyobbak lesznek az összefűzési összetevők. Íme egy egyszerű módszer a probléma megjelenítésére: tartsa a hüvelykujját az arca előtt, és csak egy szempillantással nézze meg. Most váltsa ki a szemét. Láthatja, hogy a hüvelykujja a háttérhez képest mozog. Ha az arcától távolabb tartja a hüvelykujját, és megismétli a kísérletet, a hüvelykujja úgy tűnik, hogy kevesebbet mozog. Ez a látszólagos mozgás hasonló az összefűzési problémához: A szemed, mint a kameráink, nem látja pontosan ugyanazt a képet, mert egy kis távolság választja el őket.
Mivel sokkal könnyebb megelőzni a legrosszabb összetevőket a forgatás során, mint az utófeldolgozás során kijavítani őket, megpróbáltuk távol tartani az embereket és a dolgokat a kamerától abban a reményben, hogy kiküszöbölhetjük a közeli tárgyak összefűzésének szükségességét. A kamera körüli nagy kiürítés fenntartása valószínűleg az egyik legnagyobb kihívás volt a forgatás során, és kreatívnak kellett lennem ahhoz, hogy működjön. A helyi útmutatók használata hatalmas segítség volt a tömegek kezeléséhez, de azt is megállapítottuk, hogy a filmezés helyének megjelöléséhez táblákat – és néha kis kúpokat vagy babzsákokat – használtunk, különösen azért, mert minden helyen csak rövid mennyiségű felvételt kellett szereznünk. Gyakran a legjobb módja annak, hogy egy jó rögzítés volt, hogy csak érkezzen nagyon korán reggel, mielőtt a legtöbb ember megjelent.
Néhány más hasznos rögzítési technika egyenesen a hagyományos filmes gyakorlatokból származik. Például egy színkorrekciós kártyát használtunk az összes kameránkon, és rögzítettük az anyagmintázatokat és tárgyakat, amelyeket később szükség lehet rá.
Egy durva vágás Pantheon felvétel varrás előtt.
A videó feldolgozása
A 360°-os tartalom rögzítése csak az első lépés – sok feldolgozásra van szükség ahhoz, hogy a rögzített nyers kamerafelvételeket a HoloTourban látható végső objektumokká alakítsuk. Miután hazaértünk, a videót 14 különböző kameracsatornából kellett készítenünk, és egyetlen folyamatos videóvá kellett alakítanunk, minimális összetevőkkel. Művészeti csapatunk számos eszközt használt a rögzített felvételek összevonására és csiszolására, és kidolgoztunk egy folyamatot, amely a lehető legnagyobb mértékben optimalizálja a feldolgozást. A felvételt össze kellett fűzni, a színt korrigálni, majd összetett, hogy távolítsa el a zavaró elemeket és összetevőket, vagy adjunk hozzá kiegészítő zsebek az élet és a mozgás, mind a cél, hogy fokozza, hogy az érzés, hogy valójában ott.
Egy durva vágás Pantheon felvétel varrás előtt.
A videók összefűzéséhez egy PTGui nevű eszközt használtunk, és integráltuk a feldolgozási folyamatba. Az utófeldolgozás részeként továbbra is képkockákat nyertünk ki a videóinkból, és találtunk egy varrási mintát, amely jól nézett ki az egyik ilyen képkockához. Ezután alkalmaztuk ezt a mintát egy egyéni beépülő modulra, amelyet írtunk, amely lehetővé tette a videósok számára, hogy finomhangolják és finomhangolják az öltési mintát közvetlenül az After Effectsben való összeállítás közben.
Képernyőkép a PTGui-ról, amelyen az összefűzött Pantheon-felvétel látható.
Videó lejátszása
A felvétel feldolgozásának befejezése után egy zökkenőmentes videóval rendelkezünk, de rendkívül nagy– körülbelül 8K felbontású. A videó dekódolása drága, és nagyon kevés számítógép képes kezelni egy 8K-s videót, így a következő kihívás a videó holoLensen való lejátszásának módja volt. Számos stratégiát fejlesztettünk ki, hogy elkerüljük a dekódolás költségeit, miközben a felhasználó úgy érzi, mintha a teljes videót néznék.
A legegyszerűbb optimalizálás a videó azon részeinek dekódolása, amelyek nem változnak sokat. Írtunk egy eszközt, amellyel azonosíthatjuk azokat a területeket az egyes jelenetekben, amelyeknek nincs mozgása. Ezekben a régiókban statikus képet jelenítünk meg ahelyett, hogy minden képkockát dekódolnánk. Ennek érdekében a hatalmas videót sokkal kisebb darabokra osztottuk.
Gondoskodtunk arról is, hogy minden dekódolt képpontot a leghatékonyabban használjon. Kísérleteztünk tömörítési technikákkal, hogy csökkentsük a videó méretét; a videorégiók felosztása a geometria azon sokszögei alapján, amelyekre kivetíteni lehetne; A felhasználói felületeket módosítottuk, és újracsomagoltuk a videókat a különböző sokszögek részletes adatai alapján. Ennek a munkának az az eredménye, hogy ami egyetlen 8k-as videóként indult, az sok darabká változott, amelyek szinte értelmezhetetlennek tűnnek, amíg megfelelően újra nem vetülnek a jelenetbe. A játékfejlesztők számára, akik megértik a textúra leképezését és az UV csomagolást, ez valószínűleg ismerősnek fog tűnni.
A Pantheon teljes nézete az optimalizálás előtt.
A Pantheon jobb fele, videólejátszásra feldolgozva.
Példa egy videórégióra az optimalizálás és a csomagolás után.
Egy másik trükk az volt, hogy elkerültük a nem aktívan megtekintett videók dekódolását. HoloTourban a teljes jelenet egy részét csak egy adott pillanatban láthatja. A videókat csak a nézetmezőn (FOV) belül vagy rövidesen dekódoljuk. Miközben elforgatja a fejét, elkezdjük lejátszani a videó azon régióit, amelyek most az FOV-ban vannak, és abbahagyjuk azokat a játékokat, amelyek már nem szerepelnek benne. A legtöbben észre sem fogják venni, hogy ez történik, de ha gyorsan megfordul, látni fogja, hogy a videó egy másodpercet vesz igénybe a kezdéshez. Addig is megjelenik egy statikus kép, amely a készenlét után visszahalványul a videóba.
Ennek a stratégiának a működéséhez egy kiterjedt videólejátszó rendszert fejlesztettünk ki. Optimalizáltuk az alacsony szintű lejátszási kódot, hogy a videóváltás rendkívül hatékony legyen. Emellett speciális módon kellett kódolnunk a videóinkat, hogy bármikor gyorsan át lehessen váltani bármilyen videóra. Ez a lejátszási folyamat jelentős fejlesztési időt vett igénybe, ezért fázisokban implementáltuk. Egy egyszerűbb rendszerrel kezdtük, amely kevésbé hatékony volt, de lehetővé tette a tervezők és a művészek számára, hogy dolgozhassanak az élményen, és lassan továbbfejlesztettük azt egy robusztusabb lejátszórendszerre, amely lehetővé tette számunkra, hogy a végső minőségi sávon szállítsunk. Ebben az utolsó rendszerben a Unityben létrehozott egyéni eszközökkel állítottuk be a videót a jeleneten belül, és figyeltük a lejátszómotort.
Térközhöz közeli objektumok újrafelfedése 3D-ben
A HoloTourban látottak többségét videók alkotják, de számos 3D objektum jelenik meg önhöz közel, például a Piazza Navona festménye, a Pantheononon kívüli szökőkút vagy a légi jelenetekhez használt hőlégballon. Ezek a térhatású objektumok azért fontosak, mert az emberi mélység észlelése nagyon jó közel van, de nem túl jó távol. Távolról is megúszhatjuk a videót, de ahhoz, hogy a felhasználók körbejárhassák a helyüket, és úgy érezhessék magukat, mintha valóban ott lennének, a közeli objektumoknak mélységre van szükségük. Ez a technika hasonló ahhoz, amit egy természettudományi múzeumban láthat – képzeljen el egy diorámát, amely fizikai tereprendezéssel, növényekkel és állatpéldányokkal rendelkezik az előtérben, de a háttérben egy okosan maszkolt matt festményre reked.
Egyes objektumok egyszerűen 3D-s objektumok, amelyeket létrehoztunk és hozzáadtunk a jelenethez a felhasználói élmény javítása érdekében. A festmény és a hőlégballon ebbe a kategóriába esik, mert nem voltak jelen, amikor filmet forgattunk. A játékeszközökhöz hasonlóan egy 3D-s művész hozta létre őket a csapatunkban, és megfelelően texturáltak. Ezeket a jeleneteinkben elhelyezzük a közelben, ahol ön áll, és a játékmotor megjelenítheti őket a két HoloLens kijelzőn, hogy 3D objektumként jelenjenek meg.
Más objektumok, mint például a szökőkút a Pantheonon kívül, valódi objektumok, amelyek ott léteznek, ahol videót készítünk, de ahhoz, hogy ezeket az objektumokat kihozzuk a videóból és a 3D-be, számos dolgot meg kell tennünk.
Először is további információra van szükségünk az egyes objektumokról. A forgatás helyszínén csapatunk sok referenciafelvételt készített ezekről az objektumokról, hogy elegendő részletes képünk legyen az textúrák pontos újbóli létrehozásához. A csapat egy fotogrammetriai vizsgálatot is végzett, amely több tucat 2D-s képből állít össze egy 3D-s modellt, így tökéletes méretben készíti el az objektum durva modelljét.
A felvétel feldolgozása során a később 3D-s megjelenítésre cserélendő objektumok törlődnek a videóból. A 3D objektum a fotogrammetriai modellen alapul, de művészeink megtisztították és leegyszerűsítik. Egyes objektumok esetében használhatjuk a videó részeit – például a szökőkút vízmintázatát –, de a szökőkút nagy része már 3D-s objektum, amely lehetővé teszi a felhasználók számára, hogy a mélységet érzékelik, és korlátozott helyen járják körül a élményt. Az ilyen közel térbeli objektumok nagyban növelik a realizmus érzését, és segítenek a felhasználókat a virtuális helyen elhelyezni.
Pantheon felvétel a szökőkút eltávolítva. Ezt egy 3D-s objektum váltja fel.
Végső gondolatok
Nyilvánvaló, hogy több volt a tartalom létrehozása, mint amit itt tárgyaltunk. Van néhány jelenet , szeretjük őket "lehetetlen perspektívák", beleértve a hőlégballon utazás és a gladiátor harc a Colosseum, amely vette a kreatív megközelítés. Ezekkel egy későbbi esettanulmányban foglalkozunk.
Reméljük, hogy a gyártás során felmerülő nagyobb kihívások megoldásainak megosztása hasznos lehet más fejlesztők számára, és hogy ezek közül a technikák közül néhányat arra ösztönöztünk, hogy saját magával ragadó élményeket hozzon létre a HoloLens számára. (És ha igen, kérjük, ossza meg velünk a HoloLens alkalmazásfejlesztési fórumon!)
A szerzők ismertetése
 |
David Haley vezető fejlesztő, aki többet tanult a kameratornyokról és a videolejátszásról, mint azt a HoloTour-on való munkából gondolta. |  |
Danny Askew egy videó művész, aki gondoskodott arról, hogy az utazás Rómában volt a hibátlan, amennyire csak lehetséges. |
 |
Jason Syltebo egy Audio Tervező, aki gondoskodott arról, hogy megtapasztalja a hangkép minden úti cél meglátogatott, még akkor is, ha vissza az időben. |  |
Travis Steiner tervezési igazgató, aki kutatta és felderítette a helyszíneket, utazási terveket hozott létre, és filmezést rendezett a helyszínen. |