Sdílená prostředí v hybridní realitě
Hologramy nemusí zůstat soukromé jenom pro jednoho uživatele. Holografické aplikace můžou sdílet prostorové kotvy z jednoho zařízení HoloLens, iOS nebo Android do jiného, což uživatelům umožňuje vykreslit hologram na stejném místě v reálném světě na více zařízeních.
Šest otázek k definování sdílených scénářů
Než začnete s návrhem pro sdílená prostředí, je důležité definovat cílové scénáře. Tyto scénáře vám pomůžou objasnit, co navrhujete, a vytvořit společnou slovní zásobu, která vám pomůže porovnat a porovnat funkce, které jsou ve vašem prostředí potřeba. Pochopení základního problému a různých cest pro řešení je klíčem k odhalení příležitostí, které jsou součástí tohoto nového média.
Prostřednictvím interních prototypů a průzkumů z partnerských agentur HoloLens jsme vytvořili šest otázek, které vám pomohou definovat sdílené scénáře. Tyto otázky tvoří rámec, který nemá být vyčerpávající, který pomáhá destilovat důležité atributy vašich scénářů.
1. Jak se sdílejí?
Prezentaci může vést jeden virtuální uživatel, zatímco více uživatelů může spolupracovat, nebo učitel může poskytnout pokyny virtuálním studentům, kteří pracují s virtuálními materiály – složitost prostředí se zvyšuje v závislosti na úrovni zastoupení, kterou uživatel má nebo může mít ve scénáři.
Existuje mnoho způsobů sdílení, ale zjistili jsme, že většina z nich spadá do tří kategorií:
- Prezentace: Když se stejný obsah zobrazuje několika uživatelům. Příklad: Profesor předá přednášku několika studentům pomocí stejného holografického materiálu, který je prezentován všem. Profesor však může mít své vlastní rady a poznámky, které nemusí být viditelné pro ostatní.
- Spolupráce: Když lidé spolupracují na dosažení některých společných cílů. Příklad: Profesor rozdával projekt, aby se dozvěděl o operaci srdce. Studenti se spárují a vytvářejí sdílené dovednosti v testovacím prostředí, které studentům medicíny umožňuje spolupracovat na modelu srdce a učit se.
- Pokyny: Když jedna osoba pomáhá někomu vyřešit problém ve více stylech interakce 1:1. Příklad: Profesor dává pokyny studentovi, když provádí cvičení dovedností srdeční operace ve sdíleném prostředí.
2. Jaká je velikost skupiny?
Prostředí pro sdílení 1:1 může poskytnout silnou základnu a v ideálním případě je možné vaše testování konceptu vytvořit na této úrovni. Mějte ale na paměti, že sdílení s velkými skupinami (více než šesti lidmi) může vést k potížím jak v oblasti technické (data a sítě), tak i na sociální sítě (dopad toho, že jste v místnosti s několika avatary). Složitost se exponenciálně zvyšuje s tím, jak přejdete z malýchskupin do velkých skupin.
Zjistili jsme, že potřeby skupin mohou spadat do tří kategorií velikostí:
- 1:1
- Malý < 7
- Velký >= 7
Velikost skupiny je důležitá otázka, protože ovlivňuje:
- Reprezentace lidí v holografickém prostoru
- Měřítko objektů
- Škálování prostředí
3. Kde jsou všichni?
Síla hybridní reality vstupuje do hry, když se sdílené prostředí může konat na stejném místě. Říkáme tomu kolokasovaný. Naopak, když je skupina distribuovaná a alespoň jeden účastník není ve stejném fyzickém prostoru (jak tomu často bývá u VR), říkáme tomu vzdálené prostředí. Často se stává, že vaše skupina má společně umístěné i vzdálené účastníky (například dvě skupiny v konferenčních místnostech).
Následující kategorie vám pomůžou sdělit, kde se uživatelé nacházejí:
- Společně umístěné: Všichni vaši uživatelé budou ve stejném fyzickém prostoru.
- Vzdáleně: Všichni vaši uživatelé budou v samostatných fyzických prostorech.
- Obojí: Vaši uživatelé budou kombinací společně umístěného a vzdáleného prostoru.
Tato otázka je zásadní, protože ovlivňuje:
- Jak lidé komunikují?
- Například: Jestli mají mít avatary?
- Jaké objekty vidí. Jsou všechny objekty sdílené?
- Jestli se musíme přizpůsobit jejich prostředí?
4. Kdy se sdílí?
Při namyšlení sdílených prostředí obvykle přemýšlíme o synchronních prostředích: Všichni to děláme společně. Pokud ale zahrneme jeden virtuální prvek, který přidal někdo jiný, máme asynchronní scénář. Představte si poznámku nebo hlasovou poznámku ve virtuálním prostředí. Jak zvládnete 100 virtuálních poznámek, které zbyly ve vašem návrhu? Co když jsou od desítek lidí s různými úrovněmi soukromí?
Zvažte své zkušenosti jako jednu z těchto kategorií času:
- Synchronně: Sdílení holografického prostředí současně. Příklad: Dva studenti dělají cvičení dovedností ve stejnou dobu.
- Asynchronně: Sdílení holografického prostředí v různých časech. Příklad: Dva studenti dělají cvičení dovedností, ale pracují na samostatných oddílech v různou dobu.
- Obojí: Uživatelé budou někdy sdílet synchronně, jindy asynchronně. Příklad: Profesor známkuje zadání, které studenti udělali později, a zapisuje poznámky studentům na další den.
Tato otázka je důležitá, protože ovlivňuje:
- Trvalost objektů a prostředí. Příklad: Ukládání stavů, aby je bylo možné načíst.
- Perspektiva uživatele. Příklad: Možná si pamatujete, na co se uživatel díval, když zapisoval poznámky.
5. Jak podobná jsou jejich fyzická prostředí?
Pravděpodobnost dvou identických skutečných prostředí, mimo prostředí kolokasovaná, je malá, pokud tato prostředí nejsou navržená tak, aby byla identická. S větší pravděpodobností budete mít podobná prostředí. Například konferenční místnosti jsou podobné – obvykle mají centrálně umístěný stůl obklopený židlemi. Obývací pokoje, na druhé straně, jsou odlišné** a mohou obsahovat libovolný počet kusů nábytku v nekonečném množství rozložení.
Představte si, že možnosti sdílení patří do jedné z těchto dvou kategorií:
- Podobné: Prostředí, která mají tendenci mít podobný nábytek, okolní světlo a zvuk, fyzickou velikost místnosti. Příklad: Profesor je v přednáškovém sále A a studenti jsou v přednáškovém sále B. Přednáškový sál A může mít méně židlí než B, ale oba můžou mít fyzický stůl, na který lze umístit hologramy.
- Odlišné: Prostředí, která se liší v nastavení nábytku, velikostech místností, světle a zvuku. Příklad: Profesor je v místnosti s fokusem, ale studenti jsou ve velkém přednáškovém sále, kde jsou studenti a učitelé.
Je důležité se zamyslet nad prostředím, protože to ovlivní:
- Jak budou lidé tyto objekty zažívat. Příklad: Pokud vaše prostředí funguje nejlépe s tabulkou a uživatel nemá žádnou tabulku? Nebo na ploché ploše, ale uživatel má zaplněný prostor.
- Měřítko objektů Příklad: Umístění šestimetrového modelu člověka na stůl může být náročné, ale skvěle by fungoval model srdce.
6. Jaká zařízení používá?
V současné době se často setkáte se sdílenými prostředími mezi dvěma imerzivními zařízeními (tato zařízení se mohou mírně lišit v případě tlačítek a relativních funkcí, ale ne výrazně) nebo mezi dvěma holografickými zařízeními vzhledem k tomu, že řešení cílí na tato zařízení. Zvažte ale, jestli 2D zařízení (mobilní/desktopový účastník nebo pozorovatel) budou nutné zvážit, zejména v situacích smíšených 2D a 3D zařízení. Pochopení typů zařízení, která budou účastníci používat, je důležité, nejen proto, že mají různá omezení a příležitosti k datům, ale také proto, že uživatelé mají pro každou platformu jedinečná očekávání.
Prozkoumání potenciálu sdílených prostředí
Odpovědi na výše uvedené otázky je možné kombinovat, abyste lépe porozuměli vašemu sdílenému scénáři a při rozšiřování prostředí vykrystalizovali výzvy. Týmu v Microsoftu to pomohlo vytvořit plán pro zlepšení prostředí, které dnes používáme, pochopení odlišností těchto složitých problémů a způsob, jak využívat sdílené prostředí v hybridní realitě.
Představte si například jeden ze scénářů Skypu ze spuštění HoloLensu: uživatel pracoval na tom, jak opravit nefunkční přepínač světla s pomocí vzdáleně umístěného odborníka.
Odborník poskytuje pokyny 1:1 ze svého 2D stolního počítače uživateli zařízení s 3D hybridní realitou . Pokyny jsousynchronní a fyzická prostředí jsou rozdílná.
Takové prostředí je krokovou změnou oproti našemu současnému prostředí – aplikování paradigmatu videa a hlasu na nové médium. Ale při pohledu do budoucnosti musíme lépe definovat příležitosti našich scénářů a vytvářet prostředí, která odrážejí sílu hybridní reality.
Představte si nástroj pro spolupráci OnSight, který vyvinula jetová laboratoř NASA. Vědci pracující na datech z misí marsového vozítka můžou spolupracovat s kolegy v reálném čase na datech z marťanského prostředí.
Vědec zkoumá prostředí pomocí 3D zařízení hybridní reality s malou skupinou vzdálených kolegů pomocí 3D a 2D zařízení. Spolupráce je synchronní (ale může se k tomu vrátit asynchronně) a fyzická prostředí jsou (prakticky) podobná.
Prostředí, jako je OnSight, představují nové příležitosti ke spolupráci. Od fyzického upozorňování na prvky ve virtuálním prostředí až po postavení vedle kolegy a sdílení jejich perspektivy při vysvětlování zjištění. OnSight používá objektiv ponoření a přítomnosti k přehodnocení možností sdílení v hybridní realitě.
Intuitivní spolupráce je základem konverzace, klíčová je spolupráce a pochopení toho, jak můžeme tuto intuitivně aplikovat na složitost hybridní reality. Pokud můžeme nejen znovu vytvořit zkušenosti se sdílením v hybridní realitě, ale také je zvýšit, bude to změna paradigmatu pro budoucnost práce. Navrhování pro sdílená prostředí v hybridní realitě je nový a vzrušující prostor – a my jsme teprve na začátku.
Začínáme vytvářet sdílená prostředí
V závislosti na vaší aplikaci a scénáři budete mít různé požadavky na dosažení požadovaného prostředí. Zde jsou některá z vylepšení:
- Vytváření shody: Možnost vytvářet relace, inzerovat relace, objevovat a zvát konkrétní lidi, a to jak místně, tak vzdáleně, aby se připojili k relaci.
- Sdílení ukotvení: Možnost zarovnat souřadnice mezi více zařízeními ve společném místním prostoru, aby se hologramy zobrazovaly na stejném místě pro všechny.
- Sítě: Schopnost synchronizovat pozice, interakce a pohyby lidí a hologramů v reálném čase mezi všemi účastníky.
- Úložiště stavu: Schopnost ukládat charakteristiky hologramů a umístění v prostoru pro připojení uprostřed relace, pozdější odvolání a odolnost proti problémům se sítí.
Klíčem ke sdílenému prostředí je to, že více uživatelů vidí stejné hologramy na svém vlastním zařízení. Často se to provádí sdílením ukotvení, které zarovná souřadnice mezi zařízeními.
Ke sdílení ukotvení použijte Azure Spatial Anchors:
- Nejprve uživatel umístí hologram.
- Aplikace vytvoří prostorovou kotvu, aby přesně připnula hologram na světě.
- Ukotvení je možné sdílet se zařízeními HoloLens, iOS a Android prostřednictvím služby Azure Spatial Anchors.
Díky sdílené prostorové ukotvení má teď aplikace na každém zařízení společný souřadnicový systém , do kterého může umístit obsah. Aplikace teď může zajistit umístění a orientaci hologramu na stejném místě.
Na zařízeních HoloLens můžete také sdílet ukotvení offline z jednoho zařízení do druhého. Pomocí následujících odkazů se můžete rozhodnout, co je pro vaši aplikaci nejlepší.
Vyhodnocení technických možností
K dispozici jsou různé možnosti služeb a technologií, které vám pomůžou vytvářet prostředí hybridní reality pro více uživatelů. Výběr cesty může být záludný, takže z pohledu zaměřeného na scénář jsou některé možnosti podrobně popsány níže.
Sdílené statické hologramy (bez interakcí)
Využijte Azure Spatial Anchors ve vaší aplikaci. Povolení a sdílení prostorových ukotvení mezi zařízeními umožňuje vytvořit aplikaci, ve které uživatelé vidí hologramy na stejném místě ve stejnou dobu. K tomu, aby uživatelé mohli pracovat s hologramy a sledovat pohyby nebo aktualizace stavu hologramů, je potřeba další synchronizace mezi zařízeními.
Sdílení perspektivy první osoby
Využijte integrovanou podporu Miracast pro místní uživatele, pokud máte podporovaný přijímač Miracast, jako je počítač nebo televize. Není potřeba žádný další kód aplikace.
Prostředí pro spolupráci s více uživateli
Začněte naším výukovým kurzem pro více uživatelů, který využívá Azure Spatial Anchors pro místní uživatele a sadu Photon SDK pro synchronizaci obsahu a stavu ve scéně. Vytvářejte aplikace pro místní spolupráci, ve kterých má každý uživatel svůj vlastní pohled na hologramy ve scéně a může s hologramy plně pracovat. Aktualizace jsou k dispozici na všech zařízeních a správu konfliktů mezi interakcemi zajišťuje Photon.
Poznámka
Upozorňujeme, že Photon je produkt jiné společnosti než Microsoft, takže fakturační vztah se společností Photon může být nutný k productizaci a škálování za účelem vyššího využití.
Budoucí práce
Funkce komponent a rozhraní vám pomůžou zajistit společnou konzistenci a robustní podporu napříč různými scénáři a základními technologiemi. Do té doby zvolte nejlepší cestu, která odpovídá scénáři, kterého se ve vaší aplikaci pokoušíte dosáhnout.
Jiný scénář nebo touha použít jinou technologii nebo službu? Pošlete nám zpětnou vazbu k problémům na GitHubu v odpovídajícím úložišti v dolní části této stránky nebo se obraťte na HoloDevelopers Slack.