Co to jest rzeczywistość mieszana?
Rzeczywistość mieszana to kolejna fala przetwarzania następujących komputerów mainframe, komputerów i smartfonów. Rzeczywistość mieszana będzie głównym nurtem dla konsumentów i przedsiębiorstw. Wyzwala nas od środowisk związanych z ekranem, oferując instynktowne interakcje z danymi w naszych przestrzeniach mieszkalnych i z naszymi przyjaciółmi. Eksploratorzy online, w setkach milionów na całym świecie, doświadczyli rzeczywistości mieszanej za pośrednictwem swoich urządzeń podręcznych. Mobile AR oferuje obecnie najbardziej popularne rozwiązania rzeczywistości mieszanej w mediach społecznościowych. Osoby może nawet nie zdawać sobie sprawy, że filtry AR, których używają na Instagramie, to środowiska rzeczywistości mieszanej. Windows Mixed Reality przenosi wszystkie te środowiska użytkownika na następny poziom z oszałamiającymi holograficznymi reprezentacjami ludzi, modelami holograficznego 3D o wysokiej wierności i rzeczywistym światem wokół nich.
Rzeczywistość mieszana to mieszanka światów fizycznych i cyfrowych, odblokowując naturalne i intuicyjne interakcje człowieka, komputera i środowiska 3D. Ta nowa rzeczywistość opiera się na postępach przetwarzania obrazów, przetwarzania graficznego, technologii wyświetlania, systemów wejściowych i przetwarzania w chmurze. Termin "rzeczywistość mieszana" został wprowadzony w 1994 roku przez Paula Milgrama i Fumio Kishino, "Taksonomię wizualizacji rzeczywistości mieszanej". W artykule przedstawiono koncepcję kontinuum wirtualizacji i taksonomii wyświetlania wizualizacji. Od tego czasu zastosowanie rzeczywistości mieszanej wykracza poza ekrany, które należy uwzględnić:
- Zrozumienie środowiska: mapowanie przestrzenne i kotwice.
- Zrozumienie człowieka: śledzenie ręczne, śledzenie oczu i wprowadzanie mowy.
- Dźwięk przestrzenny.
- Lokalizacje i pozycjonowanie w przestrzeniach fizycznych i wirtualnych.
- Współpraca nad zasobami 3D w przestrzeniach rzeczywistości mieszanej.
Obraz: Rzeczywistość mieszana jest wynikiem połączenia świata fizycznego ze światem cyfrowym.
Dane wejściowe i postrzeganie środowiska
W ostatnich dziesięcioleciach relacje między ludźmi a komputerami nadal ewoluują za pomocą metod wejściowych. Pojawiła się nowa dyscyplina, która jest znana jako interakcja z komputerem ludzkim lub "HCI". Ludzkie dane wejściowe mogą teraz obejmować klawiatury, myszy, dotyk, atrament, głos i śledzenie szkieletu Kinect .
Rozwój czujników i mocy obliczeniowej tworzy nowe postrzeganie komputerów w środowiskach na podstawie zaawansowanych metod wejściowych. Dlatego nazwy interfejsów API w systemie Windows ujawniające informacje o środowisku są nazywane interfejsami API postrzegania. Dane wejściowe środowiska mogą przechwytywać:
- położenie ciała osoby w świecie fizycznym (śledzenie głowy)
- obiekty, powierzchnie i granice (mapowanie przestrzenne i interpretacja sceny)
- oświetlenie otoczenia i dźwięk
- rozpoznawanie obiektów
- lokalizacje fizyczne
Obraz: Interakcje między komputerami, ludźmi i środowiskami.
Połączenie trzech podstawowych elementów określa etap tworzenia rzeczywistych środowisk rzeczywistości mieszanej:
- Przetwarzanie komputerów obsługiwane przez chmurę
- Zaawansowane metody wprowadzania
- Postrzeganie środowiska
Gdy przechodzimy przez świat fizyczny, nasze ruchy są mapowane w rzeczywistości cyfrowej. Granice fizyczne wpływają na środowiska rzeczywistości mieszanej, takie jak gry lub wskazówki oparte na zadaniach w zakładzie produkcyjnym. Dzięki środowisku wejściowym i postrzeganym doświadczenia zaczynają mieszać się między realiami fizycznymi i cyfrowymi.
Spektrum rzeczywistości mieszanej
Rzeczywistość mieszana łączy światy fizyczne i cyfrowe. Te dwie realia oznaczają biegunowe końce spektrum znane jako kontinuum wirtualności. Odwołujemy się do tego spektrum realiów jako spektrum rzeczywistości mieszanej. Na jednym końcu spektrum mamy fizyczną rzeczywistość, którą istniejemy jako ludzie. Na drugim końcu spektrum mamy odpowiednią rzeczywistość cyfrową.
Rzeczywistość rozszerzona a wirtualna
Większość telefonów komórkowych na rynku ma dziś niewiele do żadnych możliwości postrzegania środowiska. Środowiska, które oferują te telefony, nie mogą mieszać realiów fizycznych i cyfrowych.
Środowiska nakładające grafiki, strumienie wideo lub hologramy w świecie fizycznym są nazywane rzeczywistością rozszerzoną. Środowiska, które okludują twój widok, aby przedstawić w pełni immersywne środowisko cyfrowe, to rzeczywistość wirtualna. Środowiska, które mogą przechodzić między rzeczywistością rozszerzoną i wirtualną, tworzą rzeczywistość mieszaną, gdzie można:
- Umieść obiekt cyfrowy, taki jak hologram, w świecie fizycznym tak, jakby był fizycznie obecny.
- Bądź osobiście i cyfrowo obecny w świecie fizycznym, w formie awatara, aby asynchronicznie współpracować z innymi w różnych momentach w czasie.
Gdy użytkownik znajduje się w rzeczywistości wirtualnej, fizyczne przeszkody w bezpośrednim otoczeniu, takie jak ściany i meble, są reprezentowane cyfrowo w środowisku, aby użytkownik mógł uniknąć kolizji z tymi fizycznymi przeszkodami.
Obraz: Spektrum rzeczywistości mieszanej
Większość dostępnych obecnie środowisk rzeczywistości rozszerzonej i rzeczywistości wirtualnej reprezentuje niewielki podzbiór większego spektrum rzeczywistości mieszanej. Windows 10 jest zbudowana z myślą o całym spektrum i umożliwia łączenie cyfrowych reprezentacji ludzi, miejsc i rzeczy z rzeczywistym światem.
Urządzenia i środowiska
Istnieją dwa główne typy urządzeń, które zapewniają Windows Mixed Reality środowiska:
- Urządzenia holograficzne charakteryzują się zdolnością urządzenia do wyświetlania obiektów cyfrowych tak, jakby istniały w świecie rzeczywistym.
- Immersyjne urządzenia VR charakteryzują się zdolnością urządzenia do tworzenia poczucia obecności przez blokowanie świata fizycznego i zastępowanie go w pełni immersywnym środowiskiem cyfrowym.
| Charakterystyka | Urządzenia holograficzne | Urządzenia immersywne |
|---|---|---|
| Przykładowe urządzenie | Microsoft HoloLens | Samsung HMD Odyssey+ |
| Wyświetlanie | Wyświetlanie ekranu z prześliciem. Umożliwia użytkownikowi wyświetlanie środowiska fizycznego podczas noszenia zestawu słuchawkowego. | Nieprzezroczystych wyświetlaczy. Blokuje środowisko fizyczne podczas noszenia zestawu słuchawkowego. |
| Ruch | Pełny sześciostopniowy ruch swobody, zarówno rotacja, jak i tłumaczenie. | Pełny sześciostopniowy ruch swobody, zarówno rotacja, jak i tłumaczenie. |
Uwaga
Niezależnie od tego, czy urządzenie jest związane z oddzielnym komputerem (za pośrednictwem kabla USB lub Wi-Fi), czy nie odzwierciedla, czy urządzenie jest holograficzne, czy immersywne. Funkcje zwiększające mobilność często zapewniają lepsze środowiska. Urządzenia holograficzne i immersyjne mogą być tethered lub untethered.
Środowiska rzeczywistości mieszanej są wynikiem postępów technologicznych. Windows 10 udostępnia wspólną platformę rzeczywistości mieszanej zarówno dla producentów urządzeń, jak i deweloperów. Każde urządzenie może obecnie obsługiwać określony zakres w spektrum rzeczywistości mieszanej. W przyszłości oczekuje się, że nowe urządzenia z bardziej ekspansywnym zakresem: urządzenia holograficzne będą bardziej immersywne, a urządzenia immersyjne będą bardziej holograficzne.
Obraz: gdzie istnieją urządzenia w spektrum rzeczywistości mieszanej
Jakiego typu środowiska chcesz utworzyć jako deweloper aplikacji lub gier? Środowiska zwykle będą dotyczyć określonego punktu lub części w spektrum. Należy wziąć pod uwagę możliwości urządzeń, które mają być docelowe. Środowiska, które opierają się na świecie fizycznym, będą działać najlepiej na urządzeniu HoloLens.
- W kierunku lewej (w pobliżu rzeczywistości fizycznej). Użytkownicy pozostają obecni w swojej rzeczywistości fizycznej i nie są przekonani, że opuścili to rzeczywistość.
- W środku (w pełni mieszana rzeczywistość). Te doświadczenia łączą świat rzeczywisty i świat cyfrowy. Na przykład w filmie Jumanji fizyczna struktura domu, w którym miała miejsce historia, została połączona ze środowiskiem dżungli.
- W kierunku prawej strony (w pobliżu rzeczywistości cyfrowej). Użytkownicy doświadczają rzeczywistości cyfrowej i nie wiedzą o fizycznej rzeczywistości wokół nich.
Następny punkt kontrolny odnajdywania
Jesteś na początku podróży odkryć , którą ustaliliśmy dla Ciebie i poznasz podstawy rzeczywistości mieszanej. W tym miejscu możesz przejść do następnego podstawowego tematu: