Wspólne doświadczenia w rzeczywistości mieszanej
Hologramy nie muszą być prywatne tylko dla jednego użytkownika. Aplikacje holograficzne mogą udostępniać kotwice przestrzenne z jednego urządzenia HoloLens, iOS lub Android do innego, co umożliwia użytkownikom renderowanie hologramu w tym samym miejscu w świecie rzeczywistym na wielu urządzeniach.
Sześć pytań dotyczących definiowania scenariuszy udostępnionych
Przed rozpoczęciem projektowania dla środowisk udostępnionych należy zdefiniować scenariusze docelowe. Te scenariusze pomagają wyjaśnić, co projektujesz i ustanowić wspólne słownictwo, aby ułatwić porównywanie i kontrastowanie funkcji wymaganych w środowisku użytkownika. Zrozumienie podstawowego problemu i różnych możliwości rozwiązań jest kluczem do odkrywania możliwości związanych z tym nowym medium.
Dzięki wewnętrznym prototypom i eksploracjom z naszych agencji partnerskich holoLens utworzyliśmy sześć pytań, które pomogą Ci zdefiniować udostępnione scenariusze. Te pytania stanowią strukturę, która nie jest wyczerpująca, aby pomóc w destylowania ważnych atrybutów scenariuszy.
1. W jaki sposób są one udostępniane?
Prezentacja może być prowadzona przez jednego użytkownika wirtualnego, podczas gdy wielu użytkowników może współpracować, lub nauczyciel może zapewnić wskazówki dla wirtualnych uczniów pracujących z materiałami wirtualnymi — złożoność środowisk zwiększa się w zależności od poziomu agencji, którą użytkownik ma lub może mieć w scenariuszu.
Istnieje wiele sposobów udostępniania, ale odkryliśmy, że większość z nich należy do trzech kategorii:
- Prezentacja: gdy ta sama zawartość jest wyświetlana kilku użytkownikom. Na przykład: Profesor wygłasza wykład kilku uczniom przy użyciu tego samego materiału holograficznego prezentowanego wszystkim. Profesor może jednak mieć własne wskazówki i zauważa, że może nie być widoczne dla innych.
- Współpraca: Kiedy ludzie współpracują ze sobą, aby osiągnąć kilka typowych celów. Na przykład: Profesor wydał projekt, aby dowiedzieć się więcej o wykonywaniu operacji serca. Uczniowie sparowają się i tworzą wspólne doświadczenie w laboratorium umiejętności, które umożliwia studentom medycyny współpracę nad modelem serca i naukę.
- Wskazówka: Gdy jedna osoba pomaga komuś rozwiązać problem w więcej interakcji w stylu "jeden do jednego". Na przykład: Profesor udziela wskazówek studentowi, gdy wykonuje laboratorium umiejętności chirurgii serca w wspólnym doświadczeniu.
2. Jaki jest rozmiar grupy?
Środowiska do udostępniania "jeden do jednego" mogą zapewnić silną linię bazową i najlepiej utworzyć weryfikację koncepcji na tym poziomie. Należy jednak pamiętać, że dzielenie się z dużymi grupami (poza sześcioma osobami) może prowadzić do trudności zarówno technicznych (danych i sieci) jak i społecznych (wpływ bycia w pokoju z kilkoma awatarami). Złożoność zwiększa się wykładniczo w miarę przechodzenia z małych do dużych grup.
Odkryliśmy, że potrzeby grup mogą należeć do trzech kategorii rozmiarów:
- 1:1
- Mały < 7
- Duży >= 7
Rozmiar grupy sprawia, że ważne pytanie ma wpływ na:
- Reprezentacje osób w przestrzeni holograficznej
- Skalowanie obiektów
- Skala środowiska
3. Gdzie są wszyscy?
Siła rzeczywistości mieszanej wchodzi w grę, gdy wspólne środowisko może się odbywać w tej samej lokalizacji. Nazywamy to kolokacją. Z drugiej strony, gdy grupa jest rozproszona i co najmniej jeden uczestnik nie znajduje się w tej samej przestrzeni fizycznej (co często zdarza się w przypadku VR), nazywamy to doświadczeniem zdalnym. Często zdarza się, że grupa ma zarówno kolokowanych, jak i zdalnych uczestników (na przykład dwie grupy w salach konferencyjnych).
Następujące kategorie ułatwiają przekazywanie lokalizacji użytkowników:
- Kolokowane: wszyscy użytkownicy będą znajdować się w tej samej przestrzeni fizycznej.
- Zdalne: wszyscy użytkownicy będą znajdować się w oddzielnych miejscach fizycznych.
- Oba: Twoi użytkownicy będą kombinacją kolokowanych i zdalnych miejsc.
To pytanie ma kluczowe znaczenie, ponieważ ma wpływ na:
- Jak ludzie komunikują się?
- Na przykład: Czy powinny mieć awatary?
- Jakie obiekty widzą. Czy wszystkie obiekty są współużytkowane?
- Czy musimy dostosować się do ich środowiska?
4. Kiedy są one udostępniane?
Zazwyczaj myślimy o synchronicznych doświadczeniach , gdy pojawiają się wspólne doświadczenia: Wszyscy to robimy razem. Jeśli jednak uwzględnimy pojedynczy, wirtualny element, który został dodany przez kogoś innego, mamy scenariusz asynchroniczny . Wyobraź sobie notatkę lub notatkę głosową pozostawioną w środowisku wirtualnym. Jak obsłużyć 100 notatek wirtualnych pozostawionych w projekcie? Co zrobić, jeśli pochodzą z kilkudziesięciu osób o różnych poziomach prywatności?
Rozważ swoje doświadczenia jako jedną z następujących kategorii czasu:
- Synchronicznie: udostępnianie środowiska holograficznego w tym samym czasie. Na przykład: dwóch uczniów wykonujących laboratorium umiejętności w tym samym czasie.
- Asynchronicznie: udostępnianie środowiska holograficznego w różnych momentach. Na przykład: dwóch uczniów wykonujących laboratorium umiejętności, ale pracujących nad oddzielnymi sekcjami w różnym czasie.
- Oba: Użytkownicy będą czasami współużytkować się synchronicznie, ale w innych przypadkach asynchronicznie. Na przykład: Profesor ukończenia zadania wykonanego przez studentów w późniejszym czasie i pozostawienie notatek dla studentów na następny dzień.
To pytanie jest ważne, ponieważ ma wpływ na:
- Trwałość obiektu i środowiska. Na przykład: przechowywanie stanów w celu ich pobrania.
- Perspektywa użytkownika. Na przykład: Być może pamiętaj, co użytkownik patrzył podczas opuszczania notatek.
5. Jak podobne są ich środowiska fizyczne?
Prawdopodobieństwo dwóch identycznych środowisk rzeczywistych, poza środowiskami kolokowanymi, jest niewielkie, chyba że te środowiska zostały zaprojektowane tak, aby były identyczne. Prawdopodobnie będziesz mieć podobne środowiska. Na przykład pokoje konferencyjne są podobne — zazwyczaj mają centralnie położony stół otoczony krzesłami. Z drugiej strony pokoje mieszkalne są różne i mogą zawierać dowolną liczbę mebli w nieskończonej tablicy układów.
Weź pod uwagę współużytkowanie środowisk w jednej z następujących dwóch kategorii:
- Podobne: Środowiska, które mają tendencję do podobnych mebli, otoczenia światła i dźwięku, fizycznego rozmiaru pokoju. Na przykład: Profesor znajduje się w sali wykładowej A, a studenci znajdują się w sali wykładowej B. Sala wykładowa A może mieć mniej krzeseł niż B, ale obaj mogą mieć fizyczne biurko do umieszczania hologramów.
- Różne: Środowiska, które różnią się w ustawieniach mebli, rozmiarach pomieszczeń, świetle i zagadnieniach dźwiękowych. Na przykład: Profesor znajduje się w pokoju fokusowym, ale uczniowie znajdują się w dużej sali wykładowej, wypełnionej uczniami i nauczycielami.
Ważne jest, aby zastanowić się nad środowiskiem, ponieważ będzie to mieć wpływ na:
- Jak ludzie będą doświadczać tych obiektów. Na przykład: Jeśli środowisko działa najlepiej w tabeli, a użytkownik nie ma tabeli? Albo na płaskiej powierzchni podłogowej, ale użytkownik ma zaśmieconą przestrzeń.
- Skalowanie obiektów. Na przykład: Umieszczenie na stole modelu 6 stóp może być trudne, ale model serca będzie działać świetnie.
6. Z jakich urządzeń korzystają?
Obecnie często spotykasz wspólne środowiska między dwoma urządzeniami immersyjnymi (te urządzenia mogą się nieznacznie różnić w przypadku przycisków i względnych możliwości, ale nie znacznie) lub dwóch urządzeń holograficznych , biorąc pod uwagę rozwiązania przeznaczone dla tych urządzeń. Należy jednak rozważyć, czy urządzenia 2D (uczestnik lub obserwator urządzeń przenośnych lub komputerów stacjonarnych) będą konieczne, zwłaszcza w sytuacjach mieszanych urządzeń 2D i 3D. Zrozumienie typów urządzeń, z których będą korzystać uczestnicy, jest ważne, nie tylko dlatego, że mają różne ograniczenia wierności i możliwości danych, ale także dlatego, że użytkownicy mają unikatowe oczekiwania dla każdej platformy.
Eksplorowanie potencjału wspólnych środowisk
Odpowiedzi na powyższe pytania można połączyć w celu lepszego zrozumienia udostępnionego scenariusza, krystalizując wyzwania podczas rozszerzania środowiska. Dla zespołu w firmie Microsoft pomogło to ustalić plan rozwoju używanych obecnie środowisk, zrozumienie niuansów tych złożonych problemów i wykorzystanie wspólnych doświadczeń w rzeczywistości mieszanej.
Rozważmy na przykład jeden ze scenariuszy skype'a z uruchomienia urządzenia HoloLens: użytkownik przepracuje sposób naprawy przełącznika światła uszkodzonego z pomocą od zdalnie zlokalizowanego eksperta.
Ekspert zapewnia wskazówki 1:1 od jego 2D, komputera stacjonarnego do użytkownika urządzenia 3D, rzeczywistości mieszanej . Wskazówki są synchroniczne, a środowiska fizyczne są różne.
Takie środowisko to krok zmiany z naszego bieżącego środowiska — stosowanie paradygmatu wideo i głosu do nowego medium. Ale gdy patrzymy na przyszłość, musimy lepiej zdefiniować możliwości naszych scenariuszy i tworzyć środowiska odzwierciedlające siłę rzeczywistości mieszanej.
Rozważ narzędzie do współpracy OnSight opracowane przez Laboratorium Napędu Odrzutowego NASA. Naukowcy pracujący nad danymi z misji łazika marsjańskiego mogą współpracować z kolegami w czasie rzeczywistym w danych z marsjańskiego krajobrazu.
Naukowiec bada środowisko przy użyciu urządzenia 3D, rzeczywistości mieszanej z małą grupą współpracowników zdalnych przy użyciu urządzeń 3D i 2D . Współpraca jestsynchroniczna (ale może być ponownie odwiedzana asynchronicznie), a środowiska fizyczne są (praktycznie) podobne.
Środowiska takie jak OnSight prezentują nowe możliwości współpracy. Od fizycznego wskazywania elementów w środowisku wirtualnym do pozycji obok współpracownika i dzielenia się swoją perspektywą, wyjaśniając swoje ustalenia. Usługa OnSight używa obiektywu zanurzenia i obecności, aby przemyśleć dzielenie się środowiskami w rzeczywistości mieszanej.
Intuicyjna współpraca to podstawa konwersacji, współpraca i zrozumienie, jak możemy zastosować tę intuicję do złożoności rzeczywistości mieszanej, ma kluczowe znaczenie. Jeśli nie tylko będziemy mogli odtworzyć doświadczenia w rzeczywistości mieszanej, ale ich doładować, będzie to zmiana paradygmatu na przyszłość pracy. Projektowanie pod kątem wspólnych doświadczeń w rzeczywistości mieszanej to nowa i ekscytująca przestrzeń — i dopiero na początku.
Wprowadzenie do tworzenia środowisk udostępnionych
W zależności od aplikacji i scenariusza będą istnieć różne wymagania dotyczące osiągnięcia żądanego środowiska. Oto niektóre poprawki:
- Tworzenie dopasowań: możliwość tworzenia sesji, anonsowania sesji, odnajdywania i zapraszania określonych osób, zarówno lokalnie, jak i zdalnie w celu dołączenia do sesji.
- Udostępnianie zakotwiczeń: możliwość wyrównywania współrzędnych między wieloma urządzeniami we wspólnej przestrzeni lokalnej, dlatego hologramy są wyświetlane w tym samym miejscu dla wszystkich osób.
- Sieć: możliwość posiadania pozycji, interakcji i ruchów osób i hologramów synchronizowanych w czasie rzeczywistym przez wszystkich uczestników.
- Przechowywanie stanu: możliwość przechowywania cech i lokalizacji hologramu w przestrzeni na potrzeby sprzężenia w połowie sesji, kompletności w późniejszym czasie i niezawodności w przypadku problemów z siecią.
Kluczem do współużytkowanych środowisk jest posiadanie wielu użytkowników widząc te same hologramy na świecie na własnym urządzeniu, często wykonywane przez udostępnianie kotwic w celu wyrównania współrzędnych między urządzeniami.
Aby udostępnić kotwice, użyj usługi Azure Spatial Anchors:
- Najpierw użytkownik umieszcza hologram.
- Aplikacja tworzy kotwicę przestrzenną, aby przypiąć ten hologram dokładnie na świecie.
- Kotwice można udostępniać urządzeniom HoloLens, iOS i Android za pośrednictwem usługi Azure Spatial Anchors.
Dzięki udostępnionej kotwicy przestrzennej aplikacja na każdym urządzeniu ma teraz wspólny system współrzędnych , w którym może umieszczać zawartość. Teraz aplikacja może zapewnić położenie i orientację hologramu w tej samej lokalizacji.
Na urządzeniach HoloLens możesz również udostępniać kotwice w trybie offline z jednego urządzenia do innego. Skorzystaj z poniższych linków, aby zdecydować, co jest najlepsze dla aplikacji.
Ocenianie opcji technologicznych
Dostępne są różne opcje usług i technologii, które ułatwiają tworzenie środowisk rzeczywistości mieszanej dla wielu użytkowników. Wybranie ścieżki może być trudne, więc biorąc pod uwagę perspektywę skoncentrowaną na scenariuszu, poniżej przedstawiono niektóre opcje.
Udostępnione statyczne hologramy (brak interakcji)
Korzystanie z usługi Azure Spatial Anchors w aplikacji. Włączenie i udostępnianie kotwic przestrzennych na urządzeniach umożliwia utworzenie aplikacji, w której użytkownicy widzą hologramy w tym samym miejscu w tym samym czasie. Wymagana jest dodatkowa synchronizacja między urządzeniami, aby umożliwić użytkownikom interakcję z hologramami i zobaczyć operacje przenoszenia lub aktualizacji stanu hologramów.
Udostępnianie perspektywy pierwszej osoby
Korzystaj z wbudowanej obsługi Miracast dla użytkowników lokalnych, jeśli masz obsługiwany odbiornik Miracast, taki jak komputer lub telewizor. Nie jest wymagany żaden dodatkowy kod aplikacji.
Środowisko współpracy wielu użytkowników
Zacznij od naszego samouczka dotyczącego uczenia wielu użytkowników, który korzysta z usługi Azure Spatial Anchors dla użytkowników lokalnych i zestawu Photon SDK do synchronizowania zawartości/stanu w scenie. Twórz lokalnie aplikacje do współpracy, w których każdy użytkownik ma własną perspektywę na hologramach na scenie i może w pełni wchodzić w interakcje z hologramami. Aktualizacje są udostępniane we wszystkich urządzeniach, a zarządzanie konfliktami interakcji jest obsługiwane przez firmę Photon.
Uwaga
Należy pamiętać, że photon jest produktem firmy innej niż Microsoft, dlatego w celu zwiększenia użycia może być wymagana relacja rozliczeń z usługą Photon.
Praca w przyszłości
Możliwości i interfejsy składników pomogą zapewnić wspólną spójność i niezawodną obsługę w różnych scenariuszach i podstawowych technologiach. Do tego czasu wybierz najlepszą ścieżkę zgodną ze scenariuszem, który próbujesz osiągnąć w aplikacji.
Inny scenariusz lub chęć korzystania z innej technologii/usługi? Prześlij opinię jako problemy z usługą GitHub w odpowiednim repozytorium, w dolnej części tej strony lub skontaktuj się z pomocą usługi HoloDevelopers Slack.