Wspólne środowiska w rzeczywistości mieszanej

Hologramy nie muszą być prywatne tylko dla jednego użytkownika. Aplikacje holograficzne mogą udostępniać kotwice przestrzenne z jednego urządzenia HoloLens, iOS lub Android do innego, umożliwiając użytkownikom renderowanie hologramu w tym samym miejscu w świecie rzeczywistym na wielu urządzeniach.

Sześć pytań dotyczących definiowania scenariuszy udostępnionych

Przed rozpoczęciem projektowania dla środowisk udostępnionych ważne jest zdefiniowanie scenariuszy docelowych. Te scenariusze pomagają wyjaśnić, co projektujesz i ustanawiasz wspólne słownictwo, aby ułatwić porównywanie i kontrastowanie funkcji wymaganych w środowisku. Zrozumienie podstawowego problemu i różnych możliwości rozwiązań jest kluczem do odkrywania możliwości związanych z tym nowym medium.

Dzięki wewnętrznym prototypom i eksploracjom naszych agencji partnerskich HoloLens utworzyliśmy sześć pytań, które pomogą Ci zdefiniować udostępnione scenariusze. Te pytania stanowią strukturę, która nie ma być wyczerpująca, aby pomóc w destylowaniu ważnych atrybutów scenariuszy.

1. Jak są one udostępniane?

Prezentacja może być prowadzona przez jednego użytkownika wirtualnego, podczas gdy wielu użytkowników może współpracować lub nauczyciel może dostarczyć wskazówek dla wirtualnych uczniów pracujących z materiałami wirtualnymi — złożoność środowisk zwiększa się na podstawie poziomu agencji, którą użytkownik ma lub może mieć w scenariuszu.

Man and women with holograph on table

Istnieje wiele sposobów udostępniania, ale okazało się, że większość z nich należy do trzech kategorii:

  • Prezentacja: gdy ta sama zawartość jest wyświetlana kilku użytkownikom. Na przykład: Profesor rozdaje wykład kilku uczniom korzystającym z tego samego materiału holograficznego prezentowanego wszystkim. Profesor mógł jednak mieć własne wskazówki i zauważa, że może nie być widoczne dla innych.
  • Współpraca: kiedy ludzie współpracują ze sobą, aby osiągnąć kilka wspólnych celów. Na przykład: Profesor wydał projekt, aby dowiedzieć się więcej na temat wykonywania operacji serca. Uczniowie łączą się i tworzą wspólne doświadczenie w laboratorium umiejętności, które umożliwia studentom medycyny współpracę nad modelem serca i naukę.
  • Wskazówki: Gdy jedna osoba pomaga komuś rozwiązać problem w interakcji z jednym stylem. Na przykład: Profesor udziela wskazówek studentowi, gdy wykonuje laboratorium umiejętności operacji serca w wspólnym doświadczeniu.

2. Jaki jest rozmiar grupy?

Środowisko udostępniania jeden do jednego może zapewnić silną linię bazową i najlepiej można utworzyć dowód koncepcji na tym poziomie. Należy jednak pamiętać, że dzielenie się z dużymi grupami (poza sześcioma osobami) może prowadzić do trudności technicznych (danych i sieci) i społecznych (wpływ bycia w pokoju z kilkoma awatarami). Złożoność zwiększa się wykładniczo, gdy przechodzisz z małych do dużych grup.

Odkryliśmy, że potrzeby grup mogą należeć do trzech kategorii rozmiarów:

  • 1:1
  • Mały < 7
  • Duży >= 7

Rozmiar grupy sprawia, że ważne pytanie ma wpływ na:

  • Reprezentacje ludzi w przestrzeni holograficznej
  • Skalowanie obiektów
  • Skala środowiska

3. Gdzie są wszyscy?

Siła rzeczywistości mieszanej wchodzi w grę, gdy wspólne środowisko może odbywać się w tej samej lokalizacji. Nazywamy to colocated. Z drugiej strony, gdy grupa jest dystrybuowana, a co najmniej jeden uczestnik nie znajduje się w tej samej przestrzeni fizycznej (co często ma miejsce w przypadku VR), nazywamy to środowiskiem zdalnym. Często zdarza się, że grupa ma zarówno colocated, jak i zdalnych uczestników (na przykład dwie grupy w salach konferencyjnych).

Three people with holograph on table

Następujące kategorie ułatwiają przekazywanie lokalizacji użytkowników:

  • Colocated: wszyscy użytkownicy będą znajdować się w tej samej przestrzeni fizycznej.
  • Zdalne: wszyscy użytkownicy będą mieć oddzielne przestrzenie fizyczne.
  • Oba: Twoi użytkownicy będą mieszanką colocated i zdalnych miejsc.

To pytanie ma kluczowe znaczenie, ponieważ wpływa na:

  • Jak ludzie komunikują się?
    • Na przykład: Czy powinny mieć awatary?
  • Jakie obiekty widzą. Czy wszystkie obiekty są współużytkowane?
  • Czy musimy dostosować się do ich środowiska?

4. Kiedy są one udostępniane?

Zazwyczaj myślimy o synchronicznych doświadczeniach , gdy pojawiają się wspólne doświadczenia: Wszyscy to robimy razem. Jeśli jednak uwzględnimy pojedynczy, wirtualny element, który został dodany przez inną osobę, mamy scenariusz asynchroniczny . Imagine notatkę lub notatkę głosową pozostawioną w środowisku wirtualnym. Jak obsługiwać 100 not wirtualnych pozostawionych w projekcie? Co zrobić, jeśli pochodzą z kilkudziesięciu osób o różnych poziomach prywatności?

Weź pod uwagę swoje doświadczenia jako jedną z następujących kategorii czasu:

  • Synchronicznie: Udostępnianie środowiska holograficznego w tym samym czasie. Na przykład: dwóch uczniów wykonujących laboratorium umiejętności w tym samym czasie.
  • Asynchronicznie: Udostępnianie środowiska holograficznego w różnych momentach. Na przykład: Dwóch uczniów robi laboratorium umiejętności, ale pracuje nad oddzielnymi sekcjami w różnych momentach.
  • Oba: Użytkownicy czasami będą współużytkować synchronicznie, ale w innych przypadkach asynchronicznie. Na przykład: Profesor ukończenia zadania wykonanego przez studentów w późniejszym czasie i pozostawiając notatki dla studentów na następny dzień.

To pytanie jest ważne, ponieważ ma wpływ na:

  • Trwałość obiektu i środowiska. Na przykład: przechowywanie stanów w celu ich pobrania.
  • Perspektywa użytkownika. Na przykład: Być może pamiętasz, co użytkownik patrzył podczas opuszczania notatek.

5. Jak podobne są ich środowiska fizyczne?

Prawdopodobieństwo dwóch identycznych środowisk rzeczywistych, poza środowiskami kolokowanym, jest szczupłe, chyba że te środowiska zostały zaprojektowane tak samo. Bardziej prawdopodobne jest posiadanie podobnych środowisk. Na przykład pokoje konferencyjne są podobne — zazwyczaj mają centralnie położony stół otoczony krzesłami. Z drugiej strony pokoje dzienne są różne i mogą zawierać dowolną liczbę mebli w nieskończonej tablicy układów.

Holograph on table

Rozważ zastosowanie środowisk udostępniania do jednej z następujących dwóch kategorii:

  • Podobne: Środowiska, które mają tendencję do podobnych mebli, otoczenia światła i dźwięku, fizycznego rozmiaru pokoju. Na przykład: Profesor znajduje się w sali wykładowej A, a studenci znajdują się w sali wykładowej B. Sala wykładowa A może mieć mniej krzeseł niż B, ale oba mogą mieć fizyczne biurka do umieszczania hologramów.
  • Różne: Środowiska, które różnią się w ustawieniach mebli, rozmiarach pomieszczeń, świetle i zagadnieniach dotyczących dźwięku. Na przykład: Profesor znajduje się w pokoju fokusowym, ale studenci znajdują się w dużej sali wykładowej, wypełnionej uczniami i nauczycielami.

Ważne jest , aby myśleć o środowisku, ponieważ wpłynie to na:

  • Jak ludzie będą doświadczać tych obiektów. Jeśli na przykład środowisko działa najlepiej w tabeli, a użytkownik nie ma tabeli? Albo na płaskiej powierzchni podłogi, ale użytkownik ma zaśmieconą przestrzeń.
  • Skalowanie obiektów. Na przykład: Umieszczenie sześciostopowego modelu ludzkiego na stole może być trudne, ale model serca będzie działać świetnie.

6. Z jakich urządzeń korzystają?

Obecnie często widzisz wspólne środowiska między dwoma urządzeniami immersyjnymi (te urządzenia mogą się nieco różnić w przypadku przycisków i względnych możliwości, ale nie znacznie) lub dwóch urządzeń holograficzne , biorąc pod uwagę rozwiązania przeznaczone dla tych urządzeń. Należy jednak rozważyć, czy urządzenia 2D (uczestnik mobilny/stacjonarny lub obserwator) będą konieczne, szczególnie w sytuacjach mieszanych urządzeń 2D i 3D. Zrozumienie typów urządzeń używanych przez uczestników jest ważne, nie tylko dlatego, że mają różne ograniczenia wierności i możliwości, ale dlatego, że użytkownicy mają unikatowe oczekiwania dla każdej platformy.

Eksplorowanie potencjału wspólnych środowisk

Odpowiedzi na powyższe pytania można połączyć w celu lepszego zrozumienia udostępnionego scenariusza, krystalizując wyzwania podczas rozszerzania środowiska. W przypadku zespołu w firmie Microsoft pomogło to stworzyć mapę drogową na rzecz poprawy używanych obecnie środowisk, zrozumienia niuansów tych złożonych problemów i wykorzystania wspólnych doświadczeń w rzeczywistości mieszanej.

Rozważmy na przykład jeden z scenariuszy Skype z uruchomienia HoloLens: użytkownik pracował przez sposób naprawy uszkodzonego przełącznika światła z pomocą od zdalnie zlokalizowanego eksperta.

Fixing a light switch with assistance via Skype for HoloLens

Ekspert zapewnia wskazówki 1:1 ze swojego 2D, komputera stacjonarnego do użytkownika urządzenia 3D, rzeczywistości mieszanej . Wskazówkisynchroniczne, a środowiska fizyczne są różne.

Takie doświadczenie to krok zmiany z naszego bieżącego środowiska — stosowanie paradygmatu wideo i głosu do nowego nośnika. Ale gdy patrzymy na przyszłość, musimy lepiej zdefiniować możliwości naszych scenariuszy i tworzyć środowiska odzwierciedlające siłę rzeczywistości mieszanej.

Weź pod uwagę narzędzie współpracy OnSight opracowane przez Laboratorium Napędu Odrzutowego NASA. Naukowcy pracujący nad danymi z misji łazika marsjańskiego mogą współpracować z kolegami w czasie rzeczywistym w danych z marsjańskiego krajobrazu.

Collaborating between colleagues separated remotely to plan work for the Mars Rover

Naukowiec bada środowisko przy użyciu urządzenia 3D, rzeczywistości mieszanej z małą grupą zdalnych współpracowników korzystających z urządzeń 3D i 2D . Współpraca jestsynchroniczna (ale może być ponownie zapoznana asynchronicznie) i środowiska fizyczne są (praktycznie) podobne.

Środowiska, takie jak OnSight, prezentują nowe możliwości współpracy. Od fizycznego wskazywania elementów w środowisku wirtualnym do stałego obok współpracownika i dzielenia się swoją perspektywą, ponieważ wyjaśniają swoje ustalenia. Usługa OnSight używa obiektywu immersji i obecności, aby przemyśleć dzielenie się środowiskami w rzeczywistości mieszanej.

Intuicyjna współpraca jest podstawą rozmowy, współpracy i zrozumienia, jak możemy zastosować tę intuicję do złożoności rzeczywistości mieszanej jest kluczowa. Jeśli nie tylko możemy odtworzyć doświadczenia dzielenia się w rzeczywistości mieszanej, ale doładować je, będzie to zmiana paradygmatu na przyszłość pracy. Projektowanie pod kątem wspólnych środowisk w rzeczywistości mieszanej to nowa i ekscytująca przestrzeń — i dopiero na początku.

Wprowadzenie tworzenie środowisk udostępnionych

W zależności od aplikacji i scenariusza będą istnieć różne wymagania dotyczące osiągnięcia żądanego środowiska. Oto niektóre poprawki:

  • Tworzenie dopasowań: Możliwość tworzenia sesji, ogłaszania sesji, odnajdywania i zapraszania określonych osób, zarówno lokalnie, jak i zdalnie, aby dołączyć do sesji.
  • Udostępnianie zakotwiczeń: Możliwość wyrównania współrzędnych między wieloma urządzeniami w wspólnej przestrzeni lokalnej, dlatego hologramy są wyświetlane w tym samym miejscu dla wszystkich osób.
  • Sieć: Możliwość posiadania pozycji, interakcji i ruchów osób i hologramów zsynchronizowanych w czasie rzeczywistym we wszystkich uczestnikach.
  • Magazyn stanu: możliwość przechowywania cech i lokalizacji hologramu w przestrzeni na potrzeby sprzężenia w połowie sesji, przypomnienia w późniejszym czasie i odporności na problemy z siecią.

Kluczem do współużytkowanych środowisk jest posiadanie wielu użytkowników widzących te same hologramy na świecie na własnym urządzeniu, często wykonywane przez udostępnianie kotwic w celu wyrównania współrzędnych między urządzeniami.

Aby udostępnić kotwice, użyj usługi Azure Spatial Anchors:

Dzięki udostępnionej kotwicy przestrzennej aplikacja na każdym urządzeniu ma teraz wspólny system współrzędnych , w którym może umieszczać zawartość. Teraz aplikacja może zapewnić położenie i orientację hologramu w tej samej lokalizacji.

Na HoloLens urządzeniach można również udostępniać kotwice w trybie offline z jednego urządzenia do innego. Skorzystaj z poniższych linków, aby zdecydować, co jest najlepsze dla twojej aplikacji.

Ocenianie opcji technologicznych

Dostępne są różne opcje usług i technologii ułatwiające tworzenie środowisk rzeczywistości mieszanej dla wielu użytkowników. Może to być trudne, aby wybrać ścieżkę, więc biorąc pod uwagę perspektywę skoncentrowaną na scenariuszu, niektóre opcje są szczegółowo opisane poniżej.

Udostępnione statyczne hologramy (bez interakcji)

Korzystanie z usługi Azure Spatial Anchors w aplikacji. Włączenie i udostępnianie zakotwiczeń przestrzennych na urządzeniach umożliwia utworzenie aplikacji, w której użytkownicy widzą hologramy w tym samym miejscu w tym samym czasie. Aby umożliwić użytkownikom interakcję z hologramami i wyświetlanie ruchów lub aktualizacji stanu hologramów, wymagana jest dodatkowa synchronizacja między urządzeniami.

Udostępnianie perspektywy pierwszej osoby

Korzystaj z wbudowanej obsługi Miracast dla użytkowników lokalnych, gdy masz obsługiwany odbiornik Miracast, taki jak komputer lub telewizor. Nie jest wymagany żaden dodatkowy kod aplikacji.

Środowisko współpracy wielu użytkowników

Zacznij od naszego samouczka szkoleniowego dla wielu użytkowników, który korzysta z usługi Azure Spatial Anchors dla użytkowników lokalnych i zestawu Photon SDK do synchronizowania zawartości/stanu w scenie. Twórz lokalne aplikacje do współpracy, w których każdy użytkownik ma własną perspektywę na hologramy w scenie i może w pełni współdziałać z hologramami. Aktualizacje są udostępniane na wszystkich urządzeniach, a zarządzanie konfliktami interakcji jest obsługiwane przez Photon.

Uwaga

Należy pamiętać, że Photon jest produktem firmy innej niż Microsoft, więc relacja rozliczeń z aplikacją Photon może być wymagana do produktu i skalowania w celu zwiększenia użycia.

Praca w przyszłości

Funkcje składników i interfejsy pomogą zapewnić wspólną spójność i niezawodną obsługę różnych scenariuszy i podstawowych technologii. Do tego czasu wybierz najlepszą ścieżkę, która jest zgodna ze scenariuszem, który próbujesz osiągnąć w aplikacji.

Inny scenariusz lub chęć korzystania z innej technologii/usługi? Przekaż opinię jako GitHub problemy w odpowiednim repozytorium, w dolnej części tej strony lub skontaktuj się z usługą HoloDevelopers slack.

Zobacz też