Ramka holografii
Użytkownicy widzą świat rzeczywistości mieszanej za pośrednictwem prostokątnego widoku obsługiwanego przez zestaw słuchawkowy. Na urządzeniu HoloLens ten prostokątny obszar jest nazywany ramką holograficzną i umożliwia użytkownikom wyświetlanie zawartości cyfrowej nakładanej na rzeczywisty świat wokół nich. Projektowanie środowisk zoptymalizowanych pod kątem ram holograficznej stwarza możliwości, zmniejsza wyzwania i zwiększa środowisko użytkownika aplikacji rzeczywistości mieszanej.
Projektowanie pod kątem zawartości
Często projektanci czują potrzebę ograniczenia zakresu swojego środowiska do tego, co użytkownik może natychmiast zobaczyć, poświęcając skalę świata rzeczywistego, aby upewnić się, że użytkownik widzi obiekt w całości. Podobnie projektanci ze złożonymi aplikacjami często przeciążają ramkę holgraficzną zawartością, przytłaczając użytkowników z trudnymi interakcjami i zaśmieconymi interfejsami. Projektanci tworzący zawartość rzeczywistości mieszanej nie muszą ograniczać środowiska bezpośrednio przed użytkownikiem i w bezpośrednim widoku. Jeśli świat fizyczny na całym użytkowniku jest mapowany, wszystkie te powierzchnie powinny być traktowane jako potencjalna kanwa dla zawartości cyfrowej i interakcji. Odpowiedni projekt interakcji i zawartości w środowisku powinien zachęcić użytkownika do poruszania się po swojej przestrzeni, kierując uwagę na kluczową zawartość i pomagając zobaczyć pełny potencjał rzeczywistości mieszanej.
Być może najważniejszą techniką zachęcania do przenoszenia i eksploracji w aplikacji jest pozwolić użytkownikom dostosować się do środowiska. Nadaj użytkownikom krótki okres "wolny od zadania" przy użyciu urządzenia. Może to być tak proste, jak umieszczenie obiektu w przestrzeni i umożliwienie użytkownikom poruszania się po nim lub opowiadania o wprowadzeniu do środowiska. Tym razem powinno być wolne od wszelkich krytycznych zadań lub konkretnych gestów, takich jak naciśnięcie powietrza. Celem jest, aby umożliwić użytkownikom wyświetlanie zawartości za pośrednictwem urządzenia przed wymaganiem interakcyjności lub postępów w aplikacji. Jest to szczególnie ważne dla użytkowników po raz pierwszy, ponieważ czują się komfortowo widząc zawartość za pośrednictwem ramy holograficznej i charakteru hologramów.
Duże obiekty
Często zawartość wywoływana przez środowisko, szczególnie rzeczywista zawartość, będzie większa niż ramka holografii. Obiekty, które nie mogą normalnie mieścić się w ramce holograficznej, powinny być odchyline, aby zmieściły się, gdy zostaną wprowadzone po raz pierwszy (w mniejszej skali lub w odległości). Kluczem jest pozwolić użytkownikom zobaczyć pełny rozmiar obiektu , zanim skala przytłocza ramkę. Na przykład słoń holograficzny powinien być wyświetlany, aby zmieścił się w pełni w ramce. Dzięki temu użytkownicy mogą utworzyć wiedzę przestrzenną o ogólnym kształcie zwierzęcia, zanim zaskalują go do rzeczywistej skali w pobliżu użytkownika.
Mając na uwadze pełny rozmiar obiektu, użytkownicy oczekują, gdzie poruszać się i szukać określonych części tego obiektu. W środowisku z zawartością immersywną ułatwia ona odwoływanie się do pełnego rozmiaru tej zawartości. Jeśli na przykład doświadczenie polega na poruszaniu się po modelu domu wirtualnego, pomaga mieć mniejszą wersję doświadczenia w wielkości lalki, aby wskazać, gdzie znajdują się w domu.
Aby zapoznać się z przykładem projektowania dużych obiektów, zobacz Volvo Cars.
Wiele obiektów
Środowiska z wieloma obiektami lub składnikami powinny rozważyć użycie pełnej przestrzeni wokół użytkownika, aby uniknąć zaśmiecania ramki holograficznej bezpośrednio przed użytkownikiem. Zalecamy spowolnienie wprowadzania zawartości do środowiska, szczególnie w przypadku środowisk, które planują obsłużyć wiele obiektów użytkownikowi. Kluczem jest pozwolić użytkownikom zrozumieć układ zawartości w środowisku, co pomaga im zrozumieć przestrzenne informacje o tym, co jest wokół nich w miarę aktualizowania zawartości.
Jedną z technik osiągnięcia tego celu jest zapewnienie trwałych punktów (znanych również jako punkty orientacyjne) w środowisku, które kotwiczy zawartość w świecie rzeczywistym. Na przykład punkt orientacyjny może być obiektem fizycznym w świecie rzeczywistym, takim jak tabela, w której pojawia się zawartość cyfrowa lub obiekt cyfrowy, taki jak zestaw ekranów cyfrowych, w których często pojawia się zawartość. Obiekty można również umieścić na peryferiach ramki holograficznej, aby zachęcić użytkownika do przyjrzenia się kluczowej zawartości. Odnajdywanie treści poza peryferią może być wspomagane przez dyrektorów uwagi.
Umieszczenie obiektów na peryferiach może zachęcić użytkowników do spojrzenia na bok i może to być wspomagane przez dyrektorów uwagi, zgodnie z poniższym opisem. Aby uzyskać więcej informacji na temat zagadnień dotyczących ram holograficznej, zobacz dokumentację komfortu .
Zagadnienia dotyczące interakcji
Podobnie jak w przypadku zawartości, interakcje w środowisku rzeczywistości mieszanej nie muszą być ograniczone do tego, co użytkownik może natychmiast zobaczyć. Interakcje mogą odbywać się w dowolnym miejscu w rzeczywistej przestrzeni wokół użytkownika. Te interakcje mogą pomóc zachęcić użytkowników do poruszania się po środowiskach i eksplorowania ich.
Dyrektorzy uwagi
Wskazywanie punktów orientacyjnych lub kluczowych interakcji może mieć kluczowe znaczenie dla postępów użytkowników za pośrednictwem środowiska. Uwagę użytkownika i ruch ramki holograficznej można kierować w subtelny lub ciężki sposób. Pamiętaj, aby zrównoważyć uwagę dyrektorów z okresami wolnej eksploracji w rzeczywistości mieszanej (zwłaszcza na początku doświadczenia), aby uniknąć przeciążenia użytkownika. Ogólnie rzecz biorąc, istnieją dwa typy dyrektorów uwagi:
- Dyrektorzy wizualizacji: Najprostszym sposobem, aby poinformować użytkownika, że powinien poruszać się w określonym kierunku, jest podanie wskazania wizualnego. Można to zrobić za pomocą efektu wizualnego (na przykład ścieżki, którą użytkownik może wizualnie śledzić w kierunku następnej części środowiska), a nawet jako proste strzałki kierunkowe. Każdy wskaźnik wizualny powinien być uziemiony w środowisku użytkownika, a nie "dołączony" do ramki holograficznej ani kursora.
- Reżyserzy audio:Dźwięk przestrzenny może zapewnić zaawansowany sposób ustanawiania obiektów na scenie. Możesz powiadamiać użytkowników o obiektach wprowadzających środowisko lub zwrócić uwagę na określony punkt w przestrzeni, przenosząc widok użytkownika do kluczowych obiektów. Używanie reżyserów audio do kierowania uwagi użytkownika może być bardziej subtelne i mniej uciążliwe niż reżyserzy wizualni. W niektórych przypadkach najlepszym rozwiązaniem może być rozpoczęcie od reżysera audio, a następnie przejście do dyrektora wizualnego, jeśli użytkownik nie rozpoznaje wskazówek. Reżyserzy audio mogą być również połączeni z reżyserami wizualnymi w celu podkreślenia.
Polecenia, nawigacja i menu
Interfejsy w środowiskach rzeczywistości mieszanej idealnie są ściśle sparowane z zawartością cyfrową, którą kontrolują. W związku z tym bezpłatne menu 2D często nie są idealne do interakcji i mogą być trudne dla użytkowników zbyt komfortowo z wewnątrz ramki holograficznej. W przypadku środowisk, które wymagają elementów interfejsu, takich jak menu lub pola tekstowe, rozważ użycie metody tagów w celu wykonania ramki holograficznej po krótkim opóźnieniu. Unikaj blokowania zawartości do ramki, takiej jak wyświetlacz head-up, ponieważ może to być dezorientujące dla użytkownika i przerwać poczuciemmersji dla innych obiektów cyfrowych w scenie.
Możesz również umieścić elementy interfejsu bezpośrednio w określonej kontrolce zawartości, co pozwala na naturalne interakcje wokół przestrzeni fizycznej użytkownika. Na przykład podziel złożone menu na oddzielne części, przy użyciu każdego przycisku lub grupy kontrolek dołączonych do określonego obiektu, na który wpływa interakcja. Aby kontynuować tę koncepcję, rozważ użycie obiektów z możliwością interakcji.
Spojrzenie i spojrzenie ukierunkowane
Ramka holograficzne przedstawia narzędzie dla dewelopera w celu wyzwolenia interakcji i oceny miejsca, w którym znajduje się uwaga użytkownika. Spojrzenie jest jedną z kluczowych interakcji na urządzeniu HoloLens, gdzie spojrzenie może być sparowane z gestami (takimi jak naciśnięcie powietrza) lub głosem (co pozwala na krótsze, bardziej naturalne interakcje oparte na głosie). W związku z tym ramka holografii jest zarówno przestrzenią do obserwowania zawartości cyfrowej, jak i interakcji z nią. Jeśli środowisko wywołuje interakcję z wieloma obiektami wokół przestrzeni użytkownika (na przykład wielowybierz obiekty wokół przestrzeni użytkownika za pomocą spojrzenia i gestu), rozważ przeniesienie tych obiektów do widoku użytkownika lub ograniczenie ilości niezbędnego ruchu głowy w celu promowania komfortu użytkownika.
Spojrzenie może również służyć do śledzenia uwagi użytkownika za pośrednictwem środowiska i sprawdzenia, które obiekty lub części sceny użytkownik zwrócił najwięcej uwagi. Może to być szczególnie przydatne do debugowania środowiska, co pozwala na korzystanie z narzędzi analitycznych, takich jak mapa cieplna, aby zobaczyć, gdzie użytkownicy spędzają najwięcej czasu lub brakuje niektórych obiektów lub interakcji. Śledzenie spojrzeń może również zapewnić zaawansowane narzędzie do facylitatorów w środowiskach (zobacz przykład Lowe's Kitchen ).
Jeśli chcesz zobaczyć koncepcje projektowe Head and Eye Tracking w akcji, zapoznaj się z naszym pokazem wideo Projektowanie hologramów — śledzenie głowy i śledzenie oczu poniżej:
To wideo zostało zrobione z aplikacji "Projektowanie hologramów" HoloLens 2. Pobierz i ciesz się pełnym doświadczeniem tutaj.
Wydajność
Właściwe użycie ramki holograficznej jest fundamentalne dla środowisk jakości wydajności . Typowym wyzwaniem technicznym (i użyteczności) jest przeciążenie ramki użytkownika zawartością cyfrową, co powoduje obniżenie wydajności renderowania. Zamiast tego należy rozważyć użycie pełnej przestrzeni wokół użytkownika do rozmieszczania zawartości cyfrowej przy użyciu technik opisanych powyżej, aby zmniejszyć obciążenie renderowania i zapewnić optymalną jakość wyświetlania.
Przykłady
Samochody Volvo
W środowisku showroom firmy Volvo Cars klienci są zaproszeni do zapoznania się z możliwościami nowego samochodu w środowisku HoloLens prowadzonym przez współpracownika Volvo. Volvo w obliczu wyzwania z ramką holograficzne: samochód o pełnym rozmiarze jest zbyt duży, aby umieścić tuż obok użytkownika. Rozwiązaniem było rozpoczęcie doświadczenia z fizycznym punktem orientacyjnym, centralnym stołem w salonie, z mniejszym cyfrowym modelem samochodu umieszczonego na górze tabeli. Zapewnia to, że użytkownik widzi pełny samochód po wprowadzeniu, co pozwala na zrozumienie przestrzenne, gdy samochód rozwija się na skalę świata rzeczywistego później w środowisku.
Doświadczenie Volvo wykorzystuje również reżyserów wizualnych, tworząc długi efekt wizualny od modelu samochodu na małą skalę na stole po ścianę w pokoju pokazowym. Prowadzi to do "magicznego okna", pokazującego pełny widok samochodu na odległość, ilustrując dalsze cechy samochodu w skali rzeczywistej. Ruch głowy jest poziomy, bez bezpośredniej interakcji z użytkownikiem (zamiast tego zbierać sygnały wizualnie i z narracji współpracownika Volvo doświadczenia).
Lowe's Kitchen
Doświadczenie sklepu od Lowe zaprasza klientów do pełnej skali makiety kuchni, aby zaprezentować różne możliwości przebudowy, jak pokazano za pośrednictwem HoloLens. Kuchnia w sklepie zapewnia fizyczne tło dla obiektów cyfrowych, puste płótno urządzeń, blatów i szafek do rozwoju środowiska rzeczywistości mieszanej.
Powierzchnie fizyczne działają jako statyczne punkty orientacyjne dla użytkownika, aby uziemić się w środowisku, ponieważ współpracownik Lowe prowadzi użytkownika przez różne opcje produktu i kończy. W ten sposób współpracownik może słownie kierować uwagę użytkownika na "lodówkę" lub "środek kuchni", aby zaprezentować zawartość cyfrową.
Współpracownik Lowe'a używa tabletu do kierowania klientów za pośrednictwem środowiska HoloLens.
Środowisko użytkownika jest częściowo zarządzane przez środowisko tabletu kontrolowane przez współpracownika Lowe'a. Częścią roli współpracownika w tym przypadku byłoby również ograniczenie nadmiernego ruchu głowy, kierując swoją uwagę płynnie w punktach orientacyjnych w kuchni. Środowisko tabletu zapewnia również skojarzenie Lowe z danymi wzroku w postaci widoku mapy cieplnej kuchni, pomagając zrozumieć, gdzie użytkownik mieszka (na przykład na określonym obszarze gabinetu), aby dokładniej zapewnić im wskazówki dotyczące przebudowy.
Aby dokładniej zapoznać się z doświadczeniem Lowe's Kitchen, zobacz przemówienie firmy Microsoft na konferencji Ignite 2016.
Fragments
W grze HoloLens Fragments salon jest przekształcany w wirtualną scenę kryminalną pokazującą wskazówki i dowody oraz wirtualną salę konferencyjną, w której rozmawiasz z postaciami, które siedzą na krzesłach i opierają się na ścianach.
Fragmenty zostały zaprojektowane tak, aby miały miejsce w domu użytkownika, a znaki współdziałają z rzeczywistymi obiektami i powierzchniami.
Gdy użytkownicy początkowo zaczynają korzystać z tego środowiska, otrzymują krótki okres korekty bez interakcji. Zamiast tego zachęcamy do samodzielnego patrzania i orientowania się i zapewnia, że pokój jest prawidłowo zamapowany na interaktywną zawartość gry.
W całym doświadczeniu postacie stają się centralnymi punktami i działają jako reżyserzy wizualni (ruchy głowy między znakami, zwracając się do wyglądu lub gestu w kierunku obszarów zainteresowania). Gra opiera się również na bardziej widocznych sygnałach wizualnych, gdy użytkownik zajmuje zbyt dużo czasu, aby znaleźć obiekt lub zdarzenie i intensywnie używa dźwięku przestrzennego (zwłaszcza z głosami znaków podczas wprowadzania sceny).
Miejsce docelowe: Mars
W Destination: Mars experience biorące udział w Kennedy Space Center NASA, goście zostali zaproszeni do wciągającej podróży na powierzchni Marsa, z przewodnikiem wirtualnej reprezentacji legendarnego astronauty Buzza Aldrina.
Wirtualny Buzz Aldrin staje się centralnym punktem dla użytkowników w Destination: Mars.
Jako wciągające środowisko, ci użytkownicy byli zachęcani do rozejrzania się, przesuwając głowę we wszystkich kierunkach, aby zobaczyć wirtualny marsjański krajobraz. Chociaż zapewnienie komfortu użytkowników, narracja Buzz Aldrin i wirtualna obecność zapewniły centralny punkt w całym doświadczeniu. To wirtualne nagranie Buzz (utworzone przez firmę Microsoft Mixed Reality Capture Studios) stało w prawdziwym, ludzkim rozmiarze, w rogu pokoju, co pozwala użytkownikom zobaczyć go w niemal kompletnym widoku. Narracja Buzza skierowała użytkowników do skupienia się na różnych punktach w środowisku (na przykład zestawu skał marsjańskich na podłodze lub w odległości) z określonymi zmianami sceny lub obiektami wprowadzonymi przez niego.
Wirtualni narratorzy zwracają się do ruchu użytkownika, tworząc zaawansowany punkt centralny w całym środowisku.
Realistyczna reprezentacja Buzza zapewniła potężny punkt centralny, wraz z subtelnymi technikami, aby obrócić Buzza w kierunku użytkownika, aby czuć się tak, jakby był tam, rozmawiając z tobą. Gdy użytkownik porusza się w środowisku, buzz przejdzie w kierunku progu przed powrotem do stanu neutralnego, jeśli użytkownik porusza się zbyt daleko poza jego peryferię. Jeśli użytkownik wygląda całkowicie z buzz (na przykład, aby spojrzeć na coś innego w scenie), a następnie z powrotem do Buzz, położenie kierunkowe narratora po raz kolejny zostanie skoncentrowane na użytkowniku. Techniki takie jak to zapewniają potężne poczucie zanurzenia i tworzą centralny punkt w ramce holograficznej, zmniejszając nadmierny ruch głowy i promując komfort użytkownika.