Analiza przypadku — mój pierwszy rok w zespole projektowym urządzenia HoloLens

Moja podróż z płaskiego obszaru 2D do świata 3D rozpoczęła się, gdy dołączyłem do zespołu projektowego holoLens w styczniu 2016 roku. Przed dołączeniem do zespołu miałem bardzo małe doświadczenie w projektowaniu 3D. To było jak chińskie przysłowie o podróży tysiąc mil, począwszy od jednego kroku, z wyjątkiem mojego przypadku, że pierwszy krok był skok!

Skok z 2D do 3D

"Czułem się tak, jakbym wskoczył do fotela kierowcy, nie wiedząc, jak prowadzić samochód. Byłem przytłoczony i przestraszony, ale bardzo skoncentrowany."
— Hae Jin Lee

W ciągu ostatniego roku podniosłem umiejętności i wiedzę tak szybko, jak tylko mogłem, ale nadal mam wiele do nauki. Tutaj napisałem 4 obserwacje z samouczkiem wideo dokumentującym przejście z projektanta interakcji 2D do 3D. Mam nadzieję, że moje doświadczenie zainspiruje innych projektantów do skoku do 3D.

Ramka good-bye. Witaj interfejs użytkownika przestrzenny/diegetic

Za każdym razem, gdy projektowałem plakaty, czasopisma, witryny internetowe lub ekrany aplikacji, zdefiniowana ramka (zwykle prostokąt) była stała dla każdego problemu. Jeśli nie czytasz tego wpisu na urządzeniu HoloLens lub innym urządzeniu VR, patrzysz na to z zewnątrz do ekranu 2D bezpiecznie chronionego w ramce. Zawartość jest zewnętrzna dla Ciebie. Jednak Mixed Reality zestaw słuchawkowy eliminuje ramkę, więc znajdujesz się w przestrzeni zawartości, patrząc i przechodząc przez zawartość z wewnątrz.

Zrozumiałem to koncepcyjnie, ale na początku popełniłem błąd po prostu przeniesienie 2D myślenia do przestrzeni 3D. To oczywiście nie działa dobrze, ponieważ przestrzeń 3D ma własne unikatowe właściwości, takie jak zmiana widoku (na podstawie ruchu głowy użytkownika) i różne wymagania dotyczące komfortu użytkownika (na podstawie właściwości urządzeń i ludzi korzystających z nich). Na przykład w przestrzeni projektowej interfejsu użytkownika 2D blokowanie elementów interfejsu użytkownika w rogu ekranu jest bardzo typowym wzorcem, ale ten interfejs użytkownika w stylu HUD (Head Up Display) nie czuje się naturalny w środowiskach MR/VR; utrudnia zanurzenie użytkownika w przestrzeni i powoduje dyskomfort użytkownika. To jak o irytujące cząstki pyłu na okularach, że umierasz, aby pozbyć się. Z biegiem czasu dowiedziałem się, że czuje się bardziej naturalny, aby umieścić zawartość w przestrzeni 3D i dodać zachowanie zablokowane ciało, które sprawia, że zawartość podąża za użytkownikiem w względnej stałej odległości.

Blokada ciała

Blokada na świecie

Fragmenty: przykład świetnego interfejsu użytkownika diegetic

Fragmenty, thriller kryminalny pierwszej osoby opracowany przez Asobo Studio dla HoloLens demonstruje wielki diegetic UI. W tej grze użytkownik staje się głównym bohaterem, detektywem, który próbuje rozwiązać tajemnicę. Kluczowe wskazówki dotyczące rozwiązywania tej tajemnicy są posypane w fizycznym pomieszczeniu użytkownika i często są czasami osadzone wewnątrz fikcyjnego obiektu, a nie istniejącego na własną rękę. Ten diegetic UI wydaje się być mniej wykrywalny niż interfejs użytkownika zablokowany przez ciało, więc zespół Asobo sprytnie używał wielu wskazówek, w tym kierunku wzroku postaci wirtualnych, dźwięku, światła i przewodników (np. strzałka wskazująca lokalizację wskazówki) w celu przykuwania uwagi użytkownika.

Fragmenty — przykłady interfejsu użytkownika diegetic

Obserwacje dotyczące interfejsu użytkownika diegetic

Interfejs użytkownika przestrzennego (zarówno z blokadą ciała, jak i światem) oraz interfejs użytkownika diegetic mają własne mocne i słabe strony. Zachęcam projektantów do wypróbowania jak największej liczby aplikacji MR/VR i opracowania własnego zrozumienia i wrażliwości dla różnych metod pozycjonowania interfejsu użytkownika.

Powrót skeuomorphizmu i magicznej interakcji

Skeuomorphism, interfejs cyfrowy, który naśladuje kształt rzeczywistych obiektów został "uncool" przez ostatnie 5–7 lat w branży projektowej. Kiedy Apple w końcu ustąpiło płaskiego projektu w systemie iOS 7, wydawało się, że Skeuomorphism w końcu nie żyje jako metodologia projektowania interfejsu. Ale potem, nowy medium, mr / VR zestaw słuchawkowy przybył na rynek i wydaje się, że Skeuomorphism wrócił ponownie. : )

Symulator zadania: przykład projektu skeuomorphic VR

Job Simulator, kapryśna gra opracowana przez Owlchemy Labs jest jednym z najpopularniejszych przykładów dla skeuomorphic VR design. W ramach tej gry gracze są transportowani do przyszłości, gdzie roboty zastępują ludzi i ludzi odwiedzają muzeum, aby doświadczyć tego, co czuje się jak wykonywać przyziemne zadania w jednej z czterech różnych miejsc pracy: Auto Mechanik, Gourmet Chef, Urzędnik sklepu lub Pracownik biurowy.

Korzyść skeuomorphism jest jasna. Znane środowiska i obiekty w tej grze pomagają nowym użytkownikom VR czuć się bardziej komfortowo i obecny w przestrzeni wirtualnej. Sprawia to również, że czują się jak oni są pod kontrolą, kojarząc znaną wiedzę i zachowania z obiektami i odpowiadającymi im reakcjami fizycznymi. Na przykład, aby pić filiżankę kawy, ludzie po prostu muszą chodzić do ekspresu do kawy, nacisnąć przycisk, chwycić uchwyt kubka i przechylić go w kierunku ust, jak to zrobią w prawdziwym świecie.

Symulator zadania

Ponieważ MR/ VR jest nadal rozwijającym się medium, korzystanie z pewnego stopnia skeuomorphism jest konieczne do demystify mr/ VR technologii i wprowadzenia go do większych odbiorców na całym świecie. Ponadto użycie skeumorfizmu lub realistycznej reprezentacji może być korzystne dla konkretnych typów zastosowań, takich jak operacja lub symulacja lotu. Ponieważ celem tych aplikacji jest opracowywanie i udoskonalanie określonych umiejętności, które mogą być stosowane bezpośrednio w świecie rzeczywistym, im bliżej jest symulacja w świecie rzeczywistym, tym bardziej można przenieść wiedzę.

Pamiętaj, że skeuomorphism jest tylko jednym podejściem. Potencjał świata MR/VR jest znacznie większy, a projektanci powinni dążyć do stworzenia magicznych hiper-naturalnych interakcji — nowych przystępnych cenowo, które są wyjątkowo możliwe w świecie MR/VR. Na początek rozważ dodanie magicznych mocy do zwykłych przedmiotów, aby umożliwić użytkownikom spełnienie ich podstawowych pragnień , w tym teleportacji i wszechwiedzy.

Magiczne drzwi Doraemona (po lewej) i rubinowe kapcie (po prawej)

Obserwacje dotyczące skeuomorphism w VR

Od "Anywhere door" w Doraemon, "Ruby Slippers" w Kreatorze Oz po "mapę Mauradera" w Harrym Potterze, przykłady zwykłych przedmiotów z magiczną mocą obfitują w popularną fikcję. Te magiczne obiekty pomagają nam wizualizować połączenie między światem rzeczywistym a fantastycznym, między tym, co jest i co może być. Należy pamiętać, że podczas projektowania magicznego lub surrealistycznego obiektu należy zachować równowagę między funkcjonalnością a rozrywką. Uważaj na pokusę stworzenia czegoś czysto magicznego tylko dla dobra nowości.

Opis różnych metod wejściowych

Kiedy projektowałem dla średniego nośnika 2D, musiałem skupić się na interakcji z dotykiem, myszą i klawiaturą dla danych wejściowych. W przestrzeni projektowej MR/VR nasze ciało staje się interfejsem, a użytkownicy mogą korzystać z szerszego wyboru metod wejściowych: w tym mowy, spojrzenia, gestu, kontrolerów 6-dof i rękawic, które zapewniają bardziej intuicyjne i bezpośrednie połączenie z obiektami wirtualnymi.

Dostępne dane wejściowe na urządzeniu HoloLens

"Wszystko jest najlepsze dla czegoś, a najgorsze dla czegoś innego."
— Bill Buxton

Na przykład dane wejściowe gestu za pomocą czujników odręcznych i kamer na urządzeniu HMD uwalnia użytkowników od trzymania kontrolerów lub noszenia spoconych rękawiczek, ale częste użycie może powodować zmęczenie fizyczne (ramię goryla). Ponadto użytkownicy muszą trzymać ręce w zasięgu wzroku; jeśli aparat nie widzi rąk, nie można używać rąk.

Dane wejściowe mowy są przydatne podczas przechodzenia przez złożone zadania, ponieważ umożliwiają użytkownikom wycinanie zagnieżdżonych menu za pomocą jednego polecenia (np. "Pokaż mi filmy wykonane przez studio Laika"). Jednak dane wejściowe mowy mogą nie działać dobrze w hałaśliwym środowisku lub mogą nie być odpowiednie w bardzo cichej przestrzeni.

Oprócz gestu i mowy, ręcznie śledzone kontrolery (np. dotyk Oculus, Vive itp.) są bardzo popularnymi metodami wejściowymi, ponieważ są łatwe w użyciu, dokładne, wykorzystują proprioceptację ludzi i zapewniają pasywne sygnały haptyczne. Jednak te korzyści są kosztowne, ponieważ nie są w stanie być gołymi rękami i korzystać ze śledzenia pełnych palców.

Senso (po lewej) i Manus VR (po prawej)

Choć nie tak popularne jak kontrolery, rękawice nabierają tempa ponownie dzięki fali MR/VR. Ostatnio dane wejściowe mózgu/umysłu zaczęły zyskać przyczepność jako interfejs dla środowisk wirtualnych, integrując czujnik EEG lub EMG z zestawem słuchawkowym (np. MindMaze VR).

Obserwacje dotyczące metod wejściowych

Są to tylko próbka urządzeń wejściowych dostępnych na rynku mr/VR. Będą one nadal proliferacji, dopóki branża nie dojrza i zgodzi się na najlepsze rozwiązania. Do tego czasu projektanci powinni mieć świadomość nowych urządzeń wejściowych i być dobrze zorientowani w konkretnych metodach wejściowych dla danego projektu. Projektanci muszą szukać kreatywnych rozwiązań wewnątrz ograniczeń, a jednocześnie grać w mocne strony urządzenia.

Szkicuj scenę i przetestuj w zestawie słuchawkowym

Kiedy pracowałem w 2D, głównie szkicowałem tylko zawartość. Jednak w przestrzeni rzeczywistości mieszanej nie wystarczyło. Musiałem naszkicować całą scenę, aby lepiej wyobrazić sobie relacje między użytkownikiem a wirtualnymi obiektami. Aby pomóc w myśleniu przestrzennym, zacząłem szkicować sceny w Cinema 4D , a czasami tworzyć proste zasoby do tworzenia prototypów w Maya. Nigdy nie używałem żadnego programu przed dołączeniem do zespołu HoloLens i nadal jestem nowym użytkownikiem, ale praca z tymi programami 3D zdecydowanie pomogła mi się komfortowo z nową terminologią, taką jak shader i IK (odwrotne kinematyka).

"Bez względu na to, jak ściśle naszkicowałem scenę w 3D, rzeczywiste doświadczenie w zestawie słuchawkowym prawie nigdy nie było takie samo jak szkic. Dlatego ważne jest przetestowanie sceny w docelowych zestawach słuchawkowych. — Hae Jin Lee

W przypadku tworzenia prototypów urządzenia HoloLens wypróbowano wszystkie samouczki na Mixed Reality samouczkach, aby rozpocząć. Następnie zacząłem grać z urządzeniem HoloToolkit.Unity , który firma Microsoft udostępnia deweloperom w celu przyspieszenia opracowywania aplikacji holograficznych. Kiedy utknąłem z czymś, wysłano moje pytanie do HoloLens Question & Answer Forum.

Po zapoznaniu się z podstawowymi informacjami na temat tworzenia prototypów urządzenia HoloLens chciałem umożliwić tworzenie prototypów przez inne osoby niekodujące. Więc zrobiłem samouczek wideo, który uczy, jak opracować prosty pocisk przy użyciu urządzenia HoloLens. Krótko wyjaśniam podstawowe pojęcia, więc nawet jeśli masz zerowe doświadczenie w tworzeniu urządzenia HoloLens, powinieneś być w stanie postępować dalej.

Zrobiłem ten prosty samouczek dla nie-programistów jak ja.

W przypadku prototypów VR wziąłem kursy w VR Dev School, a także wziąłem tworzenie zawartości 3D dla rzeczywistości wirtualnej w Lynda.com. Szkoła deweloperów VR zapewniła mi bardziej szczegółową wiedzę na temat kodowania i kurs Lynda zaproponował mi miłe krótkie wprowadzenie do tworzenia zasobów dla VR.

Przeskok

Rok temu czułem się jak wszystko to było nieco przytłaczające. Teraz mogę wam powiedzieć, że to było 100% warte wysiłku. MR/ VR jest nadal bardzo młody medium i istnieje tak wiele ciekawych możliwości czekających na realizację. Czuję się zainspirowany i szczęśliwy być w stanie odegrać jedną niewielką rolę w projektowaniu przyszłości. Mam nadzieję, że dołączysz do mnie w podróży do przestrzeni 3D!

Informacje o autorze

Hae Jin Lee Projektant @Microsoft środowiska użytkownika