Tworzenie Hologramy projektowania

Uwaga

Zezwól na małe okno ładowania, aby uwzględnić wszystkie fajne pliki GIF i osadzone filmy wideo na tej stronie.

Edukacja sposób projektowania rzeczywistości mieszanej może być trudny, ponieważ medium nie zawsze przekłada się dobrze na procesy projektowania 2D. W firmie Microsoft utworzyliśmy bezpłatną aplikację dla HoloLens 2, która pomoże Ci poznać podstawy projektowania środowiska użytkownika rzeczywistości mieszanej z pierwszej ręki. Unikatowe podejście aplikacji Projektowanie Hologramy pozwala zagłębić się w zachowania, porady i zalecenia dotyczące rzeczywistości mieszanej, które ułatwiają tworzenie atrakcyjnych i niesamowitych HoloLens własnych aplikacji. Pobierz aplikację bezpłatnie z Microsoft Store i dowiedz się od zespołu ds. projektowania Mixed Reality firmy Microsoft!


Animated GIF of the head tracking scene in the Designing Hologram's demo room

Projektowanie sali demonstracyjnej Hologramu (znanej również jako dom lalkowy)

Projektowanie pod kątem rzeczywistości mieszanej

Podobnie jak wielu z was, kiedyś projektować aplikacje mobilne. Pochodzący ze świata projektowania 2D, wskakując do pełnego przetwarzania przestrzennego, gdzie wszystko jest teraz na świecie, było znaczącą zmianą. W rzeczywistości mieszanej aplikacje nie są już ograniczone do ekranu 2D; w rzeczywistości są one prawie wolne, umieszczone w świecie rzeczywistym i interakcji z prawdziwymi obiektami.

Dla mnie łączenie środowisk 3D z konwencjonalnymi procesami projektowania 2D jest najtrudniejszym aspektem opracowywania rzeczywistości mieszanej. W rozmowach z klientami słyszę takie rzeczy jak "Wiem, jakie funkcje należy uwzględnić i jak je uruchomić. Jest to kod, mogę postępować zgodnie z dokumentami i samouczkami, ale środowisko użytkownika? Tak wiele funkcji, różne opcje wprowadzania, różne scenariusze i środowiska fizyczne, jest przytłaczające".

Image from the HoloLens 2 Design Workshop in San FranciscoObraz z warsztatów projektowych HoloLens 2 w San Francisco

Okazja do nauczania

Nie było to na początku oczywiste, ale doskonała okazja została przedstawiona, aby wykorzystać rzeczywistość mieszaną jako Medium, aby go nauczyć.

Projektowanie Hologramy to środowisko wizualne, które wyjaśnia pojęcia i zalecenia dotyczące projektowania rzeczywistości mieszanej. To ty i wirtualny nauczyciel demonstrujący pojęcia dotyczące projektowania rzeczywistości mieszanej. Wszystko jest od trzeciej osoby z doświadczeniem mocno we własnej przestrzeni.


Projektowanie wideo Hologramy przyczepy

Odkrywanie domu lalki

Dom lalki jest środowiskiem wirtualnym używanym w całej aplikacji. Środowisko to miniaturowy pokój o wymiarach 80 x 60 x 40 cm, który zawiera podstawowe elementy, które większość pokoi ma wspólne, takie jak ściany, lampy, meble, stół i telewizor. Dom lalki jest głównym bohaterem środowiska aplikacji, więc musieliśmy upewnić się, że będzie działać świetnie w każdym środowisku. Pomyśl o nim jako o małym pokazie, aby wizualizować różnego rodzaju koncepcje rzeczywistości mieszanej.

Wideo dotyczące zachowania dostosowania do lalki

1:1 vs 1:10 prototypów

Naszym początkowym założeniem było to, że demonstracje 1:1 będą niesamowite, prawie jak patrząc na prawdziwego nauczyciela życia. Użytkownik zobaczy wszystko, co nauczyciel widzi w rzeczywistej skali życia. Natychmiast zdaliśmy sobie jednak sprawę, że będzie kilka problemów:

  • Większość deweloperów będzie uruchamiać swoje aplikacje w biurach lub pokojach mniejszych niż w pomieszczeniu demonstracyjnym, więc nie będzie pasować.
  • Wyświetlacze są addytywne, co oznacza, że całe środowisko wirtualne będzie nakładane na pomieszczenie użytkownika. Może to być mylące w przypadku dwóch tabel, może podwójnych kanap i ścian, które nie są wyrównane.
  • I najgorsze ze wszystkich środowisk wirtualnych mocno ograniczonych przez pole widoku.

Kiedy próbowaliśmy mini 1:10 skali, wynik był fantastyczny widok ptaka na realistyczny pokój. Można było zobaczyć wszystko, co dzieje się z dowolnego kąta w tym samym czasie. Najbardziej zaskakujące jest to, że większość testerów znalazła go o wiele bardziej wciągające, aby zobaczyć małą wersję, a następnie nigdy nie przełączali się z powrotem do skali 1:1. Dlatego postanowiliśmy rzeczywiście złomować wersję 1:1 i uniknąć dodatkowej pracy wymaganej do dostosowania interfejsu użytkownika i innych aspektów aplikacji.

Field of view with 1:1 scale​Pole widoku o skali 1:1

Field of view with 1:10 scalePole widoku o skali 1:10

Korzystanie z funkcji Mixed Reality Capture

Jedną z najbardziej charakterystycznych funkcji tej aplikacji jest użycie funkcji Mixed Reality Capture do nauczania i demonstrowania koncepcji projektowania rzeczywistości mieszanej.

Firma Microsoft ma studio Mixed Reality Capture w San Francisco. Firma Microsoft licencje na tę technologię również do innych studiów, w tym Avatar Dimension w Waszyngtonie, Metastage w Los Angeles, Dimension Studios w Londynie, SK Telecom w Seulu i Volucap w Berlinie. Więcej informacji na temat naszych Mixed Reality Capture Studios można znaleźć tutaj.


Surowe nagranie Daniela Escudero z jednego z 106 kamer w Mixed Reality Capture Studio w San Francisco.

Proces przechwytywania generuje siatkę z ramką klawiszy, normalną i teksturę, która może być dostarczana jako pliki OBJ/PNG do dalszej poprodukcji lub gotowa do odtwarzania jako skompresowany plik MP4 H.264. Te pliki można zaimportować do projektów Unity, Unreal, Native i WebXR. Pliki mogą być uruchamiane w systemach Windows, iOS, Mac, Android, Magic Leap i Playstation VR.


Odtwarzacz przechwytywania udostępniany do analizowania plików MP4 zawierających wideo z siatkami audio i osadzonymi.

Manipulowanie przechwytywaniem i obiektami wirtualnymi

Mixed Reality Przechwytywanie tworzy wirtualne reprezentacje osób lub zwierząt, ale czasami te znaki mogą być potrzebne do interakcji z innymi obiektami wirtualnymi. W poniższych dwóch przykładach pokazano różne sposoby manipulowania scenami w celu osiągnięcia tego efektu.

Korekta spojrzenia na głowę

Korekta Headgaze umożliwia przeniesienie przechwyconej głowy osoby w czasie wykonywania, co oznacza, że możesz mieć twarz przechwytywania w kierunku użytkownika. W naszym przypadku użyliśmy go do pokazania pola widoku i pola zainteresowania. To, co widać poniżej, to poruszający obiekt gameobject działający jako cel spojrzenia głowy, aby spojrzeć na. Gdy przenosimy element docelowy z boku do strony, następuje nagłówek przechwytywania.

Użyliśmy tej sztuczki, aby upewnić się, że bezczynne przechwytywanie zawsze będzie twarzą w kierunku hologramów umieszczonych w różnych częściach domu lalki.

The Capture’s head being moved at runtime following a target gameobject in Unity

Głowa przechwytywania jest przenoszona w czasie wykonywania po docelowym obiekcie gameobject w a unity.

Synchronizowanie animowanych obiektów

Drugi obiekt animował obiekty do synchronizacji z ruchem przechwytywania. W różnych częściach aplikacji zaimportowaliśmy sekwencyjne obJ określonego przechwycenia co pięć ramek. Obiekty OBJ były następnie animowane w scenie, aby upewnić się, że pasują do odpowiedniej ramki przechwytywania. Jest to żmudny proces animowania i infrastruktury kluczy, ale wynik jest świetny. Teraz można zobaczyć Mixed Reality Przechwytywanie interakcji z nieuchwyconymi obiektami.

Synced animation between a Mixed Reality Capture and UI panel

Synchronizowana animacja między panelem przechwytywania Mixed Reality i interfejsu użytkownika

Proces kreatywny interfejsu użytkownika

Kiedy rozpoczęliśmy projektowanie interfejsu użytkownika, chcieliśmy pokazać niektóre z magii i możliwości, że hologramy mają do zaoferowania. Po prostu wyświetlanie statycznych okien 2D i pól tekstowych nie czuje się dobrze w świecie 3D. Wiele możliwości pod ręką po prostu nie pojawia się, więc od samego początku postanowiliśmy odejść od tego i w pełni wykorzystać holograficzną przestrzeń 3D.

Na początku zaczęliśmy od dodawania pewnej grubości do paneli, ikon i informacji tekstowych. Mimo to, jako użytkownik, co widzę, jest polem tekstowym. Pola tekstowe z obrazami, ale nie jesteśmy tam. Poszliśmy dalej, korzystając z cieniowania zestawu narzędzi Mixed Reality Toolkit (MRTK). Cieniowania MRTK stały się potężnym narzędziem i wykorzystaliśmy jego cechy wzornika, aby dodać negatywną głębokość do paneli. Oznacza to, że zamiast dodawać elementy przed polem tekstowym, ikony są teraz wyświetlane za przezroczystym panelem. To, co widzę teraz jako użytkownik, to coś, czego po prostu nie mogę już replikować w świecie rzeczywistym, a to właśnie tam zaczęła się magia holograficzna. Również jako użytkownik naprawdę nie lubię czytać, robię wiele już w świecie fizycznym.

Oczywiście ikony działają o wiele lepiej niż prosty tekst, aby zapewnić jeszcze bardziej zaawansowane wskazówki, a następnie zacząłem tworzyć zestaw animowanych obiektów i awatarów, każdy z nich opowiada niewielką historię o tym, co jest wykonywane w odpowiednim scenariuszu i jak jest używany.

Animated GIF of an interactive holographic menu system

Podstawowe pojęcia

Śledzenie głowy i śledzenie oczu

Śledzenie rąk

Świadomość przestrzenna

Ramka holograficzna

Animated GIF of a user looking around the dollhouse with the holographic frame highlighted

Układy współrzędnych

Animated GIF of a user looking around the dollhouse with the coordinate systems highlighted

Śledzenie oczu

Animated GIF of a user looking at stationary holograms with the eye gaze ray highlighted

Wizualizacja skanowania pomieszczeń i mapowanie przestrzenne

Animated GIF of all surfaces inside the dollhouse being mapped

Opis sceny

Animated GIF of objects in the dollhouse being recognized

Punkt i zatwierdzenie z promieniami dłoni

Animated GIF of a user raising his hand with a hand ray highlighted

Chwile "Wypróbuj"

Projektowanie Hologramy uczy pojęć rzeczywistości mieszanej, ale umożliwia również wypróbowanie ich w pokoju. Po niektórych z tych wyjaśnień wstrzymamy i wyjmujemy cię z domu lalki i w interaktywny moment. Oto kilka przykładów tych interaktywnych momentów:

Animated GIF of the hand tracking frame showing when hands are detected and when they enter the field of view

Ramka śledzenia dłoni wyświetlana po wykryciu rąk i po wprowadzeniu pola widoku.

Animated GIF of interacting with colliding crystals through far interaction

Interakcja z zderzanymi kryształami poprzez daleko idącą interakcję

Animated GIF of exploring near interaction affordances

Eksplorowanie przystępnych cenowo bliskich interakcji

Informacje o zespole

Picture of Daniel Escudero Daniel Escudero
Główny projektant techniczny
Dan jest dyrektorem kreatywnym w zakresie projektowania Hologramy i obecnie pracuje jako kierownik projektu dla akademii Mixed Reality firmy Microsoft w San Francisco i był wcześniej projektantem w jednym z Mixed Reality Studios firmy Microsoft w Londynie.
Picture of Martin Wettig​ Martin Wettig
Starszy artysta 3D
Martin prowadzi 3D Art and UI Design on Design on Design Hologramy i był wcześniej starszym artystą 3D w jednym z Mixed Reality Studios firmy Microsoft w Berlinie.

Ogromne podziękowania dla Mixed Reality Zespołu Projektowego za dzielenie się tak dużą wiedzą i niesamowitych ludzi w Object Theory za bycie podstawowymi kolegami z zespołu przez każdy krok projektu. Dziękuję wszystkim za niesamowite talenty, za swoją pasję i wyjątkowe oko na projektowanie.