Spojrzenie i zatwierdzenie
Spojrzenie i zatwierdzenie to podstawowy model wejściowy, który jest ściśle powiązany ze sposobem interakcji z naszymi komputerami przy użyciu myszy: kliknij &. Na tej stronie wprowadzamy dwa typy wprowadzania spojrzenia (head- i eye-gaze) oraz różne typy akcji zatwierdzania. Spojrzenie i zatwierdzenie jest uznawane za model danych wejściowych z manipulowaniem pośrednim. Najlepiej używać go do interakcji z zawartością holograficzną, która jest poza zasięgiem.
Zestawy nagłowne rzeczywistości mieszanej mogą używać położenia i orientacji głowy użytkownika w celu określenia wektora kierunku głowy. Myśl o spojrzeniu jako laser skierowany prosto przed bezpośrednio między oczami użytkownika. Jest to dość grube przybliżenie miejsca, w którym użytkownik szuka. Aplikacja może przecinać ten ray z obiektami wirtualnymi lub rzeczywistymi i narysować kursor w tej lokalizacji, aby poinformować użytkownika, co jest celem.
Oprócz spojrzenia głowy niektóre zestawy nagłowne rzeczywistości mieszanej, takie jak HoloLens 2, obejmują systemy śledzenia oczu, które tworzą wektor wzroku. Zapewnia to szczegółową miarę tego, gdzie szuka użytkownik. W obu przypadkach spojrzenie reprezentuje ważny sygnał dla intencji użytkownika. Tym lepiej system może interpretować i przewidywać zamierzone działania użytkownika, tym większa zadowolenie użytkowników i wydajność się poprawia.
Poniżej przedstawiono kilka przykładów, w jaki sposób deweloper rzeczywistości mieszanej może skorzystać z głowy lub spojrzenia wzrokowego:
- Twoja aplikacja może przecinać spojrzenie z hologramami w scenie, aby określić, gdzie znajduje się uwaga użytkownika (dokładniej z wzrokiem).
- Aplikacja może kierować gesty i naciśnięcia kontrolera na podstawie spojrzenia użytkownika, co pozwala użytkownikowi bezproblemowo wybierać, aktywować, pobierać, przewijać lub w inny sposób wchodzić w interakcje z ich hologramami.
- Twoja aplikacja może pozwolić użytkownikowi umieścić hologramy na rzeczywistych powierzchniach, przecinając ich promienie wzroku za pomocą siatki mapowania przestrzennego.
- Twoja aplikacja może wiedzieć, kiedy użytkownik nie szuka w kierunku ważnego obiektu, co może prowadzić aplikację do nadania sygnałom wizualnym i dźwiękowym, aby zwrócić się w kierunku tego obiektu.
Obsługa urządzeń
| Model wejściowy | HoloLens (1. generacja) | HoloLens 2 | Immersyjne zestawy nagłowne |
| Spojrzenie na głowę i zatwierdzenie | ✔️ Zalecane | ✔️ Zalecane (trzeci wybór — zobacz inne opcje) | ➕ Opcja alternatywna |
| Spojrzenie na oko i zatwierdzenie | ❌ Niedostępne | ✔️ Zalecane (trzeci wybór — zobacz inne opcje) | ❌ Niedostępne |
Pokaz koncepcji projektowania śledzenia głowy i oczu
Jeśli chcesz zobaczyć koncepcje projektowe Head and Eye Tracking w działaniu, zapoznaj się z naszym pokazem wideo Projektowanie Hologramów — śledzenie głowy i śledzenie oczu poniżej. Po zakończeniu przejdź dalej, aby uzyskać bardziej szczegółowe informacje na temat konkretnych tematów.
Ten film wideo został pobrany z aplikacji "Designing Holograms" (Projektowanie hologramów) HoloLens 2. Pobierz i ciesz się pełnym doświadczeniem tutaj.
Spojrzenie
Oko lub spojrzenie głowy?
Istnieje kilka zagadnień, które należy wziąć pod uwagę w przypadku pytania, czy należy użyć modelu danych wejściowych "eye-gaze and commit" lub "head-gaze and commit". Jeśli programujesz dla immersywnego zestawu słuchawkowego lub urządzenia HoloLens (1. generacji), wybór jest prosty: spojrzenie na głowę i zatwierdzenie. Jeśli rozwijasz się na HoloLens 2, wybór staje się nieco trudniejszy. Ważne jest, aby zrozumieć zalety i wyzwania związane z każdym z nich. Skompilowaliśmy kilka szerokich profesjonalistów i con's w poniższej tabeli, aby kontrastować kierowania głową a wzrokiem. Jest to dalekie od ukończenia i sugerujemy, aby dowiedzieć się więcej na temat kierowania wzrokiem w rzeczywistości mieszanej tutaj:
- Śledzenie oczu na HoloLens 2: ogólne wprowadzenie naszej nowej funkcji śledzenia oczu na HoloLens 2, w tym wskazówki dla deweloperów.
- Interakcja wzroku: zagadnienia i zalecenia dotyczące projektowania podczas planowania korzystania ze śledzenia oczu jako danych wejściowych.
| Ukierunkowanie wzroku | Ukierunkowanie na głowę |
| Szybko! | Wolniej |
| Niski wysiłek (ledwo wszelkie niezbędne ruchy ciała) | Może być fatiguing - Możliwy dyskomfort (na przykład szczep szyi) |
| Nie wymaga kursora, ale zalecana jest subtelna opinia | Wymaga wyświetlenia kursora |
| Brak gładkich ruchów oczu – na przykład nie nadaje się do rysowania | Bardziej kontrolowana i jawna |
| Trudne w przypadku małych obiektów docelowych (na przykład małe przyciski lub linki internetowe) | Niezawodne! Wielki powrót! |
| ... | ... |
Niezależnie od tego, czy używasz wzroku głowy, czy spojrzenia na model wejściowy spojrzenia i zatwierdzania, każdy z nich ma różne zestawy ograniczeń projektowych. Są one pokryte oddzielnie w spojrzeniu wzrokowym i zatwierdź orazartykuły z głową i zatwierdzeniem .
Kursor
W przypadku spojrzenia na głowę większość aplikacji powinna używać kursora lub innego wskazania słuchowego/wizualnego, aby zapewnić użytkownikowi zaufanie do tego, z czym mają się wchodzić w interakcje.
Zazwyczaj ten kursor jest ustawiany w świecie, w którym jego promienie wzroku głowy najpierw przecinają obiekt, który może być hologramem lub powierzchnią świata rzeczywistego.
W przypadku spojrzenia wzrokowego zalecamy, aby nie pokazywać kursora, ponieważ może to szybko rozpraszać uwagę i denerwować użytkownika.
Zamiast tego subtelnie wyróżnij elementy docelowe wizualizacji lub użyj słabego kursora oka, aby zapewnić pewność, z czym użytkownik będzie wchodzić w interakcję. Aby uzyskać więcej informacji, zapoznaj się z naszymi wskazówkami dotyczącymi projektowania danych wejściowych opartych na HoloLens 2.
Obraz: przykładowy kursor wizualny do wyświetlania spojrzenia
Zatwierdzenie
Po omówieniu różnych sposobów spojrzenia na cel, porozmawiajmy nieco więcej o części zatwierdzania w spojrzeniu i zatwierdzeniu. Po określaniu wartości docelowej dla obiektu lub elementu interfejsu użytkownika użytkownik może wchodzić w interakcję lub klikać go przy użyciu pomocniczych danych wejściowych. Jest to tzw. krok zatwierdzenia w modelu wejściowym.
Obsługiwane są następujące metody zatwierdzania:
- Gest naciśnięcia ręki w powietrzu (czyli podnieść rękę przed tobą i zebrać palec wskazujący i kciuk)
- Powiedz "select" lub jedno z docelowych poleceń głosowych
- Naciśnij jeden przycisk na urządzeniu HoloLens Clicker
- Naciśnij przycisk "A" na konsoli Xbox
- Naciśnij przycisk "A" na kontrolerze adaptacyjnym Xbox
Gest naciśnięcia wzroku i powietrza
Naciśnięcie powietrza to gest dotykania z ręką trzymaną w pozycji pionowej. Aby użyć naciśnięcia powietrza, podnieś palec indeksu do gotowej pozycji, a następnie szczypnij kciukiem i podnieś palec indeksu z powrotem, aby zwolnić. Na urządzeniu HoloLens (1. generacji) naciśnięcie powietrza jest najczęściej używanym pomocniczym wejściem.
Palec w gotowej pozycji
Naciśnij palcem w dół, aby nacisnąć lub kliknąć
Na HoloLens 2 jest również dostępne naciśnięcie powietrza. Został zrelaksowany z oryginalnej wersji. Prawie wszystkie typy ścięć są teraz obsługiwane tak długo, jak ręka jest w pozycji pionowej i trzyma nadal. Ułatwia to użytkownikom naukę i używanie gestu. To nowe naciśnięcie powietrza zastępuje stary za pomocą tego samego interfejsu API, więc istniejące aplikacje będą miały nowe zachowanie automatycznie po ponownym skompilowaniu dla HoloLens 2.
Spojrzenie i polecenie głosowe "Select"
Polecenie głosowe jest jedną z podstawowych metod interakcji w rzeczywistości mieszanej. Zapewnia zaawansowany mechanizm bezobsługowy do sterowania systemem. Istnieją różne typy modeli interakcji głosowych:
- Ogólne polecenie "Select", które używa działania kliknięcia lub zatwierdzenia jako pomocnicze dane wejściowe.
- Polecenia obiektu (na przykład "Zamknij" lub "Utwórz je większe") wykonują i zatwierdzają akcję jako dane wejściowe pomocnicze.
- Polecenia globalne (na przykład "Przejdź do uruchomienia") nie wymagają elementu docelowego.
- Interfejsy użytkownika konwersacji lub jednostki, takie jak Cortana, mają możliwość języka naturalnego sztucznej inteligencji.
- Niestandardowe polecenia głosowe
Aby dowiedzieć się więcej o szczegółach i kompleksowej liście dostępnych poleceń głosowych i sposobach ich używania, zapoznaj się z naszymi wskazówkami dotyczącymi poleceń głosowych .
Spojrzenie i kliknięcie urządzenia HoloLens
Urządzenie HoloLens Clicker to pierwsze urządzenie peryferyjne opracowane specjalnie dla urządzenia HoloLens. Jest on dołączony do urządzenia HoloLens (1. generacji) Development Edition. Funkcja HoloLens Clicker umożliwia użytkownikowi kliknięcie przy minimalnym ruchu dłoni i zatwierdzenie jako pomocnicze dane wejściowe. Funkcja HoloLens Clicker łączy się z urządzeniem HoloLens (1. gen) lub HoloLens 2 przy użyciu funkcji Bluetooth Low Energy (BTLE).
Więcej informacji i instrukcji dotyczących parowania urządzenia
Obraz: Urządzenie HoloLens Clicker
Spojrzenie i Kontroler bezprzewodowy Xbox
Kontroler bezprzewodowy Xbox wykonuje działanie kliknięcia jako pomocnicze dane wejściowe przy użyciu przycisku "A". Urządzenie jest mapowane na domyślny zestaw akcji, które ułatwiają poruszanie się po systemie i sterowanie nim. Jeśli chcesz dostosować kontroler, użyj aplikacji Akcesoria Xbox, aby skonfigurować Kontroler bezprzewodowy Xbox.
Jak sparować kontroler Xbox z komputerem
Obraz: Kontroler bezprzewodowy Xbox
Spojrzenie i kontroler adaptacyjny xbox
Zaprojektowany przede wszystkim pod kątem potrzeb graczy z ograniczoną mobilnością, kontroler adaptacyjny Xbox jest ujednoliconym koncentratorem dla urządzeń, które ułatwiają dostęp do rzeczywistości mieszanej.
Kontroler adaptacyjny konsoli Xbox wykonuje działanie kliknięcia jako pomocnicze dane wejściowe przy użyciu przycisku "A". Urządzenie jest mapowane na domyślny zestaw akcji, które ułatwiają poruszanie się po systemie i sterowanie nim. Jeśli chcesz dostosować kontroler, użyj aplikacji Akcesoria xbox, aby skonfigurować kontroler adaptacyjny xbox.
Kontroler adaptacyjny xbox
Połącz urządzenia zewnętrzne, takie jak przełączniki, przyciski, montaże i pakiety, aby utworzyć niestandardowe środowisko kontrolera, które jest unikatowe. Wejścia przycisków, szminki i wyzwalacza są kontrolowane za pomocą urządzeń pomocniczych podłączonych za pośrednictwem gniazd 3,5 mm i portów USB.
Porty kontrolera adaptacyjnego xbox
Instrukcje dotyczące parowania urządzenia
Więcej informacji dostępnych w witrynie xbox
Gesty złożone
Naciśnięcie w powietrzu
Gest naciśnięcia powietrza (i inne gesty poniżej) reaguje tylko na określone naciśnięcie. Aby wykryć inne naciśnięcia, takie jak Menu lub Uchwyt, aplikacja musi bezpośrednio korzystać z interakcji niższego poziomu opisanych w dwóch kluczowych gestach składników powyżej.
Naciśnij i przytrzymaj
Blokada jest po prostu utrzymanie położenia palca w dół kranu powietrza. Kombinacja naciśnięcia powietrza i blokady pozwala na różne bardziej złożone interakcje "klikanie i przeciąganie" w połączeniu z ruchem ramienia, takie jak zbieranie obiektu zamiast aktywowania go lub interakcje pomocnicze myszy, takie jak wyświetlanie menu kontekstowego. Należy jednak zachować ostrożność podczas projektowania tego gestu, ponieważ użytkownicy mogą być podatni na złagodzenie postaw dłoni podczas każdego rozszerzonego gestu.
manipulowanie
Gesty manipulowania mogą służyć do przenoszenia, zmieniania rozmiaru lub obracania hologramu, gdy hologram ma reagować 1:1 na ruchy dłoni użytkownika. Jednym z zastosowań takich ruchów 1:1 jest pozwolić użytkownikowi na rysowanie lub malowanie na świecie. Początkowe ukierunkowanie na gest manipulacji należy wykonać spojrzeniem lub wskazaniem. Po uruchomieniu naciśnięcia i wstrzymania wszelkie manipulacje obiektami są obsługiwane przez ruchy ręczne, co zwalnia użytkownika do rozglądania się podczas manipulowania nimi.
Nawigacja
Gesty nawigacji działają jak wirtualny interfejs użytkownika i mogą służyć do nawigowania po widżetach interfejsu użytkownika, takich jak menu promieniowe. Naciśnij i przytrzymaj, aby rozpocząć gest, a następnie przenieś rękę w znormalizowanym sześcianie 3D, wyśrodkowanym wokół początkowego naciśnięcia. Możesz przenieść rękę wzdłuż osi X, Y lub Z z wartości od -1 do 1, a 0 jest punktem początkowym. Nawigacja może służyć do tworzenia na podstawie ciągłych gestów przewijania lub powiększania, podobnie jak przewijanie interfejsu użytkownika 2D, klikając środkowy przycisk myszy, a następnie przesuwając mysz w górę i w dół.
Nawigacja z szynami odnosi się do możliwości rozpoznawania ruchów na określonej osi do momentu osiągnięcia określonego progu na tej osi. Jest to przydatne tylko wtedy, gdy ruch w więcej niż jednej osi jest włączony w aplikacji przez dewelopera, na przykład jeśli aplikacja jest skonfigurowana do rozpoznawania gestów nawigacji na osi X, Y, ale także określonej osi X z szynami. W takim przypadku system rozpozna ruchy ręczne na osi X, o ile pozostają w wyimaginowanych szynach (prowadnicy) na osi X, jeśli ruch ręczny występuje również na osi Y.
W aplikacjach 2D użytkownicy mogą używać pionowych gestów nawigacji do przewijania, powiększania lub przeciągania wewnątrz aplikacji. Spowoduje to wstrzyknięcie wirtualnego palca do aplikacji w celu symulowania gestów dotykowych tego samego typu. Użytkownicy mogą wybrać, które z tych akcji mają miejsce, przełączając się między narzędziami na pasku nad aplikacją, wybierając przycisk lub mówiąc "<Przewiń/Przeciągnij/Zoom> Tool".
Więcej informacji na temat gestów złożonych
Rozpoznawanie gestów
Jedną z zalet korzystania z rozpoznawania gestów jest to, że można skonfigurować rozpoznawanie gestów tylko dla gestów, które obecnie docelowy hologram może zaakceptować. Platforma wykonuje tylko uściślanie w razie potrzeby w celu odróżnienia tych konkretnych obsługiwanych gestów. W ten sposób hologram, który po prostu obsługuje naciśnięcie powietrza, może zaakceptować dowolną długość czasu między naciśnięciem i zwolnieniem, podczas gdy hologram, który obsługuje zarówno naciśnięcie, jak i blokadę, może podwyższyć poziom naciśnięcia do blokady po osiągnięciu progu czasu wstrzymania.
Rozpoznawanie dłoni
Urządzenie HoloLens rozpoznaje gesty dłoni, śledząc położenie obu rąk, które są widoczne dla urządzenia. Urządzenie HoloLens widzi ręce, gdy znajdują się w stanie gotowości (z tyłu ręki stoisz palcem indeksowym w górę) lub naciśniętym stanie (z tyłu dłoni stoisz palcem indeksowym w dół). Gdy ręce znajdują się w innych pozy, HoloLens ignoruje je. Dla każdej ręki wykrywanej przez urządzenie HoloLens można uzyskać dostęp do jego położenia bez orientacji i stanu naciśnięcia. Gdy ręka zbliża się do krawędzi ramki gestu, jest również dostarczany z wektorem kierunku, który można pokazać użytkownikowi, aby wiedzieć, jak przenieść rękę, aby wrócić, gdzie holoLens może go zobaczyć.
Ramka gestu
W przypadku gestów na urządzeniu HoloLens ręka musi znajdować się w ramce gestu, w zakresie, który kamery wykrywania gestów mogą zobaczyć odpowiednio, od nosa do talii i między ramionami. Użytkownicy muszą być przeszkoleni w tym obszarze rozpoznawania zarówno na potrzeby sukcesu działania, jak i własnego komfortu. Wielu użytkowników początkowo zakłada, że ramka gestu musi znajdować się w ich widoku za pośrednictwem urządzenia HoloLens i trzymać ręce niewygodnie w interakcję. W przypadku korzystania z funkcji HoloLens Clicker nie jest konieczne, aby ręce mieściły się w ramce gestu.
W szczególności w przypadku gestów ciągłych istnieje pewne ryzyko, że użytkownicy przenoszą ręce poza ramkę gestu podczas przenoszenia obiektu holograficznego, na przykład i utraty zamierzonego wyniku.
Należy wziąć pod uwagę trzy kwestie:
Edukacja użytkowników na temat istnienia ramki gestów i przybliżonych granic. Jest to nauczane podczas konfigurowania urządzenia HoloLens.
Powiadamianie użytkowników, gdy ich gesty zbliżają się lub przerywają granice ramek gestów w aplikacji w stopniu, w jaki utracony gest prowadzi do niepożądanych wyników. Badania wykazały kluczowe cechy takiego systemu powiadomień. Powłoka HoloLens udostępnia dobry przykład tego typu powiadomienia—wizualizacja na środkowym kursorze wskazującym kierunek, w którym odbywa się przekroczenie granicy.
Należy zminimalizować konsekwencje łamania granic ramek gestów. Ogólnie rzecz biorąc, oznacza to, że wynik gestu powinien zostać zatrzymany na granicy, a nie odwrócony. Jeśli na przykład użytkownik przenosi jakiś obiekt holograficzny w pomieszczeniu, ruch powinien zatrzymać się, gdy ramka gestu zostanie naruszona, a nie zostanie zwrócona do punktu początkowego. Użytkownik może doświadczyć frustracji, ale może szybciej zrozumieć granice i nie musi ponownie uruchamiać pełnych zamierzonych akcji za każdym razem.