Spojrzenie i zatwierdzenie

Spojrzenie i zatwierdzenie to podstawowy model wejściowy, który jest ściśle związany ze sposobem interakcji z naszymi komputerami przy użyciu myszy: kliknięcie punktu&. Na tej stronie przedstawiamy dwa typy wprowadzania spojrzenia (head- i eye-gaze) oraz różne typy akcji zatwierdzania. Spojrzenie i zatwierdzenie jest uważane za daleko model wejściowy z manipulowaniem pośrednim. Najlepiej używać go do interakcji z zawartością holograficzną, która jest niedostępna.

Zestawy słuchawkowe rzeczywistości mieszanej mogą używać położenia i orientacji głowy użytkownika w celu określenia wektora kierunku głowy. Pomyśl o spojrzeniu jako laser skierowany prosto przed bezpośrednio między oczami użytkownika. Jest to dość grube przybliżenie miejsca, w którym patrzy użytkownik. Aplikacja może przeplatać ten ray z obiektami wirtualnymi lub rzeczywistymi i narysować kursor w tej lokalizacji, aby poinformować użytkownika o tym, co jest przeznaczone.

Oprócz spojrzenia głowy niektóre zestawy słuchawkowe rzeczywistości mieszanej, takie jak HoloLens 2, obejmują systemy śledzenia oczu, które generują wektor wzroku. Zapewnia to precyzyjny pomiar miejsca, w którym szuka użytkownik. W obu przypadkach spojrzenie reprezentuje ważny sygnał dla intencji użytkownika. Tym lepiej system może interpretować i przewidywać zamierzone działania użytkownika, tym większa poprawa zadowolenia użytkowników i wydajności.

Poniżej przedstawiono kilka przykładów sposobu, w jaki deweloper rzeczywistości mieszanej może skorzystać z spojrzenia głowy lub oka:

  • Aplikacja może przecinać spojrzenie z hologramami w scenie, aby określić, gdzie znajduje się uwaga użytkownika (dokładniej z spojrzeniem wzrokowym).
  • Aplikacja może kierować gesty i naciśnięcia kontrolera na podstawie spojrzenia użytkownika, co pozwala użytkownikowi bezproblemowo wybierać, aktywować, pobierać, przewijać lub w inny sposób korzystać z ich hologramów.
  • Twoja aplikacja może pozwolić użytkownikowi umieścić hologramy na rzeczywistych powierzchniach, przecinając promienie wzroku za pomocą siatki mapowania przestrzennego.
  • Twoja aplikacja może wiedzieć, kiedy użytkownik nie patrzy w kierunku ważnego obiektu, co może prowadzić aplikację do nadawania sygnałów wizualnych i dźwiękowych, aby zwrócić się do tego obiektu.

Obsługa urządzeń

Model wejściowy HoloLens (1. generacja) HoloLens 2 Immersyjne zestawy słuchawkowe
Spojrzenie na głowę i zatwierdzenie ✔️ Zalecane ✔️ Zalecane (trzeci wybór — zobacz inne opcje) ➕ Opcja alternatywna
Spojrzenie na oko i zatwierdzenie ❌ Niedostępne ✔️ Zalecane (trzeci wybór — zobacz inne opcje) ❌ Niedostępne

Pokaz koncepcji projektowania head and eye tracking

Jeśli chcesz zobaczyć koncepcje projektowe Head and Eye Tracking w akcji, zapoznaj się z naszym pokazem wideo Projektowanie Hologramów — śledzenie głowy i śledzenie oczu poniżej. Po zakończeniu przejdź dalej, aby uzyskać bardziej szczegółowe informacje na temat konkretnych tematów.

To wideo zostało zrobione z aplikacji "Projektowanie hologramów" HoloLens 2. Pobierz i ciesz się pełnym doświadczeniem tutaj.

Spojrzenie

Oko lub spojrzenie na głowę?

W obliczu pytania należy wziąć pod uwagę kilka zagadnień, czy należy użyć modelu wejściowego "wzroku i zatwierdzenia" lub "head-gaze and commit". Jeśli opracowujesz immersywny zestaw słuchawkowy lub holoLens (1. generacja), wybór jest prosty: spojrzenie na głowę i zatwierdzenie. Jeśli opracowujesz HoloLens 2, wybór staje się nieco trudniejsze. Ważne jest, aby zrozumieć zalety i wyzwania, które pochodzą z każdego z nich. Skompilowaliśmy kilka szerokich profesjonalistów i con w poniższej tabeli, aby porównać cel głowy i wzroku. Jest to dalekie od ukończenia i sugerujemy więcej informacji na temat kierowania wzrokiem w rzeczywistości mieszanej tutaj:

  • Śledzenie oczu na HoloLens 2: ogólne wprowadzenie naszej nowej możliwości śledzenia oczu na HoloLens 2, w tym wskazówki dla deweloperów.
  • Interakcja wzroku: zagadnienia i zalecenia dotyczące projektowania podczas planowania korzystania ze śledzenia oczu jako danych wejściowych.
Kierowanie wzrokiem Ukierunkowanie na głowę
Szybko! Wolniej
Niski wysiłek (ledwo wszelkie niezbędne ruchy ciała) Może być fatiguing - Możliwy dyskomfort (na przykład szczep szyi)
Nie wymaga kursora, ale zaleca się subtelne opinie Wymaga wyświetlenia kursora
Nie ma gładkich ruchów oczu — na przykład nie jest dobra do rysowania Bardziej kontrolowana i jawna
Trudne w przypadku małych celów (na przykład małe przyciski lub linki internetowe) Niezawodne! Wielki powrót!
... ...

Niezależnie od tego, czy używasz spojrzenia na głowę, czy spojrzenia na model wejściowy typu "spojrzenie i zatwierdzenie", każdy z nich zawiera różne zestawy ograniczeń projektowych. Są one pokryte oddzielnie w spojrzeniu oczu i zatwierdzeniuoraz spojrzeniu na głowę i artykułach zatwierdzonych .



Kursor

W przypadku spojrzenia na głowę większość aplikacji powinna używać kursora lub innego sygnału słuchowego/wizualnego, aby zapewnić użytkownikowi zaufanie do tego, z czym mają korzystać. Zazwyczaj ten kursor jest umieszczony na świecie, w którym ich spojrzenie głowy najpierw przecina obiekt, który może być hologramem lub powierzchnią świata rzeczywistego.

W przypadku spojrzenia na oko zalecamy, aby nie pokazywać kursora, ponieważ może to szybko stać się rozpraszające i irytujące dla użytkownika. Zamiast tego wyróżnij elementy docelowe wizualizacji lub użyj słabego kursora oka, aby zapewnić pewność, z czym użytkownik ma korzystać. Aby uzyskać więcej informacji, zapoznaj się z naszymi wskazówkami dotyczącymi projektowania danych wejściowych opartych na HoloLens 2.

Przykładowy kursor wizualizacji pokazujący spojrzenie
Obraz: Przykładowy kursor wizualizacji do pokazania spojrzenia



Zatwierdzenie

Mówiąc o różnych sposobach spojrzenia na cel, porozmawiajmy nieco więcej o części zatwierdzenia w spojrzeniu i zatwierdzeniu. Po określaniu wartości docelowej obiektu lub elementu interfejsu użytkownika użytkownik może wchodzić w interakcję lub klikać go przy użyciu danych wejściowych pomocniczych. Jest to tzw. krok zatwierdzenia w modelu wejściowym.

Obsługiwane są następujące metody zatwierdzania:

  • Gest naciśnięć dłonią (czyli podnieść rękę przed tobą i zebrać palec indeksowy i kciuk)
  • Powiedz "select" lub jedno z docelowych poleceń głosowych
  • Naciśnij pojedynczy przycisk na urządzeniu HoloLens Clicker
  • Naciśnij przycisk "A" na gamepadu Xbox
  • Naciśnij przycisk "A" na kontrolerze adaptacyjnym xbox

Gest naciśnięcia wzroku i powietrza

Naciśnięcie powietrza jest gestem naciśnięcia z ręką trzymaną w pozycji pionowej. Aby użyć naciśnięcia powietrza, podnieś palec indeksu do gotowej pozycji, a następnie szczypnij kciukiem i podnieść palec indeksu z powrotem do uwolnienia. Na urządzeniu HoloLens (1. gen) naciśnięcie powietrza jest najczęściej używanym wejściem pomocniczym.

Palec w gotowej pozycji
Palec w gotowej pozycji

Naciśnij palcem w dół, aby nacisnąć lub kliknąć przycisk
Naciśnij palcem w dół, aby nacisnąć lub kliknąć przycisk

Naciśnięcie powietrza jest również dostępne w HoloLens 2. Została złagodzona z oryginalnej wersji. Prawie wszystkie typy ściągnięć są teraz obsługiwane tak długo, jak ręka jest wyprostowana i trzymana nadal. Ułatwia to użytkownikom uczenie się i używanie gestu. To nowe naciśnięcie powietrza zastępuje stary za pomocą tego samego interfejsu API, więc istniejące aplikacje będą miały nowe zachowanie automatycznie po ponownym skompilowaniu dla HoloLens 2.



Spojrzenie i polecenie głosowe "Select"

Polecenie głosowe jest jedną z podstawowych metod interakcji w rzeczywistości mieszanej. Zapewnia zaawansowany mechanizm bezobsługowy do sterowania systemem. Istnieją różne typy modeli interakcji głosowych:

  • Ogólne polecenie "Select", które używa działania kliknięcia lub zatwierdzenia jako danych wejściowych pomocniczych.
  • Polecenia obiektu (na przykład "Zamknij" lub "Utwórz je większe") wykonują i zatwierdzają akcję jako dane wejściowe pomocnicze.
  • Polecenia globalne (na przykład "Przejdź do uruchomienia") nie wymagają elementu docelowego.
  • Interfejsy użytkownika konwersacji lub jednostki, takie jak Cortana, mają możliwość języka naturalnego sztucznej inteligencji.
  • Niestandardowe polecenia głosowe

Aby dowiedzieć się więcej o szczegółach i kompleksowej liście dostępnych poleceń głosowych i sposobie ich używania, zapoznaj się z naszymi wskazówkami dotyczącymi poleceń głosowych .



Spojrzenie i kliknięcie urządzenia HoloLens

Urządzenie HoloLens Clicker to pierwsze urządzenie peryferyjne opracowane specjalnie dla urządzenia HoloLens. Jest on dołączony do urządzenia HoloLens (1. generacji) Development Edition. Kliknięcie urządzenia HoloLens umożliwia użytkownikowi kliknięcie przy minimalnym ruchu ręcznym i zatwierdzenie jako pomocnicze dane wejściowe. Urządzenie HoloLens Clicker łączy się z urządzeniem HoloLens (1. generacji) lub HoloLens 2 przy użyciu funkcji Bluetooth Low Energy (BTLE).

Więcej informacji i instrukcji dotyczących parowania urządzenia

Obraz: HoloLens Clicker

Kliknięcie urządzenia HoloLens



Spojrzenie i Kontroler bezprzewodowy Xbox

Kontroler bezprzewodowy Xbox wykonuje działanie kliknięcia jako pomocnicze dane wejściowe przy użyciu przycisku "A". Urządzenie jest mapowane na domyślny zestaw akcji, które ułatwiają nawigowanie po systemie i sterowanie nim. Jeśli chcesz dostosować kontroler, użyj aplikacji Akcesoria Xbox, aby skonfigurować Kontroler bezprzewodowy Xbox.

Jak sparować kontroler Xbox z komputerem

Obraz: Kontroler bezprzewodowy Xbox

Kontroler bezprzewodowy Xbox



Kontroler adaptacyjny usługi Gaze i Xbox

Zaprojektowany przede wszystkim w celu zaspokojenia potrzeb graczy z ograniczoną mobilnością, kontroler adaptacyjny Xbox jest ujednoliconym koncentratorem dla urządzeń, które pomagają zwiększyć dostępność rzeczywistości mieszanej.

Kontroler adaptacyjny konsoli Xbox wykonuje działanie kliknięcia jako pomocnicze dane wejściowe przy użyciu przycisku "A". Urządzenie jest mapowane na domyślny zestaw akcji, które ułatwiają nawigowanie po systemie i sterowanie nim. Jeśli chcesz dostosować kontroler, użyj aplikacji Akcesoria xbox, aby skonfigurować kontroler adaptacyjny Xbox.

Kontroler adaptacyjny xbox
Kontroler adaptacyjny xbox

Podłącz urządzenia zewnętrzne, takie jak przełączniki, przyciski, wierzchniki i panele, aby utworzyć niestandardowe środowisko kontrolera, które jest unikatowe dla Użytkownika. Wejścia przycisku, szminki i wyzwalacza są kontrolowane za pomocą urządzeń pomocniczych podłączonych za pośrednictwem gniazd 3,5 mm i portów USB.

Porty kontrolera adaptacyjnego konsoli Xbox
Porty kontrolera adaptacyjnego konsoli Xbox

Instrukcje dotyczące parowania urządzenia

Więcej informacji dostępnych w witrynie xbox



Gesty złożone

Naciśnięcie w powietrzu

Gest naciśnięcia powietrza (i inne gesty poniżej) reaguje tylko na określone naciśnięcie. Aby wykryć inne naciśnięcia, takie jak Menu lub Uchwycić, aplikacja musi bezpośrednio korzystać z interakcji niższego poziomu opisanych w powyższej sekcji dwóch kluczowych gestów składników.

Naciśnij i przytrzymaj

Blokada jest po prostu utrzymanie położenia palca w dół kranu powietrza. Kombinacja naciśnięcia powietrza i blokady pozwala na różne bardziej złożone interakcje "klikanie i przeciąganie" w połączeniu z ruchem ramienia, takie jak podnoszenia obiektu zamiast aktywowania go lub interakcji pomocniczych myszy, takich jak pokazanie menu kontekstowego. Podczas projektowania tego gestu należy jednak zachować ostrożność, ponieważ użytkownicy mogą być skłonni do złagodzenia postaw dłoni podczas każdego gestu rozszerzonego.

manipulowanie

Gesty manipulowania mogą służyć do przenoszenia, zmieniania rozmiaru lub obracania hologramu, gdy hologram ma reagować na ruch dłoni użytkownika 1:1. Jednym z nich do takich ruchów 1:1 jest pozwolić użytkownikowi narysować lub malować na świecie. Początkowe określanie wartości docelowej dla gestu manipulowania powinno odbywać się przez spojrzenie lub skierowanie. Po uruchomieniu naciśnięcia i przytrzymowania wszelkie manipulacje obiektami są obsługiwane przez ruchy ręczne, co zwalnia użytkownika do rozglądnięcia się podczas manipulowania nimi.

Gesty nawigacji działają jak wirtualny interfejs nawigacyjny i mogą służyć do nawigowania po widżetach interfejsu użytkownika, takich jak menu promieniowe. Naciśnij i przytrzymaj, aby rozpocząć gest, a następnie przenieść rękę w znormalizowanym sześcianie 3D, wyśrodkowanym wokół początkowego naciśnięcia. Możesz przenieść rękę wzdłuż osi X, Y lub Z z wartości od -1 do 1, a 0 jest punktem początkowym. Nawigacja może służyć do tworzenia opartych na szybkości ciągłych gestów przewijania lub powiększania, podobnie jak przewijanie interfejsu użytkownika 2D przez kliknięcie środkowego przycisku myszy, a następnie przeniesienie myszy w górę i w dół.

Nawigacja z szynami odnosi się do możliwości rozpoznawania ruchów na określonej osi do momentu osiągnięcia określonego progu na tej osi. Jest to przydatne tylko wtedy, gdy ruch na więcej niż jednej osi jest włączony w aplikacji przez dewelopera, na przykład jeśli aplikacja jest skonfigurowana do rozpoznawania gestów nawigacji na osi X, Y, ale także określonej osi X z szynami. W takim przypadku system rozpozna ruchy ręczne na osi X, o ile pozostają w wyimaginowanych szyn (prowadnic) na osi X, jeśli ruch dłoni występuje również na osi Y.

W aplikacjach 2D użytkownicy mogą używać gestów nawigacji pionowej do przewijania, powiększania lub przeciągania wewnątrz aplikacji. Powoduje to wstrzyknięcie wirtualnego palca do aplikacji w celu symulowania gestów dotykowych tego samego typu. Użytkownicy mogą wybrać, które z tych akcji mają miejsce, przełączając się między narzędziami na pasku nad aplikacją, wybierając przycisk lub mówiąc "<Scroll/Drag/Zoom> Tool".

Więcej informacji na temat gestów złożonych

Rozpoznawanie gestów

Jedną z zalet korzystania z rozpoznawania gestów jest możliwość skonfigurowania rozpoznawania gestów tylko dla gestów, które obecnie docelowy hologram może zaakceptować. Platforma rozróżnia tylko te konkretne obsługiwane gesty. W ten sposób hologram, który tylko obsługuje naciśnięcie powietrza, może zaakceptować dowolny czas między naciśnięciem i zwolnieniem, podczas gdy hologram obsługujący zarówno naciśnięcie, jak i blokadę może podwyższyć poziom naciśnięcia do blokady po progu czasu wstrzymania.

Rozpoznawanie rąk

Urządzenie HoloLens rozpoznaje gesty ręczne, śledząc położenie lub obie ręce widoczne dla urządzenia. Urządzenie HoloLens widzi ręce, gdy znajdują się w stanie gotowości (z tyłu strony skierowanej do Ciebie palcem wskazującym w górę) lub stanu naciśniętego (z tyłu strony skierowanej do ciebie palcem wskazującym w dół). Gdy ręce znajdują się w innych pozycjach, holoLens je ignoruje. Dla każdej ręki wykrywanej przez urządzenie HoloLens można uzyskać dostęp do jego położenia bez orientacji i stanu naciśniętego. Gdy ręka zbliża się do krawędzi ramki gestu, otrzymujesz również wektor kierunkowy, który można pokazać użytkownikowi, aby wiedzieć, jak przenieść rękę, aby wrócić do miejsca, w którym można zobaczyć urządzenie HoloLens.

Ramka gestu

W przypadku gestów na urządzeniu HoloLens ręka musi znajdować się w ramce gestu, w zakresie, który aparaty wykrywające gesty mogą odpowiednio zobaczyć od nosa do talii i między ramionami. Użytkownicy muszą być przeszkoleni w tym obszarze rozpoznawania zarówno dla sukcesu działania, jak i dla własnego komfortu. Wielu użytkowników początkowo zakłada, że ramka gestu musi być w ich widoku przez HoloLens i trzymać ramiona niewygodnie w interakcji. W przypadku korzystania z urządzenia HoloLens Clicker nie jest konieczne, aby ręce mieściły się w ramce gestu.

W szczególności w przypadku gestów ciągłych istnieje pewne ryzyko, że użytkownicy przenoszą ręce poza ramkę gestu podczas przenoszenia obiektu holograficznego, na przykład i utraty zamierzonego wyniku.

Należy wziąć pod uwagę trzy kwestie:

  • Edukacja użytkowników na temat istnienia ramki gestu i przybliżonych granic. Jest to nauczane podczas konfigurowania urządzenia HoloLens.

  • Powiadamianie użytkowników, gdy ich gesty zbliżają się lub łamą granice ramek gestów w aplikacji, w pewnym stopniu, że utracony gest prowadzi do niepożądanych wyników. Badania wykazały kluczowe cechy takiego systemu powiadomień. Powłoka HoloLens udostępnia dobry przykład tego typu powiadomień — na środkowym kursorze wskazujący kierunek, w którym odbywa się przejście graniczne.

  • Należy zminimalizować konsekwencje zerwania granic ramek gestu. Ogólnie rzecz biorąc, oznacza to, że wynik gestu powinien zostać zatrzymany na granicy, a nie odwrócony. Jeśli na przykład użytkownik przenosi jakiś obiekt holograficzny w pomieszczeniu, ruch powinien zatrzymać się po naruszeniu ramki gestu i nie powrócić do punktu początkowego. Użytkownik może napotkać pewną frustrację, ale może szybciej zrozumieć granice i nie musi ponownie uruchamiać pełnych zamierzonych akcji za każdym razem.

Zobacz też