Wskazywanie i zatwierdzanie przy użyciu rąk
Wskazywanie i zatwierdzanie za pomocą rąk to model wejściowy, który umożliwia użytkownikom kierowanie, wybieranie i manipulowanie zawartością 2D i 3D. Ta "daleko" technika interakcji jest unikatowa dla rzeczywistości mieszanej, ponieważ ludzie nie wchodzą w naturalny interakcje z rzeczywistym światem w ten sposób. Na przykład w filmie super hero, X-Men, postać Magneto może manipulować dalekimi przedmiotami w odległości z rękami. To nie jest coś, co ludzie mogą zrobić w rzeczywistości. W obu urządzeniach HoloLens (AR) i Mixed Reality (MR) udostępniamy użytkownikom tę magiczną moc, aby przełamać fizyczne ograniczenie świata rzeczywistego. Nie tylko jest to zabawne środowisko holograficzne, ale także sprawia, że interakcje użytkowników są bardziej efektywne i wydajne.
Obsługa urządzeń
| Model wejściowy | HoloLens (1. generacja) | HoloLens 2 | Immersyjne zestawy nagłowne |
| Wskazywanie i zatwierdzanie przy użyciu rąk | ❌ Nieobsługiwane | ✔️ Zalecane | ✔️ Zalecane |
"Wskazywanie i zatwierdzanie za pomocą rąk" jest jedną z nowych funkcji korzystających z nowego systemu śledzenia ręcznego. Ten model wejściowy jest również podstawowym modelem wejściowym w immersywnych zestawach nagłownych przy użyciu kontrolerów ruchu.
Promienie dłoni
Na HoloLens 2 stworzyliśmy ray dłoni, który strzela z środka dłoni użytkownika. Ten ray jest traktowany jako rozszerzenie ręki. Kursor w kształcie pierścienia jest dołączony na końcu promienia, aby wskazać lokalizację, w której promienie przecinają się z obiektem docelowym. Obiekt, na który ląduje kursor, może następnie odbierać polecenia gesturalne z ręki.
To podstawowe polecenie gesturalne jest wyzwalane za pomocą kciuka i palca wskazującego, aby wykonać akcję naciśnięcia powietrza. Za pomocą promienia ręcznego, aby wskazać i nacisnąć powietrze do zatwierdzenia, użytkownicy mogą aktywować przycisk lub hiperlink. Dzięki bardziej złożonym gestom użytkownicy mogą nawigować po zawartości internetowej i manipulować obiektami 3D z daleka. Projekt wizualny promienia ręki powinien również reagować na te stany punktów i zatwierdzeń, jak opisano i pokazano poniżej:
Stan wskazywania
W stanie wskazującym , ray jest linią kreski, a kursor jest kształtem pierścienia.
Stan zatwierdzenia
W stanie zatwierdzenia ray zamienia się w linię ciągłą, a kursor zmniejsza się do kropki.
Przejście między blisko i daleko
Zamiast używać konkretnych gestów, takich jak "wskazywanie palcem indeksowym", aby skierować promienie, zaprojektowaliśmy ray do wyjęcia z środka dłoni użytkowników. W ten sposób wydaliśmy i zastrzegliśmy pięć palców, aby uzyskać więcej manipulacyjnych gestów, takich jak szczypta i chwytając. W tym projekcie tworzymy tylko jeden model mentalny — ten sam zestaw gestów dłoni jest używany zarówno do interakcji bliskiej, jak i dalekiej. Możesz użyć tego samego gestu chwytania, aby manipulować obiektami w różnych odległościach. Wywołanie promieni jest automatyczne i zbliżeniowe w następujący sposób:
Niemal manipulowanie
Gdy obiekt znajduje się w długości ramienia (około 50 cm), promienie są wyłączane automatycznie, zachęcając do bliskiej interakcji.
Dalekie manipulowanie
Gdy obiekt jest dalej niż 50 cm, promienie są włączone. Przejście powinno być płynne i bezproblemowe.
Interakcja łupków 2D
Łupek 2D jest kontenerem holograficznym obsługującym zawartość aplikacji 2D, taką jak przeglądarka internetowa. Koncepcja projektowania do dalekiego interakcji z łupkiem 2D jest użycie promieni ręcznych do kierowania i kranu powietrza do wyboru. Po namierzeniu za pomocą promienia ręcznego użytkownicy mogą nacisnąć powietrze, aby wyzwolić hiperlink lub przycisk. Mogą używać jednej ręki do "naciśnięcia powietrza i przeciągania", aby przewijać zawartość łupków w górę i w dół. Względny ruch za pomocą dwóch rąk do naciśnięcia powietrza i przeciągania może powiększać i zmniejszać zawartość łupków.
Ukierunkowanie promienia ręki na rogach i krawędziach ujawnia najbliższą przystępność manipulacji. Dzięki "chwytaj i przeciągaj" przystępności manipulacji, użytkownicy mogą wykonywać jednolite skalowanie przez przystępności narożników i mogą przepełnić łupek za pośrednictwem przystępnych cenowo krawędzi. Chwytanie i przeciąganie holobaru w górnej części łupka 2D umożliwia użytkownikom przenoszenie całej łupków.
Kliknij
Scroll
Powiększenie
Do manipulowania łupkiem 2D
- Użytkownicy wskazują promienie ręki na rogach lub krawędziach, aby ujawnić najbliższą przystępność manipulacji.
- Stosując gest manipulacji na przystępności, użytkownicy mogą wykonać jednolite skalowanie przez przystępność rogu i mogą przełożyć łupek przez przystępność krawędzi.
- Stosując gest manipulacji na holobar u góry łupka 2D, użytkownicy mogą przenosić cały łupek.
Manipulowanie obiektami 3D
W przypadku bezpośredniej manipulacji istnieją dwa sposoby manipulowania obiektami 3D przez użytkowników: manipulacja oparta na przystępnościach i manipulowanie na podstawie przystępności. W modelu punktów i zatwierdź, użytkownicy mogą osiągnąć dokładnie te same zadania za pośrednictwem promieni ręcznych. Nie jest potrzebna żadna dodatkowa nauka.
Manipulowanie oparte na przystępności
Użytkownicy używają promieni ręcznych, aby wskazać i ujawnić pole ograniczenia i manipulacji sobie przystępności. Użytkownicy mogą zastosować gest manipulowania w polu ograniczenia, aby przenieść cały obiekt, na krawędzi, aby obrócić, i na przystępności narożników w celu równomiernego skalowania.
Przenieść
Obrót
Skalowanie
Manipulowanie oparte na dostępności
Użytkownicy wskazują promienie ręczne, aby ujawnić pole ograniczenia, a następnie bezpośrednio stosować na nim gesty manipulacji. Z jednej strony translacja i obrót obiektu są skojarzone z ruchem i orientacją ręki. Dzięki dwóm rękoma użytkownicy mogą tłumaczyć, skalować i obracać je w zależności od względnych ruchów dwóch rąk.
Instynktowne gesty
Koncepcja instynktownych gestów dla punktu i zatwierdzenia jest podobna do tej w przypadku bezpośredniej manipulacji rękami. Gesty wykonywane przez użytkowników na obiekcie 3D są prowadzone przez projekt zapewniania interfejsu użytkownika. Na przykład mały punkt kontrolny może motywować użytkowników do szczypnięcia kciukiem i palcem wskazującym, podczas gdy użytkownik może chcieć użyć wszystkich pięciu palców, aby chwycić większy obiekt.
Mały obiekt
Średni obiekt
Duży obiekt
Projekt symetryczny między rękami i 6 kontrolerem DoF
Koncepcja punktu i zatwierdzenia dla dalekiej interakcji została utworzona i zdefiniowana dla portalu Mixed Reality (MRP). W tym scenariuszu użytkownik nosi immersywny zestaw słuchawkowy i wchodzi w interakcje z obiektami 3D za pośrednictwem kontrolerów ruchu. Kontrolery ruchu strzelają promienie do wskazywania i manipulowania dalekimi obiektami. Na kontrolerach znajdują się przyciski służące do dalszego zatwierdzania różnych akcji. Stosujemy model interakcji promieni i przymocowaliśmy je do obu rąk. Dzięki temu projektowi symetrycznemu użytkownicy, którzy znają usługę MRP, nie będą musieli uczyć się innego modelu interakcji w celu dalekiego wskazywania i manipulowania nimi podczas korzystania z HoloLens 2 i odwrotnie.
Promienie kontrolera
Promienie dłoni
Ręczne promienie w zestawie narzędzi MRTK (Mixed Reality Toolkit) dla aparatu Unity
Domyślnie mrTK zapewnia prefab promienia ręcznego (DefaultControllerPointer.prefab), który ma taki sam stan wizualny jak promienie ręczne powłoki. Jest on przypisywany w profilu wejściowym zestawu narzędzi MRTK w obszarze Wskaźniki. W immersywnym zestawie słuchawkowym te same promienie są używane dla kontrolerów ruchu.