Wskazywanie i zatwierdzanie przy użyciu rąk
Punktowanie i zatwierdzanie z rękami to model wejściowy, który umożliwia użytkownikom kierowanie, wybieranie i manipulowanie zawartością 2D i 3D. Ta "daleko" technika interakcji jest unikatowa dla rzeczywistości mieszanej, ponieważ ludzie nie wchodzą naturalnie w interakcje z rzeczywistym światem w ten sposób. Na przykład w filmie super hero , X-Men, postać Magneto może manipulować daleko przedmiotów w odległości z rękami. To nie jest coś, co ludzie mogą zrobić w rzeczywistości. Zarówno w HoloLens (AR) i Mixed Reality (MR), wyposażymy użytkowników w tę magiczną moc, aby złamać fizyczne ograniczenie świata rzeczywistego. Nie tylko jest to zabawne środowisko holograficzne, ale także sprawia, że interakcje użytkowników są bardziej efektywne i wydajne.
Obsługa urządzeń
| Model wejściowy | HoloLens (1. generacja) | HoloLens 2 | Immersyjne zestawy słuchawkowe |
| Wskazywanie i zatwierdzanie przy użyciu rąk | ❌ Nieobsługiwane | ✔️ Zalecane | ✔️ Zalecane |
"Punktowanie i zatwierdzanie z rękami" to jedna z nowych funkcji korzystających z nowego systemu śledzenia ręcznego. Ten model wejściowy jest również podstawowym modelem wejściowym na immersywnych zestawach słuchawkowych przy użyciu kontrolerów ruchu.
Promienie dłoni
Na HoloLens 2 utworzyliśmy ray dłoni, który strzela z środka dłoni. Ten ray jest traktowany jako przedłużenie ręki. Kursor w kształcie pierścienia jest przymocowany na końcu promienia, aby wskazać lokalizację, w której promienie przecinają się z obiektem docelowym. Obiekt, na który ląduje kursor, może następnie odbierać gestalne polecenia z ręki.
To podstawowe polecenie gesturalne jest wyzwalane za pomocą kciuka i palca indeksu, aby wykonać akcję naciśnięcia powietrza. Za pomocą promienia ręcznego do wskazywania i naciśnięcia powietrza w celu zatwierdzenia użytkownicy mogą aktywować przycisk lub hiperłącze. Dzięki bardziej złożonym gestom użytkownicy mogą nawigować po zawartości internetowej i manipulować obiektami 3D z dystansu. Projekt wizualny promienia dłoni powinien również reagować na te stany punktów i zatwierdzeń, jak opisano i pokazano poniżej:
Stan wskazywania
W stanie wskazującym ray jest linią kreski, a kursor jest kształtem pierścienia.
Stan zatwierdzenia
W stanie zatwierdzenia ray zamienia się w linię ciągłą, a kursor zmniejsza się do kropki.
Przejście między blisko i daleko
Zamiast używać konkretnych gestów, takich jak "wskazywanie palcem indeksowym", aby skierować promienie, zaprojektowaliśmy ray, aby wyjeżdżać z środka dłoni użytkowników. W ten sposób wydaliśmy i zarezerwowaliśmy pięć palców, aby uzyskać więcej gestów manipulacyjnych, takich jak szczypta i chwytać. W tym projekcie tworzymy tylko jeden model mentalny — ten sam zestaw gestów ręcznych jest używany zarówno do bliskiej, jak i dalekiej interakcji. Możesz użyć tego samego gestu chwytu, aby manipulować obiektami w różnych odległościach. Wywołanie promieni jest automatyczne i zbliżeniowe w następujący sposób:
Bliskie manipulowanie
Gdy obiekt znajduje się w długości ramienia (około 50 cm), promienie są wyłączane automatycznie, zachęcając do bliskiej interakcji.
Dalekie manipulowanie
Gdy obiekt jest dalej niż 50 cm, promienie są włączone. Przejście powinno być płynne i bezproblemowe.
Interakcja z łupkiem 2D
Łupek 2-W jest kontenerem holograficznego hostowania zawartości aplikacji 2D, takiej jak przeglądarka internetowa. Koncepcja projektowania do dalekiego interakcji z łupkiem 2D polega na użyciu promieni ręcznych do kierowania i kranu powietrza do wyboru. Po ukierunkowaniu na promienie dłoni użytkownicy mogą nacisnąć powietrze, aby wyzwolić hiperłącze lub przycisk. Mogą używać jednej ręki do "naciśnięcia powietrza i przeciągania", aby przewijać zawartość łupka w górę i w dół. Względny ruch przy użyciu dwóch rąk do naciśnięcia i przeciągania może powiększać i zmniejszać zawartość łupka.
Ukierunkowanie promienia ręki na rogach i krawędziach ujawnia najbliższą przystępność manipulacji. Dzięki "chwytaj i przeciągaj" manipulacji przystępności, użytkownicy mogą wykonywać jednolite skalowanie przez przystępność narożnika i mogą ponownie przepływać łupek za pośrednictwem przystępności krawędzi. Chwytanie i przeciąganie paska holobar w górnej części łupka 2D pozwala użytkownikom przenosić cały łupek.
Kliknij
Scroll
Powiększenie
Do manipulowania łupkiem 2D
- Użytkownicy wskazują promienie dłoni na rogach lub krawędziach, aby odsłonić najbliższą przystępność manipulacji.
- Stosując gest manipulacji na przystępności, użytkownicy mogą wykonać jednolite skalowanie przez przystępność na rogu i może przelać łupek za pośrednictwem przystępności krawędzi.
- Stosując gest manipulowania na pasku holobar u góry łupka 2D, użytkownicy mogą przenosić cały łupek.
Manipulowanie obiektami 3D
W bezpośredniej manipulacji istnieją dwa sposoby manipulowania obiektami 3D przez użytkowników: manipulowanie na podstawie przystępności i manipulowanie oparte na przystępności i manipulowanie oparte na przystępności. W modelu punktów i zatwierdzania użytkownicy mogą osiągnąć dokładnie te same zadania za pośrednictwem promieni dłoni. Nie jest potrzebna dodatkowa nauka.
Manipulowanie oparte na przystępności
Użytkownicy używają promieni ręcznych, aby wskazać i ujawnić pole ograniczenia i manipulacji przystępności. Użytkownicy mogą zastosować gest manipulacji w polu ograniczenia, aby przenieść cały obiekt, na krawędzi, aby obrócić, i na rogach, aby skalować jednolicie.
Przenieść
Obracać
Skalowanie
Manipulowanie oparte na przystępności
Użytkownicy wskazują promienie dłoni, aby odsłonić pole ograniczenia, a następnie bezpośrednio zastosować gesty manipulacji na nim. Z jednej strony tłumaczenie i rotacja obiektu są skojarzone z ruchem i orientacją dłoni. Za pomocą dwóch rąk użytkownicy mogą tłumaczyć, skalować i obracać je zgodnie z względnymi ruchami dwóch rąk.
Instynktowne gesty
Koncepcja instynktownych gestów dla punktu i zatwierdzenia jest podobna do tej w przypadku bezpośredniej manipulacji rękami. Gesty wykonywane przez użytkowników w obiekcie 3D są oparte na projektowaniu przystępności interfejsu użytkownika. Na przykład mały punkt kontrolny może motywować użytkowników do szczypnięcia kciukiem i palcem indeksu, podczas gdy użytkownik może chcieć użyć wszystkich pięciu palców, aby chwycić większy obiekt.
Mały obiekt
Średni obiekt
Duży obiekt
Symetryczny projekt między rękami i 6 kontrolerem DoF
Koncepcja punktu i zatwierdzenia dla dalekiej interakcji została utworzona i zdefiniowana dla portalu Mixed Reality (MRP). W tym scenariuszu użytkownik nosi immersywny zestaw słuchawkowy i wchodzi w interakcje z obiektami 3D za pośrednictwem kontrolerów ruchu. Kontrolery ruchu strzelają promienie do wskazywania i manipulowania dalekimi obiektami. Na kontrolerach znajdują się przyciski służące do dalszego zatwierdzania różnych akcji. Stosujemy model interakcji promieni i przymocowaliśmy je do obu rąk. Dzięki temu projektowi symetrycznemu użytkownicy, którzy znają usługę MRP, nie będą musieli uczyć się innego modelu interakcji w celu dalekiego wskazywania i manipulowania nimi podczas korzystania z HoloLens 2 i odwrotnie.
Promienie kontrolera
Promienie dłoni
Ręczne promienie w zestawie narzędzi MRTK (Mixed Reality Toolkit) dla aparatu Unity
Domyślnie mrTK zapewnia prefab promienia ręcznego (DefaultControllerPointer.prefab), który ma taki sam stan wizualny jak promienie ręczne powłoki. Jest on przypisywany w profilu wejściowym zestawu narzędzi MRTK w obszarze Wskaźniki. W immersywnym zestawie słuchawkowym te same promienie są używane dla kontrolerów ruchu.