Wskazywanie i zatwierdzanie przy użyciu rąk

Cursors

Punktowanie i zatwierdzanie z rękami to model wejściowy, który umożliwia użytkownikom kierowanie, wybieranie i manipulowanie zawartością 2D i 3D. Ta "daleko" technika interakcji jest unikatowa dla rzeczywistości mieszanej, ponieważ ludzie nie wchodzą naturalnie w interakcje z rzeczywistym światem w ten sposób. Na przykład w filmie super hero , X-Men, postać Magneto może manipulować daleko przedmiotów w odległości z rękami. To nie jest coś, co ludzie mogą zrobić w rzeczywistości. Zarówno w HoloLens (AR) i Mixed Reality (MR), wyposażymy użytkowników w tę magiczną moc, aby złamać fizyczne ograniczenie świata rzeczywistego. Nie tylko jest to zabawne środowisko holograficzne, ale także sprawia, że interakcje użytkowników są bardziej efektywne i wydajne.

Obsługa urządzeń

Model wejściowy HoloLens (1. generacja) HoloLens 2 Immersyjne zestawy słuchawkowe
Wskazywanie i zatwierdzanie przy użyciu rąk ❌ Nieobsługiwane ✔️ Zalecane ✔️ Zalecane

"Punktowanie i zatwierdzanie z rękami" to jedna z nowych funkcji korzystających z nowego systemu śledzenia ręcznego. Ten model wejściowy jest również podstawowym modelem wejściowym na immersywnych zestawach słuchawkowych przy użyciu kontrolerów ruchu.



Promienie dłoni

Na HoloLens 2 utworzyliśmy ray dłoni, który strzela z środka dłoni. Ten ray jest traktowany jako przedłużenie ręki. Kursor w kształcie pierścienia jest przymocowany na końcu promienia, aby wskazać lokalizację, w której promienie przecinają się z obiektem docelowym. Obiekt, na który ląduje kursor, może następnie odbierać gestalne polecenia z ręki.

To podstawowe polecenie gesturalne jest wyzwalane za pomocą kciuka i palca indeksu, aby wykonać akcję naciśnięcia powietrza. Za pomocą promienia ręcznego do wskazywania i naciśnięcia powietrza w celu zatwierdzenia użytkownicy mogą aktywować przycisk lub hiperłącze. Dzięki bardziej złożonym gestom użytkownicy mogą nawigować po zawartości internetowej i manipulować obiektami 3D z dystansu. Projekt wizualny promienia dłoni powinien również reagować na te stany punktów i zatwierdzeń, jak opisano i pokazano poniżej:

hand rays pointing
Stan wskazywania
W stanie wskazującym ray jest linią kreski, a kursor jest kształtem pierścienia.

hand rays commit
Stan zatwierdzenia
W stanie zatwierdzenia ray zamienia się w linię ciągłą, a kursor zmniejsza się do kropki.



Przejście między blisko i daleko

Zamiast używać konkretnych gestów, takich jak "wskazywanie palcem indeksowym", aby skierować promienie, zaprojektowaliśmy ray, aby wyjeżdżać z środka dłoni użytkowników. W ten sposób wydaliśmy i zarezerwowaliśmy pięć palców, aby uzyskać więcej gestów manipulacyjnych, takich jak szczypta i chwytać. W tym projekcie tworzymy tylko jeden model mentalny — ten sam zestaw gestów ręcznych jest używany zarówno do bliskiej, jak i dalekiej interakcji. Możesz użyć tego samego gestu chwytu, aby manipulować obiektami w różnych odległościach. Wywołanie promieni jest automatyczne i zbliżeniowe w następujący sposób:

Near manipulation
Bliskie manipulowanie
Gdy obiekt znajduje się w długości ramienia (około 50 cm), promienie są wyłączane automatycznie, zachęcając do bliskiej interakcji.

Far manipulation
Dalekie manipulowanie
Gdy obiekt jest dalej niż 50 cm, promienie są włączone. Przejście powinno być płynne i bezproblemowe.



Interakcja z łupkiem 2D

Łupek 2-W jest kontenerem holograficznego hostowania zawartości aplikacji 2D, takiej jak przeglądarka internetowa. Koncepcja projektowania do dalekiego interakcji z łupkiem 2D polega na użyciu promieni ręcznych do kierowania i kranu powietrza do wyboru. Po ukierunkowaniu na promienie dłoni użytkownicy mogą nacisnąć powietrze, aby wyzwolić hiperłącze lub przycisk. Mogą używać jednej ręki do "naciśnięcia powietrza i przeciągania", aby przewijać zawartość łupka w górę i w dół. Względny ruch przy użyciu dwóch rąk do naciśnięcia i przeciągania może powiększać i zmniejszać zawartość łupka.

Ukierunkowanie promienia ręki na rogach i krawędziach ujawnia najbliższą przystępność manipulacji. Dzięki "chwytaj i przeciągaj" manipulacji przystępności, użytkownicy mogą wykonywać jednolite skalowanie przez przystępność narożnika i mogą ponownie przepływać łupek za pośrednictwem przystępności krawędzi. Chwytanie i przeciąganie paska holobar w górnej części łupka 2D pozwala użytkownikom przenosić cały łupek.

2d slate interaction click
Kliknij

2d slate interaction scroll
Scroll

2d slate interaction zoom
Powiększenie


Do manipulowania łupkiem 2D

  • Użytkownicy wskazują promienie dłoni na rogach lub krawędziach, aby odsłonić najbliższą przystępność manipulacji.
  • Stosując gest manipulacji na przystępności, użytkownicy mogą wykonać jednolite skalowanie przez przystępność na rogu i może przelać łupek za pośrednictwem przystępności krawędzi.
  • Stosując gest manipulowania na pasku holobar u góry łupka 2D, użytkownicy mogą przenosić cały łupek.


Manipulowanie obiektami 3D

W bezpośredniej manipulacji istnieją dwa sposoby manipulowania obiektami 3D przez użytkowników: manipulowanie na podstawie przystępności i manipulowanie oparte na przystępności i manipulowanie oparte na przystępności. W modelu punktów i zatwierdzania użytkownicy mogą osiągnąć dokładnie te same zadania za pośrednictwem promieni dłoni. Nie jest potrzebna dodatkowa nauka.

Manipulowanie oparte na przystępności

Użytkownicy używają promieni ręcznych, aby wskazać i ujawnić pole ograniczenia i manipulacji przystępności. Użytkownicy mogą zastosować gest manipulacji w polu ograniczenia, aby przenieść cały obiekt, na krawędzi, aby obrócić, i na rogach, aby skalować jednolicie.

3d object manipulation far move
Przenieść

3d object manipulation far rotate
Obracać

3d object manipulation far scale
Skalowanie

Manipulowanie oparte na przystępności

Użytkownicy wskazują promienie dłoni, aby odsłonić pole ograniczenia, a następnie bezpośrednio zastosować gesty manipulacji na nim. Z jednej strony tłumaczenie i rotacja obiektu są skojarzone z ruchem i orientacją dłoni. Za pomocą dwóch rąk użytkownicy mogą tłumaczyć, skalować i obracać je zgodnie z względnymi ruchami dwóch rąk.



Instynktowne gesty

Koncepcja instynktownych gestów dla punktu i zatwierdzenia jest podobna do tej w przypadku bezpośredniej manipulacji rękami. Gesty wykonywane przez użytkowników w obiekcie 3D są oparte na projektowaniu przystępności interfejsu użytkownika. Na przykład mały punkt kontrolny może motywować użytkowników do szczypnięcia kciukiem i palcem indeksu, podczas gdy użytkownik może chcieć użyć wszystkich pięciu palców, aby chwycić większy obiekt.

instinctual gestures far small object
Mały obiekt

instinctual gestures far medium object
Średni obiekt

instinctual gestures far large object
Duży obiekt



Symetryczny projekt między rękami i 6 kontrolerem DoF

Koncepcja punktu i zatwierdzenia dla dalekiej interakcji została utworzona i zdefiniowana dla portalu Mixed Reality (MRP). W tym scenariuszu użytkownik nosi immersywny zestaw słuchawkowy i wchodzi w interakcje z obiektami 3D za pośrednictwem kontrolerów ruchu. Kontrolery ruchu strzelają promienie do wskazywania i manipulowania dalekimi obiektami. Na kontrolerach znajdują się przyciski służące do dalszego zatwierdzania różnych akcji. Stosujemy model interakcji promieni i przymocowaliśmy je do obu rąk. Dzięki temu projektowi symetrycznemu użytkownicy, którzy znają usługę MRP, nie będą musieli uczyć się innego modelu interakcji w celu dalekiego wskazywania i manipulowania nimi podczas korzystania z HoloLens 2 i odwrotnie.

symmetric design for rays with controllers
Promienie kontrolera

symmetric design for rays with hands
Promienie dłoni



Ręczne promienie w zestawie narzędzi MRTK (Mixed Reality Toolkit) dla aparatu Unity

Domyślnie mrTK zapewnia prefab promienia ręcznego (DefaultControllerPointer.prefab), który ma taki sam stan wizualny jak promienie ręczne powłoki. Jest on przypisywany w profilu wejściowym zestawu narzędzi MRTK w obszarze Wskaźniki. W immersywnym zestawie słuchawkowym te same promienie są używane dla kontrolerów ruchu.


Zobacz też