Modele interakcji

  • 5 min

Zestaw narzędzi Mixed Reality Toolkit umożliwia korzystanie z danych wejściowych z różnych źródeł danych wejściowych, takich jak kontrolery 6DoF (sześć stopni swobody), przegubowe ręce lub mowę. Aby określić najlepszy model interakcji dla aplikacji, zastanów się nad celami użytkowników i rozważ wszelkie czynniki środowiskowe, które mogą mieć wpływ na ich środowisko.

Istnieją trzy podstawowe modele interakcji, które odpowiadają większości środowisk rzeczywistości mieszanej. Mimo że można połączyć części różnych modeli interakcji z aplikacją, należy dokładnie zastanowić się przed wykonaniem tej czynności. Tworzy ryzyko konkurencyjnych danych wejściowych użytkownika, takich jak jednoczesne promienie dłoni i kursor wzroku głowy, a to może przytłoczyć i mylić użytkowników.

Model z kontrolerami rąk i ruchu

Model z kontrolerami rąk i ruchu wymaga od użytkowników użycia jednej lub dwóch rąk w celu interakcji ze światem holograficznym. Ten model usuwa granicę między maszyną wirtualną a fizyczną.

Oto przykłady konkretnych scenariuszy:

  • Udostępnianie pracownikom przetwarzającym informacje ekranów wirtualnych 2D z przystępnymi cenami interfejsu użytkownika w celu wyświetlania i kontrolowania zawartości
  • Udostępnianie pracownikom pierwszej linii samouczków i przewodników dotyczących linii montażowych w fabrykach
  • Opracowywanie profesjonalnych narzędzi do wspomagania i szkolenia pracowników służby zdrowia
  • Używanie obiektów wirtualnych 3D do dekorowania świata rzeczywistego lub tworzenia innego świata
  • Tworzenie usług i gier opartych na lokalizacji przy użyciu naturalnego świata jako tła

Istnieją trzy rodzaje modalności dotyczące kontrolerów rąk i ruchu:

  • Bezpośrednie manipulowanie przy użyciu rąk
  • Wskazywanie i zatwierdzanie przy użyciu rąk
  • Kontrolery ruchu

Model bez użycia rąk

Jak wskazuje nazwa, model bez użycia rąk umożliwia użytkownikom interakcję z zawartością holograficzną bez korzystania z rąk. Zamiast tego mogą używać wprowadzania głosu lub "spojrzenia i mieszkania".

Oto przykłady konkretnych scenariuszy:

  • Przechodzenie przez zadanie, gdy ręce użytkownika są zajęte
  • Odwoływanie się do materiałów, gdy ręce użytkownika są zajęte
  • Zmęczenie rąk
  • Rękawiczki, których nie można śledzić
  • Niesienie czegoś w rękach
  • Niezręczność społeczna, aby wykonywać duże gesty dłoni
  • Ciasne przestrzenie

Spojrzenie i zatwierdzenie

Najlepiej używać spojrzenia i zatwierdzania podczas interakcji z zawartością holograficzną, która jest poza zasięgiem. Użytkownik patrzy na obiekt lub element interfejsu użytkownika, a następnie wybiera go ("zatwierdzenia" do niego) przy użyciu danych wejściowych pomocniczych. Metody zatwierdzania obejmują polecenia głosowe, naciśnięcie przycisku lub gest dłonią.

Istnieją dwa typy wprowadzania spojrzenia (spojrzenie na głowę i oko) i mają różne akcje zatwierdzania.