Kursory
Kursor zapewnia ciągłą opinię na podstawie tego, gdzie zestaw słuchawkowy uważa, że bieżący fokus użytkowników jest w danym momencie. Opinie dotyczące kursora obejmują obszar, hologram lub punkt w środowisku wirtualnym reagują na dane wejściowe. Mimo że kursor jest cyfrową reprezentacją miejsca, w którym urządzenie rozumie uwagę użytkownika, nie jest to takie samo, jak określenie intencji użytkownika. Opinia o kursorze informuje również użytkowników, jakich odpowiedzi systemowych można oczekiwać. Możesz użyć opinii, aby przekazać swoje intencje do urządzenia, co zwiększa pewność użytkownika.
Istnieją 3 rodzaje kursorów: palec, ray i spojrzenie na głowę. Te kursory wskazujące działają z różnymi modalnościami wejściowymi na urządzeniu HoloLens, HoloLens 2 i immersywnymi zestawami słuchawkowymi. Poniżej przedstawiono wskazówki dotyczące typu kursora do użycia dla każdego typu zestawu słuchawkowego i modelu interakcji. W zestawie narzędzi Mixed Reality Toolkit (MRTK) utworzyliśmy moduły przeciągania i upuszczania kursorów, aby ułatwić tworzenie odpowiedniego środowiska wskazującego.
Obsługa urządzeń
| Funkcja | HoloLens (1. generacja) | HoloLens 2 | Immersyjne zestawy słuchawkowe |
| Kursor palca | ❌ | ✔️ | ❌ |
| Kursor promienia | ❌ | ✔️ | ✔️ |
| Kursor na głowę | ✔️ | ✔️ | ✔️ |
Kursor palca
Kursor palca jest dostępny tylko na HoloLens 2, aby ulepszyć tryb interakcji "bezpośrednie manipulowanie rękami". Dołączyliśmy pierścienie do wskazówek obu palców indeksu, aby lepiej zrozumieć, gdzie palec wskazuje. Rozmiar pierścienia zależy od odległości palca do powierzchni interfejsu użytkownika, która zmniejsza się do małej kropki, gdy palec dotyka interfejsu użytkownika. Im bliżej palca, tym mniejszy pierścień.
Wizualne stany opinii kursora palca 1: pierścień zmniejsza się do kropki. 2: Pierścień wyrównuje się z powierzchnią. 3: Pierścień jest prostopadły do wektora palca. 4: Brak pierścienia.
Kursor promienia
Kursory ray są przymocowane do końca daleko wskazujących promieni, aby umożliwić manipulowanie obiektami, które są poza zasięgiem dłoni. W immersyjnych zestawach słuchawkowych promienie strzelają z kontrolerów ruchu i kończą się kursorami kropkowymi. W HoloLens 2 stosujemy model mentalny tych promieni kontrolera ruchu i zaprojektowane promienie dłoni, które pochodzą z dłoni i kończą się kursorami w kształcie pierścienia, które są zgodne z kursorami palcami używanymi w bezpośredniej manipulacji.
Kursory promieniowe kontrolerów ruchu
Kursory promienia rąk
Kursor na głowę
Kursor na głowę to kropka, która łączy się na końcu niewidzialnego wektora wzroku głowy, który używa położenia i obrotu głowy do punktu. Aby wykonać akcje, ten kursor wskazujący jest sparowany z różnymi danymi wejściowymi zatwierdzenia, takimi jak naciśnięcie powietrza, polecenia głosowe, zatrzymanie i naciśnięcie przycisku. W HoloLens 2, spojrzenie na głowę jest najlepiej sparowane z wszelkimi danymi wejściowymi zatwierdzenia, które nie są kranem powietrza, ponieważ wystąpi konflikt interakcji między kranem powietrza a promieniami dalekoręcznych.
Kursor na głowę z gestem dłoni
Kursor na głowę z poleceniem głosowym
Zalecenia dotyczące dostosowywania kursora
Jeśli chcesz dostosować zachowania i wyglądy kursora, oto kilka zaleceń dotyczących projektowania:
Skalowanie kursorów
- Kursor nie powinien być większy niż dostępne elementy docelowe, co pozwala użytkownikom na łatwą interakcję z zawartością i wyświetlanie jej.
- W zależności od tworzonego środowiska skalowanie kursora, gdy użytkownik rozgląda się, jest również ważnym czynnikiem. Na przykład, gdy użytkownik patrzy dalej w twoim środowisku, kursor nie powinien stać się zbyt mały, tak aby został utracony.
- Podczas skalowania kursora rozważ zastosowanie do niego miękkiej animacji w miarę skalowania, aby dać jej organiczne uczucie.
- Unikaj utrudniania zawartości. Hologramy są tym, co sprawia, że doświadczenie jest pamiętne, a kursor nie powinien być od nich zabierany.
Kształt kursora bez kierunku
- Chociaż nie ma żadnego kształtu kursora w prawo, zalecamy użycie kształtu bezkierunkowego, takiego jak torus. Kursor wskazujący jakiś kierunek (na przykład tradycyjny kursor strzałki) może mylić użytkownika, aby zawsze wyglądał w ten sposób.
- Wyjątkiem jest użycie kursora do przekazywania instrukcji interakcji użytkownikowi. Na przykład podczas skalowania hologramów w systemie operacyjnym Mixed Reality kursor tymczasowo zawiera strzałki, które instruują użytkownika, jak przenieść rękę do skalowania hologramu.
Wygląd i działanie
- Kursor w kształcie pierścienia lub torusa działa dla wielu aplikacji.
- Wybierz kolor i kształt, który najlepiej reprezentuje tworzone środowisko.
- Kursory są szczególnie podatne na separację kolorów.
- Mały kursor ze zrównoważonym nieprzezroczystością utrzymuje ją informacyjną bez dominacji w hierarchii wizualnej.
- Bądźcie świadomi używania cieni lub wyróżniania za kursorem, ponieważ mogą utrudniać zawartość i rozpraszać uwagę od zadania.
- Kursory powinny być wyrównane do powierzchni w aplikacji i przytulić je. Użytkownicy będą mieli poczucie, że system może zobaczyć, gdzie wyglądają, ale także, że system jest świadomy swojego otoczenia. Na przykład kursor w systemie operacyjnym Mixed Reality jest wyrównany do powierzchni świata użytkownika, tworząc poczucie świadomości świata nawet wtedy, gdy użytkownik nie patrzy bezpośrednio na hologram.
- Magnetyczne blokowanie kursora do elementu interaktywnego, gdy jest blisko użytkownika, może pomóc zwiększyć pewność, że użytkownik będzie wchodzić w interakcję z tym elementem podczas korzystania z akcji wyboru.
Wizualnych
- Jeśli twoje środowisko koncentruje się na pojedynczym hologramie, kursor powinien być wyrównany i przytulić tylko ten hologram i zmienić kształt, gdy odejdziesz od tego hologramu. Może to przekazać użytkownikowi, że hologram jest możliwy do działania i może z nim korzystać.
- Jeśli aplikacja używa mapowania przestrzennego, kursor może wyrównać i przytulić każdą widoczną powierzchnię. Dzięki temu użytkownicy urządzenia HoloLens i aplikacja mogą zobaczyć ich miejsce. Wzmacnia to fakt, że hologramy są prawdziwe i w naszym świecie i pomagają wypełnić lukę między rzeczywistym i wirtualnym.
- Masz pojęcie o tym, co powinien zrobić kursor, gdy nie ma hologramów ani powierzchni w widoku. Umieszczenie go na wstępnie określonej odległości przed użytkownikiem jest jedną z opcji.
Możliwe akcje
- Kursor może być reprezentowany przez różne ikony, aby przekazać możliwe akcje, które może wykonać hologram, na przykład skalowanie lub obracanie.
- Dodaj dodatkowe informacje na kursorze tylko wtedy, gdy oznacza to coś dla użytkownika. W przeciwnym razie użytkownicy mogą nie zauważyć zmian stanu lub pomylić kursor.
Stan danych wejściowych
Możemy użyć kursora, aby wyświetlić stan lub intencję użytkownika. Na przykład możemy wyświetlić ikonę informującą użytkownika, że system widzi stan dłoni i że aplikacja wie, że jest gotowa do podjęcia działań.
Możemy również użyć kursora, aby pokazać użytkownikom, że polecenia głosowe zostały wysłuchane przez system za pomocą chwilowej zmiany koloru
Następujące stany kursora można zaimplementować na różne sposoby. Te różne stany można zaimplementować przez modelowanie kursora, takiego jak maszyna stanu. Na przykład:
- Stan bezczynności to miejsce, w którym wyświetlany jest domyślny kursor.
- Stan gotowości jest wyświetlany po wykryciu ręki użytkownika w pozycji gotowej.
- Stan interakcji jest taki, gdy użytkownik wykonuje określoną interakcję.
- Możliwe stany akcji lub stan aktywowania to czas przekazywania możliwych akcji, które można wykonać na hologramie.
Można również zaimplementować te stany w sposób zdolny do wyświetlania różnych zasobów sztuki podczas wykrywania różnych stanów.
Przechodzenie "bez kursora"
Projektowanie bez kursora jest zalecane, gdy poczucie immersji jest kluczowym składnikiem środowiska, a podczas wskazywania interakcji (za pośrednictwem spojrzenia i gestu) nie wymagają dużej precyzji. System nadal musi spełnić normalne wymagania kursora: zapewnienie użytkownikom ciągłej opinii na temat ich wskazywania i pomaganie im w informowaniu o zamiarach systemu. Może to być osiągalne dzięki innym zauważalnym zmianom stanu.
Kursor w zestawie narzędzi MRTK (Mixed Reality Toolkit) dla aparatu Unity
Domyślnie narzędzie MRTK udostępnia prefab (DefaultCursor.prefab), który ma taki sam stan wizualny jak kursor systemowy powłoki. Jest on przypisywany w profilu wejściowym zestawu narzędzi MRTK w obszarze Wskaźniki. Możesz zastąpić/dostosować ten kursor dla twojego środowiska. W celu uzyskania doświadczenia w zakresie śledzenia oczu funkcja MRTK udostępnia również funkcję EyeGazeCursor, która ma subtelną wizualizację, aby zminimalizować rozproszenie uwagi.