Bezpośrednie manipulowanie przy użyciu rąk
Bezpośrednie manipulowanie to model wejściowy, który obejmuje dotykanie hologramów bezpośrednio z rękami. Ideą tej koncepcji jest to, że obiekty zachowują się tak samo jak w świecie rzeczywistym. Przyciski można aktywować po prostu przez naciśnięcie ich, obiekty można odebrać, chwytając je, a zawartość 2D zachowuje się jak wirtualny ekran dotykowy. Bezpośrednie manipulowanie jest oparte na przystępności, co oznacza, że jest przyjazne dla użytkownika. Nie ma żadnych symbolicznych gestów do uczenia użytkowników. Wszystkie interakcje są tworzone wokół elementu wizualnego, który można dotknąć lub chwycić. Jest on uważany za model wejściowy "zbliżony" do tego, że najlepiej używać go do interakcji z zawartością w zasięgu broni.
Obsługa urządzeń
| Model wejściowy | HoloLens (1. generacja) | HoloLens 2 | Immersyjne zestawy słuchawkowe |
| Bezpośrednie manipulowanie przy użyciu rąk | ❌ Nieobsługiwane | ✔️ Zalecane | ➕ Obsługiwane. W przypadku interfejsu użytkownika zalecamy zamiast tego punkt i zatwierdzenie z rękami . |
Bezpośrednie manipulowanie to podstawowy model danych wejściowych w HoloLens 2, który korzysta z nowego systemu śledzenia ręcznego. Model wejściowy jest również dostępny w immersyjnych zestawach słuchawkowych przy użyciu kontrolerów ruchu, ale nie jest zalecany jako podstawowy sposób interakcji poza manipulowaniem obiektem. Bezpośrednie manipulowanie nie jest dostępne na urządzeniu HoloLens (1. gen).
Demonstracja podstawowego śledzenia rąk i interakcji instynktownych
Jeśli chcesz zobaczyć koncepcje projektowe Head and Eye Tracking w akcji, zapoznaj się z naszym pokazem wideo Projektowanie Hologramów — śledzenie głowy i śledzenie oczu poniżej. Po zakończeniu przejdź dalej, aby uzyskać bardziej szczegółowe informacje na temat konkretnych tematów.
To wideo zostało zrobione z aplikacji "Projektowanie hologramów" HoloLens 2. Pobierz i ciesz się pełnym doświadczeniem tutaj.
Kolialny palec
W HoloLens 2 ręce użytkownika są rozpoznawane i interpretowane jako modele szkieletowe po lewej i prawej stronie. Aby zaimplementować ideę dotykania hologramów bezpośrednio z rękami, najlepiej, pięć zderzaków można przymocować do pięciu etykietek palców każdego modelu szkieletowego ręki. Jednak ze względu na brak dotykowej opinii, 10 zderzalnych etykietek palców może spowodować nieoczekiwane i nieprzewidywalne kolizje z hologramami.
Sugerujemy tylko umieszczenie zderzacza na każdym palcach indeksu. Kolialne etykietki palców indeksu mogą nadal służyć jako aktywne punkty dotykowe dla różnorodnych gestów dotykowych z udziałem innych palców. Gesty dotykowe obejmują naciśnięcie jednego palca, naciśnięcie jednym palcem, naciśnięcie dwóch palców i naciśnięcie pięciu palców, jak pokazano poniżej:
Kolialny palec
Naciśnięcie jednego palca
Naciśnięcie jednego palca
Naciśnięcie pięciu palców
Zderzacz sfery
Zamiast używać losowego kształtu ogólnego, zalecamy użycie zderzaka sfery. Następnie możesz ją wizualnie renderować, aby zapewnić lepsze wskazówki dotyczące bliskiego określania wartości docelowej. Średnica kuli powinna być zgodna z grubością palca indeksu, aby zwiększyć dokładność dotyku. Łatwiej jest pobrać zmienną grubości palca, wywołując interfejs API dłoni.
Kursor etykietki palca
Oprócz renderowania sfery zderzalnej na palcach indeksu utworzyliśmy zaawansowany kursor etykietki palca, aby uzyskać lepsze środowisko zbliżone do określania wartości docelowej. Jest to kursor w kształcie pierścienia dołączony do etykietki palca indeksu. W zależności od odległości dynamicznie reaguje na cel orientacji i rozmiaru, jak opisano poniżej:
- Gdy palec indeksu przesuwa się w kierunku hologramu, kursor jest zawsze równoległy do powierzchni hologramu i stopniowo zmniejsza jego rozmiar.
- Gdy tylko palec dotyka powierzchni, kursor zmniejsza się do kropki i emituje zdarzenie dotykowe.
Dzięki interakcyjnej opinii użytkownicy mogą osiągnąć wysoką precyzję zadań niemal docelowych, takich jak wyzwalanie hiperlinku lub naciśnięcie przycisku, jak pokazano poniżej.
Kursor palca daleko
Kursor palca w pobliżu
Kontakt z kursorem palca
Pole ograniczenia z cieniowaniem zbliżeniowym
Sam hologram wymaga również możliwości przekazywania zarówno informacji wizualnych, jak i dźwiękowych, aby zrekompensować brak przesyłania opinii dotykowej. W tym celu wygenerujemy koncepcję pola ograniczenia z cieniowaniem sąsiedztwa. Pole ograniczenia jest minimalnym obszarem woluminu, który otacza obiekt 3D. Pole ograniczenia ma interaktywny mechanizm renderowania nazywany cieniowaniem zbliżeniowym. Cieniator zbliżeniowy zachowuje się:
Umieść wskaźnik myszy (daleko)
Gdy palec indeksu znajduje się w zakresie, w centrum uwagi palca jest rzutowanie na powierzchni pola ograniczenia.
Umieść kursor (w pobliżu)
Gdy palec zbliża się do powierzchni, reflektor zmniejsza się.
Kontakt rozpoczyna się
Gdy tylko etykietka palca dotyka powierzchni, całe pole ograniczenia zmienia kolor lub generuje efekty wizualne, aby odzwierciedlić stan dotyku.
Końce kontaktów
Efekt dźwiękowy można również aktywować, aby poprawić opinie dotyczące dotyku wizualnego.
Przycisk z możliwością naciśnięcia
Dzięki kolaśnej etykietce palca użytkownicy są teraz gotowi do interakcji z podstawowym składnikiem holograficznego interfejsu użytkownika, takim jak przycisk do naciśnięcia. Przycisk z możliwością naciśnięcia to przycisk holograficzny dostosowany do naciśnięcia palca bezpośredniego. Ponownie, ze względu na brak dotykowej opinii, przycisk z możliwością naciśnięcia udostępnia kilka mechanizmów, aby rozwiązać problemy związane z dotykową opinią.
- Pierwszy mechanizm to pole ograniczenia z cieniowaniem zbliżeniowym, które zostało szczegółowo opisane w poprzedniej sekcji. Daje to użytkownikom lepsze poczucie zbliżenia, gdy zbliżają się i kontaktują się z przyciskiem.
- Drugi mechanizm jest depresja. Depresja tworzy poczucie naciśnięcia w dół po naciśnięciu palca kontaktuje się z przyciskiem. Mechanizm zapewnia, że przycisk mocno porusza się palcem wzdłuż osi głębokości. Przycisk można wyzwolić, gdy osiągnie wybraną głębokość (na naciśnięciu) lub opuszcza głębokość (po zwolnieniu) po przejściu przez nią.
- Efekt dźwięku należy dodać, aby poprawić opinie po wyzwoleniu przycisku.
Palec jest daleko od hotelu
Podejścia palcem
Kontakt rozpoczyna się
Naciśnij w dół
Interakcja z łupkiem 2D
Łupek 2D to kontener holograficzne używany do hostowania zawartości aplikacji 2D, takiej jak przeglądarka internetowa. Koncepcja projektowania interakcji z łupkiem 2D za pośrednictwem bezpośredniej manipulacji jest taka sama jak interakcja z fizycznym ekranem dotykowym.
Aby wchodzić w interakcję z kontaktem łupka
Dotyk
Użyj palca indeksu, aby nacisnąć hiperłącze lub przycisk.
Scroll
Użyj palca indeksu, aby przewinąć zawartość łupka w górę i w dół.
Powiększenie
Dwa palce indeksowe użytkownika są używane do powiększania i z zawartości łupka, zgodnie z względnym ruchem palców.
Do manipulowania samym łupkiem 2D
Przenieść
Przenieś ręce w kierunku narożników i krawędzi, aby odsłonić najbliższe przystępności manipulacji. Chwyć holobar w górnej części łupka 2D, co pozwala przenieść cały łupek.
Skalowanie
Chwytaj przystępności manipulacji i zrób jednolite skalowanie przez rogi przystępności.
Reflow
Chwytaj przystępności manipulacji i przepełnij się przez przystępność krawędzi.
Manipulowanie obiektami 3D
HoloLens 2 umożliwia użytkownikom kierowanie obiektów holograficznego 3D i manipulowanie nimi przez zastosowanie pola ograniczenia do każdego obiektu 3D. Pole ograniczenia zapewnia lepszą percepcję głębi dzięki cieniowaniu zbliżeniowemu. W polu ograniczenia istnieją dwa podejścia projektowe do manipulowania obiektami 3D.
Manipulowanie oparte na przystępności
Manipulowanie obiektem 3D przez pole ograniczenia umożliwia manipulowanie nimi, a także manipulowanie nimi.
Przenieść
Gdy tylko ręka użytkownika znajduje się blisko obiektu 3D, pole ograniczenia i najbliższa dostępność zostaną ujawnione. Użytkownicy mogą chwycić pole ograniczenia, aby przenieść cały obiekt.
Obrót
Użytkownicy mogą chwycić krawędzie, aby się obracać.
Skalowanie
Użytkownicy mogą chwycić za rogi przystępności, aby skalować równomiernie.
Manipulowanie oparte na przystępności
Manipulowanie oparte na przystępności nie dołącza przystępności do pola ograniczenia. Użytkownicy mogą ujawniać tylko pole ograniczenia, a następnie bezpośrednio z nim korzystać. Jeśli pole ograniczenia zostanie złapane z jedną ręką, tłumaczenie i rotacja obiektu są skojarzone z ruchem i orientacją dłoni. Gdy obiekt jest chwycony dwoma rękami, użytkownicy mogą tłumaczyć, skalować i obracać go zgodnie z względnymi ruchami dwóch rąk.
Określone manipulowanie wymaga precyzji. Zalecamy użycie manipulacji opartej na przystępności , ponieważ zapewnia wysoki poziom szczegółowości. W przypadku elastycznej manipulacji zalecamy używanie manipulowania nieodpowiodnością , ponieważ pozwala na natychmiastowe i zabawne doświadczenia.
Instynktowne gesty
W przypadku urządzenia HoloLens (1. generacji) nauczyliśmy użytkowników kilku wstępnie zdefiniowanych gestów, takich jak bloom i air tap. W przypadku HoloLens 2 nie prosimy użytkowników o zapamiętywanie żadnych symbolicznych gestów. Wszystkie wymagane gesty użytkownika, w których użytkownicy muszą wchodzić w interakcje z hologramami i zawartością, są instynktowne. Sposobem osiągnięcia instynktownych gestów jest pomoc użytkownikom w wykonywaniu gestów dzięki projektowaniu przystępności interfejsu użytkownika.
Jeśli na przykład zachęcamy użytkownika do chwycenia obiektu lub punktu kontrolnego z dwoma szczyptami palcami, obiekt lub punkt kontrolny powinien być mały. Jeśli chcemy, aby użytkownik zrobił pięć chwycić palcem, obiekt lub punkt kontrolny powinien być stosunkowo duży. Podobnie jak w przypadku przycisków, mały przycisk ograniczyłby użytkownikom naciśnięcie go jednym palcem. Duży przycisk zachęciłby użytkowników do naciśnięcia go za pomocą dłoni.
Mały obiekt
Średni obiekt
Duży obiekt
Symetryczny projekt między rękami i 6 kontrolerami DoF
Być może zauważyliśmy, że istnieją równoległe interakcje, które możemy wyciągnąć między rękami w kontrolerach AR i ruchu w vr. Oba dane wejściowe mogą służyć do wyzwalania bezpośrednich manipulacji w odpowiednich środowiskach. W HoloLens 2 chwytanie i przeciąganie rękami w bliskiej odległości działa podobnie jak przycisk chwytania na kontrolerach ruchu WMR. Zapewnia to użytkownikom znajomość interakcji między dwiema platformami, co może okazać się przydatne, jeśli kiedykolwiek zdecydujesz się na przenoszenie aplikacji między platformami.
Optymalizowanie za pomocą śledzenia oczu
Bezpośrednie manipulowanie może czuć się magiczne, jeśli działa zgodnie z oczekiwaniami. Ale może to również stać się frustrujące, jeśli nie można przenieść ręki nigdzie bez przypadkowego wyzwolenia hologramu. Śledzenie oczu potencjalnie pomaga lepiej zidentyfikować intencję użytkownika.
- Kiedy: zmniejsz przypadkowo wyzwalanie odpowiedzi manipulowania. Śledzenie oczu pozwala lepiej zrozumieć, z czym obecnie jest zaangażowany użytkownik. Załóżmy na przykład, że czytasz tekst holograficzny (instruktażowy) podczas dotarcia do rzeczywistego narzędzia roboczego.
W ten sposób przypadkowo przesuwasz rękę przez kilka interaktywnych przycisków holograficzne, które jeszcze wcześniej nie zauważyłeś. Na przykład może to być poza polem widoku użytkownika (FoV).
Jeśli użytkownik nie spojrzał na hologram od jakiegoś czasu, ale wykryto dla niego zdarzenie dotykowe lub chwytające, interakcja jest prawdopodobnie niezamierzona.
Który z nich: Oprócz adresowania fałszywych dodatnich aktywacji, inny przykład zawiera lepsze identyfikowanie, które hologramy do chwytania lub szturchania, ponieważ dokładny punkt skrzyżowania może nie być jasne z perspektywy, zwłaszcza jeśli kilka hologramów jest umieszczonych blisko siebie.
Podczas gdy śledzenie oczu na HoloLens 2 ma ograniczenia w zależności od tego, jak dokładnie może określić spojrzenie oka, może to być nadal przydatne w przypadku bliskich interakcji z powodu rozbieżności głębokości podczas interakcji z danymi wejściowymi dłoni. Oznacza to, że czasami trudno jest ustalić, czy twoja ręka znajduje się za hologramem, czy na przykład, aby precyzyjnie chwycić widżet manipulowania.
Gdzie: użyj informacji o tym, co użytkownik patrzy na szybkie gesty. Pobierz hologram i z grubsza podsuń go do zamierzonego miejsca docelowego.
Chociaż czasami to działa, szybkie wykonywanie gestów dłoni może spowodować bardzo niedokładne miejsca docelowe. Śledzenie oczu może jednak poprawić dokładność gestu.
Manipulowanie zestawem narzędzi MRTK (Mixed Reality Toolkit) dla aparatu Unity
Za pomocą zestawu NARZĘDZI MRTK można łatwo osiągnąć typowe zachowanie manipulowania za pomocą skryptu ObjectManipulator. Za pomocą funkcji ObjectManipulator można chwytać i przenosić obiekty bezpośrednio z rękami lub promieniem dłoni. Obsługuje również manipulowanie dwiema rękami na potrzeby skalowania i obracania obiektu.