Usługa symulacji wejściowej — MRTK2
Symulacja danych wejściowych zestawu narzędzi MRTK umożliwia testowanie różnych typów interakcji w edytorze aparatu Unity bez kompilowania i wdrażania na urządzeniu. Dzięki temu możesz szybko iterować swoje pomysły w procesie projektowania i programowania. Użyj kombinacji klawiatury i myszy, aby kontrolować symulowane dane wejściowe.
Usługa symulacji wejściowej emuluje zachowanie urządzeń i platform, które mogą nie być dostępne w edytorze aparatu Unity. Przykłady:
- Śledzenie głowy urządzenia HoloLens lub VR
- Gesty dłoni urządzenia HoloLens
- HoloLens 2 przegubowe śledzenie rąk
- HoloLens 2 śledzenie oczu
- Kontrolery urządzeń VR
Ostrzeżenie
Nie działa to w przypadku korzystania z trybu emulacji emulacji > holograficznej XR aparatu Unity = "Symulowaj w edytorze". Symulacja w edytorze aparatu Unity zabierze kontrolę od symulacji danych wejściowych zestawu narzędzi MRTK. Aby użyć usługi symulacji wejściowej MRTK, należy ustawić emulację holograficzne XR na tryb emulacji = "Brak"
Jak używać symulacji danych wejściowych zestawu narzędzi MRTK
Symulacja wejściowa jest domyślnie włączona w profilach, które są dostarczane z zestawem NARZĘDZI MRTK. Możesz po prostu kliknąć przycisk Odtwórz , aby uruchomić scenę z obsługą symulacji wejściowych.
- Naciśnij klawisze W, A, S, D, Q, E, aby przenieść aparat.
- Przytrzymaj przycisk Myszy w prawo i przesuń mysz, aby rozglądać się.
- Aby podnieść symulowane ręce, naciśnij klawisz Spacja (prawa ręka) lub Klawisz Shift w lewo (po lewej stronie)
- Aby zachować symulowane ręce w widoku, naciśnij klawisz T lub Y
- Aby obrócić symulowane ręce, naciśnij i przytrzymaj klawisze Ctrl i przesuń mysz
W ściągawce symulacji wejściowej edytora
Naciśnij klawisze Left Ctrl + H w scenie HandInteractionExamples, aby wyświetlić ściągawkę za pomocą kontrolek symulacji danych wejściowych.
Włączanie usługi symulacji wejściowej
W obszarze konfiguracji dostawcy danych systemu wejściowego usługę Symulacja wejściowa można skonfigurować przy użyciu następujących opcji.
- Typ musi mieć wartość Microsoft.MixedReality.Toolkit.InputSimulationService>.
- Obsługiwane platformy domyślnie obejmują wszystkie platformy Edytor , ponieważ usługa korzysta z klawiatury i wprowadzania myszy.
Uwaga
Usługa Symulacja wejściowa może być używana w innych punktach końcowych platformy, takich jak autonomiczne, zmieniając właściwość Obsługiwane platformy w celu uwzględnienia żądanych obiektów docelowych.
Kontrolka aparatu
Ruch głowy może być emulowany przez usługę symulacji danych wejściowych.
Obracanie kamery
- Umieść kursor nad oknem edytora widoku. Może być konieczne kliknięcie okna w celu nadania mu fokusu wejściowego, jeśli naciśnięcie przycisku nie działa.
- Naciśnij i przytrzymaj przycisk Wygląd myszy (ustawienie domyślne: prawy przycisk myszy).
- Przenieś mysz w oknie wyświetlania, aby obrócić kamerę.
- Użyj koła przewijania, aby przerzucić aparat wokół kierunku widzenia.
Szybkość rotacji aparatu można skonfigurować przez zmianę ustawienia Szybkość wyszukiwania myszy w profilu symulacji wejściowej.
Alternatywnie należy użyć osi wyglądu poziomego/w pionie , aby obrócić kamerę (domyślnie: kontroler gry prawy kciuk).
Przenoszenie aparatu
Użyj osi Przenieś w poziomie/w pionie , aby przenieść kamerę (domyślnie: klucze WASD lub kontroler gry z lewej szminki).
Położenie kamery i kąty obracania można również ustawić jawnie w oknie narzędzi. Aparat można zresetować do domyślnego ustawienia przy użyciu przycisku Resetuj .
Symulacja kontrolera
Symulacja wejściowa obsługuje emulowane urządzenia kontrolera (tj. kontrolery ruchu i ręce). Te kontrolery wirtualne mogą wchodzić w interakcje z dowolnym obiektem obsługującym regularne kontrolery, takie jak przyciski lub obiekty, które można chwycić.
Tryb symulacji kontrolera
W oknie narzędzi symulacji wejściowych ustawienie Domyślny tryb symulacji kontrolera przełącza się między trzema odrębnymi modelami wejściowymi. Ten tryb domyślny można również ustawić w profilu symulacji wejściowej.
Przegubowe ręce: symuluje w pełni przegubowe urządzenie z danymi położenia stawów.
Emuluje model interakcji HoloLens 2.
Interakcje oparte na precyzyjnym pozycjonowaniu dłoni lub dotyku mogą być symulowane w tym trybie.
Gesty dłoni: symuluje uproszczony model dłoni z naciśnięciem powietrza i podstawowymi gestami.
Emuluje model interakcji urządzenia HoloLens.
Fokus jest kontrolowany przy użyciu wskaźnika Gaze. Gest Air Tap służy do interakcji z przyciskami.
Kontroler ruchu: symuluje kontroler ruchu używany z zestawami słuchawkowymi VR, które działają podobnie do dalekich interakcji z rękami przegubowymi.
Emuluje zestaw słuchawkowy VR z modelem interakcji kontrolerów.
Wyzwalacz, chwytania i klawiszy menu są symulowane za pomocą klawiatury i danych wejściowych myszy.
Symulowanie ruchu kontrolera
Naciśnij i przytrzymaj klawisz manipulowania lewym/prawym kontrolerem (domyślnie: Lewe przesunięcie dla lewego kontrolera i Spacja dla prawego kontrolera), aby uzyskać kontrolę nad każdym kontrolerem. Podczas naciśnięcia klawisza manipulowania kontroler pojawi się w widoku. Po zwolnieniu klucza manipulowania kontrolery znikną po krótkim przekroczeniu limitu czasu ukrywania kontrolera.
Kontrolery mogą być włączone i zamrożone względem aparatu w oknie narzędzi symulacji wejściowej lub naciskając klawisz Przełącznik lewy/prawy kontroler (domyślnie: T dla lewej i Y w prawo). Naciśnij ponownie klawisz przełącznika, aby ponownie ukryć kontrolery. Aby manipulować kontrolerami, należy trzymać klucz manipulowania kontrolerem po lewej/prawej stronie. Dwukrotne naciśnięcie klawisza manipulowania kontrolerem po lewej/prawej stronie może również przełączać kontrolery włączone/wyłączone.
Ruch myszy spowoduje przeniesienie kontrolera na płaszczyźnie widoku. Kontrolery można przenosić dalej lub bliżej aparatu za pomocą kółka myszy.
Aby obracać kontrolery za pomocą myszy, przytrzymaj zarówno lewy/prawy klawisz manipulowania kontrolerem (Shift w lewo lub spację) iprzycisk obracania kontrolera (domyślnie: lewy przycisk Ctrl ), a następnie przenieś mysz, aby obrócić kontroler. Szybkość rotacji kontrolera można skonfigurować przez zmianę ustawienia Prędkość rotacji kontrolera myszy w profilu symulacji wejściowej.
Wszystkie umieszczanie rąk można również zmienić w oknie narzędzi symulacji wejściowych, w tym zresetowanie rąk do wartości domyślnej.
Dodatkowe ustawienia profilu
- Mnożnik głębokości kontrolera steruje poufnością ruchu kółka przewijania myszy. Większa liczba przyspieszy powiększenie kontrolera.
- Domyślna odległość kontrolera to początkowa odległość kontrolerów z aparatu. Kliknięcie przycisku Resetuj kontrolery będą również umieszczać kontrolery w tej odległości.
- Kontroler Jitter Amount dodaje losowy ruch do kontrolerów. Ta funkcja może służyć do symulowania niedokładnego śledzenia kontrolera na urządzeniu i zapewnienia, że interakcje działają dobrze z hałaśliwymi danymi wejściowymi.
Gesty dłoni
Gesty dłonie, takie jak szczypanie, chwytanie, kłusowanie itp. można również symulować.
Włącz sterowanie ręką przy użyciu klawisza manipulowania lewym/prawym kontrolerem (Przesunięcie w lewo lub spacja)
Podczas manipulowania, naciśnij i przytrzymaj przycisk myszy, aby wykonać gest dłoni.
Każdy z przycisków myszy można zamapować, aby przekształcić kształt dłoni w inny gest przy użyciu ustawień Gest lewej/środkowej/prawej myszy . Domyślny gest dłoni jest kształtem ręki, gdy przycisk nie jest naciskany.
Uwaga
Gest szczypta jest jedynym gestem, który wykonuje w tym momencie akcję "Wybierz".
Manipulowanie jedną ręką
- Naciśnij i przytrzymaj klawisz manipulowania lewym/prawym kontrolerem (Przesunięcie w lewo lub spacja)
- Punkt w obiekcie
- Przytrzymaj przycisk myszy, aby szczypnąć
- Przenoszenie obiektu za pomocą myszy
- Zwolnij przycisk myszy, aby zatrzymać interakcję
Manipulowanie dwiema rękami
Do manipulowania obiektami z dwoma rękami w tym samym czasie zaleca się tryb ręki trwałej.
- Przełącz obie ręce, naciskając klawisze przełącznika (T/Y).
- Manipuluj jedną ręką naraz:
- Przytrzymaj spację , aby kontrolować prawą rękę
- Przenieś rękę do miejsca, w którym chcesz chwycić obiekt
- Naciśnij lewy przycisk myszy , aby aktywować gest Szczypta .
- Zwolnij miejsce, aby zatrzymać sterowanie prawą ręką. Ręka zostanie zamrożona na miejscu i zostanie zablokowana w gestie szczypty , ponieważ nie jest już manipulowana.
- Powtórz ten proces z drugiej strony, chwytając ten sam obiekt w drugim miejscu.
- Teraz, gdy obie ręce chwytają ten sam obiekt, możesz przenieść jeden z nich, aby wykonać manipulowanie dwiema rękami.
Interakcja z GGV (spojrzenie, gest i głos)
Domyślnie interakcja GGV jest włączona w edytorze, podczas gdy w scenie nie ma żadnych wyartygowanych rąk.
- Obróć aparat, aby wskazać kursor wzroku na obiekt możliwy do interakcji (prawy przycisk myszy)
- Kliknij i przytrzymaj lewy przycisk myszy , aby wejść w interakcję
- Obróć aparat ponownie, aby manipulować obiektem
Możesz wyłączyć tę opcję, przełączając opcję Czy odręczne wprowadzanie włączone wewnątrz profilu symulacji wejściowej.
Ponadto można użyć symulowanych rąk do interakcji GGV
- Włączanie symulacji GGV przez przełączenie trybu symulacji ręcznej na gesty w profilu symulacji wejściowej
- Obróć aparat, aby wskazać kursor wzroku na obiekt możliwy do interakcji (prawy przycisk myszy)
- Przytrzymaj spację , aby kontrolować prawą rękę
- Kliknij i przytrzymaj lewy przycisk myszy , aby wejść w interakcję
- Przenoszenie obiektu za pomocą myszy
- Zwolnij przycisk myszy, aby zatrzymać interakcję
Podnoszenie zdarzeń teleportu
Aby podnieść zdarzenie teleportu w symulacji wejściowej, skonfiguruj ustawienia gestu dłoni w profilu symulacji wejściowej, aby wykonać gest rozpoczęcia teleportu , podczas gdy drugi wykonuje gest teleportu końcowego . Gest Teleport Start spowoduje wyświetlenie wskaźnika teleportu, podczas gdy teleport end gesure ukończy akcję teleportu i przeniesie użytkownika.
Położenie y wynikowego teleportu zależy od przemieszczania kamery wzdłuż osi y. W edytorze jest to domyślnie 0, więc użyj klawiszy Q i E , aby dostosować je do odpowiedniej wysokości.
Interakcja z kontrolerem ruchu
Symulowane kontrolery ruchu mogą być manipulowane w taki sam sposób, w jaki są przegubowe ręce. Model interakcji jest podobny do dalekiej interakcji wyrażanej ręki, podczas gdy wyzwalacz, chwytanie i klawisze menu są mapowane na lewy przycisk myszy, klawisz G i M .
Śledzenie oczu
Symulacja śledzenia oczu można włączyć, sprawdzając opcję Symulowanie położenia oka w profilu symulacji wejściowej. Nie należy go używać z interakcjami w stylu GGV lub kontrolera ruchu (dlatego upewnij się, że domyślny tryb symulacji kontrolera jest ustawiony na Przegubioną ręką).
Okno narzędzi symulacji danych wejściowych
Włącz okno narzędzi symulacji danych wejściowych z menusymulacji wejściowej Mixed Reality>Toolkit>Utilities>. To okno zapewnia dostęp do stanu symulacji danych wejściowych w trybie odtwarzania.
Przyciski wyeksportuj (opcjonalnie)
W profilu symulacji wejściowej w obszarze Wskaźniki prefab można określić prefab przycisków w edytorze w celu kontrolowania podstawowego umieszczania rąk. Jest to opcjonalne narzędzie, do których można uzyskać dostęp w oknie narzędzi symulacji danych wejściowych.
Uwaga
Wskaźniki wyświetlania są domyślnie wyłączone, ponieważ obecnie mogą one czasami zakłócać interakcje interfejsu użytkownika aparatu Unity. Zobacz problem nr 6106. Aby włączyć, dodaj prefab inputSimulationIndicators do prefab Wskaźników.
Ikony dłoni pokazują stan symulowanych rąk:
Ręka nie jest śledzona. Kliknij, aby włączyć rękę.
Ręka jest śledzona, ale nie jest kontrolowana przez użytkownika. Kliknij, aby ukryć rękę.
Ręka jest śledzona i kontrolowana przez użytkownika. Kliknij, aby ukryć rękę.
Kliknij, aby zresetować rękę do pozycji domyślnej.