Kontrolery ruchu

Kontrolery ruchu to akcesoria sprzętowe , które umożliwiają użytkownikom podejmowanie działań w rzeczywistości mieszanej. Zaletą kontrolerów ruchu za pomocą gestów jest to, że kontrolery mają precyzyjną pozycję w przestrzeni, co pozwala na precyzyjną interakcję z obiektami cyfrowymi. W przypadku Windows Mixed Reality immersyjnych zestawów słuchawkowych kontrolery ruchu są podstawowym sposobem, w jaki użytkownicy podejmą działania na swoim świecie.

Obraz: kontroler ruchu Windows Mixed Reality

---

Obsługa urządzeń

Funkcja	HoloLens (1. generacja)	HoloLens 2	Immersyjne zestawy słuchawkowe
Kontrolery ruchu	❌	❌	✔️

Szczegóły sprzętu

Windows Mixed Reality kontrolery ruchu oferują precyzyjne i dynamiczne śledzenie ruchu w twoim polu widoku przy użyciu czujników w immersywnym zestawie słuchawkowym. Nie ma potrzeby instalowania sprzętu na ścianach w przestrzeni. Te kontrolery ruchu oferują taką samą łatwość konfiguracji i przenośności, jak Windows Mixed Reality immersyjnych zestawów słuchawkowych. Nasi partnerzy urządzeń planują sprzedawać i sprzedawać te kontrolery na półkach detalicznych tego święta.

Uzyskaj informacje o kontrolerze

Funkcje:

• Śledzenie optyczne
• Wyzwalacz
• Przycisk Chwytaj
• Szminka
• Touchpad

Konfigurowanie

Zanim rozpoczniesz

Potrzebne będą następujące elementy:

• Zestaw dwóch kontrolerów ruchu.
• Cztery baterie AA.
• Komputer z obsługą technologii Bluetooth 4.0.

Sprawdzanie aktualizacji systemu Windows, aparatu Unity i sterownika

• Odwiedź stronę Instalowanie narzędzi dla preferowanych wersji systemu Windows, aparatu Unity itd. w celu opracowywania rzeczywistości mieszanej.
• Upewnij się, że masz najbardziej aktualne sterowniki zestawu słuchawkowego i kontrolera ruchu.

Kontrolery parowania

Kontrolery ruchu można połączyć z komputerem hosta przy użyciu ustawień systemu Windows, takich jak dowolne inne urządzenie Bluetooth.

1. Włóż dwa baterie AA z tyłu kontrolera. Pozostaw na razie pokrywę baterii.
2. Jeśli używasz zewnętrznej karty Bluetooth USB zamiast wbudowanego radia Bluetooth, zapoznaj się z najlepszymi rozwiązaniami bluetooth przed kontynuowaniem. W przypadku konfiguracji pulpitu z wbudowanym radiem upewnij się, że antena jest podłączona.
3. Otwórz pozycję Ustawienia systemu Windows ->Urządzenia ->Dodaj Bluetooth lub inne urządzenie ->Bluetooth i usuń wszystkie wcześniejsze wystąpienia "Kontroler ruchu — prawy" i "Kontroler ruchu — lewy". Sprawdź również kategorię Inne urządzenia w dolnej części listy.
4. Wybierz pozycję Dodaj połączenie Bluetooth lub inne urządzenie i zobacz, jak zaczyna odnajdywać urządzenia Bluetooth.
5. Naciśnij i przytrzymaj przycisk Windows kontrolera, aby włączyć kontroler, zwolnij go po jego szumie.
6. Naciśnij i przytrzymaj przycisk parowania (kartę w komorze baterii), aż dioda LED zacznie pulsować.

7. Poczekaj, aż "Kontroler ruchu — lewy" lub "Kontroler ruchu — prawy", aby wyświetlić się w dolnej części listy. Wybierz, aby sparować. Kontroler będzie wibrować raz po nawiązaniu połączenia.
   
   Obraz: wybierz pozycję "Kontroler ruchu", aby sparować; jeśli istnieje wiele wystąpień, wybierz jedno z dołu listy

8. Kontroler zostanie wyświetlony w ustawieniach bluetooth w kategorii "Mysz, klawiatura, & pióro" jako Połączono. W tym momencie możesz uzyskać aktualizację oprogramowania układowego — zobacz następną sekcję.
9. Podłącz ponownie pokrywę baterii.
10. Powtórz kroki od 1 do 9 dla drugiego kontrolera.

Po pomyślnym sparowaniu obu kontrolerów ustawienia powinny wyglądać następująco w obszarze "Mysz, klawiatura, & pióro"

Obraz: Podłączone kontrolery ruchu

Jeśli kontrolery są wyłączone po sparowaniu, ich stan będzie wyświetlany jako Sparowane. W przypadku kontrolerów trwale w kategorii "Inne urządzenia" parowanie może mieć tylko częściowo ukończone. W takim przypadku uruchom ponownie kroki parowania, aby uzyskać funkcjonalność kontrolera.

Aktualizowanie oprogramowania układowego kontrolera

• Jeśli jest dostępny immersyjny zestaw słuchawkowy podłączony do komputera z nowym oprogramowaniem układowym kontrolera, oprogramowanie układowe zostanie wypchnięte do kontrolerów ruchu automatycznie przy następnym włączeniu. Aktualizacje oprogramowania układowego kontrolera są wskazywane przez wzorzec oświetlenia ćwiartek LED w ruchu okrągłym i potrwać od 1 do 2 minut.

• Po zakończeniu aktualizacji oprogramowania układowego kontrolery zostaną ponownie uruchomione i ponownie nawiązane połączenie. Oba kontrolery powinny być teraz połączone.
  
  Obraz: Kontrolery połączone w ustawieniach bluetooth

• Sprawdź, czy kontrolery działają prawidłowo:
  1. Uruchom Mixed Reality Portal i wprowadź Mixed Reality Strona główna.
  2. Przenieś kontrolery i zweryfikuj śledzenie, przyciski testowania i sprawdź działanie teleportacji . Jeśli tak nie jest, zapoznaj się z rozwiązywaniem problemów z kontrolerem ruchu.

Patrzenie i wskazywanie

Windows Mixed Reality obsługuje dwa kluczowe modele interakcji; spojrzenie i zatwierdzenieoraz punkt i zatwierdzenie:

• Za pomocą spojrzenia i zatwierdzenia użytkownicy będą kierować obiekt spojrzeniem, a następnie wybierać obiekty z ręcznymi naciśnięciami powietrza, gamepadem, kliknięciem lub głosem.
• W przypadku punktów i zatwierdzeń użytkownik może dążyć do kontrolera ruchu obsługującego punkt w obiekcie docelowym, a następnie wybrać obiekty z wyzwalaczem kontrolera.

Aplikacje, które obsługują wskazywanie na kontrolery ruchu, powinny również włączać interakcje sterowane spojrzeniem tam, gdzie to możliwe, aby umożliwić użytkownikom wybór urządzeń wejściowych, z których korzystają.

Zarządzanie rekoilem podczas wskazywania

W przypadku używania kontrolerów ruchu do wskazywania i zatwierdzania użytkownicy będą używać kontrolera do określania celu i interakcji, ściągając jego wyzwalacz. Użytkownicy, którzy wyciągają wyzwalacz energicznie, mogą w końcu ściągnąć kontroler wyższy na końcu ich ściągnięcia wyzwalacza, niż mają na celu.

Aby zarządzać takim rekoilem, które mogą wystąpić podczas ściągania wyzwalacza przez użytkowników, aplikacja może przyciągać jego promienie docelowe, gdy wartość osi analogii wyzwalacza wzrośnie powyżej 0,0. Następnie możesz podjąć akcję przy użyciu tego kierowania ray kilka ramek później, gdy wartość wyzwalacza osiągnie wartość 1.0, o ile ostatnie naciśnięcie nastąpi w krótkim przedziale czasu. W przypadku korzystania z gestu naciśnięcia złożonego wyższego poziomu system Windows będzie zarządzać tym przechwytywaniem promieni i przekroczeniem limitu czasu.

Pozy uchwytu a punktowanie pozy

Windows Mixed Reality obsługuje kontrolery ruchu w różnych czynnikach form, a projekt każdego kontrolera różni się w zależności od położenia użytkownika i naturalnego "do przodu" kierunku, którego aplikacje powinny używać do wskazywania podczas renderowania kontrolera.

Aby lepiej reprezentować te kontrolery, istnieją dwa rodzaje pozy, które można zbadać dla każdego źródła interakcji; pozy uchwytu i pozy wskaźnika.

Pozy uchwytu

Położenie uchwytu reprezentuje lokalizację dłoni wykrytej przez urządzenie HoloLens lub palmę trzymającą kontroler ruchu.

Na immersywnych zestawach słuchawkowych chwyt najlepiej używać do renderowania ręki użytkownika lub obiektu trzymanego w ręku użytkownika, takiego jak miecz lub pistolet. Położenie uchwytu jest również używane podczas wizualizowania kontrolera ruchu, ponieważ model renderowalny dostarczony przez system Windows dla kontrolera ruchu używa uchwytu jako źródła i środka obrotu.

Pozy uchwytu są definiowane w następujący sposób:

• Położenie uchwytu: centroid palmowy podczas trzymania kontrolera naturalnie, wyrównany w lewo lub w prawo, aby wyśrodkować położenie w uścisku. Na kontrolerze ruchu Windows Mixed Reality to położenie jest zwykle wyrównane z przyciskiem Uchwyt.
• Oś prawej orientacji uchwytu: Kiedy całkowicie otworzysz rękę, aby utworzyć płaską pięcio palec, promienie, które jest normalne dla dłoni (do przodu z lewej dłoni, do tyłu z prawej dłoni)
• Oś przodu orientacji uchwytu: Po zamknięciu ręki częściowo (jakby trzymał kontroler), promieni, który wskazuje "do przodu" przez rurkę utworzoną przez palce nie-kciuka.
• Oś uścisku w górę: oś w górę dorozumiana przez definicje Prawa i Przodu.

Pozowanie wskaźnika

Wskaźnik stanowi końcówkę kontrolera wskazującego do przodu.

W przypadku renderowania samego modelu kontrolera najlepiej używać wskaźnika dostarczonego przez system. Jeśli renderujesz inny obiekt wirtualny zamiast kontrolera, taki jak pistolet wirtualny, należy wskazać ray, który jest najbardziej naturalny dla tego wirtualnego obiektu, takiego jak ray, który podróżuje wzdłuż beczki modelu pistoletu zdefiniowanego przez aplikację. Ponieważ użytkownicy mogą zobaczyć obiekt wirtualny, a nie kontroler fizyczny, wskazanie obiektu wirtualnego prawdopodobnie będzie bardziej naturalne dla użytkowników korzystających z aplikacji.

Stan śledzenia kontrolera

Podobnie jak zestawy słuchawkowe, kontroler ruchu Windows Mixed Reality nie wymaga konfiguracji zewnętrznych czujników śledzenia. Zamiast tego kontrolery są śledzone przez czujniki w samym zestawie słuchawkowym.

Jeśli użytkownik przeniesie kontrolery z pola widoku zestawu słuchawkowego, w większości przypadków system Windows będzie nadal wnioskować pozycje kontrolera i udostępnić je aplikacji. Gdy kontroler utracił śledzenie wizualne na tyle długo, pozycje kontrolera spadną do przybliżonych pozycji dokładności.

W tym momencie system zablokuje kontrolerowi treść użytkownika, śledząc pozycję użytkownika podczas poruszania się, jednocześnie ujawniając prawdziwą orientację kontrolera przy użyciu wewnętrznych czujników orientacji. Wiele aplikacji korzystających z kontrolerów do wskazywania i aktywowania elementów interfejsu użytkownika może działać normalnie, jednocześnie w przybliżonej dokładności bez notowania użytkownika.

Jawne rozumowanie dotyczące stanu śledzenia

Aplikacje, które chcą traktować pozycje inaczej na podstawie stanu śledzenia, mogą przejść dalej i sprawdzić właściwości stanu kontrolera, takie jak SourceLossRisk i PositionAccuracy:

Stan śledzenia	SourceLossRisk	PositionAccuracy	TryGetPosition
Wysoka dokładność	< 1.0	Wys.	true
Wysoka dokładność (ryzyko utraty)	== 1.0	Wys.	true
Przybliżona dokładność	== 1.0	Przybliżone	true
Brak pozycji	== 1.0	Przybliżone	fałsz

Te stany śledzenia kontrolera ruchu są definiowane w następujący sposób:

• Wysoka dokładność: Podczas gdy kontroler ruchu znajduje się w polu widoku zestawu słuchawkowego, zazwyczaj zapewnia wysoką dokładność pozycji na podstawie śledzenia wizualnego. Ruchomy kontroler, który chwilowo opuszcza pole widoku lub jest chwilowo zaciemniany z czujników zestawu słuchawkowego (na przykład przez drugą rękę użytkownika) będzie nadal zwracać wysoką dokładność stwarza przez krótki czas, na podstawie inertyjnego śledzenia samego kontrolera.
• Wysoka dokładność (ryzyko utraty): Gdy użytkownik przenosi kontroler ruchu obok krawędzi pola widoku zestawu słuchawkowego, zestaw słuchawkowy wkrótce nie będzie mógł wizualnie śledzić pozycji kontrolera. Aplikacja wie, kiedy kontroler osiągnął tę granicę FOV, widząc ŹródłoLossRisk osiągnąć 1.0. W tym momencie aplikacja może zdecydować się na wstrzymanie gestów kontrolera, które wymagają stałego strumienia wysokiej jakości pozy.
• Przybliżona dokładność: Gdy kontroler utracił śledzenie wizualne na tyle długo, pozycje kontrolera spadną do przybliżonych pozycji dokładności. W tym momencie system zablokuje kontrolerowi treść użytkownika, śledząc pozycję użytkownika podczas poruszania się, jednocześnie ujawniając prawdziwą orientację kontrolera przy użyciu wewnętrznych czujników orientacji. Wiele aplikacji, które używają kontrolerów do wskazywania i aktywowania elementów interfejsu użytkownika, może działać tak normalnie, jak w przybliżonej dokładności bez notowania użytkownika. Aplikacje z cięższymi wymaganiami wejściowymi mogą zdecydować o tym spadku z wysokiej dokładności do przybliżonej dokładności, sprawdzając właściwość PositionAccuracy , na przykład, aby dać użytkownikowi bardziej hojny hitbox na miejscach docelowych poza ekranem w tym czasie.
• Brak pozycji: Podczas gdy kontroler może działać z przybliżoną dokładnością przez długi czas, czasami system wie, że nawet położenie zablokowanego ciała nie ma znaczenia w tej chwili. Na przykład kontroler, który został włączony, mógł nigdy nie zostać zaobserwowany wizualnie lub użytkownik może odłożyć kontroler, który następnie zostanie odebrany przez kogoś innego. W tym czasie system nie udostępni żadnej pozycji aplikacji, a funkcja TryGetPosition zwróci wartość false.

Interakcje: dane wejściowe przestrzenne niskiego poziomu

Podstawowe interakcje między rękami i kontrolerami ruchu to Select, Menu, Grasp, Touchpad, Thumbstick i Home.

• Wybierz jest podstawową interakcją w celu aktywowania hologramu składającego się z naciśnięcia, po którym następuje wydanie. W przypadku kontrolerów ruchu należy nacisnąć klawisz Select przy użyciu wyzwalacza kontrolera. Inne sposoby wykonywania opcji Wybierz można mówić za pomocą polecenia głosowego "Wybierz". Ta sama interakcja wyboru może być używana w dowolnej aplikacji. Wybierz jako odpowiednik kliknięcia myszy; uniwersalna akcja, którą uczysz się raz, a następnie stosujesz we wszystkich aplikacjach.
• Menu to pomocnicza interakcja działająca na obiekcie, używana do ściągania menu kontekstowego lub podjęcia innej akcji pomocniczej. W przypadku kontrolerów ruchu można wykonać akcję menu przy użyciu przycisku menu kontrolera. (oznacza to, że przycisk z ikoną "menu" hamburgera na nim)
• Zrozumienie polega na tym, jak użytkownicy mogą bezpośrednio podejmować działania na obiektach pod ręką, aby manipulować nimi. Dzięki kontrolerom ruchu można wykonać akcję chwytania, ściskając pięść mocno. Kontroler ruchu może wykryć uchwyt za pomocą przycisku chwytania, wyzwalacza palmowego lub innego czujnika.
• Touchpad umożliwia użytkownikowi dostosowanie akcji w dwóch wymiarach na powierzchni touchpadu kontrolera ruchu, zatwierdzając akcję, klikając w dół na touchpad. Touchpady zapewniają stan naciśnięty, stan dotykany i znormalizowane współrzędne XY. Zakres X i Y od -1 do 1 w zakresie okrągłych touchpadów z środkowym częścią (0, 0). W przypadku wartości X -1 znajduje się po lewej stronie, a 1 znajduje się po prawej stronie. W przypadku wartości Y -1 znajduje się na dole, a 1 znajduje się u góry.
• Szminka umożliwia użytkownikowi dostosowanie akcji w dwóch wymiarach przez przeniesienie szminki kontrolera ruchu w zakresie okrągłym, zatwierdzając akcję, klikając w dół na szmince. Szminki zapewniają również stan naciśnięty i znormalizowane współrzędne XY. Zakres X i Y od -1 do 1 w zakresie okrągłych touchpadów z środkowym częścią (0, 0). W przypadku wartości X -1 znajduje się po lewej stronie, a 1 znajduje się po prawej stronie. W przypadku wartości Y -1 znajduje się na dole, a 1 znajduje się u góry.
• Strona główna to specjalna akcja systemowa, która służy do powrotu do menu Start. Jest ona podobna do naciśnięcia klawisza systemu Windows na klawiaturze lub przycisku Xbox na kontrolerze Xbox. Możesz przejść do strony głównej, naciskając przycisk Systemu Windows na kontrolerze ruchu. Uwaga: zawsze możesz wrócić do strony Start, mówiąc "Hej Cortana, Przejdź do domu". Aplikacje nie mogą reagować specjalnie na akcje strony głównej, ponieważ są one obsługiwane przez system.

Gesty złożone: dane wejściowe przestrzenne wysokiego poziomu

Zarówno gesty ręczne , jak i kontrolery ruchu można śledzić w czasie w celu wykrycia wspólnego zestawu gestów złożonych wysokiego poziomu. Dzięki temu aplikacja może wykrywać wysokie naciśnięcie, trzymanie, manipulowanie i gesty nawigacji , niezależnie od tego, czy użytkownicy korzystają z rąk, czy kontrolerów.

Renderowanie modelu kontrolera ruchu

Modele kontrolera 3D System Windows udostępnia aplikacjom renderowalny model każdego kontrolera ruchu, który jest obecnie aktywny w systemie. Dzięki dynamicznemu ładowaniu i wyrażaniu tych modeli kontrolerów dostarczanych przez system w czasie wykonywania możesz zapewnić, że aplikacja jest zgodna z przyszłymi projektami kontrolerów.

Zalecamy renderowanie wszystkich renderowalnych modeli w pozycji uchwytu kontrolera, ponieważ pochodzenie modelu jest zgodne z tym punktem w świecie fizycznym. Jeśli renderujesz modele kontrolera, możesz następnie chcieć przeproślić do sceny ze wskaźnika, który reprezentuje promienie, wzdłuż których użytkownicy naturalnie będą oczekiwać, biorąc pod uwagę fizyczny projekt kontrolera.

Aby uzyskać więcej informacji na temat sposobu dynamicznego ładowania modeli kontrolera w środowisku Unity, zobacz sekcję Renderowanie modelu kontrolera ruchu w środowisku Unity .

Grafika liniowa kontrolera 2D Chociaż zalecamy dołączanie porad i poleceń kontrolera aplikacji do modeli kontrolera w aplikacji, niektórzy deweloperzy mogą chcieć użyć reprezentacji sztuki liniowej 2D kontrolerów ruchu w płaskim "samouczku" lub interfejsie użytkownika "instrukcje". Dla tych deweloperów udostępniliśmy .png pliki sztuki linii kontrolera ruchu dostępne zarówno w kolorze czarnym, jak i białym poniżej (kliknij prawym przyciskiem myszy, aby zapisać).

Grafika liniowa kontrolerów ruchu w rozdzielczości pełnej rozdzielczości w ""białym""

Grafika liniowa kontrolerów ruchu w rozdzielczości pełnej rozdzielczości w ""czarnej""

Często zadawane pytania

Czy mogę sparować kontrolery ruchu z wieloma komputerami?

Kontrolery ruchu obsługują parowanie z jednym komputerem. Postępuj zgodnie z instrukcjami dotyczącymi konfiguracji kontrolera ruchu , aby sparować kontrolery.

Jak mogę zaktualizować oprogramowanie układowe kontrolera ruchu?

Oprogramowanie układowe kontrolera ruchu jest częścią sterownika zestawu słuchawkowego i zostanie automatycznie zaktualizowane w razie potrzeby. Aktualizacje oprogramowania układowego zazwyczaj trwa od 1 do 2 minut w zależności od jakości połączenia radiowego i łączności Bluetooth. W rzadkich przypadkach aktualizacje oprogramowania układowego kontrolera mogą potrwać do 10 minut, co może wskazywać na słabą łączność Bluetooth lub interferencję radiową. Aby rozwiązać problemy z łącznością, zobacz Najlepsze rozwiązania dotyczące połączenia Bluetooth w przewodniku entuzjastów . Po aktualizacji oprogramowania układowego kontrolery zostaną ponownie uruchomione i ponownie nawiążą połączenie z komputerem hosta (można zauważyć, że diody LED będą jasne do śledzenia). Jeśli aktualizacja oprogramowania układowego zostanie przerwana (na przykład kontrolery utracą moc), zostanie podjęta próba ponownego uruchomienia przy następnym włączeniu kontrolerów.

Jak sprawdzić poziom baterii?

W Windows Mixed Reality domu możesz przewrócić kontroler, aby zobaczyć jego poziom baterii po odwrotnej stronie modelu wirtualnego. Nie ma fizycznego wskaźnika poziomu baterii.

Czy można używać tych kontrolerów bez zestawu słuchawkowego? Tylko w przypadku wejścia wyzwalacza/wyzwalacza/etc?

Nie dotyczy aplikacji uniwersalnych systemu Windows.

Rozwiązywanie problemów

Zobacz rozwiązywanie problemów z kontrolerem ruchu w przewodniku entuzjastów.

Zgłaszanie opinii/usterek kontrolera ruchu

Przekaż nam opinię w centrum opinii, korzystając z kategorii "Mixed Reality —> dane wejściowe".

Zobacz też

• Kontrolery ruchu w środowisku Unity
• Kontrolery rąk i ruchu w trybie DirectX
• Gestów
• Przewodnik entuzjasty: Twój Windows Mixed Reality domu
• Przewodnik entuzjasty: korzystanie z gier & aplikacji w Windows Mixed Reality
• Jak działa śledzenie wewnętrzne