Śledzenie oczu na HoloLens 2

Pokaz śledzenia oczu w zestawie narzędzi MRTK

HoloLens 2 pozwala na nowy poziom kontekstu i zrozumienia ludzkiego w środowisku holograficznym, zapewniając deweloperom możliwość korzystania z informacji o tym, na co patrzy użytkownik. Na tej stronie wyjaśniono, w jaki sposób deweloperzy mogą korzystać ze śledzenia oczu w różnych przypadkach użycia oraz czego szukać podczas projektowania interakcji użytkowników opartych na spojrzeniu wzrokowym.

Interfejs API śledzenia oczu został zaprojektowany z myślą o prywatności użytkownika; pozwala uniknąć przekazywania wszelkich możliwych do zidentyfikowania informacji, w szczególności wszelkich danych biometrycznych. W przypadku aplikacji obsługujących śledzenie wzroku użytkownik musi udzielić aplikacji uprawnienia do korzystania z informacji śledzenia oczu.

Obsługa urządzeń

Funkcja HoloLens (1. generacja) HoloLens 2 Immersyjne zestawy nagłowne
Spojrzenie wzrokowe ✔️

Pokaz koncepcji projektowania śledzenia głowy i oczu

Jeśli chcesz zobaczyć koncepcje projektowe Head and Eye Tracking w działaniu, zapoznaj się z naszym pokazem wideo Projektowanie Hologramów — śledzenie głowy i śledzenie oczu poniżej. Po zakończeniu przejdź dalej, aby uzyskać bardziej szczegółowe informacje na temat konkretnych tematów.

Ten film wideo został pobrany z aplikacji "Designing Holograms" (Projektowanie hologramów) HoloLens 2. Pobierz i ciesz się pełnym doświadczeniem tutaj.

Kalibracja

Aby śledzenie oczu działało dokładnie, każdy użytkownik musi przejść przez kalibrację wzroku użytkownika , dla którego użytkownik musi przyjrzeć się zestawowi celów holograficznych. Dzięki temu urządzenie może dostosować system, co zapewnia wygodniejsze i wyższej jakości środowisko wyświetlania dla użytkownika i zapewnia dokładne śledzenie oczu w tym samym czasie.

Śledzenie oczu powinno działać dla większości użytkowników, ale istnieją rzadkie przypadki, w których użytkownik nie może pomyślnie skalibrować. Kalibracja może zakończyć się niepowodzeniem z różnych powodów, w tym między innymi:

  • Użytkownik zrezygnował wcześniej z procesu kalibracji.
  • Użytkownik został rozproszony i nie przestrzegał celów kalibracji.
  • Użytkownik ma pewne rodzaje soczewek kontaktowych i okularów, których system jeszcze nie obsługuje.
  • Użytkownik ma pewną fizjologię oczu lub choroby oczu lub miał operację oczu, której system jeszcze nie obsługuje.
  • Czynniki zewnętrzne hamujące niezawodne śledzenie oczu, takie jak rozmazy na visor lub okulary HoloLens, intensywne bezpośrednie światło słoneczne i okluzji z powodu włosów przed oczami.

Deweloperzy powinni zapewnić odpowiednią obsługę użytkownikom, dla których dane śledzenia oczu mogą nie być dostępne (którzy nie mogą pomyślnie skalibrować). Przedstawiliśmy zalecenia dotyczące rozwiązań rezerwowych w sekcji w dolnej części tej strony.

Aby dowiedzieć się więcej o kalibracji i sposobie zapewnienia płynnego doświadczenia, zobacz naszą stronę kalibracji użytkownika śledzenia oczu .


Dostępne dane śledzenia oczu

Śledzenie oczu na HoloLens 2 umożliwia deweloperom projektowanie naturalnych i intuicyjnych scenariuszy wejściowych i interakcji. Interfejs API śledzenia oczu udostępnia informacje o tym, co użytkownik patrzy jako pojedynczy obraz oka (spojrzenie pochodzenia i kierunku) na około 30 FPS (30 Hz). Aby śledzenie oczu działało dokładnie, każdy użytkownik musi przejść przez kalibrację użytkownika śledzenia oczu. Aby uzyskać bardziej szczegółowe informacje na temat uzyskiwania dostępu do danych śledzenia oczu, zapoznaj się z naszymi przewodnikami dla deweloperów dotyczącymi używania wzroku w programie DirectX i spojrzenia wzrokowego w akwenie aparatu Unity.

Przewidywane spojrzenie wzrokowe mieści się w przybliżeniu w zakresie 1,5 stopni w kątze wizualnym wokół rzeczywistego celu (zobacz poniższą ilustrację). Niewielkie nieprawdopodobne są oczekiwane, więc deweloperzy powinni zaplanować pewien margines wokół tej niższej wartości (na przykład 2,0–3,0 stopni może spowodować znacznie wygodniejsze doświadczenie). Bardziej szczegółowo omówimy sposób rozwiązywania problemów z wyborem małych celów.

Optymalny rozmiar docelowy w odległości 2 metra
Optymalny rozmiar celu w odległości 2 metrów


Rozszerzone dane śledzenia oczu

Rozszerzone interfejsy API śledzenia oczu umożliwiają deweloperom odblokowanie następnego poziomu innowacyjnych scenariuszy, takich jak ocena kondycji, monitorowanie i terapia, zapewniając bardziej szczegółowe informacje o spojrzeniu użytkownika.

Rozszerzone interfejsy API śledzenia oczu zapewniają dostęp do istniejących wartości śledzenia oczu i nowych funkcji, takich jak pojedyncze (lewe i prawe) wektory wzroku, obsługiwane współczynniki klatek i możliwość ustawiania częstotliwości śledzenia oczu na 30, 60 lub 90fps. Aby użyć interfejsu API rozszerzonego śledzenia oczu, zapoznaj się z naszymi przewodnikami dla deweloperów dotyczącymi używania rozszerzonych interfejsów API śledzenia oczu na potrzeby natywnego lub aparatu Unity.

Przypadki zastosowań

Śledzenie oczu umożliwia aplikacjom śledzenie, gdzie użytkownik szuka w czasie rzeczywistym. W poniższych przypadkach użycia opisano niektóre interakcje, które są możliwe ze śledzeniem oczu na HoloLens 2 w rzeczywistości mieszanej. Te przypadki użycia nie są jeszcze częścią środowiska powłoki Holographic Shell (interfejs wyświetlany podczas uruchamiania HoloLens 2). Niektóre z nich można wypróbować w zestawie narzędzi Mixed Reality Toolkit. Zestaw narzędzi udostępnia kilka interesujących i zaawansowanych przykładów użycia śledzenia oczu, takich jak szybkie i bezproblemowe wybieranie obiektów docelowych obsługiwanych przez oko i automatyczne przewijanie tekstu na podstawie tego, na co patrzy użytkownik.

Intencja użytkownika

Informacje o tym, gdzie i na czym patrzy użytkownik, udostępniają zaawansowany kontekst dla innych danych wejściowych, takich jak głos, ręce i kontrolery. Może to być używane do różnych zadań. Na przykład użytkownik może szybko i bez wysiłku kierować na scenę, patrząc na hologram i mówiąc "select" (zobacz też spojrzenie i zatwierdzenie) lub "put this...", a następnie przyjrzyj się miejscu, w którym chce umieścić hologram i powiedzieć "... tam". Przykłady można znaleźć w Mixed Reality Toolkit — wybór obiektów docelowych obsługiwanych przez oko i zestaw narzędzi Mixed Reality Toolkit — obsługiwane przez oko pozycjonowanie elementów docelowych.

Ponadto przykład intencji użytkownika może obejmować użycie informacji na temat tego, co użytkownicy patrzą, aby zwiększyć zaangażowanie wbudowanych agentów wirtualnych i interakcyjnych hologramów. Na przykład agenci wirtualni mogą dostosowywać dostępne opcje i ich zachowanie na podstawie aktualnie wyświetlanej zawartości.

Akcje niejawne

Kategoria niejawnych akcji ściśle odnosi się do intencji użytkownika. Chodzi o to, że hologramy lub elementy interfejsu użytkownika reagują w instynktowny sposób, który może nawet nie czuć się jak użytkownik w ogóle wchodzi w interakcję z systemem, ale raczej że system i użytkownik są zsynchronizowane. Jednym z przykładów jest automatyczne przewijanie oparte na spojrzeniu wzrokowym , w którym użytkownik może odczytać długi tekst, który automatycznie zaczyna przewijać się po dolnej części pola tekstowego. Dzięki temu użytkownik jest w przepływie czytania bez podnoszenia palca. Kluczowym aspektem jest to, że szybkość przewijania dostosowuje się do szybkości odczytu użytkownika.

Innym przykładem jest powiększanie i przesuwanie wzroku , w którym użytkownik może poczuć, że nurkuje dokładnie w kierunku tego, na czym się koncentruje.

Wyzwalanie i kontrolowanie szybkości powiększenia można kontrolować za pomocą głosu lub ręki, co jest ważne dla zapewnienia użytkownikowi poczucia kontroli przy jednoczesnym unikaniu przeciążenia. Omówimy te zagadnienia dotyczące projektowania bardziej szczegółowo poniżej. Po powiększeniu użytkownik może płynnie śledzić, na przykład, oczywiście ulicę, aby zbadać jego sąsiedztwo przy użyciu wzroku. Przykłady demonstracyjne dla tego typu interakcji można znaleźć w przykładzie Mixed Reality Toolkit — nawigacja obsługiwana przez oko.

Inne przypadki użycia niejawnych akcji mogą obejmować:

  • Powiadomienia inteligentne: Czy kiedykolwiek jesteś zirytowany przez powiadomienia wyskakujące bezpośrednio w środku widoku? Możesz ulepszyć to środowisko, wyłączając powiadomienia, z których użytkownik obecnie patrzy. Ogranicza to rozproszenie i automatycznie odrzuca je po zakończeniu odczytywania przez użytkownika.
  • Uważne hologramy: Są to hologramy, które reagują w subtelny sposób, gdy są patrząc na. Może to wahać się od lekko świecących elementów interfejsu użytkownika do powoli kwitnącego kwiatu do wirtualnego psa, który zaczyna patrzeć wstecz na użytkownika i machać ogonem. Ta interakcja może zapewnić interesujące poczucie łączności i satysfakcji w aplikacji.

Śledzenie uwagi

Informacje o tym, gdzie i na co użytkownicy patrzą, mogą być niezwykle zaawansowanym narzędziem. Może ona pomóc ocenić użyteczność projektów i zidentyfikować problemy w przepływach pracy, aby zwiększyć ich wydajność. Wizualizacja i analiza śledzenia oczu to powszechna praktyka w różnych obszarach aplikacji. Dzięki HoloLens 2 zapewniamy nowy wymiar tej wiedzy. Hologramy 3D można umieszczać w rzeczywistych kontekstach i odpowiednio oceniać.

Zestaw narzędzi Mixed Reality Toolkit zawiera podstawowe przykłady rejestrowania i ładowania danych śledzenia oczu oraz sposobu ich wizualizacji.

Firma Microsoft jest poświęcona ułatwianiu innowacji przy jednoczesnym zapewnieniu, że użytkownicy mają świadome i przejrzyste doświadczenie w sposobie wykorzystania informacji o śledzeniu oczu. Będziemy nadal współpracować z naszymi deweloperami i zespołami środowiska użytkownika, aby zapewnić wskazówki dla osób trzecich, aby zapewnić skoncentrowanie środowisk wokół użytkownika.

Inne aplikacje w tym obszarze mogą obejmować:

  • Zdalna wizualizacja wzroku: Wizualizowanie, na co patrzą zdalni współpracownicy. Może to zapewnić natychmiastową opinię i ułatwić dokładniejsze przetwarzanie informacji.
  • Badania użytkowników: Śledzenie uwagi może zapewnić wgląd w to, jak użytkownicy postrzegają środowisko naturalne i angażują się bez zakłócania działania. Może to pomóc deweloperom w projektowaniu bardziej instynktownych interakcji między ludźmi i komputerami. Śledzenie oczu może dostarczyć informacji, które nie są bezpośrednio wyrażane przez uczestników badania i można je łatwo przegapić przez naukowca.
  • Monitorowanie trenowania i wydajności: Przećwiczyć i zoptymalizować wykonywanie zadań przez efektywniejsze identyfikowanie wąskich gardeł w przepływie wykonywania. Śledzenie oczu może dostarczać naturalne, w czasie rzeczywistym i obiektywne informacje, aby pomóc w ulepszaniu szkolenia, produktywności i bezpieczeństwa w miejscu pracy.
  • Oceny projektu, marketing i badania konsumentów: Śledzenie oczu umożliwia firmom komercyjnym przeprowadzanie badań marketingowych i konsumenckich w rzeczywistych środowiskach lub analizowanie tego, co przyciąga uwagę użytkownika w celu poprawy projektowania produktów lub przestrzeni.

Inne przypadki użycia

  • Gier: Czy kiedykolwiek chciałeś mieć supermocarstwa? Oto twoja szansa!

Hologramy można lewitować, patrząc na nie.

Strzelać promieni laserowych z oczu - wypróbuj go w RoboRaid na HoloLens 2.

Zamieniaj wrogów w kamień lub zamarzaj je.

Użyj wzroku rentgenowskiego do eksplorowania budynków.

Twoja wyobraźnia jest granicą! Uważaj jednak, że użytkownik nie jest przytłaczający. Aby dowiedzieć się więcej, zobacz nasze wskazówki dotyczące projektowania danych wejściowych opartych na spojrzeniu na oczy.

  • Wyraziste awatary: Śledzenie oczu pomaga w bardziej wyrazistych awatarach 3D przy użyciu danych śledzenia oczu na żywo, aby animować oczy awatara i sprawić, że śledzą to, co użytkownik patrzy.

  • Wpis tekstowy: Śledzenie oczu może być używane jako alternatywa dla wprowadzania tekstu niskiego nakładu pracy, zwłaszcza gdy mowę lub ręce są niewygodne do użycia.


Używanie wzroku do interakcji

Tworzenie interakcji, która wykorzystuje szybkie ukierunkowanie oczu, może być trudne. Ponieważ oczy mogą poruszać się szybko, jeśli nie uważasz, jak używać danych wejściowych wzroku, użytkownicy mogą znaleźć doświadczenie przytłaczające lub rozpraszające. Ale jest to warte wyzwania, ponieważ śledzenie oczu pozwala tworzyć naprawdę magiczne środowiska, które będą pobudzeni użytkowników! Aby ci pomóc, zapoznaj się z naszym omówieniem kluczowych zalet, wyzwań i zaleceń projektowych dotyczących interakcji.

Rozwiązania rezerwowe, gdy śledzenie oczu nie jest dostępne

W rzadkich przypadkach dane śledzenia oczu mogą nie być dostępne. Może się to zdarzyć z wielu powodów — najpopularniejsze są wymienione poniżej:

  • System nie może skalibrować użytkownika.
  • Użytkownik pominął kalibrację.
  • Użytkownik jest kalibrowany, ale postanowił nie udzielić aplikacji uprawnień do korzystania z danych śledzenia oczu.
  • Użytkownik ma unikatowe okulary lub jakiś stan oka, którego system jeszcze nie obsługuje.
  • Czynniki zewnętrzne hamujące niezawodne śledzenie oczu, takie jak rozmazy na osłonie holoLens lub okulary, intensywne bezpośrednie światło słoneczne i okluzji ze względu na włosy przed oczami.

Deweloperzy powinni mieć pewność, że istnieje odpowiednia obsługa rezerwowa dla tych użytkowników. Na stronie Śledzenie oczu na stronie DirectX wyjaśniamy interfejsy API wymagane do wykrycia, czy dane śledzenia oczu są dostępne.

Niektórzy użytkownicy mogą zdecydować, że większa prywatność jest dla nich ważniejsza niż ulepszone środowisko, które może zapewnić śledzenie oczu, dzięki czemu celowo odwołają dostęp do danych śledzenia oczu. Jednak w niektórych przypadkach odwołanie może być niezamierzone. Jeśli aplikacja korzysta ze śledzenia oczu i jest to ważna część środowiska, zalecamy, aby wyraźnie komunikować się z użytkownikiem. Wyjaśnienie użytkownikowi, w jaki sposób śledzenie oczu odblokowuje pełny potencjał aplikacji, może pomóc im lepiej zrozumieć, co rezygnują. Jeśli śledzenie oczu jest włączone, ale nie działa, pomóż użytkownikowi zidentyfikować i rozwiązać problem, korzystając z powyższej listy kontrolnej jako przewodnika. Jeśli na przykład można wykryć, że system obsługuje śledzenie oczu, a użytkownik jest kalibrowany i otrzymał swoje uprawnienia, ale nie otrzyma żadnych danych śledzenia oczu, może to wskazywać na problemy, takie jak rozmazy lub oczy są okludowane.

Istnieją rzadkie przypadki, w których śledzenie oczu po prostu nie działa dla kogoś i nie ma oczywistego powodu. Szanuj to, zezwalając użytkownikowi na odrzucanie lub wyłączanie przypomnień dotyczących włączania śledzenia oczu w aplikacji.

Powrót do aplikacji przy użyciu wzroku jako podstawowego wskaźnika wejściowego

Jeśli aplikacja używa wzroku jako danych wejściowych wskaźnika, aby szybko wybierać hologramy w całej scenie, ale dane śledzenia oczu są niedostępne, zalecamy powrót do spojrzenia na głowę i wyświetlanie kursora wzroku głowy. Zalecamy użycie limitu czasu (na przykład 500–1500 ms) w celu określenia, czy przełączyć się, czy nie. Ta akcja uniemożliwia pojawianie się kursorów za każdym razem, gdy system może na krótko utracić śledzenie z powodu szybkich ruchów oczu lub migać i migać. Jeśli jesteś deweloperem aparatu Unity, automatyczny powrót do wzroku głównego jest już obsługiwany w zestawie narzędzi Mixed Reality Toolkit. Jeśli jesteś deweloperem DirectX, musisz samodzielnie obsłużyć ten przełącznik.

Powrót do innych aplikacji specyficznych dla śledzenia oczu

Twoja aplikacja może używać wzroku w unikatowy sposób dostosowany specjalnie do oczu — na przykład animując oczy awatara lub mapy cieplne uwagi oparte na oczach, które opierają się na dokładnych informacjach na temat uwagi wizualnej. W tym typie przypadku nie ma wyraźnego powrotu. Jeśli śledzenie oczu nie jest dostępne, może być konieczne wyłączenie tych możliwości. Ponownie zalecamy, aby wyraźnie komunikować się z użytkownikiem, który może nie wiedzieć, że ta funkcja nie działa.


Ta strona ma nadzieję, że masz dobre omówienie, aby rozpocząć zrozumienie roli śledzenia oczu i danych wejściowych wzroku dla HoloLens 2. Aby rozpocząć opracowywanie, zapoznaj się z naszymi informacjami na temat roli wzroku w celu interakcji z hologramami, spojrzeniem oczu w unity i spojrzeniem wzrokowym w DirectX.

Zobacz też