시선 추적 예제 개요 - MRTK2

이 항목에서는 MRTK 시선 추적 예제(Assets/MRTK/Examples/Demos/EyeTracking)를 기반으로 MRTK에서 시선 추적을 빠르게 시작하는 방법을 설명합니다. 이러한 샘플을 통해 새로운 마법 입력 기능인 시선 추적을 경험할 수 있습니다. 데모에는 암시적 눈 기반 활성화에서 음성 입력으로 보고 있는 내용에 대한 정보를 원활하게 결합하는 방법에 이르기까지 다양한 사용 사례가 포함되어 있습니다. 이를 통해 사용자는 대상을 보고 '선택' 이라고 말하거나 손 제스처를 수행하여 홀로그램 콘텐츠를 보기 전체에서 빠르고 쉽게 선택하고 이동할 수 있습니다. 데모에는 슬레이트에서 시선 응시 방향 스크롤, 텍스트 및 이미지의 이동 및 확대/축소에 대한 예도 포함되어 있습니다. 마지막으로, 2D 슬레이트에서 사용자의 시각적 주의를 기록하고 시각화하는 예제가 제공됩니다. 다음 섹션에서는 MRTK 시선 추적 예제 패키지(Assets/MRTK/Examples/Demos/EyeTracking)에 포함된 각 샘플에 대한 자세한 내용을 확인할 수 있습니다.

List of eye tracking scenes

다음 섹션은 개별 시선 추적 데모 장면에 대한 간략한 개요입니다. MRTK 시선 추적 데모 장면은 추가적으로 로드되며, 아래에서 설정하는 방법을 설명합니다.

시선 추적 데모 샘플 개요

시선 지원 대상 선택

이 자습서에서는 시선 응시 데이터에 쉽게 액세스하여 대상을 선택하는 방법을 보여 줍니다. 대상에 집중한다는 확신을 사용자에게 제공하기 위해 미묘하면서도 강력한 피드백에 대한 예제가 포함되어 있습니다. 또한 읽은 후 자동으로 사라지는 스마트 알림의 간단한 예가 있습니다.

요약: 눈, 음성 및 손 입력의 조합을 사용하여 빠르고 간편한 대상 선택

눈 지원 탐색

Imagine 먼 디스플레이 또는 전자 판독기에서 일부 정보를 읽고 있으며 표시된 텍스트의 끝에 도달하면 텍스트가 자동으로 위로 스크롤되어 더 많은 콘텐츠를 표시합니다. 아니면 마술같이 당신이 보고 있던 곳을 향해 직접 확대하는 것은 어떨까요? 다음은 이 자습서에서 눈에 지원되는 탐색과 관련된 몇 가지 예입니다. 또한 현재 포커스에 따라 자동으로 회전되도록 하여 3D 홀로그램을 핸즈프리 회전하는 예제도 있습니다.

요약: 눈, 음성 및 손 입력의 조합을 사용하여 스크롤, 이동, 확대/축소, 3D 회전

눈 지원 위치 지정

이 자습서에서는 눈, 손 및 음성 입력으로 1980년대 초에 MIT Media Lab의 연구로 거슬러 올라가는 Put-That-There 라는 입력 시나리오를 보여줍니다. 아이디어는 간단합니다 : 빠른 대상 선택 및 위치 지정에 대한 눈의 혜택. 홀로그램을 보고 '이것을 넣어라'고 말하고, 배치할 곳을 살펴보고 '거기!'라고 말하기만 하면 됩니다. 홀로그램의 위치를 보다 정확하게 지정하려면 손, 음성 또는 컨트롤러의 추가 입력을 사용할 수 있습니다.

요약: 눈, 음성 및 손 입력을 사용하여 홀로그램 위치 지정(끌어서 놓기). 눈 + 손을 사용하는 눈 지원 슬라이더.

시각적 주의 시각화

사용자의 모양을 기반으로 하는 데이터는 디자인의 유용성을 평가하고 효율적인 작업 스트림에서 문제를 식별하는 매우 강력한 도구를 만듭니다. 이 자습서에서는 다양한 시선 추적 시각화와 이러한 시각화가 서로 다른 요구 사항에 어떻게 부합하는지에 대해 설명합니다. 시선 추적 데이터 로깅 및 로드에 대한 기본 예제와 시각화 방법에 대한 예제를 제공합니다.

요약: 슬레이트의 2차원 주의 지도(열 지도). & 재생 시선 추적 데이터를 기록합니다.

MRTK 시선 추적 샘플 설정

필수 구성 요소

디바이스에서 시선 추적 샘플을 사용하려면 패키지의 AppXManifest에서 "응시 입력" 기능을 사용하여 빌드된 HoloLens 2 및 샘플 앱 패키지가 필요합니다.

디바이스에서 이러한 시선 추적 샘플을 사용하려면 Visual Studio 앱을 빌드하기 전에 다음 단계를 수행해야 합니다.

1. Load EyeTrackingDemo-00-RootScene.unity

EyeTrackingDemo-00-RootScene은 모든 핵심 MRTK 구성 요소가 포함된 기본(루트) 장면입니다. 먼저 로드해야 하는 장면이며 시선 추적 데모를 실행할 장면입니다. 추가적으로 로드되는 다양한 시선 추적 샘플 간에 쉽게 전환할 수 있는 그래픽 장면 메뉴가 있습니다.

Scene menu in eye tracking sample

루트 장면에는 MRTK 구성 프로필 및 장면 카메라와 같이 부가적으로 로드된 장면에서 유지되는 몇 가지 핵심 구성 요소가 포함되어 있습니다. MixedRealityBasicSceneSetup(아래 스크린샷 참조)에는 시작 시 참조된 장면을 자동으로 로드하는 스크립트가 포함되어 있습니다. 기본적으로 EyeTrackingDemo-02-TargetSelection입니다.

Example for the OnLoadStartScene script

2. 빌드 메뉴에 장면 추가

런타임 중에 추가 장면을 로드하려면 먼저 빌드 메뉴의 빌드 설정 -> 장면에 이러한 장면을 추가해야 합니다. 루트 장면이 목록의 첫 번째 장면으로 표시되는 것이 중요합니다.

Build Settings scene menu for eye tracking samples

3. Unity 편집기에서 시선 추적 샘플 재생

빌드 설정 시선 추적 장면을 추가하고 EyeTrackingDemo-00-RootScene을 로드한 후 확인할 수 있는 마지막 한 가지가 있습니다. MixedRealityBasicSceneSetup GameObject에 연결된 'OnLoadStartScene' 스크립트를 사용할 수 있나요? 먼저 로드할 데모 장면을 루트 장면에 알리기 위한 것입니다.

Example for the OnLoad_StartScene script

시작합시다! "재생"을 누릅니다! 여러 gem이 표시되고 맨 위에 장면 메뉴가 표시됩니다.

Sample screenshot from the ET target select scene

또한 게임 보기의 가운데에 작은 반투명 원을 표시해야 합니다. 시뮬레이션 된 시선 응시의 표시기(커서)로 작동합니다. 마우스 오른쪽 단추를 누르고 마우스를 이동하여 위치를 변경하기만 하면 됩니다. 커서가 보석 위로 마우스를 가져가면 현재 본 보석의 가운데에 맞춰집니다. 이는 대상을 "확인" 할 때 이벤트가 예상대로 트리거되는지 테스트하는 좋은 방법입니다. 마우스 컨트롤을 통한 시뮬레이션된 시선 응시 는 우리의 신속하고 의도하지 않은 눈 움직임에 다소 좋지 않은 보충입니다. 그러나 HoloLens 2 디바이스에 배포하여 디자인을 반복하기 전에 기본 기능을 테스트하는 것이 좋습니다. 우리의 시선 추적 샘플 장면으로 돌아 : 보석은보고있는 한 회전하고 그것을 "보고"에 의해 파괴 될 수 있습니다 ...

  • Enter 키를 누릅니다("select"라고 말하는 시뮬레이션)
  • 마이크에 "선택" 이라고 말하기
  • 스페이스바를 눌러 시뮬레이션된 손 입력을 표시하는 동안 마우스 왼쪽 단추를 클릭하여 시뮬레이션된 손가락 모으기를 수행합니다.

눈 지원 대상 선택 자습서에서 이러한 상호 작용을 달성하는 방법을 자세히 설명합니다.

커서를 장면의 위쪽 메뉴 모음으로 이동하면 현재 가리키고 있는 항목이 미묘하게 강조 표시됩니다. 위에서 설명한 커밋 방법(예: Enter 키를 누르기) 중 하나를 사용하여 현재 강조 표시된 항목을 선택할 수 있습니다. 이렇게 하면 다양한 시선 추적 샘플 장면 간에 전환할 수 있습니다.

4. 특정 하위 장면을 테스트하는 방법

특정 시나리오에서 작업할 때는 매번 장면 메뉴를 거치지 않을 수 있습니다. 대신 재생 단추를 누를 때 현재 작업 중인 장면에서 직접 시작할 수 있습니다. 문제없습니다! 수행할 수 있는 작업은 다음과 같습니다.

  1. 루트 장면 로드

  2. 루트 장면에서 'OnLoadStartScene' 스크립트를 사용하지 않도록 설정합니다.

  3. 아래 스크린샷에 표시된 것처럼 아래(또는 다른 장면)에 설명된 시선 추적 테스트 장면 중 하나를 계층 구조 보기로 끌어다 놓습니다.

    Example for additive scene

  4. Play 누르기

이와 같은 하위 장면을 로드하는 것은 지속적이지 않습니다. 즉, HoloLens 2 디바이스에 앱을 배포하면 루트 장면만 로드됩니다(빌드 설정 맨 위에 표시됨). 또한 프로젝트를 다른 사용자와 공유하면 하위 장면이 자동으로 로드되지 않습니다.


이제 MRTK 시선 추적 예제 장면이 작동하도록 하는 방법을 알아보고, 눈으로 홀로그램을 선택하는 방법을 자세히 알아보겠습니다. 눈 지원 대상 선택.


"MixedRealityToolkit의 시선 추적"으로 돌아가기