시선 추적 예제 개요 - MRTK2
이 항목에서는 MRTK 시선 추적 예제(Assets/MRTK/Examples/Demos/EyeTracking)를 기반으로 하여 MRTK에서 시선 추적을 빠르게 시작하는 방법을 설명합니다. 이러한 샘플을 통해 새로운 마법 입력 기능인 시선 추적을 경험할 수 있습니다. 데모에는 암시적 눈 기반 활성화에서 음성 및 손 입력으로 보고 있는 내용에 대한 정보를 원활하게 결합하는 방법에 이르기까지 다양한 사용 사례가 포함됩니다. 이를 통해 사용자는 대상을 보고 '선택' 이라고 말하거나 손 제스처를 수행하여 홀로그램 콘텐츠를 빠르고 쉽게 선택하고 보기 전체로 이동할 수 있습니다. 데모에는 응시 지향 스크롤, 슬레이트의 텍스트 및 이미지 이동 및 확대/축소 예제도 포함되어 있습니다. 마지막으로, 2D 슬레이트에서 사용자의 시각적 주의를 기록하고 시각화하는 예제가 제공됩니다. 다음 섹션에서는 MRTK 시선 추적 예제 패키지(Assets/MRTK/Examples/Demos/EyeTracking)에 포함된 각 샘플에 대해 자세히 알아봅니다.
다음 섹션은 개별 시선 추적 데모 장면에 대한 간략한 개요입니다. MRTK 시선 추적 데모 장면은 추가 적으로 로드되며, 아래에서 설정하는 방법을 설명합니다.
시선 추적 데모 샘플 개요
눈 지원 대상 선택
이 자습서에서는 시선 응시 데이터에 쉽게 액세스하여 대상을 선택하는 방법을 보여 줍니다. 여기에는 사용자에게 대상이 압도되지 않고 집중된다는 확신을 제공하기 위한 미묘하면서도 강력한 피드백의 예가 포함되어 있습니다. 또한 읽은 후 자동으로 사라지는 스마트 알림의 간단한 예가 있습니다.
요약: 눈, 음성 및 손 입력의 조합을 사용하여 빠르고 간편한 대상 선택
눈 지원 탐색
먼 디스플레이 또는 전자 판독기에서 일부 정보를 읽고 있으며 표시된 텍스트의 끝에 도달하면 텍스트가 자동으로 위로 스크롤되어 더 많은 콘텐츠를 표시한다고 상상해 보세요. 아니면 마술같이 당신이 보고 있던 곳으로 직접 확대/축소하는 것은 어떨까요? 다음은 이 자습서에서 눈에 지원되는 탐색과 관련된 몇 가지 예입니다. 또한 현재 포커스에 따라 자동으로 회전되도록 하여 3D 홀로그램을 핸즈프리 회전하는 예제도 있습니다.
요약: 눈, 음성 및 손 입력의 조합을 사용하여 스크롤, 이동, 확대/축소, 3D 회전.
눈 지원 위치 지정
이 자습서에서는 눈, 손 및 음성 입력으로 1980년대 초에 MIT Media Lab의 연구로 거슬러 올라가는 Put-That-There 라는 입력 시나리오를 보여줍니다. 아이디어는 간단합니다 : 빠른 대상 선택 및 위치 지정에 대한 눈의 혜택. 홀로그램을 보고 '이것을 넣어라'고 말하고, 배치할 곳을 살펴보고 '거기!'라고 말하기만 하면 됩니다. 홀로그램의 위치를 보다 정확하게 지정하려면 손, 음성 또는 컨트롤러의 추가 입력을 사용할 수 있습니다.
요약: 눈, 음성 및 손 입력을 사용하여 홀로그램 위치 지정(끌어서 놓기). 눈 + 손을 사용하는 눈 지원 슬라이더.
시각적 주의 시각화
사용자가 보이는 위치에 기반한 데이터는 디자인의 유용성을 평가하고 효율적인 작업 스트림에서 문제를 식별하는 매우 강력한 도구를 만듭니다. 이 자습서에서는 다양한 시선 추적 시각화와 다양한 요구 사항에 맞는 방법을 설명합니다. 시선 추적 데이터 로깅 및 로드에 대한 기본 예제와 이를 시각화하는 방법에 대한 예제를 제공합니다.
요약: 슬레이트의 2차원 주의 지도(열 지도). 기록 & 시선 추적 데이터를 재생합니다.
MRTK 시선 추적 샘플 설정
사전 요구 사항
디바이스에서 시선 추적 샘플을 사용하려면 패키지의 AppXManifest에서 "응시 입력" 기능을 사용하여 빌드된 HoloLens 2 및 샘플 앱 패키지가 필요합니다.
디바이스에서 이러한 시선 추적 샘플을 사용하려면 Visual Studio에서 앱을 빌드하기 전에 다음 단계를 수행해야 합니다.
1. Load EyeTrackingDemo-00-RootScene.unity
EyeTrackingDemo-00-RootScene은 모든 핵심 MRTK 구성 요소가 포함된 기본(루트) 장면입니다. 이 장면은 먼저 로드해야 하며 시선 추적 데모를 실행하는 장면입니다. 추가적으로 로드되는 다양한 시선 추적 샘플 간에 쉽게 전환할 수 있는 그래픽 장면 메뉴가 있습니다.
루트 장면에는 MRTK 구성 프로필 및 장면 카메라와 같이 적층적으로 로드된 장면에서 유지되는 몇 가지 핵심 구성 요소가 포함되어 있습니다. MixedRealityBasicSceneSetup(아래 스크린샷 참조)에는 시작 시 참조된 장면을 자동으로 로드하는 스크립트가 포함되어 있습니다. 기본적으로 EyeTrackingDemo-02-TargetSelection입니다.
2. 빌드 메뉴에 장면 추가
런타임 중에 추가 장면을 로드하려면 먼저 빌드 메뉴의 빌드 설정 -> 장면에 이러한 장면을 추가해야 합니다. 루트 장면이 목록의 첫 번째 장면으로 표시되는 것이 중요합니다.
3. Unity 편집기에서 시선 추적 샘플 재생
빌드 설정에 시선 추적 장면을 추가하고 EyeTrackingDemo-00-RootScene을 로드한 후 마지막으로 검사 수 있습니다. MixedRealityBasicSceneSetup GameObject에 연결된 'OnLoadStartScene' 스크립트가 활성화되어 있나요? 먼저 로드할 데모 장면을 루트 장면에 알리기 위한 것입니다.
시작합시다! "재생"을 누릅니다! 여러 보석이 나타나고 장면 메뉴가 맨 위에 표시됩니다.
또한 게임 보기의 가운데에 작은 반투명 원을 볼 수 있습니다. 시뮬레이션 된 시선 응시의 표시기(커서)로 작동합니다. 마우스 오른쪽 단추를 누르고 마우스를 움직여 위치를 변경하기만 하면 됩니다. 커서가 보석 위로 마우스를 가져가면 현재 표시된 보석의 가운데에 맞춰집니다. 이는 대상을 "확인" 할 때 이벤트가 예상대로 트리거되는지 테스트하는 좋은 방법입니다. 마우스 컨트롤을 통한 시뮬레이트된 시선 응시 는 빠르고 의도하지 않은 눈 움직임에 비해 다소 좋지 않은 보조제라는 점에 유의하세요. 그러나 HoloLens 2 디바이스에 배포하여 디자인을 반복하기 전에 기본 기능을 테스트하는 데 적합합니다. 우리의 시선 추적 샘플 장면으로 돌아 : 보석은 보고있는 한 회전하고 그것을 "보고"에 의해 파괴 될 수 있습니다 ...
- Enter 키를 누릅니다("select"라고 말하는 시뮬레이션)
- 마이크에 "선택" 이라고 말
- 스페이스바를 눌러 시뮬레이션된 손 입력을 표시하는 동안 마우스 왼쪽 단추를 클릭하여 시뮬레이션된 손가락 모으기를 수행합니다.
눈 지원 대상 선택 자습서에서 이러한 상호 작용을 달성하는 방법을 자세히 설명합니다.
커서를 장면의 위쪽 메뉴 모음으로 이동하면 현재 마우스로 가리킨 항목이 미묘하게 강조 표시됩니다. 위에서 설명한 커밋 방법(예: Enter 키를 누르기) 중 하나를 사용하여 현재 강조 표시된 항목을 선택할 수 있습니다. 이렇게 하면 다양한 시선 추적 샘플 장면 간에 전환할 수 있습니다.
4. 특정 하위 장면을 테스트하는 방법
특정 시나리오에서 작업할 때 매번 장면 메뉴를 진행하지 않을 수 있습니다. 대신 재생 단추를 누를 때 현재 작업 중인 장면에서 직접 시작할 수 있습니다. 문제없습니다! 수행할 수 있는 작업은 다음과 같습니다.
루트 장면 로드
루트 장면에서 'OnLoadStartScene' 스크립트를 사용하지 않도록 설정합니다.
아래 스크린샷에 표시된 것처럼 아래(또는 다른 장면)에 설명된 시선 추적 테스트 장면 중 하나를 계층 구조 보기로 끌어다 놓습니다.
재생을 누릅니 다.
이와 같은 하위 장면을 로드하는 것은 지속되지 않습니다. 즉, HoloLens 2 디바이스에 앱을 배포하는 경우 루트 장면만 로드됩니다(빌드 설정의 맨 위에 표시됨). 또한 프로젝트를 다른 사용자와 공유하면 하위 장면이 자동으로 로드되지 않습니다.
MRTK 시선 추적 예제 장면이 작동하도록 하는 방법을 알게 되었으므로 이제 눈으로 홀로그램을 선택하는 방법인 시선 지원 대상 선택에 대해 자세히 알아보겠습니다.