HoloLens 2의 시선 추적
HoloLens 2 개발자에게 사용자가 보고 있는 내용에 대한 정보를 사용할 수 있는 기능을 제공하여 홀로그램 환경 내에서 새로운 수준의 컨텍스트와 인간의 이해를 가능하게 합니다. 이 페이지에서는 개발자가 다양한 사용 사례에 대한 시선 추적을 활용할 수 있는 방법과 시선 응시 기반 사용자 상호 작용을 디자인할 때 무엇을 찾아야 하는지 설명합니다.
시선 추적 API는 사용자의 개인 정보를 염두에 두고 설계되었습니다. 식별 가능한 정보, 특히 생체 인식이 전달되는 것을 방지합니다. 시선 추적 가능 애플리케이션의 경우 사용자는 시선 추적 정보를 사용할 수 있는 권한을 앱에 부여해야 합니다.
디바이스 지원
| 기능 | HoloLens(1세대) | HoloLens 2 | 몰입형 헤드셋 |
| 시선 응시 | ❌ | ✔️ | ❌ |
머리 및 눈 추적 디자인 개념 데모
실제 머리 및 눈 추적 디자인 개념을 보려면 아래의 홀로그램 디자인 - 머리 추적 및 눈 추적 동영상 데모를 확인합니다. 완료되면 계속해서 특정 주제에 대해 자세히 알아봅니다.
이 비디오는 "홀로그램 디자인" HoloLens 2 앱에서 가져온 것입니다. 여기에서 전체 환경을 다운로드하여 즐겨보세요.
보정
시선 추적이 정확하게 작동하려면 각 사용자가 홀로그램 대상 집합을 확인해야 하는 시선 추적 사용자 보정 을 거쳐야 합니다. 이렇게 하면 디바이스가 시스템을 조정하여 사용자에게 더 편안하고 고품질의 보기 환경을 제공하고 동시에 정확한 시선 추적을 보장할 수 있습니다.
시선 추적은 대부분의 사용자에게 작동하지만 사용자가 성공적으로 보정할 수 없는 경우는 드뭅니다. 다음을 포함하지만 이에 국한되지 않는 다양한 이유로 보정이 실패할 수 있습니다.
- 사용자가 이전에 보정 프로세스를 옵트아웃했습니다.
- 사용자가 산만해졌고 보정 목표를 따르지 않았습니다.
- 사용자에게 시스템에서 아직 지원하지 않는 특정 유형의 콘택트 렌즈와 안경이 있습니다.
- 사용자는 특정 눈 생리학 또는 눈 상태를 가지고 또는 눈 수술을했다, 이는 시스템은 아직 지원하지 않습니다.
- HoloLens 바이저 또는 안경의 얼룩, 강렬한 직사광선 및 눈 앞의 머리카락으로 인한 폐색과 같은 신뢰할 수 있는 시선 추적을 억제하는 외부 요인.
개발자는 시선 추적 데이터를 사용할 수 없는 사용자(성공적으로 보정할 수 없는 사용자)에 대해 적절한 지원을 제공해야 합니다. 이 페이지 아래쪽의 섹션에서 대체 솔루션에 대한 권장 사항을 제공했습니다.
보정 및 원활한 환경을 보장하는 방법에 대한 자세한 내용은 시선 추적 사용자 보정 페이지를 참조하세요.
사용 가능한 시선 추적 데이터
HoloLens 2 대한 시선 추적을 통해 개발자는 자연스럽고 직관적인 입력 및 상호 작용 시나리오를 디자인할 수 있습니다. 시선 추적 API는 사용자가 약 30FPS(30Hz)에서 단일 시선 응시 광선(응시 원점 및 방향)으로 보고 있는 내용에 대한 정보를 제공합니다. 시선 추적이 정확히 작동하려면 각 사용자가 시선 추적 사용자 보정을 진행해야 합니다. 시선 추적 데이터에 액세스하는 방법에 대한 자세한 내용은 DirectX에서 시선 응시 를 사용하고 Unity에서 시선 응시를 사용하기 위한 개발자 가이드 를 참조하세요.
예측된 시선 응시는 실제 대상 주위의 시각적 각도에서 약 1.5도 이내입니다(아래 그림 참조). 약간의 부정확성이 예상되므로 개발자는 이 하한 값 주위에 약간의 여백을 계획해야 합니다(예: 2.0-3.0도는 훨씬 더 편안한 환경을 만들 수 있음). 아래에서 작은 대상의 선택을 해결하는 방법에 대해 자세히 설명합니다.
2미터 거리에서 최적의 대상 크기
확장된 시선 추적 데이터
확장된 시선 추적 API를 통해 개발자는 사용자의 시선 응시에 대한 보다 세분화된 정보를 제공하여 건강 평가, 모니터링 및 치료와 같은 혁신적인 시나리오의 다음 수준을 잠금 해제할 수 있습니다.
확장된 시선 추적 API는 기존 시선 추적 값과 개별(왼쪽 및 오른쪽) 시선 응시 벡터, 지원되는 프레임 속도 및 시선 추적 프레임 속도를 30, 60 또는 90fps로 설정하는 기능과 같은 새로운 기능에 액세스할 수 있습니다. 확장 시선 추적 API를 사용하려면 네이티브 또는 Unity에 확장 눈 추적 API를 사용하기 위한 개발자 가이드를 참조 하세요.
사용 사례
시선 추적을 사용하여 애플리케이션에서는 사용자가 실시간으로 보는 곳을 추적할 수 있습니다. 다음 사용 사례에서는 혼합 현실에서 HoloLens 2 대한 시선 추적과 함께 가능한 몇 가지 상호 작용에 대해 설명합니다. 이러한 사용 사례는 아직 Holographic Shell 환경(HoloLens 2 시작할 때 표시되는 인터페이스)의 일부가 아닙니다. Mixed Reality 도구 키트에서 그 중 일부를 사용해 볼 수 있습니다. 도구 키트는 빠르고 쉽게 눈에 지원되는 대상 선택 및 사용자가 보는 내용에 따라 텍스트를 자동으로 스크롤하는 등 시선 추적을 사용하기 위한 몇 가지 흥미롭고 강력한 예제를 제공합니다.
사용자 의도
사용자가 보는 위치와 대상에 대한 정보는 음성, 손 및 컨트롤러와 같은 다른 입력에 대한 강력한 컨텍스트를 제공합니다. 이러한 컨텍스트를 다양한 작업에서 사용할 수 있습니다. 예를 들어 사용자는 홀로그램을 보고 "선택" ( 응시 및 커밋 참조) 또는 "이 것을 넣습니다..."라고 말하여 장면을 빠르고 쉽게 대상으로 지정한 다음 홀로그램을 배치할 위치를 살펴보고 "... 거기"라고 말했습니다. 이에 대한 예는 Mixed Reality Toolkit - 시선 지원 대상 선택 및 Mixed Reality Toolkit - 시선 지원 대상 위치 지정에서 찾을 수 있습니다.
또한 사용자 의도의 예로는 구현된 가상 에이전트 및 대화형 홀로그램과의 참여를 향상시키기 위해 사용자가 보는 내용에 대한 정보를 사용하는 것이 포함될 수 있습니다. 예를 들어 가상 에이전트는 현재 본 콘텐츠에 따라 사용 가능한 옵션 및 해당 동작을 조정할 수 있습니다.
암시적 작업
암시적 작업의 범주는 사용자 의도와 밀접하게 관련되어 있습니다. 홀로그램 또는 사용자 인터페이스 요소는 사용자가 시스템과 전혀 상호 작용하는 것처럼 느껴지지 않고 시스템과 사용자가 동기화되어 있다고 느낄 수 있는 본능적인 방식으로 반응한다는 것입니다. 한 가지 예는 사용자가 텍스트 상자의 맨 아래에 도달하면 자동으로 스크롤을 시작하는 긴 텍스트를 읽을 수 있는 시선 응시 기반 자동 스크롤 입니다. 이렇게 하면 사용자가 손가락을 떼지 않고 읽는 흐름을 유지할 수 있습니다. 이 것의 주요 측면은 스크롤 속도가 사용자의 읽기 속도에 적응한다는 것입니다.
또 다른 예는 사용자가 포커스가 있는 모든 것을 향해 정확히 다이빙하는 것처럼 느낄 수 있는 눈 지원 확대/축소 및 팬 입니다.
확대/축소 속도 트리거 및 제어는 음성 또는 손 입력으로 제어할 수 있으며, 이는 사용자에게 과부하를 피하면서 제어 느낌을 제공하는 데 중요합니다. 아래에서 이러한 디자인 고려 사항에 대해 자세히 살펴보겠습니다. 한 번 확대하면, 사용자는 원활하게 따라 할 수 있습니다, 예를 들어, 자신의 시선 응시를 사용하여 자신의 이웃을 탐험하는 거리의 과정. 이러한 유형의 상호 작용을 나타내는 데모 예제는 Mixed Reality Toolkit - 시선 지원 탐색 샘플에서 찾을 수 있습니다.
암시적 작업에 대한 다른 사용 사례에는 다음이 포함될 수 있습니다.
- 스마트 알림: 보기 중간에 알림이 표시되는 것에 짜증이 난 적이 있나요? 사용자가 현재 보고 있는 위치에서 알림을 오프셋하여 이 환경을 더 좋게 만들 수 있습니다. 이렇게 하면 사용자가 읽기를 마치면 방해가 제한되고 자동으로 해제됩니다.
- 세심한 홀로그램: 이들은 그들이 응시 할 때 미묘한 방식으로 반응하는 홀로그램입니다. 이것은 약간 빛나는 UI 요소에서 천천히 피는 꽃에 이르기까지 사용자를 되돌아 보고 꼬리를 흔들기 시작하는 가상 개에 이르기까지 다양할 수 있습니다. 이 상호 작용은 애플리케이션에서 흥미로운 연결 및 만족감을 제공할 수 있습니다.
주의 추적
사용자가 보는 위치 또는 내용에 대한 정보는 매우 강력한 도구가 될 수 있습니다. 디자인의 유용성을 평가하고 워크플로의 문제를 식별하여 효율성을 높이는 데 도움이 될 수 있습니다. 시선 추적 시각화 및 분석은 다양한 애플리케이션 영역에서 일반적인 사례입니다. HoloLens 2 통해 이러한 이해를 위한 새로운 차원을 제공합니다. 3D 홀로그램은 실제 컨텍스트에 배치하고 그에 따라 평가할 수 있습니다.
Mixed Reality 도구 키트는 시선 추적 데이터 로깅 및 로드에 대한 기본 예제와 이를 시각화하는 방법을 제공합니다.
Microsoft는 혁신을 촉진하는 동시에 사용자가 시선 추적 정보를 사용하는 방법에 대한 정보와 투명한 경험을 갖도록 하기 위해 최선을 다하고 있습니다. Microsoft는 개발자 및 UX 팀과 계속 협력하여 제3자에 대한 지침을 제공하여 환경이 사용자를 중심으로 이루어지도록 할 것입니다.
이 영역의 다른 응용 분야로 다음이 포함될 수 있습니다.
- 원격 시선 응시 시각화: 원격 협력자가 보고 있는 내용을 시각화합니다. 이를 통해 즉각적인 피드백을 제공하고 보다 정확한 정보 처리를 용이하게 할 수 있습니다.
- 사용자 연구 연구: 주의 추적은 사용자가 방해 없이 자연 환경을 인식하고 참여하는 방법에 대한 인사이트를 제공할 수 있습니다. 이렇게 하면 개발자가 더 본능적인 인간-컴퓨터 상호 작용을 디자인하는 데 도움이 될 수 있습니다. 시선 추적은 연구 참가자가 직접 명시하지 않고 연구원이 쉽게 놓칠 수 있는 정보를 제공할 수 있습니다.
- 학습 및 성능 모니터링: 실행 흐름에서 병목 상태를 보다 효과적으로 식별하여 태스크 실행을 연습하고 최적화합니다. 시선 추적은 자연스럽고 실시간이며 객관적인 정보를 제공하여 작업 공간의 교육, 생산성 및 안전을 향상시킬 수 있습니다.
- 디자인 평가, 마케팅 및 소비자 조사: 시선 추적을 통해 상업용 기업은 실제 환경에서 마케팅 및 소비자 연구를 수행하거나 제품 또는 공간 디자인을 개선하기 위해 사용자의 관심을 사로잡는 것을 분석할 수 있습니다.
기타 사용 사례
- 게임: 초강대국을 갖고 싶었던 적이 있습니까? 여기서 그 기회를 얻을 수 있습니다.
홀로그램을 응시하여 홀로그램을 부양할 수 있습니다.
눈에서 레이저 빔을 쏘십시오 - HoloLens 2 위해 RoboRaid에서 사용해보십시오.
적을 돌로 바꾸거나 얼립니다.
X-광선을 사용해서 건물을 투시하세요.
상상하는 만큼 이루어집니다. 하지만 사용자를 압도하지 않도록 주의하세요. 자세한 내용은 시선 응시 기반 입력 디자인 지침을 참조하세요.
표현 아바타: 시선 추적은 라이브 시선 추적 데이터를 사용하여 아바타의 눈에 애니메이션을 적용하고 사용자가 보고 있는 것을 따르도록 하여 표현력이 더 좋은 3D 아바타를 지원합니다.
텍스트 항목: 시선 추적은 특히 음성이나 손이 사용하기 불편할 때 저조도 텍스트 입력의 대안으로 사용할 수 있습니다.
상호 작용에 시선 응시 사용
빠르게 움직이는 눈 대상 지정을 활용하는 상호 작용을 구축하는 것은 어려울 수 있습니다. 눈이 빠르게 움직일 수 있으므로 시선 응시 입력을 사용하는 방법을 주의하지 않으면 사용자가 압도적이거나 산만한 경험을 발견할 수 있습니다. 그러나 시선 추적을 사용하면 사용자를 흥분시킬 진정한 마법의 환경을 만들 수 있기 때문에 도전할 만한 가치가 있습니다! 도움이 되도록 상호 작용을 위한 시선 응시를 위한 주요 이점, 과제 및 디자인 권장 사항에 대한 개요를 확인하세요.
시선 추적을 사용할 수 없는 경우 대체 솔루션
드문 경우에서 시선 추적 데이터를 사용할 수 없을 수 있습니다. 이 문제는 여러 가지 이유로 발생할 수 있습니다. 가장 일반적인 내용은 다음과 같습니다.
- 시스템에서 사용자를 보정하지 못했습니다.
- 사용자가 보정을 건너뛰었다.
- 사용자는 보정되지만 앱에 시선 추적 데이터를 사용할 수 있는 권한을 부여하지 않기로 결정했습니다.
- 사용자에게는 시스템이 아직 지원하지 않는 고유한 안경 또는 일부 눈 상태가 있습니다.
- HoloLens 바이저 또는 안경의 얼룩, 강렬한 직사광선 및 눈 앞의 머리카락으로 인한 폐색과 같은 신뢰할 수 있는 시선 추적을 억제하는 외부 요인.
개발자는 이러한 사용자에 대한 적절한 대체 지원이 있는지 확인해야 합니다. DirectX의 시선 추적 페이지에서 시선 추적 데이터를 사용할 수 있는지 여부를 감지하는 데 필요한 API에 대해 설명합니다.
일부 사용자는 시선 추적이 제공할 수 있는 향상된 환경보다 더 큰 개인 정보 보호가 더 중요하다고 결정할 수 있으므로 의도적으로 시선 추적 데이터에 대한 액세스를 취소합니다. 그러나 경우에 따라 이 해지가 의도하지 않을 수 있습니다. 앱에서 시선 추적을 사용하고 이 부분이 환경의 중요한 부분인 경우 이를 사용자에게 명확하게 전달하는 것이 좋습니다. 아이 트래킹이 애플리케이션의 잠재력을 최대한 발휘하는 방법을 사용자에게 설명하면 포기할 내용을 더 잘 이해하는 데 도움이 될 수 있습니다. 시선 추적이 켜져 있지만 작동하지 않는 경우 위의 검사 목록을 가이드로 사용하여 사용자가 문제를 식별하고 해결합니다. 예를 들어 시스템에서 시선 추적을 지원하고 사용자가 보정되고 권한을 부여받았지만 시선 추적 데이터가 수신되지 않음을 감지할 수 있는 경우 얼룩이나 눈이 가려지는 등의 문제가 발생할 수 있습니다.
시선 추적이 누군가를 위해 작동하지 않고 명백한 이유가 없는 드문 경우가 있습니다. 사용자가 앱에서 시선 추적을 사용하도록 설정하기 위해 미리 알림을 해제하거나 사용하지 않도록 설정하여 이를 존중해야 합니다.
시선 응시를 기본 입력 포인터로 사용하여 앱에 대한 대체
앱에서 시선 응시를 포인터 입력으로 사용하여 장면에서 홀로그램을 빠르게 선택하지만 시선 추적 데이터를 사용할 수 없는 경우 머리 응시로 돌아가서 머리 응시 커서를 표시하는 것이 좋습니다. 시간 제한(예: 500~1500ms)을 사용하여 전환 여부를 결정하는 것이 좋습니다. 이 작업을 수행하면 빠른 눈 동작이나 윙크 및 깜박임으로 인해 시스템이 잠시 추적을 잃을 때마다 커서가 나타나지 않습니다. Unity 개발자인 경우 Mixed Reality 도구 키트에서 헤드 응시에 대한 자동 대체가 이미 처리되어 있습니다. DirectX 개발자인 경우 이 스위치를 직접 처리해야 합니다.
다른 시선 추적 관련 애플리케이션에 대한 대체
앱은 눈에 맞게 조정된 고유한 방식으로 시선 응시를 사용할 수 있습니다. 예를 들어, 시각적 주의에 대한 정확한 정보에 의존하는 아바타의 눈 또는 눈 기반 주의 열 지도에 애니메이션 효과를 줍니다. 이러한 유형의 경우 명확한 대체가 없습니다. 시선 추적을 사용할 수 없는 경우 이러한 기능을 사용하지 않도록 설정해야 할 수 있습니다. 다시 말하지만, 기능이 작동하지 않는다는 것을 인식하지 못하는 사용자에게 이를 명확하게 전달하는 것이 좋습니다.
이 페이지에서는 HoloLens 2 대한 시선 추적 및 시선 응시 입력의 역할을 이해하기 위한 좋은 개요를 제공했습니다. 개발을 시작하려면 홀로그램과 상호 작용하기 위한 시선 응시의 역할, Unity의 시선 응시 및 DirectX의 시선 응시에 대한 정보를 확인하세요.