응시 및 커밋
응시 및 커밋 은 마우스를 사용하여 컴퓨터와 상호 작용하는 방식과 밀접하게 관련된 기본 입력 모델입니다. 점 & 클릭. 이 페이지에서는 두 가지 유형의 응시 입력(헤드 및 시선 응시)과 다양한 유형의 커밋 작업을 소개합니다. 응시 및 커밋 은 간접 조작이 있는 먼 입력 모델로 간주됩니다. 손이 닿지 않는 홀로그램 콘텐츠와 상호 작용하는 데 가장 적합합니다.
혼합 현실 헤드셋은 사용자의 머리 위치와 방향을 사용하여 헤드 방향 벡터를 결정할 수 있습니다. 응시는 사용자의 눈 사이를 바로 앞으로 가리키는 레이저라고 생각하세요. 이것은 사용자가 보고 있는 위치에 대한 대략적인 근사치입니다. 애플리케이션은 이 광선을 가상 또는 실제 개체와 교차하고 해당 위치에 커서를 그려 사용자가 대상으로 지정하는 내용을 알릴 수 있습니다.
헤드 시선 외에도 HoloLens 2 같은 일부 혼합 현실 헤드셋에는 시선 응시 벡터를 생성하는 시선 추적 시스템이 포함되어 있습니다. 이를 통해 사용자가 보는 위치를 세밀하게 측정할 수 있습니다. 두 경우 모두 응시는 사용자의 의도에 대한 중요한 신호를 나타냅니다. 시스템이 사용자의 의도한 작업을 더 잘 해석하고 예측할수록 사용자 만족도와 성능이 향상됩니다.
다음은 혼합 현실 개발자가 머리 또는 시선 응시의 이점을 누릴 수 있는 방법에 대한 몇 가지 예입니다.
- 앱은 장면의 홀로그램과 응시를 교차하여 사용자의 주의가 어디에 있는지 확인할 수 있습니다(시선 응시를 사용하여 더 정확함).
- 앱은 사용자의 응시에 따라 제스처 및 컨트롤러 누름을 채널링할 수 있으므로 사용자가 홀로그램을 원활하게 선택, 활성화, 잡기, 스크롤 또는 상호 작용할 수 있습니다.
- 앱은 사용자가 공간 매핑 메시와 응시 광선을 교차하여 실제 표면에 홀로그램을 배치할 수 있습니다.
- 앱은 사용자가 중요한 개체의 방향을 보고 있지 않을 때를 알 수 있습니다. 그러면 앱이 해당 개체를 향해 돌릴 수 있는 시각적 및 오디오 신호를 제공할 수 있습니다.
디바이스 지원
| 입력 모델 | HoloLens(1세대) | HoloLens 2 | 몰입형 헤드셋 |
| 헤드 게이즈(head-gaze) 및 커밋 | ✔️ 권장 | ✔️ 권장(세 번째 선택 - 다른 옵션 보기) | ➕ 대체 옵션 |
| 시선 응시 및 커밋 | ❌ 사용 불가 | ✔️ 권장(세 번째 선택 - 다른 옵션 보기) | ❌ 사용 불가 |
머리 및 눈 추적 디자인 개념 데모
실제 머리 및 눈 추적 디자인 개념을 보려면 아래의 홀로그램 디자인 - 머리 추적 및 눈 추적 동영상 데모를 확인합니다. 완료되면 계속해서 특정 주제에 대해 자세히 알아봅니다.
이 비디오는 "홀로그램 디자인" HoloLens 2 앱에서 가져온 것입니다. 여기에서 전체 환경을 다운로드하여 즐겨보세요.
응시
눈- 또는 머리 응시?
"시선 응시 및 커밋" 또는 "헤드 응시 및 커밋" 입력 모델을 사용해야 하는지에 대한 질문에 직면하는 경우 몇 가지 고려 사항이 있습니다. 몰입형 헤드셋 또는 HoloLens(1세대)를 위해 개발하는 경우 헤드 시선 및 커밋을 선택하는 것이 간단합니다. HoloLens 2 위해 개발하는 경우 선택이 조금 더 어려워집니다. 각각의 장점과 과제를 이해하는 것이 중요합니다. 우리는 머리 대 시선 응시 타겟팅을 대조하기 위해 아래 표에서 몇 가지 광범위한 전문가와 단점을 컴파일했습니다. 이것은 완전하지 않으며 혼합 현실에서 시선 응시 타겟팅에 대해 자세히 알아보는 것이 좋습니다.
- HoloLens 2 대한 시선 추적: 일부 개발자 지침을 포함하여 HoloLens 2 대한 새로운 시선 추적 기능의 일반적인 소개입니다.
- 시선 응시 상호 작용: 시선 추적을 입력으로 사용할 계획일 때 고려 사항 및 권장 사항을 디자인합니다.
| 시선 응시 대상 지정 | 헤드 게이즈(head-gaze) 타기팅 |
| 빠른! | 느린 |
| 낮은 노력 (거의 모든 신체 운동 필요) | 피곤 할 수 있습니다 - 가능한 불편 (예 : 목 변형) |
| 커서가 필요하지 않지만 미묘한 피드백이 권장됩니다. | 커서를 표시해야 합니다. |
| 부드러운 눈 움직임 없음 - 예를 들어 그리기에 좋지 않음 | 보다 제어되고 명시적 |
| 작은 대상(예: 작은 단추 또는 웹링크)의 경우 어렵습니다. | 신뢰할 수 있는! 큰 대체! |
| ... | ... |
응시 및 커밋 입력 모델에 헤드 게이즈 또는 시선 응시를 사용하든, 각각 다른 디자인 제약 조건 집합이 함께 제공됩니다. 이러한 항목은 시선 응시 및 커밋 및헤드 응시 및 커밋 문서에서 별도로 다룹니다.
커서
머리 응시의 경우 대부분의 앱은 커서 또는 기타 청각/시각적 표시를 사용하여 사용자가 상호 작용할 내용에 대한 확신을 제공해야 합니다.
일반적으로 머리 응시 광선이 홀로그램 또는 실제 표면일 수 있는 개체와 먼저 교차하는 세계에 이 커서를 배치합니다.
시선 응시의 경우 일반적으로 커서를 표시 하지 않는 것이 좋습니다. 이는 사용자에게 주의를 산만하게 하고 짜증나게 할 수 있기 때문에 일반적으로 커서를 표시하지 않는 것이 좋습니다.
대신 시각적 대상을 미묘하게 강조 표시하거나 희미한 눈 커서를 사용하여 사용자가 상호 작용할 대상에 대한 확신을 제공합니다. 자세한 내용은 HoloLens 2 대한 눈 기반 입력을 위한 디자인 지침을 검사.
이미지: 응시를 표시하는 예제 시각적 커서
Commit
대상을 응시하는 다양한 방법에 대해 이야기한 후 응시 및 커밋의 커밋 부분에 대해 좀 더 이야기해 보겠습니다. 개체 또는 UI 요소를 대상으로 지정한 후 사용자는 보조 입력을 사용하여 상호 작용하거나 클릭할 수 있습니다. 이를 입력 모델의 커밋 단계라고 합니다.
지원되는 커밋 메서드는 다음과 같습니다.
- 에어 탭 손 제스처 (즉, 당신의 앞에 손을 들고 검지 손가락과 엄지 손가락을 함께 가져)
- "select" 또는 대상 음성 명령 중 하나를 말합니다.
- HoloLens Clicker에서 단일 단추 누르기
- Xbox 게임 패드에서 'A' 단추 누르기
- Xbox 적응형 컨트롤러에서 'A' 단추 누르기
응시 및 에어 탭 제스처
에어 탭은 손을 똑바로 세워서 탭하는 동작입니다. 에어 탭을 사용하려면 검지 손가락을 준비 위치로 올린 다음 엄지 손가락으로 꼬집고 검지 손가락을 다시 올려 놓습니다. HoloLens(1세대)에서 에어 탭은 가장 일반적인 보조 입력입니다.
준비 위치의 손가락
손가락을 아래로 눌러 탭하거나 클릭합니다.
에어 탭은 HoloLens 2 사용할 수 있습니다. 그것은 원래 버전에서 완화되었습니다. 손이 똑바로 서서 가만히 있는 한 거의 모든 종류의 손가락 모으기가 지원됩니다. 이렇게 하면 사용자가 제스처를 훨씬 쉽게 배우고 사용할 수 있습니다. 이 새 에어 탭은 동일한 API를 통해 이전 API를 대체하므로 기존 애플리케이션은 HoloLens 2 대해 다시 컴파일한 후 자동으로 새 동작을 갖습니다.
응시 및 "선택" 음성 명령
음성 명령은 혼합 현실의 기본 상호 작용 방법 중 하나입니다. 시스템을 제어하는 강력한 핸즈프리 메커니즘을 제공합니다. 다음과 같은 다양한 유형의 음성 상호 작용 모델이 있습니다.
- 클릭 동작을 사용하거나 보조 입력으로 커밋하는 제네릭 "Select" 명령입니다.
- 개체 명령(예: "닫기" 또는 "더 크게 만들기")은 작업을 수행하고 보조 입력으로 작업에 커밋합니다.
- 전역 명령(예: "시작으로 이동")에는 대상이 필요하지 않습니다.
- 대화 사용자 인터페이스 또는 Cortana와 같은 엔터티에는 AI 자연어 기능이 있습니다.
- 사용자 지정 음성 명령
자세한 내용과 사용 가능한 음성 명령의 포괄적인 목록 및 사용 방법에 대해 자세히 알아보려면 음성 명령 지침을 검사.
응시 및 HoloLens 클릭커
HoloLens Clicker는 HoloLens용으로 특별히 빌드된 최초의 주변 장치입니다. HoloLens(1세대) 개발 버전에 포함되어 있습니다. HoloLens Clicker를 사용하면 사용자가 최소한의 손 동작으로 클릭하고 보조 입력으로 커밋할 수 있습니다. HoloLens Clicker는 Bluetooth BTLE(저에너지)을 사용하여 HoloLens(1세대) 또는 HoloLens 2 연결합니다.
디바이스를 페어링하는 추가 정보 및 지침
이미지: HoloLens Clicker
응시 및 Xbox 무선 컨트롤러
Xbox 무선 컨트롤러 'A' 단추를 사용하여 보조 입력으로 클릭 동작을 수행합니다. 디바이스는 시스템을 탐색하고 제어하는 데 도움이 되는 기본 작업 집합에 매핑됩니다. 컨트롤러를 사용자 지정하려면 Xbox 액세서리 애플리케이션을 사용하여 Xbox 무선 컨트롤러 구성합니다.
Xbox 컨트롤러를 PC와 페어링하는 방법
이미지: Xbox 무선 컨트롤러
응시 및 Xbox 적응형 컨트롤러
주로 이동성이 제한된 게이머의 요구를 충족하도록 설계된 Xbox 적응형 컨트롤러는 혼합 현실에 더 쉽게 액세스할 수 있도록 도와주는 장치를 위한 통합 허브입니다.
Xbox 적응형 컨트롤러는 'A' 단추를 사용하여 보조 입력으로 클릭 동작을 수행합니다. 디바이스는 시스템을 탐색하고 제어하는 데 도움이 되는 기본 작업 집합에 매핑됩니다. 컨트롤러를 사용자 지정하려면 Xbox 액세서리 애플리케이션을 사용하여 Xbox 적응형 컨트롤러를 구성합니다.
Xbox 적응형 컨트롤러
스위치, 단추, 탑재 및 조이스틱과 같은 외부 디바이스를 연결하여 고유한 사용자 지정 컨트롤러 환경을 만듭니다. 단추, 엄지스틱 및 트리거 입력은 3.5mm 잭 및 USB 포트를 통해 연결된 보조 디바이스로 제어됩니다.
Xbox 적응형 컨트롤러 포트
복합 제스처
에어 탭
에어 탭 제스처(및 아래의 다른 제스처)는 특정 탭에만 반응합니다. 메뉴 또는 파악과 같은 다른 탭을 감지하려면 애플리케이션이 위의 두 가지 주요 구성 요소 제스처 섹션에 설명된 하위 수준 상호 작용을 직접 사용해야 합니다.
길게 누르기
홀드(hold)는 에어 탭의 아래쪽 손가락 위치를 유지하는 것입니다. 에어 탭과 홀드 조합은 개체를 활성화하는 대신 개체를 집어 들거나 상황에 맞는 메뉴를 표시하는 등의 마우스다운 보조 상호 작용과 같은 팔 움직임과 결합될 때 보다 복잡한 "클릭 및 끌기" 상호 작용을 허용합니다. 그러나 사용자가 확장된 제스처 중에 손 자세를 완화할 수 있으므로 이 제스처를 디자인할 때는 주의해야 합니다.
조작
홀로그램이 사용자의 손 움직임에 1:1로 반응하도록 하려면 조작 제스처를 사용하여 홀로그램을 이동, 크기 조정 또는 회전할 수 있습니다. 이러한 1:1 움직임을 사용하는 한 가지 방식은 실제로 선을 긋거나 그릴 수 있도록 하는 것입니다. 조작 제스처에 대한 초기 타기팅은 응시 또는 포인팅을 통해 수행해야 합니다. 탭하고 길게 누르기 시작하면 모든 개체 조작이 손의 움직임에 의해 처리되므로 사용자가 조작하는 동안 주위를 둘러볼 수 있습니다.
탐색
탐색 제스처는 가상 조이스틱처럼 작동하며 방사형 메뉴와 같은 UI 위젯을 탐색하는 데 사용할 수 있습니다. 길게 눌러서 제스처를 시작한 후 초기에 누른 부분을 중심으로 정규화된 3D 큐브 안에서 손을 움직입니다. X, Y 또는 Z 축을 따라 -1에서 1로, 0이 시작점인 상태에서 손을 이동할 수 있습니다. 탐색은 속도 기반 연속 스크롤 또는 확대/축소 제스처를 빌드하는 데 사용할 수 있으며, 마우스 가운데 단추를 클릭한 다음, 마우스를 위아래로 움직여서 2D UI를 스크롤하는 것과 유사합니다.
레일을 사용한 탐색은 해당 축에서 특정 임계값에 도달할 때까지 특정 축의 움직임을 인식하는 기능을 의미합니다. 이는 애플리케이션이 X, Y축에서 탐색 제스처를 인식하도록 구성된 경우와 같이 둘 이상의 축에서 이동이 애플리케이션에서 사용하도록 설정된 경우에만 유용하며, 또한 레일이 있는 X축도 지정합니다. 이 경우 시스템은 Y축에서도 손 이동이 발생하는 경우 X축의 가상 레일(안내선) 내에 남아 있는 한 X축에서 손 움직임을 인식합니다.
2D 앱에서는 사용자가 세로 탐색 제스처를 사용하여 앱 내에서 스크롤, 확대/축소 또는 끌기를 수행할 수 있습니다. 그러면 앱에 가상 손가락 터치가 삽입되어 같은 유형의 터치 제스처가 시뮬레이션됩니다. 사용자는 단추를 선택하거나 '<스크롤/끌기/확대/확대/축소> 도구'라고 말하여 애플리케이션 위의 막대에 있는 도구 간에 전환하여 이러한 작업을 선택할 수 있습니다.
제스처 인식기
제스처 인식을 사용하는 한 가지 이점은 현재 대상 홀로그램이 허용할 수 있는 제스처에 대해서만 제스처 인식기를 구성할 수 있다는 것입니다. 플랫폼은 지원되는 특정 제스처를 구분하기 위해 필요한 경우에만 명확성을 수행합니다. 이러한 방식으로 에어 탭을 지원하는 홀로그램은 누름과 놓기 사이의 모든 시간을 허용할 수 있으며, 탭과 홀드 모두를 지원하는 홀로그램은 보류 시간 임계값 이후에 탭을 보류로 승격할 수 있습니다.
손 인식
HoloLens는 디바이스에 보이는 한쪽 또는 양쪽 손의 위치를 추적하여 손 제스처를 인식합니다. HoloLens는 손이 준비 상태(집게손가락을 올리고 손등을 마주보고 있는 상태)이거나 눌린 상태(집게손가락을 내리고 손등을 마주보고 있는 상태)일 때 손을 봅니다. 손이 다른 포즈를 취하고 있을 때 HoloLens는 이를 무시합니다. HoloLens가 감지하는 각 손에 대해 방향 및 누름 상태 없이 해당 위치에 액세스할 수 있습니다. 손이 제스처 프레임의 가장자리에 가까워지면, 방향 벡터가 제공됩니다. 이것을 사용자에게 표시하면, HoloLens에게 보이는 위치로 손을 다시 이동하려면 손을 어떻게 움직여야 하는지를 사용자가 알 수 있습니다.
제스처 프레임
HoloLens의 제스처의 경우 손은 제스처 감지 카메라가 코에서 허리, 어깨 사이에 적절하게 볼 수있는 범위의 제스처 프레임 내에 있어야합니다. 사용자는 행동의 성공과 자신의 편안함을 위해 이 인식 영역에 대한 교육을 받아야 합니다. 많은 사용자는 처음에 제스처 프레임이 HoloLens를 통해 보기 내에 있어야 한다고 가정하고 상호 작용하기 위해 불편하게 팔을 들고 있어야 합니다. HoloLens Clicker를 사용하는 경우 손은 제스처 프레임 내에 있을 필요가 없습니다.
특히 연속 제스처의 경우 사용자가 홀로그램 개체를 이동하고 의도한 결과를 잃을 때 중간 제스처에서 제스처 프레임 외부로 손을 이동할 위험이 있습니다.
다음 세 가지 사항을 고려해야 합니다.
제스처 프레임의 존재 및 대략적 경계에 대한 사용자 교육. 이는 HoloLens 설정 중에 학습됩니다.
제스처가 애플리케이션 내의 제스처 프레임 경계에 가까워지거나 끊어지는 경우 사용자에게 제스처를 손실하면 원치 않는 결과가 발생할 수 있음을 알립니다. 연구는 이러한 알림 시스템의 주요 자질을 보여 주었다. HoloLens 셸은 중앙 커서에서 이러한 유형의 알림(시각적 개체)의 좋은 예를 제공하여 경계 교차가 발생하는 방향을 나타냅니다.
제스처 프레임 경계를 벗어난 결과는 최소화되어야 합니다. 일반적으로 이는 제스처의 결과가 경계에서 중지되어야 하며 반전되지 않아야 한다는 것을 의미합니다. 예를 들어 사용자가 일부 홀로그램 개체를 회의실 간에 이동하는 경우 제스처 프레임이 위반될 때 이동이 중지되고 시작점으로 반환되지 않아야 합니다. 사용자는 약간의 불만을 겪을 수 있지만 경계를 더 빠르게 이해할 수 있으며 매번 의도한 전체 작업을 다시 시작할 필요가 없습니다.