응시 및 커밋

응시 및 커밋 은 마우스를 사용하여 컴퓨터와 상호 작용하는 방식과 밀접한 관련이 있는 기본 입력 모델입니다. 점 & 클릭. 이 페이지에서는 두 가지 유형의 응시 입력(헤드 및 시선 응시)과 다양한 유형의 커밋 작업을 소개합니다. 응시 및 커밋 은 간접 조작이 있는 먼 입력 모델로 간주됩니다. 손이 닿지 않는 홀로그램 콘텐츠와 상호 작용하는 데 가장 적합합니다.

혼합 현실 헤드셋은 사용자의 머리 위치와 방향을 사용하여 헤드 방향 벡터를 결정할 수 있습니다. 응시는 사용자의 눈 사이를 직접 앞으로 가리키는 레이저로 생각하십시오. 이것은 사용자가 보고 있는 위치에 대한 대략적인 근사치입니다. 애플리케이션은 이 광선을 가상 또는 실제 개체와 교차하고 해당 위치에 커서를 그려 사용자에게 대상을 알릴 수 있습니다.

헤드 시선 외에도 HoloLens 2 같은 일부 혼합 현실 헤드셋에는 시선 응시 벡터를 생성하는 시선 추적 시스템이 포함되어 있습니다. 이를 통해 사용자가 보는 위치를 세밀하게 측정할 수 있습니다. 두 경우 모두 응시는 사용자의 의도에 대한 중요한 신호를 나타냅니다. 시스템이 사용자의 의도한 작업을 더 잘 해석하고 예측할수록 사용자 만족도와 성능이 향상됩니다.

다음은 혼합 현실 개발자가 머리 또는 시선 응시의 이점을 활용할 수 있는 방법에 대한 몇 가지 예입니다.

  • 앱은 장면의 홀로그램과 응시를 교차하여 사용자의 주의가 어디에 있는지 확인할 수 있습니다(시선 응시가 더 정확함).
  • 앱은 사용자의 응시에 따라 제스처 및 컨트롤러 누름을 채널링할 수 있으므로 사용자가 홀로그램을 원활하게 선택, 활성화, 잡기, 스크롤 또는 상호 작용할 수 있습니다.
  • 앱은 사용자가 공간 매핑 메시와 응시 광선을 교차하여 실제 표면에 홀로그램을 배치할 수 있습니다.
  • 앱은 사용자가 중요한 개체의 방향을 보고 있지 않을 때를 알 수 있으며, 이로 인해 앱이 해당 개체로 전환할 수 있는 시각적 및 오디오 신호를 제공할 수 있습니다.

디바이스 지원

입력 모델 HoloLens(1세대) HoloLens 2 몰입형 헤드셋
헤드 게이즈(head-gaze) 및 커밋 ✔️ 권장 ✔️ 권장(세 번째 선택 - 다른 옵션 보기) ➕ 대체 옵션
시선 응시 및 커밋 ❌ 사용 불가 ✔️ 권장(세 번째 선택 - 다른 옵션 보기) ❌ 사용 불가

머리 및 눈 추적 디자인 개념 데모

실제 머리 및 눈 추적 디자인 개념을 보려면 아래의 홀로그램 디자인 - 머리 추적 및 눈 추적 동영상 데모를 확인합니다. 완료되면 계속해서 특정 주제에 대해 자세히 알아봅니다.

이 비디오는 "홀로그램 디자인" HoloLens 2 앱에서 가져온 것입니다. 여기에서 전체 환경을 다운로드하여 즐겨보세요.

응시

눈 - 또는 머리 응시?

"시선 응시 및 커밋" 또는 "헤드 응시 및 커밋" 입력 모델을 사용해야 하는지에 대한 질문에 직면하는 경우 몇 가지 고려 사항이 있습니다. 몰입형 헤드셋이나 HoloLens(1세대)를 개발 중인 경우 헤드 게이즈 및 커밋을 선택하는 것이 간단합니다. HoloLens 2 위해 개발하는 경우 선택은 조금 더 어려워집니다. 각각의 장점과 과제를 이해하는 것이 중요합니다. 우리는 머리 대 시선 응시 타겟팅을 대조하기 위해 아래 표에서 몇 가지 광범위한 전문가와 단점을 컴파일했습니다. 이것은 완전하지 않으며 여기에서 혼합 현실에서 시선 응시 타겟팅에 대해 자세히 배우는 것이 좋습니다.

  • HoloLens 2 대한 시선 추적: 일부 개발자 지침을 포함하여 HoloLens 2 대한 새로운 시선 추적 기능의 일반적인 소개입니다.
  • 시선 응시 상호 작용: 시선 추적을 입력으로 사용할 계획일 때 고려 사항 및 권장 사항을 디자인합니다.
시선 응시 대상 지정 헤드 게이즈(head-gaze) 타기팅
빠른! 느린
낮은 노력 (거의 어떤 신체 운동 필요) 피곤 할 수 있습니다 - 가능한 불편 (예 : 목 변형)
커서가 필요하지 않지만 미묘한 피드백이 권장됩니다. 커서를 표시해야 합니다.
부드러운 눈 움직임 없음 - 예를 들어 그리기에는 좋지 않습니다. 보다 제어되고 명시적
작은 대상(예: 작은 단추 또는 웹 링크)의 경우 어렵습니다. 신뢰할 수 있는! 큰 대체!
... ...

응시 및 커밋 입력 모델에 헤드 게이즈 또는 시선 응시를 사용하든, 각각 다른 디자인 제약 조건 집합이 함께 제공됩니다. 이들은 시선 응시와 커밋,헤드 응시 및 커밋 문서에서 별도로 다룹니다.



커서

머리 응시의 경우 대부분의 앱은 커서 또는 기타 청각/시각적 표시를 사용하여 상호 작용하려는 내용에 대한 확신을 사용자에게 제공해야 합니다. 일반적으로 머리 응시 광선이 홀로그램 또는 실제 표면일 수 있는 개체와 먼저 교차하는 세계에 이 커서를 배치합니다.

시선 응시의 경우 일반적으로 커서를 표시 하지 않는 것이 좋습니다. 이 경우 사용자가 주의를 산만하게 하고 짜증이 날 수 있기 때문에 커서를 표시하지 않는 것이 좋습니다. 대신 시각적 대상을 미묘하게 강조 표시하거나 희미한 눈 커서를 사용하여 사용자가 상호 작용하려는 내용에 대한 확신을 제공합니다. 자세한 내용은 HoloLens 2 대한 시선 기반 입력에 대한 디자인 지침을 확인하세요.

An example visual cursor to show gaze
이미지: 응시를 표시하는 예제 시각적 커서



Commit

대상을 응시하는 다양한 방법에 대해 이야기한 후 응시 및 커밋커밋 부분에 대해 좀 더 이야기해 보겠습니다. 개체 또는 UI 요소를 대상으로 지정한 후 사용자는 보조 입력을 사용하여 상호 작용하거나 클릭할 수 있습니다. 이를 입력 모델의 커밋 단계라고 합니다.

지원되는 커밋 메서드는 다음과 같습니다.

  • 에어 탭 손 제스처 (즉, 당신의 앞에 손을 올리고 검지 손가락과 엄지 손가락을 함께 가져)
  • "select" 또는 대상 음성 명령 중 하나를 말합니다.
  • HoloLens Clicker에서 단일 단추 누르기
  • Xbox 게임 패드에서 'A' 단추 누르기
  • Xbox 적응형 컨트롤러에서 'A' 단추 누르기

응시 및 에어 탭 제스처

에어 탭은 손을 똑바로 세워서 탭하는 동작입니다. 에어 탭을 사용하려면 검지 손가락을 준비 위치로 올린 다음 엄지 손가락으로 꼬집고 검지 손가락을 다시 올려 놓습니다. HoloLens(1세대)에서 에어 탭은 가장 일반적인 보조 입력입니다.

Finger in the ready position
준비 위치에 있는 손가락

Press finger down to tap or click
손가락을 아래로 눌러 탭하거나 클릭합니다.

에어 탭은 HoloLens 2 사용할 수 있습니다. 그것은 원래 버전에서 완화되었습니다. 손이 똑바로 서서 가만히 있는 한 거의 모든 종류의 핀치가 지원됩니다. 이렇게 하면 사용자가 제스처를 더 쉽게 배우고 사용할 수 있습니다. 이 새 에어 탭은 동일한 API를 통해 이전 API를 대체하므로 기존 애플리케이션은 HoloLens 2 다시 컴파일한 후 자동으로 새 동작을 수행합니다.



응시 및 "선택" 음성 명령

음성 명령은 혼합 현실의 주요 상호 작용 방법 중 하나입니다. 시스템을 제어하는 강력한 핸즈프리 메커니즘을 제공합니다. 다음과 같은 다양한 유형의 음성 상호 작용 모델이 있습니다.

  • 클릭 동작을 사용하거나 보조 입력으로 커밋하는 제네릭 "Select" 명령입니다.
  • 개체 명령(예: "닫기" 또는 "더 크게 만들기")은 작업을 수행하고 보조 입력으로 커밋합니다.
  • 전역 명령(예: "시작으로 이동")에는 대상이 필요하지 않습니다.
  • 대화 사용자 인터페이스 또는 Cortana 같은 엔터티에는 AI 자연어 기능이 있습니다.
  • 사용자 지정 음성 명령

자세한 내용과 사용 가능한 음성 명령의 포괄적인 목록 및 사용 방법에 대해 자세히 알아보려면 음성 명령 지침을 확인하세요.



응시 및 HoloLens 클릭커

HoloLens Clicker는 HoloLens 위해 특별히 빌드된 첫 번째 주변 장치입니다. HoloLens(1세대) 개발 버전에 포함되어 있습니다. HoloLens Clicker를 사용하면 사용자가 최소한의 손 동작으로 클릭하고 보조 입력으로 커밋할 수 있습니다. HoloLens Clicker는 Bluetooth 저에너지(BTLE)를 사용하여 HoloLens(1세대) 또는 HoloLens 2 연결합니다.

디바이스를 페어링하기 위한 추가 정보 및 지침

이미지: HoloLens 클릭커

HoloLens Clicker



응시 및 Xbox 무선 컨트롤러

Xbox 무선 컨트롤러 'A' 단추를 사용하여 보조 입력으로 클릭 동작을 수행합니다. 디바이스는 시스템을 탐색하고 제어하는 데 도움이 되는 기본 작업 집합에 매핑됩니다. 컨트롤러를 사용자 지정하려면 Xbox 액세서리 애플리케이션을 사용하여 Xbox 무선 컨트롤러 구성합니다.

Xbox 컨트롤러를 PC와 페어링하는 방법

이미지: Xbox 무선 컨트롤러

Xbox Wireless Controller



응시 및 Xbox 적응형 컨트롤러

주로 이동성이 제한된 게이머의 요구를 충족하도록 설계된 Xbox 적응형 컨트롤러는 혼합 현실의 접근성을 높이는 데 도움이 되는 장치용 통합 허브입니다.

Xbox 적응형 컨트롤러는 'A' 단추를 사용하여 보조 입력으로 클릭 동작을 수행합니다. 디바이스는 시스템을 탐색하고 제어하는 데 도움이 되는 기본 작업 집합에 매핑됩니다. 컨트롤러를 사용자 지정하려면 Xbox 액세서리 응용 프로그램을 사용하여 Xbox 적응형 컨트롤러를 구성합니다.

Xbox Adaptive Controller
Xbox 적응형 컨트롤러

스위치, 단추, 탑재 및 조이스틱과 같은 외부 디바이스를 커넥트 고유한 사용자 지정 컨트롤러 환경을 만듭니다. 단추, 엄지스틱 및 트리거 입력은 3.5mm 잭 및 USB 포트를 통해 연결된 보조 장치로 제어됩니다.

Xbox Adaptive Controller ports
Xbox 적응형 컨트롤러 포트

디바이스 페어링 지침

Xbox 사이트의 더 많은 정보



복합 제스처

에어 탭

에어 탭 제스처(및 아래의 다른 제스처)는 특정 탭에만 반응합니다. 메뉴 또는 손아귀와 같은 다른 탭을 감지하려면 애플리케이션에서 위의 두 가지 주요 구성 요소 제스처 섹션에 설명된 하위 수준 상호 작용을 직접 사용해야 합니다.

길게 누르기

홀드(hold)는 에어 탭의 아래쪽 손가락 위치를 유지하는 것입니다. 에어 탭과 홀드 조합은 활성화하는 대신 개체를 집어 들거나 상황에 맞는 메뉴를 표시하는 것과 같은 마우스 다운 보조 상호 작용과 같은 팔 움직임과 결합될 때 보다 복잡한 "클릭 및 끌기" 상호 작용을 허용합니다. 그러나 이 제스처를 디자인할 때는 사용자가 확장된 제스처 중에 손 자세를 완화하는 경향이 있으므로 주의해야 합니다.

조작

홀로그램이 사용자의 손 움직임에 1:1로 반응하도록 하려면 조작 제스처를 사용하여 홀로그램을 이동, 크기 조정 또는 회전할 수 있습니다. 이러한 1:1 움직임을 사용하는 한 가지 방식은 실제로 선을 긋거나 그릴 수 있도록 하는 것입니다. 조작 제스처에 대한 초기 타기팅은 응시 또는 포인팅을 통해 수행해야 합니다. 탭하고 길게 누르면 모든 개체 조작이 손의 움직임에 의해 처리되므로 사용자가 조작하는 동안 주위를 둘러볼 수 있습니다.

탐색 제스처는 가상 조이스틱처럼 작동하며 방사형 메뉴와 같은 UI 위젯을 탐색하는 데 사용할 수 있습니다. 길게 눌러서 제스처를 시작한 후 초기에 누른 부분을 중심으로 정규화된 3D 큐브 안에서 손을 움직입니다. X, Y 또는 Z 축을 따라 -1에서 1 사이의 값으로 손을 이동할 수 있으며 0은 시작점입니다. 탐색은 속도 기반 연속 스크롤 또는 확대/축소 제스처를 빌드하는 데 사용할 수 있으며, 마우스 가운데 단추를 클릭한 다음, 마우스를 위아래로 움직여서 2D UI를 스크롤하는 것과 유사합니다.

레일을 사용한 탐색은 해당 축에서 특정 임계값에 도달할 때까지 특정 축의 움직임을 인식하는 기능을 나타냅니다. 이는 애플리케이션이 X, Y축에서 탐색 제스처를 인식하도록 구성된 경우와 같이 애플리케이션에서 둘 이상의 축에서 이동을 사용하도록 설정한 경우에만 유용하며 레일이 있는 X축도 지정합니다. 이 경우 시스템은 Y축에서도 손 이동이 발생하는 경우 X축의 가상 레일(안내선) 내에 남아 있는 한 X축에서 손의 움직임을 인식합니다.

2D 앱에서는 사용자가 세로 탐색 제스처를 사용하여 앱 내에서 스크롤, 확대/축소 또는 끌기를 수행할 수 있습니다. 그러면 앱에 가상 손가락 터치가 삽입되어 같은 유형의 터치 제스처가 시뮬레이션됩니다. 사용자는 단추를 선택하거나 '<스크롤/끌기/확대/축소> 도구'라고 말하여 애플리케이션 위의 막대에 있는 도구 간에 전환하여 이러한 작업 중 어떤 작업을 수행할지 선택할 수 있습니다.

복합 제스처에 대한 추가 정보

제스처 인식기

제스처 인식 사용의 이점 중 하나는 현재 대상 홀로그램이 허용할 수 있는 제스처에 대해서만 제스처 인식기를 구성할 수 있다는 것입니다. 플랫폼은 지원되는 특정 제스처를 구분하는 데 필요한 경우에만 명확성을 수행합니다. 이러한 방식으로 에어 탭을 지원하는 홀로그램은 누르기와 놓기 사이의 모든 시간을 허용할 수 있으며, 탭과 홀드 모두를 지원하는 홀로그램은 보류 시간 임계값 이후 탭을 보류로 승격할 수 있습니다.

손 인식

HoloLens는 디바이스에 보이는 한쪽 또는 양쪽 손의 위치를 추적하여 손 제스처를 인식합니다. HoloLens는 손이 준비 상태(집게손가락을 올리고 손등을 마주보고 있는 상태)이거나 눌린 상태(집게손가락을 내리고 손등을 마주보고 있는 상태)일 때 손을 봅니다. 손이 다른 포즈를 취하고 있을 때 HoloLens 무시합니다. HoloLens 감지하는 각 손에 대해 방향 및 누름 상태 없이 해당 위치에 액세스할 수 있습니다. 손이 제스처 프레임의 가장자리에 가까워지면, 방향 벡터가 제공됩니다. 이것을 사용자에게 표시하면, HoloLens에게 보이는 위치로 손을 다시 이동하려면 손을 어떻게 움직여야 하는지를 사용자가 알 수 있습니다.

제스처 프레임

HoloLens 제스처의 경우 손은 제스처 감지 카메라가 코에서 허리, 어깨 사이에 적절하게 볼 수있는 범위에서 제스처 프레임 내에 있어야합니다. 사용자는 행동의 성공과 자신의 편안함을 위해 모두 인식의이 영역에 대한 교육을 받아야합니다. 많은 사용자는 처음에 제스처 프레임이 HoloLens 통해 보기 내에 있어야 한다고 가정하고, 상호 작용하기 위해 불편하게 팔을 들고 있어야 합니다. HoloLens Clicker를 사용하는 경우 손은 제스처 프레임 내에 있을 필요가 없습니다.

특히 연속 제스처의 경우 홀로그램 개체를 이동하고 의도한 결과를 잃을 때 중간 제스처에서 사용자가 제스처 프레임 외부로 손을 이동할 위험이 있습니다.

다음 세 가지 사항을 고려해야 합니다.

  • 제스처 프레임의 존재와 대략적 경계에 대한 사용자 교육입니다. 이 내용은 HoloLens 설정 중에 학습됩니다.

  • 제스처가 애플리케이션 내의 제스처 프레임 경계에 가까워지거나 끊어지는 경우 사용자에게 제스처 손실로 인해 원치 않는 결과가 발생하도록 알립니다. 연구는 이러한 알림 시스템의 주요 자질을 보여 주었다. HoloLens 셸은 이러한 유형의 알림(중앙 커서의 시각적 개체)에 대한 좋은 예제를 제공하여 경계 교차가 발생하는 방향을 나타냅니다.

  • 제스처 프레임 경계를 벗어난 결과는 최소화되어야 합니다. 일반적으로 이는 제스처의 결과가 경계에서 중지되고 반전되지 않아야 한다는 것을 의미합니다. 예를 들어 사용자가 실내에서 홀로그램 개체를 이동하는 경우 제스처 프레임이 위반될 때 이동이 중지되고 시작점으로 반환되지 않아야 합니다. 사용자는 약간의 불만을 겪을 수 있지만 경계를 더 빨리 이해하고 매번 의도한 전체 작업을 다시 시작할 필요가 없습니다.

참고 항목