학습
모듈
Mixed Reality Toolkit 소개 - 프로젝트 설정 및 손 조작(방식) 사용 - Training
이 과정에서는 MRTK의 모든 기본 요소에 대한 기본적인 내용을 소개합니다.
커서
커서는 헤드셋이 사용자가 현재 포커스가 지정된 시간에 있다고 생각하는 위치에 따라 지속적인 피드백을 제공합니다. 커서 피드백에는 입력에 응답하는 가상 환경의 영역, 홀로그램 또는 지점이 포함됩니다. 커서는 디바이스가 사용자의 주의를 이해하는 위치를 디지털로 표현하지만 사용자의 의도를 결정하는 것과는 다릅니다. 또한 커서 피드백을 통해 사용자는 예상되는 시스템 응답을 알 수 있습니다. 피드백을 사용하여 디바이스에 의도를 전달하여 사용자 신뢰를 높일 수 있습니다.
손가락, 광선, 머리 응시 등 3가지 종류의 커서가 있습니다. 이러한 포인팅 커서는 HoloLens, HoloLens 2 및 몰입형 헤드셋에서 다양한 입력 형식으로 작동합니다. 다음은 헤드셋 및 상호 작용 모델의 각 유형에 사용할 커서 유형에 대한 지침입니다. MRTK(Mixed Reality 도구 키트)에서는 올바른 포인팅 환경을 빌드하는 데 도움이 되는 끌어서 놓기 커서 모듈을 만들었습니다.
| 기능 | HoloLens(1세대) | HoloLens 2 | 몰입형 헤드셋 |
| 손가락 커서 | ❌ | ✔️ | ❌ |
| 광선 커서 | ❌ | ✔️ | ✔️ |
| 헤드 응시 커서 | ✔️ | ✔️ | ✔️ |
손가락 커서는 "손으로 직접 조작"상호 작용 모드를 향상시키기 위해 HoloLens 2 사용할 수 있습니다. 손가락이 가리키는 위치를 더 잘 이해하기 위해 두 검지 손가락의 끝에 링을 연결했습니다. 링 크기는 손가락이 UI 표면에 근접하여 손가락이 UI에 닿을 때 작은 점으로 축소됩니다. 손가락이 가까울수록 링이 작습니다.
손가락 커서 1의 시각적 피드백 상태 : 링이 점으로 축소됩니다. 2: 링이 표면에 맞춰집니다. 3: 링이 손가락 벡터에 수직입니다. 4: 링이 없습니다.
광선 커서는 원거리 포인팅 광선의 끝에 연결되어 손이 닿지 않는 개체를 조작할 수 있습니다. 몰입형 헤드셋에서 광선은 모션 컨트롤러에서 발사되어 점 커서로 끝납니다. HoloLens 2, 우리는 이러한 모션 컨트롤러 광선의 정신 모델을 적용하고 손바닥에서 유래하고 직접 조작에 사용되는 손가락 커서와 일치하는 링 모양의 커서로 끝나는 손 광선을 설계했습니다.
모션 컨트롤러의 광선 커서
손의 광선 커서
헤드 응시 커서는 머리의 위치와 회전을 사용하여 가리키는 보이지 않는 헤드 응시 벡터의 끝에 연결되는 점입니다. 작업을 실행하기 위해 이 포인팅 커서는 에어 탭, 음성 명령, 체류 및 단추 누르기와 같은 다양한 커밋 입력과 페어링됩니다. HoloLens 2 머리 응시는 에어 탭과 원거리 손 광선 간의 상호 작용 충돌이 있기 때문에 에어 탭이 아닌 커밋 입력과 가장 잘 페어링됩니다.
손 제스처를 사용하는 머리 응시 커서
음성 명령이 있는 헤드 응시 커서
커서 피드백 동작 및 모양을 사용자 지정하려는 경우 몇 가지 디자인 권장 사항은 다음과 같습니다.
- 커서는 사용 가능한 대상보다 크지 않아야 하므로 사용자가 콘텐츠를 쉽게 조작하고 볼 수 있습니다.
- 만든 환경에 따라 사용자가 둘러 볼 때 커서 크기를 조정하는 것도 중요한 고려 사항입니다. 예를 들어 사용자가 환경에서 더 멀리 보이는 경우 커서가 너무 작아서 손실되지 않아야 합니다.
- 커서 크기를 조정할 때는 크기가 조정되므로 부드러운 애니메이션을 적용하여 유기적인 느낌을 주는 것이 좋습니다.
- 콘텐츠를 방해하지 마세요. 홀로그램은 경험을 기억에 남게 만드는 것이며 커서는 그 경험을 멀리해서는 안됩니다.
- 올바른 커서 셰이프는 하나도 없지만 토러스와 같은 방향 없는 셰이프를 사용하는 것이 좋습니다. 어떤 방향으로 가리키는 커서(예: 기존 화살표 커서)는 사용자가 항상 그런 식으로 보이도록 혼동할 수 있습니다.
- 커서를 사용하여 사용자에게 상호 작용 명령을 전달하는 경우는 예외입니다. 예를 들어 Mixed Reality OS에서 홀로그램 크기를 조정할 때 커서에는 홀로그램 크기를 조정하기 위해 손을 이동하는 방법을 사용자에게 지시하는 화살표가 일시적으로 포함됩니다.
- 도넛형 또는 토러스 모양의 커서는 많은 애플리케이션에서 작동합니다.
- 만드는 환경을 가장 잘 나타내는 색과 도형을 선택합니다.
- 커서는 특히 색을 구분하는 경향이 있습니다.
- 불투명도가 균형 잡힌 작은 커서는 시각적 계층 구조를 지배하지 않고도 정보를 제공합니다.
- 커서 뒤에 그림자 또는 강조 표시를 사용하면 콘텐츠를 방해하고 현재 작업에 방해가 될 수 있으므로 인식할 수 있습니다.
- 커서는 앱의 표면에 맞춰서 포옹해야 합니다. 사용자는 시스템이 보고 있는 위치를 볼 수 있을 뿐만 아니라 시스템이 주변 환경을 알고 있다는 느낌을 받게 됩니다. 예를 들어 Mixed Reality OS의 커서는 사용자의 세계 표면에 맞춰서 사용자가 홀로그램을 직접 보지 않더라도 세상을 인식하는 느낌을 줍니다.
- 커서를 대화형 요소에 자기적으로 잠그면 사용자가 선택 작업을 사용할 때 해당 요소와 상호 작용할 수 있다는 확신을 높일 수 있습니다.
- 단일 홀로그램에 초점을 맞춘 경우 커서는 홀로그램을 멀리 볼 때 해당 홀로그램만 정렬하고 포옹하고 모양을 변경해야 합니다. 이렇게 하면 홀로그램이 실행 가능하고 상호 작용할 수 있다는 것을 사용자에게 전달할 수 있습니다.
- 애플리케이션에서 공간 매핑을 사용하는 경우 커서가 표시되는 모든 표면을 정렬하고 포옹할 수 있습니다. 이를 통해 HoloLens 및 애플리케이션에서 공간을 볼 수 있다는 피드백을 사용자에게 제공합니다. 이것은 홀로그램이 실제와 우리의 세계에서 있다는 사실을 강화하고 실제와 가상 사이의 격차를 해소하는 데 도움이됩니다.
- 보기에 홀로그램이나 표면이 없을 때 커서가 무엇을 해야 하는지 알아두면 됩니다. 미리 정해진 거리에 사용자 앞에 배치하는 것이 한 가지 옵션입니다.
- 커서를 다른 아이콘으로 표시하여 홀로그램이 수행할 수 있는 크기 조정 또는 회전과 같은 가능한 작업을 전달할 수 있습니다.
- 사용자에게 무언가를 의미하는 경우에만 커서에 추가 정보를 추가합니다. 그렇지 않으면 사용자가 상태 변경 내용을 알아채지 못하거나 커서가 혼동될 수 있습니다.
커서를 사용하여 사용자의 입력 상태 또는 의도를 표시할 수 있습니다. 예를 들어 시스템이 손 상태를 보고 애플리케이션이 작업을 수행할 준비가 되었다는 것을 사용자에게 알리는 아이콘을 표시할 수 있습니다.
커서를 사용하여 잠시 색 변경을 통해 시스템에서 음성 명령을 들었다는 것을 사용자에게 표시할 수도 있습니다.
다음 커서 상태는 다양한 방법으로 구현할 수 있습니다. 상태 머신처럼 커서를 모델링하여 이러한 다양한 상태를 구현할 수 있습니다. 예:
- 유휴 상태는 기본 커서를 표시하는 위치입니다.
- 준비 상태는 준비 위치에서 사용자의 손을 감지한 경우입니다.
- 상호 작용 상태는 사용자가 특정 상호 작용을 수행하는 경우입니다.
- 가능한 작업 상태 또는 가리키기 상태는 홀로그램에서 수행할 수 있는 가능한 작업을 전달할 때입니다.
또한 다른 상태를 감지할 때 다른 아트 자산을 표시하는 피부 가능 방식으로 이러한 상태를 구현할 수 있습니다.
몰입감이 환경의 핵심 구성 요소이고 상호 작용을 가리키는 경우(응시 및 제스처를 통해) 정밀도를 요구하지 않는 경우 커서 없이 디자인하는 것이 좋습니다. 시스템은 여전히 커서의 일반적인 요구 사항을 충족해야 합니다. 즉, 사용자에게 포인팅에 대한 시스템의 이해에 대한 지속적인 피드백을 제공하고 시스템에 의도를 전달할 수 있도록 도와줍니다. 이는 다른 눈에 띄는 상태 변경을 통해 달성할 수 있습니다.
기본적으로 MRTK 는 셸의 시스템 커서와 동일한 시각적 상태를 갖는 커서 프리팹(DefaultCursor.prefab)을 제공합니다. MRTK 입력 프로필의 포인터 아래에 할당됩니다. 이 커서를 사용자 환경에 맞게 바꾸/사용자 지정할 수 있습니다. MRTK는 시선 추적 입력 환경을 위해 산만함을 최소화하는 미묘한 시각적 개체가 있는 EyeGazeCursor도 제공합니다.