고급 HoloLens 에뮬레이터 및 Mixed Reality 시뮬레이터 입력

대부분의 에뮬레이터 사용자는 HoloLens Emulator 또는 Windows Mixed Reality시뮬레이터에 대한 기본 입력 컨트롤만 사용해야 합니다. 아래 세부 정보는 더 복잡한 유형의 입력을 시뮬레이션할 필요가 있는 고급 사용자를 위한 것입니다.

개념

HoloLens Emulator 및 Windows Mixed Reality 시뮬레이터에 대한 가상 입력 제어를 시작하려면 먼저 몇 가지 개념을 이해해야 합니다.

동작은 장면에서 무언가의 위치와 방향을 제어하고 변경하는 것을 의미합니다. 제어 가능한 대상 개체의 경우 동작은 세 축을 따라 회전 및 변환(이동)으로 제어됩니다.

  • : 왼쪽 또는 오른쪽으로 돌립니다.
  • 피치: 위로 또는 아래로 돌립니다.
  • : 좌우로 롤합니다.
  • X: 왼쪽 또는 오른쪽으로 이동합니다.
  • Y: 위아래로 이동합니다.
  • Z: 앞으로 또는 뒤로 이동합니다.

제스처 및 동작 컨트롤러 입력은 물리적 디바이스에 밀접하게 매핑됩니다.

  • 작업: 엄지 손가락으로 집게 손가락을 누르거나 컨트롤러에서 작업 단추를 당기는 동작을 시뮬레이트합니다. 예를 들어 작업 입력을 사용하여 에어 탭 제스처를 시뮬레이션하고, 콘텐츠를 스크롤하고, 길게 누를 수 있습니다.
  • 블룸/시스템 제스처 또는 홈: HoloLens 블룸/시스템 제스처 또는 컨트롤러의 홈 단추는 셸로 돌아가서 시스템 작업을 실행하기 위해 사용됩니다.

손은 HoloLens 2 풍부한 표현을 가지고 있습니다. 추적/추적되지 않고 운전 제스처에 사용할 수 있는 것 외에도, 손은 이제 관절형 스켈레톤 모델이 적합하고 개발자에게 노출됩니다. 스켈레톤 모델에는 각 손에 26개의 추적 지점이 있습니다.

  • 조인트: 지정된 추적된 손의 추적된 위치 20개 중 하나로, 3d 공간의 관련 지점이 있습니다.
  • 포즈: 추적된 손에 있는 모든 조인트, 26개의 조인트 모두의 전체 컬렉션입니다.

현재 에뮬레이터를 통해 개별 조인트 위치에 대한 직접 제어를 노출하지는 않지만 시뮬레이션 API를 통해 설정할 수 있습니다. 에뮬레이터에서 전환할 수 있는 유용한 대표 포즈 집합이 있습니다.

시뮬레이션된 센서 입력의 상태를 제어할 수도 있습니다.

  • 초기화: 시뮬레이션된 모든 센서를 기본값으로 반환합니다. HoloLens 2 Emulator 시작하여 재설정 범위를 한 손 또는 양손으로 지정할 수 있습니다. 한정자 키 또는 단추(왼쪽 및/또는 오른쪽 Alt 또는 게임 패드의 왼쪽 및/또는 오른쪽 범퍼)를 사용하여 원하는 손을 사용합니다.
  • 추적: 다음을 포함하여 위치 추적 모드를 순환합니다.
    • 기본값: OS는 시스템의 요청에 따라 최상의 추적 모드를 선택합니다.
    • 방향: 시스템 요청에 관계없이 방향 전용 추적을 강제합니다.
    • 위치: 시스템 요청에 관계없이 위치 추적을 강제합니다.

입력 유형

다음 표에서는 각 입력 유형이 키보드, 마우스 및 Xbox 컨트롤러에 매핑되는 방법을 보여줍니다. 각 형식은 입력 제어 모드에 따라 서로 다른 매핑을 가합니다. 입력 제어 모드에 대한 자세한 내용은 이 문서의 뒷부분에서 확인할 수 있습니다.

입력 Keyboard 마우스 Xbox 컨트롤러
Yaw 왼쪽/오른쪽 화살표 왼쪽/오른쪽으로 끌기 오른쪽 엄지스틱 왼쪽/오른쪽
피치 위쪽/아래쪽 화살표 위로/아래로 끌기 오른쪽 엄지스틱 위쪽/아래쪽
Roll Q/E DPad 왼쪽/오른쪽
X A/D 왼쪽 엄지스틱 왼쪽/오른쪽
Y 페이지 위로/페이지 아래로 DPad 위쪽/아래쪽
Z W/S 왼쪽 엄지스틱 위쪽/아래쪽
작업 입력 또는 공백 오른쪽 단추 단추 또는 트리거
블룸/시스템 F2 또는 Windows 키 B 버튼
컨트롤러 그립 버튼/손 잡기 G
컨트롤러 메뉴 단추 M
컨트롤러 터치 패드 터치 U
컨트롤러 터치 패드 누름 P
컨트롤러 엄지스틱 누름 K
왼쪽 컨트롤러 추적 상태 F9
오른쪽 컨트롤러 추적 상태 F10
손 '닫기' 포즈 7
손 '열기' 포즈(기본값) 8
손 '포인트' 포즈 9
손 '핀치' 포즈 0
다시 설정 이스케이프 키 시작 단추
추적 T 또는 F3 X 버튼

참고: 컨트롤러 단추는 손 대상 지정 한정자를 사용하여 한 손/컨트롤러 또는 다른 손/컨트롤러를 대상으로 지정할 수 있습니다.

대상 지정

위의 입력 개념 중 일부는 자체적인 것입니다. 작업, 블룸/시스템, 재설정 및 추적은 완전한 개념이며, 대상 지정을 위한 추가 한정자가 필요하지 않으며 영향을 받지 않습니다. 나머지 개념은 여러 대상 중 하나에 적용할 수 있습니다. 명령을 적용할 대상을 지정하는 방법을 도입했습니다. 모든 경우에 대상 개체인 UI 또는 키보드 누름을 통해 지정할 수 있습니다. 경우에 따라 Xbox 컨트롤러로 직접 지정할 수도 있습니다.

다음 표에서는 대상 지정 옵션 및 각 대상을 활성화하는 방법에 대해 설명합니다.

Object 키보드 한정자 컨트롤러 한정자 Emulator UI 한정자
본문 (기본값) (기본값) (기본값)
Head H 보류 (사용할 수 없음) (사용할 수 없음)
왼손/컨트롤러 왼쪽 Alt 누른 상태 단추 왼쪽 어깨 누르기 단추 Left-Hand 압정
오른손/컨트롤러 오른쪽 대체 단추 누르기 오른쪽 어깨 누르기 단추 Right-Hand 압정
Y 보류 (사용할 수 없음) 눈 압정

다음 표에서는 각 대상 한정자가 각 핵심 이동 입력 개념을 매핑하는 방법을 보여 줍니다.

입력 기본값(본문) 손/컨트롤러(Alt 누르기, 게임 패드 숄더 단추 누르기 또는 UI 압정 설정/해제) 헤드(H 홀드) 눈(Y 누름 또는 UI 압정 토글)
Yaw 본문을 왼쪽/오른쪽으로 돌립니다. 왼쪽/오른쪽으로 손 이동 왼쪽/오른쪽으로 머리 돌리기 시선 응시는 왼쪽/오른쪽으로 보입니다.
피치 머리를 위로/아래로 돌리기 손을 위로/아래로 이동 머리를 위로/아래로 돌립니다. 시선 응시가 위쪽/아래쪽으로 보입니다.
Roll 왼쪽/오른쪽으로 머리 굴리기 왼쪽/오른쪽으로 머리 굴리기 (작업 없음)
X 슬라이드 본문 왼쪽/오른쪽 왼쪽/오른쪽으로 손/컨트롤러 이동 왼쪽/오른쪽으로 머리 돌리기 (작업 없음)
Y 몸을 위로/아래로 이동 손/컨트롤러를 위로/아래로 이동 머리를 위로/아래로 돌리기 (작업 없음)
Z 본문을 앞으로/뒤로 이동 손/컨트롤러를 앞으로/뒤로 이동 머리를 위로/아래로 돌리기 (작업 없음)

앱 제어

일상적인 사용을 위해 다음과 같은 컨트롤 집합이 권장됩니다.

작업 키보드 및 마우스 컨트롤러
본문 X A/D 왼쪽 엄지스틱 왼쪽/오른쪽
본문 Y 페이지 위로/페이지 아래로 DPad 위쪽/아래쪽
본문 Z W/S 왼쪽 엄지스틱 위쪽/아래쪽
본문 요 마우스 왼쪽/오른쪽으로 끌기 오른쪽 엄지스틱 왼쪽/오른쪽
머리 요 H + 마우스 왼쪽/오른쪽으로 끌기 H(키보드) + 오른쪽 엄지스틱 왼쪽/오른쪽
헤드 피치 마우스를 위로/아래로 끕니다. 오른쪽 엄지스틱 위쪽/아래쪽
헤드 롤 Q/E DPad 왼쪽/오른쪽
Hand/Controller X Alt + A/D 어깨 + 왼쪽 엄지스틱 왼쪽/ 오른쪽
Hand/Controller Y Alt + 페이지 위로/페이지 아래로 어깨 + DPad 위쪽 / 아래로
Hand/Controller Z Alt+ W/S 어깨 + 왼쪽 엄지스틱 위쪽/아래쪽
Hand/Controller Yaw Alt+ 마우스 왼쪽/오른쪽으로 끌기 어깨 + 오른쪽 엄지스틱 왼쪽 / 오른쪽
손/컨트롤러 피치 Alt+마우스를 위로/아래로 끌기 어깨 + 오른쪽 엄지스틱 위로 / 아래로
손/컨트롤러 롤 Alt + Q/E 어깨 + DPad 왼쪽 / 오른쪽
작업 마우스 오른쪽 단추 트리거
블룸/시스템/홈 F2 또는 Windows 키 B 버튼
다시 설정 이스케이프 시작 단추
추적 T X 버튼
스크롤 Alt+ 오른쪽 마우스 단추 + 마우스 위로/아래로 끌기 어깨 + 트리거 + 오른쪽 엄지스틱 위로 / 아래로
더 빠르게 이동/회전 왼쪽 또는 오른쪽 Shift 키 오른쪽 엄지스틱을 길게 누릅니다.
느린 이동/회전 왼쪽 또는 오른쪽 Ctrl 키 왼쪽 엄지스틱을 길게 누릅니다.

HoloLens 2 에뮬레이터에서 Windows Mixed Reality 몰입형 헤드셋 및 모션 컨트롤러 사용

HoloLens 2 Emulator Windows Mixed Reality 몰입형 헤드셋을 사용하는 경우 움직임과 회전이 헤드셋의 움직임과 회전에 자동으로 매핑됩니다. 모션 컨트롤러 위치 및 방향은 에뮬레이터의 손 위치 및 방향에 자동으로 매핑됩니다. 아래 표에는 모션 컨트롤러를 사용할 때 사용할 수 있는 추가 작업이 나와 있습니다.

참고

헤드셋을 사용하는 경우 표준 키보드, 마우스 및 게임 패드 컨트롤이 자동으로 무시됩니다.

작업 작업 참고
본문 X 엄지스틱 왼쪽/오른쪽
본문 Z 엄지스틱 앞으로/뒤로
본문 Y 키보드 페이지 위로/아래로 Windows Mixed Reality 포커스가 있는지 확인합니다. 포커스가 Windows Desktop에 있으면 Win+Y를 눌러 포커스를 Windows Mixed Reality 반환합니다.
눈은 왼쪽/오른쪽으로 보입니다. DPad 왼쪽/오른쪽
눈을 올려다보거나 아래로 DPad 위쪽/아래쪽
트리거
손가락 모으기/잡기 그립 단추
시스템 제스처 메뉴 버튼
위치 다시 설정 엄지스틱 클릭

인식 시뮬레이션 제어판 바로 가기 키

Perception Simulation Control 패널에 액세스하고 다음 바로 가기 키를 사용하여 PC 입력 디바이스를 사용하거나 사용하지 않도록 설정할 수 있습니다.

작업 바로 가기 설명/참고 사항
'시뮬레이션에 키보드 사용' 설정/해제 F4 키보드 입력이 꺼지면 HoloLens 또는 Windows Mixed Reality 애플리케이션으로 이동합니다.
'시뮬레이션에 마우스 사용' 토글 F5 끄면 마우스 입력이 Mixed Reality 환경으로 이동합니다(Windows Mixed Reality만 해당).
'시뮬레이션에 게임 패드 사용' 토글 F6 끄면 시뮬레이션에서 게임 패드 입력이 무시됩니다.
제어판 표시 또는 숨기기 F7
키보드 포커스를 제어판으로 설정 F8 패널이 현재 표시되지 않으면 패널이 먼저 표시됩니다.
에뮬레이터 또는 Mixed Reality 포털 창에서 패널 도킹 또는 도킹 해제 F9 도킹 해제 시 창이 닫히면 도킹되고 숨겨집니다.

참고 항목