Entrada avançada do Emulador do HoloLens e do Simulador de Mixed Reality
A maioria dos utilizadores do emulador só terá de utilizar os controlos de entrada básicos do HoloLens Emulator ou do simulador de Windows Mixed Reality. Os detalhes abaixo são para utilizadores avançados que encontraram a necessidade de simular tipos de entrada mais complexos.
Conceitos
Para começar a controlar a entrada virtual do Emulador holoLens e do simulador de Windows Mixed Reality, primeiro deve compreender alguns conceitos.
Movimento refere-se a controlar e alterar a posição e a orientação de algo na cena. Para um objeto controlável direcionado, o movimento é controlado com rotação e tradução (movimento) ao longo de três eixos.
- Yaw: vire para a esquerda ou para a direita.
- Tom: Vire para cima ou para baixo.
- Roll: Roll lado a lado.
- X: mover para a esquerda ou para a direita.
- Y: mover para cima ou para baixo.
- Z: avançar ou retroceder.
A entrada do controlador de movimento e gestos é mapeada de perto para dispositivos físicos:
- Ação: simula a ação de premir o indicador no polegar ou premir o botão de ação num controlador. Por exemplo, a entrada Ação pode ser utilizada para simular o gesto de toque de ar, para percorrer o conteúdo e para premir sem soltar.
- Gesto Bloom/System ou Home: o gesto de florescimento/sistema do HoloLens ou o botão Base de um controlador é utilizado para regressar à shell e para acionar ações do sistema.
As mãos têm uma representação rica em HoloLens 2. Além de serem rastreadas/não controladas e utilizáveis para gestos de condução, as mãos têm agora um modelo de estrutura articulado adequado a eles e exposto ao programador. O modelo de esqueleto tem 26 pontos controlados em cada mão.
- Conjunto: uma das 20 posições controladas para uma determinada mão controlada com um ponto associado em espaço 3d.
- Pose: uma coleção completa de todas as Articulações numa mão rastreada, 26 Juntas no total.
Atualmente, não expomos o controlo direto das posições conjuntas individuais através do emulador, mas pode defini-las através da API de simulação. Temos um conjunto de poses representativas úteis que o emulador lhe permite alternar entre si.
Também pode controlar o estado da entrada do sensor simulado:
- Reposição: devolve todos os sensores simulados aos respetivos valores predefinidos. A partir do HoloLens 2 Emulador, uma reposição pode ser confinada a uma ou a ambas as mãos. Interaja as mãos pretendidas com as teclas ou botões modificador (Alt(s) esquerdo e/ou direito ou o pára-choques esquerdo e/ou direito no gamepad).
- Controlo: percorre os modos de controlo posicional, incluindo:
- Predefinição: o SO escolhe o melhor modo de controlo com base nos pedidos feitos pelo sistema.
- Orientação: força o controlo apenas de Orientação, independentemente dos pedidos do sistema.
- Posicional: força o controlo posicional, independentemente dos pedidos do sistema.
Tipos de entrada
A tabela seguinte mostra como cada tipo de entrada é mapeado para o teclado, rato e comando Xbox. Cada tipo tem um mapeamento diferente consoante o modo de controlo de entrada. Pode encontrar mais informações sobre os modos de controlo de entrada mais à frente neste documento.
| Entrada | Teclado | Rato | Comando Xbox |
|---|---|---|---|
| Yaw | Setas para a esquerda/direita | Arrastar Para a Esquerda/Direita | Polegar direito para a esquerda/direita |
| Apresentação | Setas para cima/para baixo | Arrastar para cima/para baixo | Polegar direito para cima/para baixo |
| Roll | Q/E | DPad à esquerda/direita | |
| X | A/D | Polegar esquerdo para a esquerda/direita | |
| Y | Página para cima/página para baixo | DPad para cima/para baixo | |
| Z | W/S | Polegar esquerdo para cima/para baixo | |
| Ação | Introduzir ou espaço | Botão direito | Um botão ou um acionador |
| Bloom/System | Tecla F2 ou Windows | Botão B | |
| Botão de aperto do controlador/Aperto de mão | G | ||
| Botão de menu Controlador | M | ||
| Toque do touchpad do controlador | U | ||
| Premir o touchpad do controlador | P | ||
| Premir o thumbstick do controlador | K | ||
| Estado de controlo do controlador esquerdo | F9 | ||
| Estado de controlo do controlador direito | F10 | ||
| Pose de Mão 'Fechar' | 7 | ||
| Pose "Abrir" da Mão (predefinição) | 8 | ||
| Pose de Mão 'Ponto' | 9 | ||
| Pose de mão 'Pinch' | 0 | ||
| Repor | Chave de escape | Botão Iniciar | |
| Controlo | T ou F3 | Botão X |
Nota: os botões do controlador podem ser direcionados para uma mão/controlador ou para a outra através dos modificadores de destino manual.
Segmentação
Alguns dos conceitos de entrada acima estão por conta própria. A ação, Bloom/System, Reset e Tracking são conceitos completos, não precisam e não são afetados por quaisquer modificadores adicionais para segmentação. Os restantes conceitos podem ser aplicados a um de vários destinos. Introduzimos formas de especificar a que destino deve ser aplicado o comando. Em todos os casos, é possível especificar através da IU ou através de pressões de teclado, que objeto a destino. Em alguns casos, também é possível especificar diretamente com o comando xbox.
A tabela seguinte descreve as opções de segmentação e a forma de ativar cada uma delas.
| Objeto | Modificador de Teclado | Modificador do Controlador | Modificador de IU do Emulador |
|---|---|---|---|
| Corpo | (Predefinição) | (Predefinição) | (Predefinição) |
| Head | Mantenha a tecla H premida | (Não disponível) | (Não disponível) |
| Mão Esquerda/Controlador | Premir botão Alt Esquerdo | Premir o Botão do Ombro Esquerdo | Left-Hand pushpin |
| Mão Direita/Controlador | Premir Botão Alt Direito | Premir o Botão do Ombro Direito | Right-Hand pushpin |
| Olhos | Mantenha premida a tecla Y | (Não disponível) | Alfinete de Olhos |
A tabela seguinte mostra como cada modificador de destino mapeia cada um dos principais conceitos de entrada de movimento
| Entrada | Predefinição (Corpo) | Mão/comando (Mantenha premida a tecla Alt, mantenha premido o botão do ombro do gamepad ou alterne a tecla de comando da IU) | Cabeça (Mantenha premida a tecla H) | Olhos (Mantenha premida a tecla Y ou ative o pushpin da IU) |
|---|---|---|---|---|
| Yaw | Virar o corpo para a esquerda/direita | Mover a mão para a esquerda/direita | Virar a cabeça para a esquerda/direita | O olhar dos olhos olha para a esquerda/direita |
| Apresentação | Virar a cabeça para cima/para baixo | Mover a mão para cima/para baixo | Virar a cabeça para cima/para baixo | O olhar dos olhos olha para cima/para baixo |
| Roll | Rolar de cabeça para a esquerda/direita | Rolar de cabeça para a esquerda/direita | (Sem ação) | |
| X | Corpo do diapositivo à esquerda/direita | Mover a mão/controlador para a esquerda/direita | Virar a cabeça para a esquerda/direita | (Sem Ação) |
| Y | Mover o corpo para cima/para baixo | Mover a mão/controlador para cima/para baixo | Virar a cabeça para cima/para baixo | (Sem Ação) |
| Z | Mover o corpo para a frente/para trás | Mover a mão/controlador para a frente/para trás | Virar a cabeça para cima/para baixo | (Sem Ação) |
Controlar uma aplicação
O seguinte conjunto de controlos é sugerido para utilização diária:
| Operação | Teclado e rato | Controlador |
|---|---|---|
| Corpo X | A/D | Polegar esquerdo para a esquerda/direita |
| Corpo Y | Página para cima/página para baixo | DPad para cima/para baixo |
| Corpo Z | W/S | Polegar esquerdo para cima/para baixo |
| Bocejo do Corpo | Arrastar rato para a esquerda/direita | Polegar direito para a esquerda/direita |
| Bocejo de Cabeça | H + arrastar rato para a esquerda/direita | H (no Teclado) + polegar direito para a esquerda/direita |
| Campo de Cabeça | Arrastar o rato para cima/para baixo | Polegar direito para cima/para baixo |
| Rolo de Cabeça | Q/E | DPad à esquerda/direita |
| Mão/Controlador X | Alt + A/D | Ombro + polegar esquerdo para a esquerda/direita |
| Mão/Controlador Y | Alt + Page up/page down | Ombro + DPad para cima/para baixo |
| Mão/Controlador Z | Alt + W/S | Ombro + Manípulo esquerdo para cima/baixo |
| Yaw Mão/Controlador | Alt + arrastar rato para a esquerda/direita | Ombro + manípulo direito esquerda/direita |
| Tom de Mão/Controlador | Alt + arrastar o rato para cima/para baixo | Ombro + polegar direito para cima/baixo |
| Rolinho mão/Controlador | Alt +Q/E | Ombro + DPad esquerda/direita |
| Ação | Botão direito do rato | Acionador |
| Bloom / Sistema /Home | Tecla F2 ou Windows | Botão B |
| Repor | Esc | Botão Iniciar |
| Controlo | T | Botão X |
| Deslocamento | Alt + botão direito do rato + arrastar o rato para cima/para baixo | Ombro + acionador + polegar direito para cima/baixo |
| Mover/rodar mais rapidamente | Tecla Shift esquerda ou direita | Premir sem soltar o manípulo direito |
| Mover/rodar lentamente | Tecla Ctrl esquerda ou direita | Prima sem soltar o manípulo esquerdo |
Utilizar um headset envolvente Windows Mixed Reality e comandos de movimento com o Emulador HoloLens 2
Ao utilizar um headset Windows Mixed Reality envolvente com o Emulador HoloLens 2, o movimento e a rotação são mapeados automaticamente para movimento e rotação de auscultadores. A posição e a orientação do controlador de movimento são mapeadas automaticamente para a posição e orientação da mão no emulador. A tabela abaixo lista as ações adicionais disponíveis ao utilizar um controlador de movimento.
Nota
Ao utilizar auscultadores, os controlos padrão de teclado, rato e gamepad são automaticamente ignorados.
| Operação | Ação | Notas |
|---|---|---|
| Corpo X | Thumbstick Esquerda/Direita | |
| Corpo Z | Thumbstick Para a Frente/Para Trás | |
| Corpo Y | Página de Teclado Cima/Baixo | Certifique-se de que Windows Mixed Reality tem o foco. Prima Win+Y se o foco estiver no Ambiente de Trabalho do Windows para voltar a concentrar-se no Windows Mixed Reality. |
| Olhos Olhar para a Esquerda/Direita | DPad Esquerda/Direita | |
| Olhos Olhar para Cima/Baixo | DPad Cima/Baixo | |
| Toque em | Acionador | |
| Aproximar/Agarrar | Botão de aderência | |
| Gesto do Sistema | Botão menu | |
| Repor Posição | Clique com o polegar |
Atalhos de teclado do Painel de Controlo de Simulação de Percepção
Pode aceder ao painel Controlo de Simulação de Perceção e ativar ou desativar os dispositivos de entrada do PC com os seguintes atalhos de teclado.
| Operação | Atalho | Descrição/Notas |
|---|---|---|
| Alternar "Utilizar teclado para simulação" | F4 | Quando estiver desativada, a entrada de teclado vai para o HoloLens ou Windows Mixed Reality aplicação. |
| Alternar "Utilizar o rato para simulação" | F5 | Quando desativada, a entrada do rato vai para o ambiente de Mixed Reality (apenas Windows Mixed Reality) |
| Alternar "Utilizar o gamepad para simulação" | F6 | Quando desativada, a entrada do gamepad é ignorada pela simulação |
| Mostrar ou ocultar o painel de controlo | F7 | |
| Definir o foco do teclado para o painel de controlo | F8 | Se o painel não estiver atualmente visível, será apresentado primeiro. |
| Ancorar ou desancorar o painel de/para o emulador ou Mixed Reality janela do Portal | F9 | Se a janela estiver fechada quando desancorada, esta fica ancorada e oculta. |