Entrada avançada do Emulador do HoloLens e do Simulador de Realidade Misturada
A maioria dos usuários do emulador só precisará usar os controles de entrada básicos para o Emulador do HoloLens ou o simulador de Windows Mixed Reality. Os detalhes abaixo são para usuários avançados que encontraram a necessidade de simular tipos mais complexos de entrada.
Conceitos
Para começar a controlar a entrada virtual para o Emulador do HoloLens e o simulador de Windows Mixed Reality, primeiro você deve entender alguns conceitos.
Movimento refere-se a controlar e alterar a posição e a orientação de algo na cena. Para um objeto controlável direcionado, o movimento é controlado com rotação e tradução (movimento) ao longo de três eixos.
- Yaw: vire para a esquerda ou para a direita.
- Pitch: ative ou desative.
- Roll: rolar lado a lado.
- X: mover para a esquerda ou para a direita.
- Y: Mover para cima ou para baixo.
- Z: mover para frente ou para trás.
A entrada do controlador de gestos e movimentos é mapeada de perto para dispositivos físicos:
- Ação: simula a ação de pressionar o dedo indicador no polegar ou puxar o botão de ação em um controlador. Por exemplo, a entrada Ação pode ser usada para simular o gesto de toque de ar, para rolar pelo conteúdo e para pressionar e segurar.
- Gesto bloom/system ou Home: o gesto de bloom/sistema do HoloLens ou o botão Página Inicial de um controlador é usado para retornar ao shell e disparar ações do sistema.
As mãos têm uma representação rica em HoloLens 2. Além de serem rastreadas/não rastreadas e utilizáveis para gestos de condução, as mãos agora têm um modelo de esqueleto articulado adequado a eles e expostos ao desenvolvedor. O modelo esqueleto tem 26 pontos rastreados em cada mão.
- Articulação: uma das 20 posições rastreadas para uma determinada mão rastreada com um ponto associado em espaço 3d.
- Pose: uma coleção completa de todas as Articulações em uma mão rastreada, 26 Articulações no total.
No momento, não expomos o controle direto de posições conjuntas individuais por meio do emulador, mas você pode defini-las por meio da API de simulação. Temos um conjunto de poses representativas úteis que o emulador permite alternar.
Você também pode controlar o estado da entrada simulada do sensor:
- Redefinir: retorna todos os sensores simulados para seus valores padrão. Começando com o emulador HoloLens 2, uma redefinição pode ter como escopo uma ou ambas as mãos. Envolva as mãos desejadas usando as teclas modificadoras ou os botões (Alt esquerdo e/ou direito, ou o para-choque esquerdo e/ou direito no gamepad).
- Acompanhamento: percorre os modos de acompanhamento posicional, incluindo:
- Padrão: o sistema operacional escolhe o melhor modo de acompanhamento com base nas solicitações feitas do sistema.
- Orientação: força o acompanhamento somente de orientação, independentemente das solicitações do sistema.
- Posicional: força o acompanhamento posicional, independentemente das solicitações do sistema.
Tipos de entrada
A tabela a seguir mostra como cada tipo de entrada é mapeado para o teclado, mouse e controlador xbox. Cada tipo tem um mapeamento diferente dependendo do modo de controle de entrada. Você pode encontrar mais informações sobre os modos de controle de entrada mais adiante neste documento.
| Entrada | Keyboard | Mouse | Controlador do Xbox |
|---|---|---|---|
| Yaw | Setas para a esquerda/direita | Arrastar para a esquerda/direita | Polegar direito para a esquerda/direita |
| Densidade | Setas para cima/para baixo | Arrastar para cima/para baixo | Botão direito para cima/para baixo |
| Roll | P/E | DPad esquerdo/direito | |
| X | A/D | Botão esquerdo esquerdo para a esquerda/direita | |
| S | Page up/page down | DPad para cima/para baixo | |
| Z | W/S | Botão esquerdo para cima/para baixo | |
| Ação | Insira ou espaço | Botão direito | Um botão ou um gatilho |
| Bloom/System | Tecla F2 ou Windows | Botão B | |
| Botão de aderência do controlador/Aperto de mão | G | ||
| Botão de menu controlador | M | ||
| Toque do touchpad do controlador | U | ||
| Pressione o touchpad do controlador | P | ||
| Pressionar o botão de controle | K | ||
| Estado de acompanhamento do controlador esquerdo | F9 | ||
| Estado de acompanhamento do controlador direito | F10 | ||
| Pose de mão 'Fechar' | 7 | ||
| Pose 'Abrir' da mão (padrão) | 8 | ||
| Pose de Mão 'Apontar' | 9 | ||
| Pose de Mão 'Pinçada' | 0 | ||
| Redefinir | Chave de escape | botão Iniciar | |
| Acompanhamento | T ou F3 | Botão X |
Observação: os botões do controlador podem ser direcionados para uma mão/controlador ou outra usando os modificadores de direcionamento de mão.
Configurando destinos
Alguns dos conceitos de entrada acima estão por conta própria. Action, Bloom/System, Reset e Tracking são conceitos completos, não precisam e não são afetados por modificadores adicionais para direcionamento. Os conceitos restantes podem ser aplicados a um dos vários destinos. Apresentamos maneiras de especificar a qual destino pretendido seu comando deve ser aplicado. Em todos os casos, é possível especificar por meio da interface do usuário ou por meio de pressionamentos de teclado, qual objeto deve ser direcionado. Em alguns casos, também é possível especificar diretamente com o controlador xbox.
A tabela a seguir descreve as opções de direcionamento e a maneira de ativar cada uma delas.
| Objeto | Modificador de teclado | Modificador do controlador | Modificador de interface do usuário do emulador |
|---|---|---|---|
| Corpo | (padrão) | (padrão) | (padrão) |
| Head | Segurar H | (Não disponível) | (Não disponível) |
| Mão Esquerda/Controlador | Botão Alt Esquerdo | Botão Segurar Ombro Esquerdo | Left-Hand pino |
| Mão Direita/Controlador | Botão Alt à Direita | Botão Segurar Ombro Direito | Right-Hand pino |
| Olhos | Segurar Y | (Não disponível) | Pino de olhos |
A tabela a seguir mostra como cada modificador de destino mapeia cada um dos principais conceitos de entrada de movimento
| Entrada | Padrão (Corpo) | Mão/controlador (Segure Alt, segure o botão de ombro do gamepad ou alterne o pino da interface do usuário) | Cabeçalho (Segurar H) | Olhos (segurar Y ou ativar/desativar o pino da interface do usuário) |
|---|---|---|---|---|
| Yaw | Virar o corpo para a esquerda/direita | Mover a mão para a esquerda/direita | Vire a cabeça para a esquerda/direita | O olhar olha para a esquerda/direita |
| Densidade | Virar a cabeça para cima/para baixo | Mover a mão para cima/para baixo | Virar a cabeça para cima/para baixo | O olhar olha para cima/para baixo |
| Roll | Rolar cabeça para a esquerda/direita | Rolar cabeça para a esquerda/direita | (Nenhuma ação) | |
| X | Corpo do slide para a esquerda/direita | Mover mão/controlador para a esquerda/direita | Vire a cabeça para a esquerda/direita | (Nenhuma ação) |
| S | Mover o corpo para cima/para baixo | Mover mão/controlador para cima/para baixo | Virar a cabeça para cima/para baixo | (Nenhuma ação) |
| Z | Mover o corpo para frente/para trás | Mover a mão/controlador para frente/para trás | Virar a cabeça para cima/para baixo | (Nenhuma ação) |
Controlando um aplicativo
O seguinte conjunto de controles é sugerido para uso diário:
| Operação | Teclado e mouse | Controller |
|---|---|---|
| Corpo X | A/D | Botão esquerdo esquerdo para a esquerda/direita |
| Corpo Y | Page up/page down | DPad para cima/para baixo |
| Corpo Z | W/S | Botão esquerdo para cima/para baixo |
| Corpo Yaw | Arrastar o mouse para a esquerda/direita | Polegar direito para a esquerda/direita |
| Cabeça Yaw | H + arrastar o mouse para a esquerda/direita | H (no teclado) + botão direito esquerdo/direito |
| Head Pitch | Arrastar o mouse para cima/para baixo | Botão direito para cima/para baixo |
| Rolo de cabeçalho | P/E | DPad esquerdo/direito |
| Mão/Controlador X | Alt + A/D | Ombro + polegar esquerdo para a esquerda /direita |
| Mão/Controlador Y | Alt + Page up /page down | Ombro + DPad para cima/para baixo |
| Mão/Controlador Z | Alt + W/S | Ombro + polegar esquerdo para cima/para baixo |
| Yaw mão/controlador | Alt + arrastar o mouse para a esquerda/direita | Ombro + polegar direito para a esquerda/direita |
| Pitch de mão/controlador | Alt + arrastar o mouse para cima/para baixo | Ombro + polegar direito para cima/para baixo |
| Rolagem manual/controlador | Alt + Q / E | Ombro + DPad para a esquerda/direita |
| Ação | Botão direito do mouse | Gatilho |
| Bloom/System/Home | Tecla F2 ou Windows | Botão B |
| Redefinir | Escape | botão Iniciar |
| Acompanhamento | T | Botão X |
| Rolagem | Alt + botão direito do mouse + arrastar o mouse para cima/para baixo | Ombro + gatilho + polegar direito para cima/para baixo |
| Mover/girar mais rápido | Tecla Shift para a esquerda ou direita | Pressione e segure o botão direito |
| Mover/girar lentamente | Tecla Ctrl esquerda ou direita | Pressione e segure o botão esquerdo |
Usando controladores de movimentos e o headset imersivo do Windows Mixed Reality com o Emulador do HoloLens 2
Ao usar um headset imersivo Windows Mixed Reality com o Emulador HoloLens 2, o movimento e a rotação são mapeados automaticamente para movimentação e rotação do headset. A posição e a orientação do controlador de movimento são mapeadas automaticamente para a posição e a orientação da mão no emulador. A tabela a seguir lista ações adicionais disponíveis ao usar um controlador de movimento.
Observação
Ao usar um headset, os controles padrão de teclado, mouse e gamepad são ignorados automaticamente.
| Operação | Ação | Observações |
|---|---|---|
| Corpo X | Polegar para a esquerda/direita | |
| Corpo Z | Polegar para frente/para trás | |
| Corpo Y | Página do Teclado Para Cima /Para Baixo | Verifique se Windows Mixed Reality tem foco. Pressione Win+Y se o foco estiver na Área de Trabalho do Windows para retornar o foco para Windows Mixed Reality. |
| Olhos Olham para a Esquerda/Direita | DPad Para a Esquerda/Direita | |
| Olhos olham para cima/para baixo | DPad para cima/para baixo | |
| Toque | Gatilho | |
| Pinçar/Segurar | Botão De aderência | |
| Gesto do Sistema | Botão Menu | |
| Redefinir Posição | Clique no botão de botão |
Atalhos de teclado Painel de Controle de simulação de percepção
Você pode acessar o painel Controle de Simulação de Percepção e habilitar ou desabilitar dispositivos de entrada do computador com os seguintes atalhos de teclado.
| Operação | Atalho | Descrição/Anotações |
|---|---|---|
| Alternar 'Usar teclado para simulação' | F4 | Quando desativada, a entrada do teclado vai para o holoLens ou Windows Mixed Reality aplicativo. |
| Alternar 'Usar mouse para simulação' | F5 | Quando desativada, a entrada do mouse vai para o ambiente de Realidade Misturada (somente Windows Mixed Reality) |
| Alternar 'Usar gamepad para simulação' | F6 | Quando desativada, a entrada do gamepad é ignorada pela simulação |
| Mostrar ou ocultar o painel de controle | F7 | |
| Definir o foco do teclado para o painel de controle | F8 | Se o painel não estiver visível no momento, ele será mostrado primeiro. |
| Encaixar ou desencaixar o painel de/para a janela do emulador ou do portal do Realidade Misturada | F9 | Se a janela estiver fechada quando desencaixada, ela estará encaixada e oculta. |