Usando o emulador HoloLens

Artigo
07/04/2024

O emulador HoloLens permite testar aplicações holográficas no seu PC sem um HoloLens físico, incluindo o conjunto de ferramentas de desenvolvimento HoloLens. O emulador usa uma máquina virtual Hyper-V, o que significa que as entradas humanas e ambientais lidas pelos sensores HoloLens são simuladas a partir do teclado, mouse ou controle do Xbox. Você nem precisa modificar seus projetos para rodar no emulador, o aplicativo não sabe que não está sendo executado em um HoloLens real.

Se pretende desenvolver aplicações de auriculares imersivos (VR) Windows Mixed Reality ou jogos para PCs de secretária, consulte o simulador Windows Mixed Reality, que lhe permite simular auriculares de secretária.

Visão geral do emulador HoloLens 2

Instalando o emulador HoloLens

Faça o download do emulador HoloLens.

Versões:

Faça o download da versão mais recente da página de arquivo do HoloLens Emulator.
HoloLens Emulator (primeira geração) e modelos de projeto holográfico.

Requisitos de sistema do HoloLens Emulator

O emulador HoloLens usa Hyper-V com RemoteFx (emulador de primeira geração) ou GPU-PV (emulador HoloLens 2) para gráficos acelerados por hardware. Para utilizar o emulador, certifique-se de que o PC cumpre os seguintes requisitos de hardware:

Windows 10 Pro, Enterprise ou Education de 64 bits

Nota

O Windows 10 Home Edition não suporta Hyper-V ou o emulador HoloLens.
O emulador do HoloLens 2 requer a atualização do Windows 10 de outubro de 2018 ou posterior.
CPU de 64 bits
CPU com quatro núcleos (ou várias CPUs com um total de quatro núcleos)
8 GB de RAM ou mais
No BIOS, os seguintes recursos devem ser suportados e habilitados:
- Virtualização assistida por hardware
- Tradução de endereços de segundo nível (SLAT)
- DEP (Prevenção de Execução de Dados) baseada em hardware
Requisitos da GPU
- DirectX 11.0 ou posterior
- WDDM 1.2 driver gráfico ou posterior (primeira geração)
- WDDM 2.5 driver gráfico (HoloLens 2 Emulator)
- O emulador pode funcionar com uma GPU não suportada, mas será mais lento

Se o seu sistema atender aos requisitos listados acima, verifique se o recurso "Hyper-V" foi ativado no seu sistema. Vá para Painel de Controle -> Programas -> Programas e Recursos -> Ative ou desative Recursos do Windows e verifique se o Hyper-V está selecionado.

Implantando aplicativos no emulador HoloLens

Carregue sua solução de aplicativo no Visual Studio.

Nota

Ao usar o Unity, crie seu projeto a partir do Unity e, em seguida, carregue a solução criada no Visual Studio, como de costume.
Para o emulador HoloLens (primeira geração), verifique se Platform está definido como x86. Para o emulador do HoloLens 2, verifique se a plataforma está definida como x86 ou x64.
Selecione a versão do emulador HoloLens que você deseja como o dispositivo de destino para depuração.
Vá para Depurar > Iniciar Depuração ou pressione F5 para iniciar o emulador e implantar seu aplicativo para depuração.

O emulador pode levar um minuto ou mais para inicializar quando você iniciá-lo pela primeira vez. Recomendamos que você mantenha o emulador aberto durante a sessão de depuração, para que possa implantar rapidamente aplicativos no emulador.

Entrada básica do emulador

Controlar o emulador é semelhante a muitos jogos de vídeo 3D comuns. As opções de entrada estão disponíveis para usar o teclado, mouse ou controle Xbox. Você controla o emulador direcionando as ações de um usuário simulado usando um HoloLens. Suas ações movem o usuário simulado pelo ambiente. Os aplicativos executados no emulador respondem como em um dispositivo real.

O cursor no HoloLens (primeira geração) segue o movimento e a rotação da cabeça. No emulador HoloLens 2, o cursor segue o movimento e a orientação das mãos.

Andar para a frente, para trás, para a esquerda e para a direita - Utilize as teclas W, A, S e D no teclado ou o manípulo esquerdo num comando Xbox.
Olhar para cima, para baixo, para a esquerda e para a direita - Selecione e arraste o rato, utilize as setas do teclado ou o manípulo direito num comando Xbox.
Gesto de toque aéreo - Clique com o botão direito do mouse, pressione a tecla Enter no teclado ou use o botão A em um controle Xbox.
Gesto Bloom/System - Prima a tecla Windows ou a tecla F2 no teclado ou prima o botão B num comando Xbox.
Movimento da mão para rolagem - Mantenha pressionada simultaneamente a tecla Alt e o botão direito do mouse e arraste o mouse para cima ou para baixo. Em um controle Xbox, mantenha pressionado o gatilho direito e o botão A e mova o botão direito para cima e para baixo.
Movimento e orientação da mão (apenas emulador HoloLens 2) - Segure a tecla Alt e arraste o mouse para cima ou para baixo, para a esquerda ou para a direita para mover a mão. Você também pode usar as setas do teclado e Q ou E para girar e inclinar a mão. Para um controle Xbox, segure o para-choque esquerdo ou direito e use o polegar esquerdo para mover a mão para a esquerda, direita, para frente e para trás, o polegar direito para girá-lo. Use para cima ou para baixo no Dpad para levantar ou baixar a mão.

Tem um auricular imersivo Windows Mixed Reality? Começando com o emulador HoloLens 2 (Windows Holographic, versão 2004), você pode usar seu fone de ouvido imersivo Windows Mixed Reality e controladores de movimento para controlar o emulador HoloLens 2 e visualizá-lo em estéreo. Consulte Usando um fone de ouvido imersivo do Windows Mixed Reality e controladores de movimento com o emulador HoloLens 2

Anatomia do emulador HoloLens 2

Janela principal

Janela principal do emulador HoloLens 2

À direita da janela principal, encontre a barra de ferramentas do emulador. A barra de ferramentas contém os seguintes botões:

Fechar: Fecha o emulador.
Minimizar: minimiza a janela do emulador.
Painel de controle do Simulation: mostre ou oculte o painel de controle do Simulation para configurar e controlar a entrada no emulador.
Ajustar à tela: Adapta o emulador à tela.
Zoom: Torne o emulador maior e menor.
Ajuda: Abra a ajuda dos emuladores.
Open Device Portal: Abra o Windows Device Portal para o sistema operacional HoloLens no emulador.
Ferramentas: Abra o painel Ferramentas adicionais.

Painel de controlo de simulação

O painel de controle do Simulation permite visualizar a posição e a orientação atuais dos dispositivos humanos e de entrada simulados. Ele também permite que você configure tanto a entrada simulada, como mostrar ou ocultar uma ou ambas as mãos, quanto os dispositivos usados para controlar a entrada simulada, como o teclado, mouse e gamepad do seu PC.

Painel de controlo de simulação

Para ocultar ou mostrar o painel de simulação, selecione o botão da barra de ferramentas ou pressione F7 no teclado.
Passe o mouse sobre um controle ou campo para exibir uma dica de ferramenta que contém controles de teclado, mouse e gamepad para ele.
Para mostrar ou ocultar uma mão, alterne o interruptor apropriado em Mão esquerda ou Mão direita.
Para controlar a mão, use as teclas Alt esquerda ou direita no teclado ou o para-choque esquerdo ou direito no gamepad.
Para direcionar toda a entrada para uma ou ambas as mãos, selecione o botão de pino sob o interruptor de alternância, que é o mesmo que segurar a tecla Alt para a mão.
Para controlar a direção do olhar, selecione o pino na seção Olhos, que é o mesmo que manter pressionada a tecla Y no teclado.
Para carregar uma gravação de sala, selecione o botão Carregar na seção Gravação. Consulte salas simuladas para obter mais informações.
Para ajustar a velocidade que os dispositivos humanos ou de entrada simulados irão mover ou girar em resposta à entrada do teclado, mouse ou gamepad, selecione o ícone de engrenagem ao lado de Configurações de entrada e ajuste os controles deslizantes.
Por padrão, a entrada do teclado controla a entrada humana simulada e a entrada simulada. Para que a entrada do teclado do seu PC seja enviada para o HoloLens, desmarque a opção Usar teclado para simulação. F4 é a tecla de atalho para essa configuração.
Se o painel de simulação já estiver visível, pressionar F8 move o foco do teclado para ele.
Para desencaixar o painel de simulação da janela do emulador, selecione o botão na parte inferior do painel ou pressione F9 no teclado. Fechar a janela ou pressionar F9 novamente retorna a janela para o emulador.
O painel de controle de simulação pode ser iniciado como um aplicativo separado, permitindo que você se conecte e controle o emulador HoloLens 2, um dispositivo HoloLens 2 ou simulação de realidade mista do Windows executando PerceptionSimulationInput.exe de %ProgramFiles(x86)%\Windows Kits\10\Microsoft XDE\10.0.18362.0.

Guia Conta

A guia Conta permite configurar o emulador para entrar com uma Conta da Microsoft. Isso é útil para testar APIs que exigem que o usuário esteja conectado com uma conta. Alternar essa opção requer que você feche completamente e reinicie o emulador HoloLens para que a configuração entre em vigor. Se essa opção estiver ativada, lançamentos posteriores do emulador solicitarão que você faça login, assim como um usuário faria na primeira vez que o HoloLens for iniciado. Para inserir suas credenciais usando o teclado do seu PC, primeiro desative Usar teclado para simulação no Painel de Controle de simulação ou pressione F4 no teclado para ativar ou desativar a configuração do teclado.

Guia Configurações opcionais

A guia Configurações opcionais exibe um controle para habilitar ou desabilitar gráficos acelerados por hardware. Os gráficos acelerados por hardware são usados por padrão, se suportados pela unidade de adaptador gráfico do seu PC. Se o driver do adaptador gráfico não suportar GPU-PV, essa opção não estará visível.

Separador Diagnóstico

A guia Diagnóstico mostra o endereço IP do emulador na forma de um link para o Windows Device Portal juntamente com o status da GPU virtual.

Guia Rede

A guia Rede mostra os detalhes do adaptador de rede para o emulador, bem como os detalhes do adaptador de rede para a máquina host. Para o emulador do HoloLens 2, essa guia só aparecerá ao executar o emulador na atualização de maio de 2019 do Windows 10 ou mais recente.

Guia Configuração do NAT

Esta guia só aparecerá ao executar o emulador na Atualização de maio de 2019 do Windows 10 ou mais recente.

O emulador usa a conexão de rede do seu PC e fica atrás de um NAT. Esta guia permite mapear portas do seu PC host para o emulador, o que permite que dispositivos remotos se conectem a aplicativos e serviços em execução no emulador.

Por exemplo, se você quiser acessar o Device Portal no emulador a partir de um PC remoto:

Adicione uma entrada para a porta interna 80 (a porta na qual o Device Portal está escutando) clicando duas vezes em uma linha livre na tabela. Para outros aplicativos, insira o número da porta na qual esse aplicativo está escutando.
Escolha qualquer porta externa disponível. Neste exemplo, usaremos a porta 8080 como a porta externa.
Selecione o protocolo. O padrão é TCP. Como o Device Portal usa TCP, deixaremos o padrão.
Clique em "Aplicar alterações" para ativar o mapeamento. O 'Estado' mudará de 'Pendente' para 'Ativo'.
No PC remoto, abra um navegador e navegue até (IP-of-the-PC-running-the-emulator):8080. A interface do Device Portal será exibida. O endereço IP que você usa em um PC remoto deve ser o endereço IP do PC que executa o emulador, não do emulador em si. Você pode recuperar o IP através de vários meios, como o aplicativo Configurações no PC na categoria 'Rede & Internet', 'ipconfig' de um prompt de comando e da guia Rede na caixa de diálogo Ferramentas do emulador, procurando a entrada Adaptador de área de trabalho.

Observe também que, se você adicionar um mapeamento de porta para o Device Portal, poderá controlar o emulador remotamente usando a ferramenta Perception Simulation Control incluída na instalação do emulador ou com as APIs do Perception Simulation conectando-se ao endereço IP do PC host e à porta externa do Device Portal, como 8080 no exemplo acima. Ao usar o Perception Simulation Control para se conectar e controlar o emulador remotamente, especifique apenas o endereço IP do PC e a porta configurada. Não inclua "https://".

Não há mapeamentos de porta por padrão. Todos os mapeamentos que você configurar são persistentes em todas as execuções do emulador do HoloLens 2 e serão ativados automaticamente quando o emulador tiver inicializado completamente.

Use o botão 'Exportar' para salvar seus mapeamentos em um arquivo. Em seguida, você pode compartilhar esse arquivo com outros membros da equipe que podem usar o botão 'Importar' para configurar automaticamente os mesmos mapeamentos.

Guia 'Configuração NAT' do emulador HoloLens

Guia Atualizações

Esta guia só aparecerá ao executar o emulador na Atualização de maio de 2019 do Windows 10 ou mais recente.

Na inicialização, o emulador verificará se há novas versões. Se uma nova versão estiver disponível, o emulador exibirá um prompt mostrando a versão que você tem, juntamente com a versão disponível e perguntando se você deseja atualizar. Se selecionar 'Sim', o instalador da nova versão é transferido.

A guia Atualizações permite controlar se o emulador verifica novas versões alternando a caixa de seleção "Verificar atualizações automaticamente" nesta guia. Ele também permite que você veja e baixe outras versões de emulador disponíveis, começando com a atualização de setembro de 2019. Para versões diferentes da que está em execução, é fornecido um link para download. Clicar neste link fará o download do instalador para essa versão.

Guia 'Atualizações' do emulador HoloLens

Usando um fone de ouvido imersivo do Windows Mixed Reality e controladores de movimento com o emulador HoloLens 2

Começando com o emulador HoloLens 2 (Windows Holographic, versão 2004), você pode usar um fone de ouvido Windows Mixed Reality e controladores de movimento para visualizar e interagir com o emulador HoloLens 2 em estéreo. Isto permite-lhe fazer movimentos mais rápidos e naturais com a cabeça e as mãos sem um dispositivo HoloLens 2. Não é um substituto completo para um dispositivo HoloLens 2, mas destina-se a dar uma experiência melhorada além de interagir com o emulador usando teclado, mouse e gamepad em uma janela de área de trabalho 2D. Para ativar esta caraterística:

Certifique-se de que o Windows Mixed Reality está configurado no seu PC e que o seu auricular imersivo Windows Mixed Reality está ligado.
Inicie o emulador HoloLens 2
Abra o painel Simulação clicando no botão da barra de ferramentas ou pressionando F7.
Role o painel para a parte inferior.
Marque a caixa "Usar HMD para simulação"
O Windows Mixed Reality será iniciado e a exibição do emulador mudará ligeiramente. Sem fone de ouvido, o emulador coloca os dois olhos no centro da cabeça e exibe apenas um olho. Com um fone de ouvido, o emulador gera uma verdadeira saída estéreo, mas renderiza apenas um olho para a janela da área de trabalho, enquanto ambos os olhos são renderizados para o fone de ouvido.
Opcionalmente, ligue um ou ambos os controladores de movimento. A entrada do controlador é mapeada para entrada manual no emulador. Por exemplo, para tocar, puxe o gatilho no controlador de movimento. Para se movimentar, use o thumbstick. Para obter uma lista completa de controles, consulte Advanced HoloLens Emulator e Mixed Reality Simulator input

Está a ter problemas para ver conteúdo no seu auricular?

Se a tela estiver em branco no fone de ouvido e no Portal de Realidade Mista, mas você vir conteúdo na janela Emulador do HoloLens 2 na área de trabalho, verifique se a aceleração gráfica de hardware está habilitada no emulador. O suporte a fones de ouvido imersivos do Windows Mixed Reality requer aceleração gráfica de hardware para ser habilitado no emulador.
Se vir conteúdo no auricular, mas os hologramas estiverem desfocados ou se vir uma imagem dupla, siga os seguintes passos para ajustar a vista estéreo para os seus olhos:

Desative temporariamente "Usar HMD para simulação".
Iniciar o Editor do Registro (regedit.exe)
Navegue até HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\PerceptionSimulation
Crie um novo valor DWORD chamado "EnableEyePoseControl" e defina seu valor como 1.
Habilite "Usar HMD para simulação" no emulador.
Quando o conteúdo aparecer no fone de ouvido, use as teclas de seta para ajustar a rotação dos olhos. Mantenha pressionada a tecla Alt esquerda para ajustar o olho esquerdo e Alt direita para ajustar o olho direito. Use 'Q' e 'E' para ajustar o rolo para cada olho, segurando novamente a tecla Alt apropriada para o olho. Use as teclas '+' e '-' para ajustar a distância entre os olhos. (Observe que +/- em um teclado numérico não funcionará. Use os botões do teclado principal.)
Quando a vista estéreo aparecer correta, prima 'S' para guardar as alterações. A nova configuração será salva para futuros lançamentos do emulador.
Se você quiser abandonar suas alterações e reverter para a configuração anterior, pressione 'L' para carregar a configuração padrão ou anterior.
Altere o valor "EnableEyePoseControl" no registro para 0 e alterne a opção "Usar HMD para simulação".

Se você salvou uma configuração e deseja removê-la, pode excluir o valor chamado "DisplayConfiguration" em HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\PerceptionSimulation. Se você estiver usando o fone de ouvido com o emulador, você precisará desativar "Usar HMD para simulação" e ativá-lo novamente para ver essa alteração entrar em vigor.