Configurar um novo projeto OpenXR com MRTK

  • Artigo

A forma mais fácil de configurar o seu projeto do Unity para a realidade mista é com o Mixed Reality Toolkit (MRTK). O MRTK for Unity é um kit de desenvolvimento multiplataformas open source concebido para facilitar a criação de aplicações de realidade mista incríveis.

Infográfico que mostra algumas das funcionalidades do Mixed Reality Toolkit.

O MRTK fornece um sistema de entrada entre plataformas, componentes fundamentais e blocos modulares comuns para interações espaciais. Pode ajudá-lo a acelerar o desenvolvimento de aplicações para Microsoft HoloLens, Windows Mixed Reality headsets envolventes (VR) e muitos outros dispositivos VR/AR. O projeto tem como objetivo reduzir as barreiras à entrada, permitindo que todos criem aplicações de realidade mista e contribuam de volta para a comunidade à medida que todos crescemos.

O MRTK suporta uma vasta gama de plataformas, incluindo:

  • Microsoft HoloLens

  • Microsoft HoloLens 2

  • Headset da Windows Mixed Reality

  • Headsets do OpenVR (HTC Vive/Oculus Rift)

  • Rastreio Manual da Ultraleap

  • Dispositivos Android e iOS

Nota

Introduzimos recentemente o MRTK3, a terceira geração do Microsoft Mixed Reality Toolkit for Unity criado com base no sistema de Gestão XR do Unity e no XR Interaction Toolkit, com melhor suporte para uma variedade de dispositivos compatíveis com OpenXR e uma nova linguagem de design. Para obter mais informações, veja a documentação do MRTK3.

Nota

Também pode configurar um novo projeto OpenXR sem MRTK.

Outras opções de configuração não OpenXR a considerar

Windows XR: a Microsoft não recomenda a utilização do plug-in do Windows XR para novos projetos no Unity 2020. Em vez disso, deve utilizar o plug-in OpenXR Mixed Reality. No entanto, se estiver a utilizar o Unity 2019 e precisar do AR Foundation 2.0 para compatibilidade com dispositivos ARCore/ARKit, este plug-in ativa esse suporte.

Importante

A utilização deste plug-in no Unity 2019 não é compatível com as Âncoras Espaciais do Azure.

Legacy XR:

Se ainda estiver no Unity 2019 ou anterior, a Microsoft recomenda a utilização do suporte XR Incorporado Legado. Embora o plug-in do Windows XR esteja funcional no Unity 2019, não o recomendamos porque não é compatível com as Âncoras Espaciais do Azure no Unity 2019.

Se estiver a iniciar um novo projeto, recomendamos que instale o Unity 2020 e utilize o plug-in openXR Mixed Reality.

Introdução ao OpenXR: Criar um novo projeto do Unity

  1. Inicie o Hub unity.

  2. No separador Projetos , clique em Novo Projeto.

    Captura de ecrã do separador Hub do Unity em Projetos com o botão Novo Projeto realçado.

  3. Clique no menu pendente por baixo de Novo projeto e, em seguida, selecione a versão do Editor que pretende.

    Captura de ecrã a mostrar o Hub do Unity com a versão pendente do Editor apresentada.

  4. Certifique-se de que o modelo escolhido é 3D Core.

  5. Na caixa Nome do projeto , introduza um nome para o seu projeto, por exemplo, "Tutorial do MRTK".

  6. Na caixa Localização , clique no ícone de pasta e, em seguida, navegue para a pasta onde pretende guardar o projeto e selecione-o. Também pode criar uma nova pasta.

    Captura de ecrã do Hub do Unity com 3D, Nome do Projeto, Localização e Criar realçados.

  7. Clique em Create Project (Criar Projeto). Esta ação abre o seu projeto no Unity.

    Captura de ecrã a mostrar o seu projeto aberto no Unity.

Atenção

Ao trabalhar no Windows, existe um limite MAX_PATH de 255 carateres. O Unity é afetado por estes limites e a compilação poderá falhar se algum caminho de ficheiro tiver mais de 255 carateres. Por conseguinte, recomendamos que armazene o projeto do Unity o mais próximo possível da raiz da unidade.

Definir o destino da compilação

  1. Na barra de menus, selecioneDefinições de Compilação de Ficheiros>....

    Para criar uma aplicação para Windows Mixed Reality, tem de escolher um destino de compilação. As definições de compilação para Plataforma Universal do Windows (UWP) visam qualquer dispositivo, incluindo headsets envolventes como o HP Reverb G2. Esta é a melhor opção se estiver a criar para o HoloLens 2. No entanto, se estiver a direcionar o VR para ambiente de trabalho, recomendamos que utilize o PC, Mac & plataforma autónoma do Linux.

  2. Faça um dos seguintes:

    Se estiver a direcionar para o VR de Ambiente de Trabalho:

    • Mantenha o PC, Mac & plataforma Autónoma do Linux , que está selecionada por predefinição num novo projeto do Unity:

    Captura de ecrã da janela Definições de Compilação aberta no editor do Unity com o PC, Mac & plataforma autónoma realçada

    Se estiver a direcionar o HoloLens 2:

    • Em Plataforma, selecione Plataforma Universal do Windows. Certifique-se de que as seguintes definições estão ativas:

    Tipo de Compilação: Projeto D3D

    Versão do SDK de Destino: Instalada mais recentemente

    Versão Mínima da Plataforma: 10.0.10240.0

    Versão do Visual Studio: instalado mais recentemente

    Captura de ecrã da janela Definições de Compilação aberta no editor do Unity com Plataforma Universal do Windows realçada.

  3. Clique no botão Mudar de Plataforma . O Unity apresenta uma barra de progresso enquanto muda de plataforma.

  4. Após a conclusão do processo da plataforma de comutadores, feche a janela Definições de Compilação .

Transferir e instalar a Ferramenta de Funcionalidades do Mixed Reality

O Mixed Reality Plug-in OpenXR surge na forma de um pacote para o Unity. A melhor forma de detetar, atualizar e importar pacotes de funcionalidades é com a Ferramenta de Funcionalidades Mixed Reality. Pode procurar pacotes por nome ou categoria, ver as respetivas dependências e ver as alterações propostas ao ficheiro de manifesto do projeto antes de importar.

  1. Transfira a versão mais recente da Ferramenta de Funcionalidades do Mixed Reality a partir do Centro de Transferências da Microsoft.

  2. Após a conclusão da transferência, navegue para o ficheiro executável MixedRealityFeatureTool.exe e, em seguida, utilize-o para iniciar a Ferramenta de Funcionalidades do Mixed Reality.

    Captura de ecrã a mostrar A Abrir MixedRealityFeatureTool.

Importar os pacotes Mixed Reality Toolkit e OpenXR

  1. Na Ferramenta de Funcionalidades do Mixed Reality, selecione Iniciar.

    Captura de ecrã a mostrar o ecrã de abertura da Ferramenta de Funcionalidades Mixed Reality.

  2. Selecione o botão Procurar (é o botão "três pontos" na imagem abaixo) e, em seguida, navegue para o projeto e, em seguida, abra-o.

    Abrir o projeto

    Nota

    A caixa Caminho do Projeto na Ferramenta tem de conter um valor, pelo que insere uma barra invertida ("_") por predefinição.

    Depois de selecionar uma pasta, a Ferramenta verifica se é uma pasta de projeto do Unity válida.

    Captura de ecrã a mostrar a funcionalidade Mixed Reality ecrã Caminho do Projeto da Ferramenta.

  3. Selecione Descobrir Funcionalidades.

    Nota: poderá ter de aguardar alguns segundos enquanto a Ferramenta atualiza os pacotes dos feeds.

  4. Na página Descobrir Funcionalidades , tenha em atenção que existe uma lista de seis grupos de pacotes.

    Os principais grupos de pacotes na Ferramenta de Funcionalidades do Mixed Reality

  5. Clique no botão "+" à esquerda do Mixed Reality Toolkit (0 de 10) e, em seguida, selecione a versão mais recente do Mixed Reality Toolkit Foundation.

    Nota

    O pacote do Mixed Reality Toolkit Foundation é o único pacote que tem de ser importado e configurado para utilizar o MRTK com o seu projeto. Este pacote inclui os componentes principais necessários para criar uma aplicação de realidade mista.

  6. Clique no botão "+" à esquerda do Suporte da Plataforma (0 de 5) e, em seguida, selecione a versão mais recente do Mixed Reality Plug-in OpenXR.

    Captura de ecrã das seleções de pacotes na Ferramenta de Funcionalidades do Mixed Reality.

  7. Depois de efetuar as suas seleções, clique em Obter Funcionalidades.

  8. Selecione Validar para validar os pacotes que selecionou. Deverá ver uma caixa de diálogo a indicar Não foram detetados problemas de validação. Quando o fizer, clique em OK.

  9. Na página Importar Funcionalidades , a coluna do lado esquerdo, Funcionalidades, apresenta os pacotes que acabou de selecionar. A coluna do lado direito, Dependências necessárias, apresenta quaisquer dependências. Pode clicar na ligação Detalhes de qualquer um destes itens para saber mais sobre os mesmos .

  10. Quando estiver pronto para seguir em frente, selecione Importar. Na página Rever e Aprovar , pode rever as informações sobre os pacotes.

  11. Selecione Aprovar.

  12. Regresse ao Editor do Unity e clique numa área em branco na IU. Verá uma barra de progresso a mostrar que os pacotes estão a ser importados.

Configurar definições de Back-end de Entrada

  1. Depois de o Unity ter importado o pacote, é apresentado um aviso a perguntar se pretende ativar os back-ends ao reiniciar o editor. Selecione Yes (Sim).

    Captura de ecrã a mostrar a Opção de Reinício do Unity.

Configurar o projeto para o HoloLens 2 através da Validação do Projeto (MR OpenXR 1.6+)

Se estiver a desenvolver para VR de ambiente de trabalho, ignore esta secção e aceda a Configurar o projeto para VR de ambiente de trabalho.

  1. Na barra de menus, clique em Mixed Reality > Definições > de Validação do Projeto HoloLens 2 Aplicação (UWP) para ativar as regras de validação para HoloLens 2. Para plug-ins openXR mr antes da versão 1.9, o item de menu disponível é Mixed Reality > Definições de projeto recomendadas do Project > Apply para HoloLens 2.
  2. Na janela de validação do projeto que é apresentada, certifique-se de que está no separador plataforma UWP (indicado pelo logótipo do Windows) e clique em Corrigir tudo para resolver os problemas de validação. Tenha em atenção que podem existir problemas que permanecem depois de clicar em Corrigir tudo. Nesse caso, experimente clicar novamente em Corrigir tudo , ignorar quaisquer problemas marcados como "específicos da cena" (se existirem) e analisar os restantes problemas (se existirem) para ver se existem alterações sugeridas que pretenda fazer.
  3. O projeto está quase pronto para HoloLens 2 implementação neste momento. Avance para Configurar as definições do Leitor para o próximo passo.

Configurar o projeto para o HoloLens 2 manualmente

Se estiver a desenvolver para VR de ambiente de trabalho, ignore esta secção e aceda a Configurar o projeto para VR de ambiente de trabalho.

  1. Certifique-se de que a janela Definições do Projeto está aberta. Caso contrário, na barra de menus, selecione Editar>Definições do Projeto.

  2. Na janela Definições do Projeto, certifique-se de que está na página Gestão de Plug-in XR e no separadorPlataforma Universal do Windows.

    Captura de ecrã a mostrar a Janela Definições do Projeto aberta para a Página de Gestão de Plug-in xR e o separador Plataforma Universal do Windows.

  3. Certifique-se de que a opção Inicializar XR no Arranque está selecionada e, em seguida, em Fornecedores de Plug-in, clique em OpenXR.

    Captura de ecrã da Janela Definições do Projeto, dentro do Plataforma Universal do Windows, com Inicializar XR no Arranque selecionado e o Plug-in OpenXR realçado.

  4. O Plug-in OpenXR é carregado e, em seguida, são apresentados vários itens por baixo do OpenXR. Selecione Microsoft HoloLens grupo de funcionalidades.

    Captura de ecrã da Janela Definições do Projeto com o plug-in OpenXR e o Grupo de Funcionalidades Microsoft HoloLens realçado.

Tenha em atenção que existe um triângulo de aviso amarelo junto a OpenXR. Isto indica que tem definições incompatíveis que precisam de ser resolvidas. Para saber como resolver este problema, ignore a secção seguinte sobre como configurar o VR e continue com a secção seguinte , Resolver definições incompatíveis.

Configurar o projeto para VR de ambiente de trabalho através da Validação do Projeto (MR OpenXR 1.9+)

  1. Na barra de menus, clique em Mixed Reality > Definições > de Validação do Projeto Win32 Application (Autónomo) para ativar as regras de validação para uma aplicação XR de ambiente de trabalho.
  2. Na janela de validação do projeto que é apresentada, certifique-se de que está no separador Plataforma autónoma e clique em Corrigir tudo para resolver os problemas de validação. Tenha em atenção que podem existir problemas que permanecem depois de clicar em Corrigir tudo. Nesse caso, experimente clicar novamente em Corrigir tudo , ignorar quaisquer problemas marcados como "específicos da cena" (se existirem) e analisar os restantes problemas (se existirem) para ver se existem alterações sugeridas que pretenda fazer.

Configurar manualmente o projeto para VR de ambiente de trabalho

  1. Certifique-se de que a janela Definições do Projeto está aberta. Caso contrário, aceda à barra de menus, selecione Editar>Definições do Projeto.

  2. Na janela Definições do Projeto , certifique-se de que está na página Gestão de Plug-in XR e no PC, Mac & separador Autónomo do Linux .

    Captura de ecrã da Janela Definições do Projeto aberta para a Página de Gestão de Plug-ins XR e PC, Mac & separador Autónomo do Linux.

  3. Certifique-se de que a opção Inicializar XR no Arranque está selecionada e, em seguida, em Fornecedores de Plug-in, clique em OpenXR.

    Captura de ecrã da Janela Definições do Projeto, no PC, mac & separador Autónomo do Linux, com Inicializar XR no Arranque selecionado e o Plug-in OpenXR realçado.

  4. O Plug-in OpenXR é carregado e, em seguida, são apresentados dois itens por baixo de OpenXR. Selecione o primeiro, Windows Mixed Reality grupo de funcionalidades.

    Captura de ecrã a mostrar a Janela Definições do Projeto, o Plug-in OpenXR e Windows Mixed Reality grupo de funcionalidades realçado.

Tenha em atenção que existe agora um triângulo de aviso amarelo junto a OpenXR. Isto indica que tem definições incompatíveis que precisam de ser resolvidas. Para saber como resolver este problema, avance para a secção seguinte, Resolver definições incompatíveis.

Resolver definições incompatíveis

Importante

As imagens nesta secção mostram as opções no separador Plataforma Universal do Windows. No entanto, as instruções são as mesmas para o separador VR do Ambiente de Trabalho, exceto quando indicado.

  1. Paire o cursor sobre o triângulo de aviso amarelo junto a OpenXR, leia a mensagem no pop-up e, em seguida, selecione o triângulo.

    Captura de ecrã a mostrar um aviso sobre definições incompatíveis.

  2. Na janela Validação do Projeto OpenXR , existem vários problemas listados. Selecione o botão Corrigir Tudo . NOTA: esta lista pode ter um aspeto diferente consoante o separador em que se encontra.

    Captura de ecrã a mostrar o botão Corrigir Tudo na janela Validação do Projeto OpenXR.

  3. Um problema permanece e diz-lhe que tem de adicionar pelo menos um perfil de interação. Para tal, clique em Editar. Isto leva-o às definições do plug-in OpenXR na janela Definições do Projeto .

    Captura de ecrã da janela Definições do Projeto com as definições openXR apresentadas.

  4. Por baixo dos Perfis de Interação, anote o botão sinal de adição (+).

    Captura de ecrã a mostrar o botão Adicionar Perfil de Interação.

  5. Clique no botão três vezes, sempre que escolher um perfil diferente:

    Perfil de Interação de Olhar para Os Olhos

    Perfil de Interação Manual da Microsoft

    Perfil do Controlador de Movimento da Microsoft

    Captura de ecrã a mostrar perfis de interação que devem ser adicionados.

    Se o Perfil de Interação olhar para os olhos, ou qualquer outro perfil, aparecer com um triângulo amarelo junto ao mesmo, selecione o triângulo e, em seguida, na janela Validação do Projeto OpenXR , clique no botão Corrigir . Quando terminar, feche a janela Validação do Projeto OpenXR .

    Captura de ecrã a mostrar o botão Corrigir para o perfil de interação olhar para o olho.

  6. Na janela Definições do Projeto , em Grupos de Funcionalidades OpenXR, certifique-se de que estão selecionadas as seguintes opções:

    Se estiver no separador VR do Ambiente de Trabalho:

    Windows Mixed Reality

    Controlo Manual

    Modelo do Controlador de Movimento

    Captura de ecrã a mostrar os Grupos de Funcionalidades OpenXR para o separador VR do Ambiente de Trabalho.

    Se estiver no separador Plataforma Universal do Windows:

    Microsoft HoloLens

    Controlo Manual

    Modelo do Controlador de Movimento

    Captura de ecrã das funcionalidades selecionadas para OpenXR.

  7. Clique no menu pendente Modo de Submissão de Profundidade e, em seguida, selecione Profundidade 16 Bits.

    Captura de ecrã a mostrar Profundidade de 16 Bits selecionada para Modo de Submissão de Profundidade.

    Dica

    A redução do Formato de Profundidade para 16 bits é opcional, mas pode melhorar o desempenho dos gráficos no seu projeto. Para saber mais, veja Partilha de memória intermédia de profundidade (HoloLens).

    Nota

    A definição Modo de Composição , localizada imediatamente acima do Modo de Submissão de Profundidade, está definida por predefinição como Instância de Passe Único. Nas aplicações de realidade mista, a cena é composta duas vezes: uma para cada olho. O resultado é "visão estereoscópica". Isto duplica a quantidade de computação necessária, pelo que é importante selecionar o caminho de composição mais eficiente no Unity para poupar no tempo da CPU e da GPU. A composição de instâncias de passe único é a melhor opção aqui– recomendamos que a ative por predefinição para cada projeto. Para saber mais sobre isto, veja a documentação do Unity.

Configurar as definições do Leitor

  1. Na coluna do lado esquerdo da janela Definições do Projeto , selecione Leitor.

  2. Tenha em atenção que, na janela Player , a caixa Nome do Produto já está preenchida. Isto é retirado do nome do projeto e será o nome apresentado no menu Iniciar do HoloLens.

    Captura de ecrã das Definições de Publicação do Unity com a caixa Nome do Projeto preenchida.

    Dica

    Para facilitar a localização da aplicação durante o desenvolvimento, adicione um caráter de sublinhado à frente do nome para o ordenar na parte superior de qualquer lista.

  3. Clique no menu pendente Definições de Publicação e, em seguida, no campo Nome do pacote , introduza um nome adequado.

    Captura de ecrã das Definições de Publicação do Unity com a caixa nome do pacote preenchida.

    Nota

    O nome do pacote é o identificador exclusivo da aplicação. Se quiser evitar substituir versões instaladas anteriormente da aplicação com o mesmo nome, deve alterar este identificador antes de implementar a aplicação.

  4. Feche a janela Definições do Projeto .

Está pronto para começar a desenvolver com o OpenXR no Unity!

Projetos de exemplo do Unity

Veja o repositório de exemplos de Mixed Reality OpenXR para projetos de unidade de exemplo que mostram como criar aplicações do Unity para auscultadores HoloLens 2 ou Mixed Reality com o plug-in OpenXR Mixed Reality.

Ver também