Descrição Geral do Desenvolvimento Irreal
A introdução às aplicações de realidade mista é uma tarefa importante. Novos conceitos, plataformas e hardware de ponta podem parecer barreiras. No entanto, se for um programador Irreal, está com sorte. O Unreal Engine 5 tem suporte total para Windows Mixed Reality (VR) e HoloLens 2 (AR).
As versões mais recentes do Unreal Engine 4.27+ incluem:
- Windows Mixed Reality plug-in (WMR) substituído pelo plug-in OpenXR e Microsoft OpenXR (Marketplace ou GitHub)
- O OpenXR oferece paridade de funcionalidades com o WMR
- API Unificada para desenvolvimento entre plataformas
- OpenXR disponível para criação de aplicações no motor — conjunto completo de funcionalidades disponível com o plug-in Microsoft OpenXR
- As atualizações de plug-in do Microsoft OpenXR são lançadas quando estiverem prontas em vez de atualizações no motor
- Utilize o Plug-in das Ferramentas Gráficas para Unreal para melhorar a fidelidade visual das aplicações Mixed Reality enquanto mantém o desempenho
- O plug-in holoLensAR é removido no Unreal 5.0
- Suporte para Ferramentas de Bloqueio Mundial (5.0+)
- Suporte para o Azure Object Anchors (4.27+)
Veja as notas de versão do Unreal Engine 5.0 para obter mais informações.
Se és novo no desenvolvimento irreal, não saltes às cegas. Explore os recursos Unreal e procure recursos no Marketplace Unreal. Também pode encontrar suporte nos fóruns de realidade mista e na documentação Unreal. Estes recursos são as suas ligações para a comunidade de construtores e solucionadores de problemas no mercado de realidade mista atual.
Importante
Consulte o nosso guia de migração se tiver um projeto Unreal existente que pretenda trazer para headsets envolventes, como o Reverb G2.
Pontos de verificação de desenvolvimento
Utilize os seguintes pontos de verificação para trazer os seus jogos e aplicações Unreal para o mundo da realidade mista. Se ainda não explorou a aplicação de exemplo Designing Holograms, recomendamos que a transfira para se familiarizar com as noções básicas do Mixed Reality UX.
1. Introdução
Primeiro, terá de instalar as ferramentas para HoloLens 2 desenvolvimento. Em seguida, veja a nossa série de tutoriais para obter uma compreensão básica do Mixed Reality Toolkit, um ambiente de desenvolvimento devidamente configurado para aplicações de realidade mista e um projeto MRTK funcional no Unreal. A partir do Unreal 4.26, também tem a opção de desenvolver uma aplicação OpenXR para HoloLens 2.
| Check Point | Resultado |
|---|---|
| Instalar as ferramentas mais recentes | Transfira e instale a versão mais recente do Unreal Engine e configure o projeto para realidade mista |
| Configurar o seu projeto | Obter a versão mais recente do Unreal Engine e do MRTK |
| Criar a sua primeira aplicação Unreal do HoloLens | Inicie o seu percurso de desenvolvimento do Unreal e do HoloLens ao criar uma aplicação de Mixed Reality básica |
| HoloLens 2 série de tutoriais | Configure o desenvolvimento de realidade mista no Unreal, crie a sua primeira aplicação com MRTK e implemente a sua aplicação no HoloLens 2 |
| Introdução ao OpenXR no Unreal | Instale e ative o seguinte plug-in a partir do Unreal Engine Marketplace:Certifique-se de que o plug-in do Microsoft Windows Mixed Reality está desativado. Segue-se a lista completa das funcionalidades atualmente suportadas no OpenXR. |
2. Blocos modulares principais
Existem várias funcionalidades principais da realidade mista que a nossa série de tutoriais não abrange. Estes blocos modulares estão disponíveis como funcionalidades autónomas e através do Mixed Reality Toolkit. Pode não precisar de todos de uma só vez, mas recomendamos que explore cedo. Depois de explorar os principais blocos modulares listados abaixo, terá uma caixa de ferramentas cheia de funcionalidades que pode integrar nos seus projetos de Mixed Reality.
O Mixed Reality Toolkit for Unreal é um conjunto de plug-ins concebido para acelerar o desenvolvimento no Unreal. Cada plug-in inclui componentes, exemplos e documentação para configurar experiências envolventes.
O UX Tools for Unreal é o primeiro plug-in a ser lançado e atualmente só é suportado no HoloLens 2. O plug-in inclui código C++, Esquemas e recursos de exemplo de funcionalidades de UX comuns para simulação de entrada, interações com as mãos, magnetismo de superfície e muito mais.
O Graphics Tools for Unreal é um plug-in de jogo da UE com código, esquemas e recursos de exemplo criados para ajudar a melhorar a fidelidade visual das aplicações Mixed Reality enquanto permanece dentro dos orçamentos de desempenho.
| Funcionalidade | Capacidades |
|---|---|
| Simulação de entrada | Utilize a introdução de ratos e teclados no editor para simular uma Head-Mounted Display (HMD) e funcionalidades de controlo manual |
| Interação entre mãos | Interagir com componentes UX através de entradas manual articuladas |
| Botão premido | Conduzir o estado dos esquemas de botões através de componentes de baixo nível |
| Manipulador | Mover e rodar um ator com uma ou duas mãos de entrada de manipulação |
| Seguir comportamento | Manter um ator ou componente à vista de outro componente |
Nota
Para obter mais detalhes, pode analisar as Ferramentas UX para o repositório do GitHub Irreal .
3. Funcionalidades avançadas
Outras funcionalidades-chave que desempenham um papel em aplicações de realidade mista estão disponíveis sem pacotes ou configuração adicionais. Estas funcionalidades podem ser adicionadas a projetos irreais com ou sem MRTK instalado. Depois de explorar estas capacidades mais avançadas, poderá criar aplicações Mixed Reality mais complexas.
| Funcionalidade | Capacidades |
|---|---|
| Câmara holoLens | Capturar Mixed Reality e conteúdos visuais do mundo real da sua aplicação em execução num dispositivo HoloLens |
| Códigos QR | Compor códigos QR como hologramas com um sistema de coordenadas na posição real de cada código |
| WinRT | Criar um binário separado com código WinRT que pode ser consumido pelo sistema de compilação da Unreal |
4. Transmissão em fluxo e implementação num dispositivo
Se quiser testar a sua aplicação num dispositivo HoloLens ainda em desenvolvimento, pode transmiti-la diretamente a partir do PC utilizando o editor Unreal ou um executável do Windows empacotado.
Se esta for a primeira vez que implementa uma aplicação Unreal para HoloLens 2, terá de transferir ficheiros de suporte a partir do Iniciador Épico. Assim que tiver esses ficheiros instalados, estará pronto para implementar a partir do Editor Unreal ou do Portal do Dispositivo.
5. Adicionar serviços
Nesta fase do seu percurso de desenvolvimento, poderá estar à procura de adicionar serviços ou de ajuda com a implementação comercial. A integração do Azure Serviços Cloud pode aumentar verticalmente os seus projetos de uma forma importante. Compilámos alguns pontos de partida para explorar e expandir os seus conhecimentos Mixed Reality.
O Azure Spatial Anchors (ASA) é um serviço multiplataformas que lhe permite criar aplicações de realidade mista com conhecimento espacial. Com as Âncoras Espaciais do Azure, pode mapear, manter e partilhar conteúdos holográficos em vários dispositivos, à escala real.
6. Alternativas de baixo código
O Microsoft Dynamics 365 Guides é uma aplicação de realidade mista para Microsoft HoloLens que permite que os operadores aprendam durante o fluxo de trabalho ao fornecer instruções holográficas quando e onde são necessárias. Estes cartões de instruções estão ligados visualmente ao local onde o trabalho tem de ser feito e podem incluir imagens, vídeos e modelos holográficos 3D.
O que se segue?
O trabalho de um programador nunca é feito, especialmente quando se aprende uma nova ferramenta ou SDK. As secções seguintes podem levá-lo para áreas para além do material de nível de principiante que já concluiu, juntamente com recursos úteis se ficar bloqueado. Tenha em atenção que estes tópicos e recursos não estão em qualquer ordem sequencial, por isso, não se sinta à vontade para se deslocar e explorar!
Depurar
Se quiser depurar a aplicação enquanto está em execução no dispositivo com o Visual Studio, siga estas instruções.
Desempenho
O desenvolvimento para realidade mista inclui pontos de verificação de desempenho que dependem da plataforma. Uma aplicação HoloLens 2 tem de ser executada a 60 fotogramas por segundo para que os hologramas pareçam estáveis e reativos. Felizmente, temos recomendações de desempenho para atualizar o desempenho nas suas aplicações Irreais.
Funcionalidades Suportadas
| Funcionalidade HoloLens 2 | Versão Do Motor Irreal Suportada Mais Antiga | Suportado no OpenXR (4.26+) |
|---|---|---|
| Suporte do ARM64 | 4.23 | ✔️ |
| Transmissão em fluxo a partir de um PC | 4.23 | ✔️ |
| Mapeamento espacial | 4.23 | ✔️ |
| Controlo de mãos e articulações | 4.23 | ✔️ |
| Controlo ocular | 4.23 | ✔️ |
| Entrada de voz | 4.23 | ✔️ |
| Âncoras espaciais | 4.23 | ✔️ |
| Acesso à câmara | 4.23 | ✔️ |
| Códigos QR | 4.23 | ✔️ |
| Áudio espacial | 4.23 | ✔️ |
| Planar LSR através da transmissão em fluxo | 4.24 | |
| Exemplos de aplicações | 4.24 | ✔️ |
| Vista múltipla para dispositivos móveis: o desempenho atinge 60 fps | 4.25 | ✔️ |
| Transmissão em fluxo a partir de uma aplicação de ambiente de trabalho empacotada | 4.25.1 | ✔️ |
| Azure Spatial Anchors para HoloLens 2 | 4.25 | ✔️ |
| suporte das Ferramentas de UX do Mixed Reality | 4.25 | ✔️ |
| Tutoriais de & de documentos do programador | 4.25 | ✔️ |
| Teclado do sistema | 4.26 | ✔️ |
| Plug-in do HoloLens Media Player | 4.26 | ✔️ |
| Azure Spatial Anchors para iOS e Android | 4.26 | |
| Plug-in Microsoft OpenXR com extensões OpenXR específicas do fornecedor da Microsoft | 4.26 | ✔️ |
| Transmissão em fluxo do Azure para o HoloLens 2 | 4.26 | ✔️ |
| Conformidade do Kit de Certificação de Aplicações do Windows para aplicações em pacote | 4.26 | ✔️ |
| Suporte do controlador HP Reverb G2 | 4.26 | ✔️ |