Visão geral do desenvolvimento irreal
Começar a usar aplicativos de realidade mista é uma grande tarefa. Novos conceitos, plataformas e hardware de ponta podem parecer barreiras. No entanto, se você é um desenvolvedor Unreal, você está com sorte. Unreal Engine 5 tem suporte total para dispositivos Windows Mixed Reality (VR) e HoloLens 2 (AR).
As últimas versões da Unreal Engine 4.27+ incluem:
- Plugin Windows Mixed Reality (WMR) substituído por OpenXR e plug-in Microsoft OpenXR (Marketplace ou GitHub)
- OpenXR oferece paridade de recursos com WMR
- API unificada para desenvolvimento multiplataforma
- OpenXR disponível para criação de aplicativos no mecanismo — conjunto completo de recursos disponível com o plug-in Microsoft OpenXR
- As atualizações do plug-in do Microsoft OpenXR são lançadas quando prontas, em vez de atualizações no mecanismo
- Use o plug-in de ferramentas gráficas para Unreal para melhorar a fidelidade visual de aplicativos de realidade mista, mantendo o desempenho
- HoloLensAR plugin é removido no Unreal 5.0
- Suporte para World Locking Tools (5.0+)
- Suporte para Âncoras de Objeto do Azure (4.27+)
Consulte as notas de versão do Unreal Engine 5.0 para saber mais.
Se você é novo no desenvolvimento Unreal, não fique cego. Explore os recursos da Unreal e procure ativos no mercado Unreal. Você também pode encontrar suporte nos fóruns de realidade mista e na documentação da Unreal. Esses recursos são seus links para a comunidade de construtores e solucionadores de problemas no mercado de realidade mista de hoje.
Importante
Dê uma olhada em nosso guia de portabilidade se você tiver um projeto Unreal existente que você deseja trazer para fones de ouvido imersivos, como o Reverb G2.
Pontos de verificação de desenvolvimento
Use os seguintes pontos de verificação para trazer seus jogos e aplicativos Unreal para o mundo da realidade mista. Se você ainda não explorou o aplicativo de exemplo Designing Holograms, recomendamos baixá-lo para se familiarizar com os conceitos básicos de UX de Realidade Mista.
1. Primeiros passos
Primeiro, você precisará instalar as ferramentas para o desenvolvimento do HoloLens 2. Em seguida, leia nossa série de tutoriais para obter uma compreensão básica do Mixed Reality Toolkit, um ambiente de desenvolvimento configurado corretamente para aplicativos de realidade mista e um projeto MRTK funcional na Unreal. A partir da Unreal 4.26, você também tem a opção de desenvolver um aplicativo OpenXR para HoloLens 2.
| Check Point | Resultado |
|---|---|
| Instale as ferramentas mais recentes | Baixe e instale a versão mais recente do Unreal Engine e configure seu projeto para realidade mista |
| Configure o seu projeto | Obtenha a versão mais recente do Unreal Engine e MRTK |
| Criando seu primeiro aplicativo HoloLens Unreal | Comece sua jornada de desenvolvimento Unreal e HoloLens criando um aplicativo básico de Realidade Mista |
| HoloLens 2 série de tutoriais | Configure o desenvolvimento de realidade mista na Unreal, crie seu primeiro aplicativo com MRTK e implante seu aplicativo no HoloLens 2 |
| Introdução ao OpenXR na Unreal | Instale e ative o seguinte plugin do Unreal Engine Marketplace:Verifique se o plug-in Microsoft Windows Mixed Reality está desativado. A lista completa de recursos atualmente suportados no OpenXR está abaixo. |
2. Elementos constitutivos fundamentais
Há uma série de recursos importantes de realidade mista que nossa série de tutoriais não abrange. Esses blocos de construção estão disponíveis como recursos autônomos e por meio do Kit de Ferramentas de Realidade Mista. Você pode não precisar de todos eles ao mesmo tempo, mas recomendamos explorar desde cedo. Depois de mergulhar nos principais blocos de construção listados abaixo, você terá uma caixa de ferramentas cheia de recursos que você pode integrar em seus projetos de Realidade Mista.
O Mixed Reality Toolkit for Unreal é um conjunto de plugins projetados para acelerar o seu desenvolvimento na Unreal. Cada plugin inclui componentes, amostras e documentação para configurar experiências imersivas.
UX Tools for Unreal é o primeiro plugin a ser lançado e atualmente é suportado apenas no HoloLens 2. O plugin inclui código C++, Blueprints e recursos de exemplo de recursos comuns de UX para simulação de entrada, interações manuais, magnetismo de superfície e muito mais.
Graphics Tools for Unreal é um plugin de jogo da UE com código, plantas e recursos de exemplo criados para ajudar a melhorar a fidelidade visual de aplicativos de Realidade Mista, mantendo-se dentro dos orçamentos de desempenho.
| Caraterística | Capacidades |
|---|---|
| Simulação de entrada | Use a entrada de mouse e teclado no editor para simular um Head-Mounted Display (HMD) e recursos de rastreamento de mãos |
| Interação com as mãos | Interaja com componentes de UX usando entradas manuais articuladas |
| Botão pressionável | Conduza o estado dos esquemas de botões através de componentes de baixo nível |
| Manipulador | Mover e girar um ator com uma ou duas mãos de entrada de manipulação |
| Seguir comportamento | Manter um ator ou componente à vista de outro componente |
Nota
Você pode mergulhar no repositório UX Tools for Unreal GitHub para obter mais detalhes.
3. Funcionalidades avançadas
Outros recursos importantes que desempenham um papel em aplicativos de realidade mista estão disponíveis sem pacotes ou configurações extras. Esses recursos podem ser adicionados a projetos Unreal com ou sem MRTK instalado. Depois de mergulhar nesses recursos mais avançados, você poderá criar aplicativos de realidade mista mais complexos.
| Caraterística | Capacidades |
|---|---|
| Câmara HoloLens | Capture realidade mista e conteúdo visual do mundo real do seu aplicativo em execução em um dispositivo HoloLens |
| Códigos QR | Renderize códigos QR como hologramas usando um sistema de coordenadas na posição real de cada código |
| WinRT | Crie um binário separado com código WinRT que pode ser consumido pelo sistema de compilação da Unreal |
4. Streaming e implantação em um dispositivo
Se você quiser testar seu aplicativo em um dispositivo HoloLens enquanto ainda está em desenvolvimento, você pode transmiti-lo diretamente do seu PC usando o editor Unreal ou um executável do Windows empacotado.
Se esta é a primeira vez que você implanta um aplicativo Unreal no HoloLens 2, você precisará baixar arquivos de suporte do Epic Launcher. Depois de instalar esses arquivos, você estará pronto para implantar a partir do editor Unreal ou do Device Portal.
5. Adicionando serviços
Neste ponto da sua jornada de desenvolvimento, você pode estar procurando adicionar serviços ou ajudar na implantação comercial. A integração dos Serviços de Nuvem do Azure pode elevar o nível dos seus projetos de uma forma importante. Compilamos alguns pontos de partida para você explorar e expandir seu conhecimento de Realidade Mista.
O Azure Spatial Anchors (ASA) é um serviço multiplataforma que permite criar aplicações de realidade mista espacialmente conscientes. Com as Âncoras Espaciais do Azure, você pode mapear, persistir e compartilhar conteúdo holográfico em vários dispositivos, em escala real.
6. Alternativas low-code
Os Guias do Microsoft Dynamics 365 são um aplicativo de realidade mista para o Microsoft HoloLens que permite que os operadores aprendam durante o fluxo de trabalho, fornecendo instruções holográficas quando e onde forem necessárias. Estes cartões de instruções estão ligados visualmente ao local onde o trabalho tem de ser feito e podem incluir imagens, vídeos e modelos holográficos 3D.
O que se segue?
O trabalho de um desenvolvedor nunca é feito, especialmente quando se aprende uma nova ferramenta ou SDK. As seções a seguir podem levá-lo para áreas além do material de nível iniciante que você já completou, juntamente com recursos úteis se você ficar preso. Observe que esses tópicos e recursos não estão em nenhuma ordem sequencial, então sinta-se à vontade para pular e explorar!
Depuração
Se você estiver procurando depurar o aplicativo enquanto ele está sendo executado no dispositivo com o Visual Studio, siga estas instruções.
Desempenho
O desenvolvimento para realidade mista vem com pontos de verificação de desempenho que dependem da plataforma. Um aplicativo HoloLens 2 deve ser executado a 60 quadros por segundo para que os hologramas pareçam estáveis e responsivos. Felizmente, temos recomendações de desempenho para melhorar o desempenho em seus aplicativos Unreal.
Funcionalidades Suportadas
| Funcionalidade HoloLens 2 | Versão mais antiga suportada do Unreal Engine | Suportado em OpenXR (4.26+) |
|---|---|---|
| Suporte ARM64 | 4.23 | ✔️ |
| Streaming a partir de um PC | 4.23 | ✔️ |
| Mapeamento espacial | 4.23 | ✔️ |
| Rastreamento de mãos e articulações | 4.23 | ✔️ |
| Rastreamento ocular | 4.23 | ✔️ |
| Entrada de voz | 4.23 | ✔️ |
| Âncoras espaciais | 4.23 | ✔️ |
| Acesso à câmara | 4.23 | ✔️ |
| Códigos QR | 4.23 | ✔️ |
| Áudio espacial | 4.23 | ✔️ |
| Planar LSR sobre streaming | 4,24 | |
| Aplicativos de exemplo | 4,24 | ✔️ |
| Multi-View móvel: o desempenho atinge 60 fps | 4.25 | ✔️ |
| Streaming a partir de uma aplicação de ambiente de trabalho em pacote | 4.25.1 | ✔️ |
| Âncoras espaciais do Azure para HoloLens 2 | 4.25 | ✔️ |
| Suporte a ferramentas UX de realidade mista | 4.25 | ✔️ |
| Documentos do desenvolvedor & tutoriais | 4.25 | ✔️ |
| Teclado do sistema | 4.26 | ✔️ |
| HoloLens Media Player plugin | 4.26 | ✔️ |
| Azure Spatial Anchors para iOS e Android | 4.26 | |
| Plug-in do Microsoft OpenXR com extensões OpenXR específicas do fornecedor da Microsoft | 4.26 | ✔️ |
| Streaming do Azure para o HoloLens 2 | 4.26 | ✔️ |
| Conformidade com o Kit de Certificação de Aplicativos Windows para aplicativos empacotados | 4.26 | ✔️ |
| Suporte ao controlador HP Reverb G2 | 4.26 | ✔️ |