Visão geral do desenvolvimento com o Unreal
A introdução aos aplicativos de realidade misturada é uma grande tarefa. Novos conceitos, plataformas e hardware de ponta podem ser vistos como barreiras. No entanto, se você é um desenvolvedor do Unreal, você está com sorte. Há suporte completo para o Unreal Engine 5 em dispositivos Windows Mixed Reality (VR) e HoloLens 2 (RA).
As últimas versões do Unreal Engine 4.27+ incluem:
- O plug-in WMR (Windows Mixed Reality) substituído pelo OpenXR e o plug-in Microsoft OpenXR (Marketplace ou GitHub)
- O OpenXR oferece paridade de recursos com o WMR
- API unificada para desenvolvimento entre plataformas
- OpenXR disponível para criação de aplicativos no mecanismo: conjunto de recursos completo disponível com o plug-in Microsoft OpenXR
- Versão com atualizações do plug-in Microsoft OpenXR quando estiver pronto em vez de atualizações no mecanismo
- Use o plug-in Ferramentas de Gráficos para Unreal para aprimorar a fidelidade visual de aplicativos de Realidade Misturada mantendo o desempenho
- O plug-in HoloLensAR foi removido no Unreal 5.0
- Suporte para o World Locking Tools (5.0+)
- Suporte para Âncoras de Objeto do Azure (4.27+)
Confira as notas de versão do Unreal Engine 5.0 para obter mais informações.
Se você estiver começando agora o desenvolvimento no Unreal, não prossiga às cegas. Explore os recursos do Unreal e procure ativos no marketplace do Unreal. Você também pode encontrar suporte nos fóruns de realidade misturada e na documentação do Unreal. Esses recursos são os seus links para a comunidade de criadores e solucionadores de problemas no mercado atual de realidade misturada.
Importante
Dê uma olhada no nosso guia de portabilidade se você tiver um projeto existente do Unreal que deseja trazer para os headsets imersivos, como o Reverb G2.
Pontos de verificação de desenvolvimento
Use os pontos de verificação a seguir para levar seus jogos e aplicativos do Unreal para o mundo da realidade misturada. Se você ainda não explorou o aplicativo de exemplo Designing Holograms, recomendamos baixá-lo para se familiarizar com os conceitos básicos da Experiência de Usuário da Realidade Misturada.
1. Introdução
Primeiro, você precisará instalar as ferramentas para o desenvolvimento do HoloLens 2. Depois, acompanhe nossa série de tutoriais para ter uma compreensão básica do Kit de Ferramentas de Realidade Misturada, um ambiente de desenvolvimento configurado adequadamente para aplicativos de realidade misturada e um projeto funcional do MRTK no Unreal. A partir do Unreal 4.26, você também tem a opção de desenvolver um aplicativo OpenXR para o HoloLens 2.
| Ponto de verificação | Resultado |
|---|---|
| Instale as ferramentas mais recentes | Baixe e instale a última versão do Unreal Engine e configure seu projeto para realidade misturada |
| Configurar o seu projeto | Obtenha a versão mais recente do Unreal Engine e do MRTK |
| Como criar seu primeiro aplicativo Unreal do HoloLens | Comece seu percurso de desenvolvimento no Unreal e no HoloLens criando um aplicativo básico de Realidade Misturada |
| Série de tutoriais do HoloLens 2 | Prepare-se para o desenvolvimento de realidade misturada no Unreal, crie seu primeiro aplicativo com o MRTK e implante-o no HoloLens 2 |
| Introdução ao OpenXR no Unreal | Instale e habilite o seguinte plug-in do Marketplace do Unreal Engine:Confira se o plug-in do Windows Mixed Reality da Microsoft está desabilitado. A lista completa de recursos atualmente compatíveis com o OpenXR é mostrada abaixo. |
2. Blocos principais de construção
Há vários recursos importantes da realidade misturada que não são abordados em nossa série de tutoriais. Esses blocos de construção estão disponíveis como recursos autônomos e por meio do Kit de Ferramentas de Realidade Misturada. Talvez você não precise de todos eles de uma vez, mas recomendamos explorar logo no início. Depois de aprofundar-se nos principais blocos de construção listados abaixo, você terá uma caixa de ferramentas cheia de recursos que pode integrar aos seus projetos de Realidade Misturada.
O Kit de Ferramentas de Realidade Misturada para Unreal é um conjunto de plug-ins projetados para acelerar seu desenvolvimento no Unreal. Cada plug-in inclui componentes, exemplos e documentação para configurar experiências imersivas.
As Ferramentas de Experiência de Usuário para Unreal são o primeiro plug-in a ser lançado e atualmente só são compatíveis com o HoloLens 2. O plug-in inclui código C++, blueprints e ativos de exemplo de recursos comuns da Experiência de Usuário para simulação de entrada, interações das mãos, magnetismo de superfície, entre outros.
As Ferramentas de Gráficos para Unreal são um plug-in de jogo do UE com um código, blueprints e ativos de exemplo criados para ajudar a melhorar a fidelidade visual de aplicativos de Realidade Misturada ao mesmo tempo que cumprem os orçamentos de desempenho.
| Recurso | Funcionalidades |
|---|---|
| Simulação de entrada | Use as entradas do mouse e teclado no editor para simular um HMD (Capacete de Realidade Virtual) e recursos de acompanhamento da mão |
| Interação à mão | Faça a interação com os componentes de UX usando entradas de mão articuladas |
| Botão de pressão | Impulsione o estado de blueprints de botão por meio de componentes de baixo nível |
| Manipulador | Mover e girar um ator com uma entrada de manipulação de uma ou duas mãos |
| Comportamento de acompanhamento | Mantenha um ator ou componente dentro da visão de outro componente |
Observação
Você pode se aprofundar nas Ferramentas de UX para o repositório do GitHub no Unreal para obter mais detalhes.
3. Recursos avançados
Outros recursos importantes que desempenham uma função em aplicativos de realidade misturada estão disponíveis sem nenhum pacote ou configuração extra. Esses recursos podem ser adicionados a projetos do Unreal com ou sem o MRTK instalado. Após aprofundar-se nessas funcionalidades mais avançadas, você poderá criar aplicativos de Realidade Misturada mais complexos.
| Recurso | Funcionalidades |
|---|---|
| Câmera do HoloLens | Capturar o conteúdo visual do mundo real e de Realidade Misturada do seu aplicativo em execução em um dispositivo HoloLens |
| Códigos QR | Renderizar códigos QR como hologramas usando um sistema de coordenadas na posição do mundo real de cada código |
| WinRT | Criar um binário separado com código WinRT que pode ser consumido pelo sistema de build do Unreal |
4. Streaming e implantação em um dispositivo
Caso deseje testar seu aplicativo em um dispositivo HoloLens enquanto ele ainda está em desenvolvimento, transmita-o diretamente do seu PC usando o editor do Unreal ou um executável empacotado do Windows.
Se esta é a primeira vez que você implanta um aplicativo do Unreal no HoloLens 2, baixe os arquivos de suporte do Epic Launcher. Depois de instalar esses arquivos, você estará pronto para implantar o editor do Unreal ou o Portal de Dispositivos.
5. Como adicionar serviços
Neste ponto no seu percurso de desenvolvimento, você pode estar buscando adicionar serviços ou uma ajuda com a implantação comercial. A integração dos Serviços de Nuvem do Azure pode melhorar muito o nível dos seus projetos. Compilamos alguns pontos de partida para você explorar e expandir seu conhecimento sobre Realidade Misturada.
As ASA (Âncoras Espaciais do Azure) são um serviço multiplataforma que permite criar aplicativos de realidade misturada com reconhecimento espacial. Com as Âncoras Espaciais do Azure, você pode mapear, persistir e compartilhar conteúdo holográfico entre vários dispositivos em escala do mundo real.
6. Alternativas de código de baixo nível
O Microsoft Dynamics 365 Guides é um aplicativo de realidade misturada para Microsoft HoloLens que permite que os operadores aprendam durante o fluxo de trabalho fornecendo instruções holográficas quando e onde elas forem necessárias. Esses cartões de instrução são visualmente conectados ao local em que o trabalho precisa ser feito e podem incluir imagens, vídeos e modelos holográficos 3D.
E agora?
O trabalho de um desenvolvedor nunca termina, especialmente ao aprender uma nova ferramenta ou um SDK. As seções a seguir podem levar você para áreas que vão além do material de nível de iniciante que você já concluiu, juntamente com recursos úteis se você não conseguir avançar. Observe que esses tópicos e recursos não estão em nenhuma ordem sequencial, então fique à vontade para mergulhar neles e explorá-los!
Depuração
Se você pretende depurar o aplicativo enquanto ele está em execução no dispositivo com o Visual Studio, siga estas instruções.
Desempenho
O desenvolvimento para realidade misturada vem com pontos de verificação de desempenho que dependem da plataforma. Um aplicativo do HoloLens 2 deve ser executado em 60 quadros por segundo para que os hologramas pareçam estáveis e dinâmicos. A boa notícia é que temos recomendações de desempenho para atualizar o desempenho nos seus aplicativos do Unreal.
Recursos compatíveis
| Recurso do HoloLens 2 | Versão do Unreal Engine compatível mais antiga | Compatível no OpenXR (4.26+) |
|---|---|---|
| Compatibilidade com ARM64 | 4.23 | ✔️ |
| Streaming de um PC | 4.23 | ✔️ |
| mapeamento espacial | 4.23 | ✔️ |
| Controle de mão e junta | 4.23 | ✔️ |
| Acompanhamento ocular | 4.23 | ✔️ |
| Entrada de voz | 4.23 | ✔️ |
| Âncoras espaciais | 4.23 | ✔️ |
| Acesso à câmera | 4.23 | ✔️ |
| Códigos QR | 4.23 | ✔️ |
| Áudio espacial | 4.23 | ✔️ |
| LSR Planar por streaming | 4.24 | |
| Aplicativos de exemplo | 4.24 | ✔️ |
| Exibição múltipla em dispositivos móveis: Desempenho alcança 60 quadros/s | 4.25 | ✔️ |
| Streaming de um aplicativo da área de trabalho empacotado | 4.25.1 | ✔️ |
| Âncoras Espaciais do Azure para HoloLens 2 | 4.25 | ✔️ |
| Suporte a Ferramentas de Experiência de Usuário de Realidade Misturada | 4.25 | ✔️ |
| Documentos do desenvolvedor e tutoriais | 4.25 | ✔️ |
| Teclado do sistema | 4.26 | ✔️ |
| Plug-in do HoloLens Media Player | 4.26 | ✔️ |
| Âncoras Espaciais do Azure para iOS e Android | 4.26 | |
| Plug-in do Microsoft OpenXR com extensões do OpenXR específicas do fornecedor da Microsoft | 4.26 | ✔️ |
| Streaming do Azure para o HoloLens 2 | 4.26 | ✔️ |
| Conformidade do Kit de Certificação de Aplicativos Windows para aplicativos empacotados | 4.26 | ✔️ |
| Suporte ao controlador do HP Reverb G2 | 4.26 | ✔️ |