A criação da experiência Ford GT40
"Antes do MRTK, desenvolver para HoloLens 2 usando o Unreal era um pouco entediante porque todas as interações espaciais tinham que ser codificadas manualmente, em C++. O MRTK para Unreal tornou muitas dessas mesmas tarefas triviais. Eu estimaria reduzir o tempo necessário para o protótipo inicial pela metade." - Jose Rodriguez, Desenvolvedor de Software
"A Experiência Ford GT40 é a prova de que um aplicativo de alta fidelidade HoloLens 2 pode ser concluído em apenas alguns meses, com um orçamento modesto, mas ainda fornecer resultados altamente impactantes." - Daniel Cheetham, Diretor de Inovação, Final Feliz
Usando o REALIDADE MISTURADA Toolkit (MRTK) da Unreal, a produtora criativa Happy Finish entregou uma experiência HoloLens 2 que fornece uma nova perspectiva sobre o Ford GT40, o lendário carro de corrida que venceu a Ferrari nas 24 Horas de Le Mans!
Usando uma variedade de interações espaciais naturais e intuitivas, os usuários podem explorar a beleza, o desempenho e a engenharia do GT40, tudo entregue de uma forma que aproveite a alta fidelidade visual fornecida pelo Unreal Engine. O desenvolvimento de software para todo o projeto foi concluído por um único desenvolvedor em menos de três meses, possibilitado pelo MRTK para o ambiente de design e script visual do Unreal.
Baixar o aplicativo da Microsoft Store no HoloLens 2
Se você tiver HoloLens 2 dispositivo, poderá baixar e instalar diretamente o aplicativo em seu dispositivo.
A pergunta
A Happy Finish é uma das principais empresas de produção criativa do mundo, com uma base de clientes que inclui, Ford, Microsoft, Nike, Netflix, Vodafone e outros nomes domésticos. A empresa começou como uma agência de retoque de fotos high-end, ramificando-se em cinema e CGI antes de estender sua dedicação à excelência em narrativa imersiva com design espacial 3D e interação.
Em meados de 2020, a Microsoft procurou o Happy Finish para produzir um aplicativo de demonstração que poderia ajudar a mostrar as possibilidades habilitadas pelo novo MRTK (Kit de Ferramentas do Realidade Misturada) para Unreal, que se baseia no suporte para HoloLens 2 no Unreal Engine. Neste ponto, a empresa já tinha dois projetos de sucesso do Unreal-on-HoloLens 2 sob seu cinturão. Ambos foram para uma marca de consumidor reconhecida globalmente, que escolheu o Unreal em HoloLens 2 para uma ferramenta de vendas interna do R&D/B2B por sua alta fidelidade visual, conforme necessário para demonstrar melhor os próprios produtos high-end desse cliente.
Embora a solução em si seja deixada até o Final Feliz, ela teve que atender a algumas diretrizes-chave. Primeiro, ele teve que se concentrar em um cenário empresarial para ilustrar a utilidade do Unreal em HoloLens 2 fora da indústria de jogos. Em segundo lugar, ele tinha que ser somente dispositivo, o que significa que poderia servir como uma demonstração autônoma — sem exigir uma conexão de rede e capacidade de processamento externo para obter as taxas de quadros de destino e a qualidade visual. Em terceiro lugar, ele deve misturar a gama de interações intuitivas com suporte do MRTK em uma experiência perfeita e natural. Por fim, a solução proposta deve demonstrar a fidelidade visual inerente e outros benefícios da própria Unreal Engine, como eficiências de sombreador.
Dadas essas diretrizes, a Happy Finish começou a debater as possibilidades, apresentando a ideia de uma experiência de realidade misturada que usou a interação espacial para comunicar o valor de um produto de marca de alto valor. Depois de considerar uma série de objetos que incluíam relógios, câmeras, carros e jatos particulares, a Happy Finish finalmente decidiu sobre o Ford GT40, uma lenda automotiva que alcançou notoriedade em 1966, quando a Ford venceu a Ferrari nas 24 Horas de Le Mans , como mostrado no filme de sucesso Ford vs. Ferrari de 2019.
Após a obtenção da compra da Ford, um cliente existente da Happy Finish, a empresa se propôs a fornecer uma nova perspectiva sobre o ícone automotivo clássico.
A solução
O trabalho começou em 7 de maio de 2020. Depois de obter os arquivos de modelo GT40, um artista 3D passou três semanas otimizando modelos de polígono, mapeamento UV, repintendo mapas de textura e condensando esses mapas em o menor número possível de texturas. Um artista técnico trabalhou em paralelo para avaliar a saída do artista 3D, determinar os tamanhos de textura ideais dadas as taxas de quadros de destino e descobrir a melhor maneira de aplicar sombreadores personalizados no Unreal. Todo esse trabalho de pré-produção foi feito para otimizar a experiência no dispositivo.
O diretor criativo Alex Lambert entrou em cena depois que o trabalho de pré-produção foi concluído. Ele começou assistindo Ford vs. Ferrari, pensando em como tecer juntos uma narrativa em torno dos cenários e interações. Ele também colecionou referências visuais para o artista de interface do usuário, como imagens do gt40 dashboard e visuais da pista de le mans, e coletou gravações de áudio do GT40 em ação para o designer de som.
Com a narrativa definida e os ativos de pré-produção otimizados em mãos, o desenvolvedor de software freelance Jose Rodriguez foi inscrito para reunir tudo. Rodriguez tinha sido o desenvolvedor nos dois projetos anteriores do Unreal-on-HoloLens 2 que a Happy Finish tinha feito, antes do MRTK para Unreal ter sido lançado.
O valor fornecido pelo MRTK para Unreal tornou-se evidente no início, ajudando Rodriguez a entregar um protótipo inicial em uma semana. Ele implementou três cenários únicos, um para cada um dos principais aspectos do GT40 que Lambert havia identificado: sua beleza, seu desempenho e sua engenharia. Para cada cenário, Rodriguez usou o MRTK para integrar os ativos 3D otimizados da fase de pré-produção em uma variedade de interações espaciais.
Com o MRTK para Unreal, Rodriguez criou cada cenário usando a interface do usuário visual unreal motion graphics (UMG) Designer em vez de ter que implementar tudo no C++. As Ferramentas de Experiência do Usuário para Unreal, o plug-in que contém blocos de construção da experiência do usuário e componentes dentro do MRTK, deram a ele blueprints unreal para simulação de entrada, script visual de interações com as mãos, botões pressionáveis, manipulação de imagem 3D, magnetismo de superfície e muito mais, tudo dentro de um ambiente de design sem código, arrastar e soltar.
"Pré-MRTK, desenvolver para HoloLens 2 usando o Unreal foi um pouco tedioso porque todas as interações espaciais tinham que ser codificadas manualmente, em C++", diz Rodriguez. "O MRTK para Unreal tornou muitas dessas mesmas tarefas triviais. Eu estimaria reduzir o tempo necessário para o protótipo inicial pela metade."
Com um protótipo em mãos, a equipe iniciou iterações semanais para refinar a experiência. "Foi quando o recurso Realidade Misturada Capture e o Portal de Dispositivos do Windows se tornaram realmente úteis", lembra Lambert. "Eu os usei para capturar minhas revisões de design, transmitir meus comentários para outras pessoas e colaborar em alterações. Trabalhar isoladamente assim teria sido impossível de fazer sem essas ferramentas."
Como Lambert solicitou alterações, como reposicionar elementos da interface do usuário ou alterar o comportamento de um botão, Rodriguez os implementou. Embora algumas das alterações exigissem pequenos ajustes de código, a maioria delas era tratada no designer visual do Unreal. "Fiquei surpreso com a rapidez com que pude iterar", diz Rodriguez. "Nenhum tempo foi desperdiçado; Eu faria uma alteração no designer e, em seguida, pressionaria play para exibi-lo imediatamente no dispositivo. O MRTK realmente agilizou meu trabalho."
Rodriguez também lembra de ter ficado impressionado com o quão prontas para a produção todas as ferramentas de desenvolvimento estavam. "Progredimos suavemente do protótipo inicial até a produção final, sem ter que voltar e reimplementar ou otimizar as coisas no código", diz ele.
O build final
Happy Finish completou a produção da Experiência Ford GT40 para HoloLens 2 em 28 de julho de 2020, proporcionando uma nova perspectiva sobre o lendário carro de corrida. A experiência começa com uma tela de boas-vindas e, em seguida, orienta o usuário a configurar uma âncora pegando o logotipo da Ford e colocando-o em uma superfície plana como uma tabela ou área de trabalho.
Beleza
O segmento de beleza leva o usuário a um configurador GT40, que exibe o GT40 em um pedestal rotativo, semelhante a como um carro físico pode ser exibido em uma feira automotiva. O usuário pode aplicar diferentes opções de roda, escolher entre diferentes esquemas de cores e abrir e fechar as portas e o tronco (ou inicializar, como eles chamam no Reino Unido). Ao longo da experiência de beleza, o usuário pode pegar o carro e manipulá-lo livremente para dar uma olhada mais de perto.
Desempenho
O segmento de desempenho mostra a velocidade e durabilidade do GT40. A narração começa descrevendo como o carro foi desenvolvido e colocado em seus passos em Ford's Kingman, Arizona provando motivos, com visuais 3D mostrando o GT40 em movimento na pista de teste. À medida que a introdução ao segmento de desempenho é concluída, o voiceover solicita que o usuário "pressione o botão Le Mans para pressionar a pista de corrida".
A segunda parte do segmento de desempenho mostra o GT40 sob a gama de condições que os pilotos podem experimentar nas 24 Horas de Le Mans, que é realizada anualmente no Circuito de la Sarthe perto de Le Mans, França. Uma exibição 3D mostra o carro em movimento na pista de Le Mans, com botões fornecidos para fazer o carro ir mais rápido ou mais lento. Imagens do velocímetro analógico e do tacômetro do GT40 flutuam acima do modo de exibição de pista de corrida, com mais telemetria de corrida exibida em segundo plano. O usuário pode alternar entre os modos de exibição dia e noite e entre as condições de condução seca e molhada, fornecendo uma perspectiva realista e realista do que Ken Miles e os outros pilotos GT40 experimentaram na corrida real.
Engenharia
O segmento de engenharia da Experiência Ford GT40 mostra uma das inovações de engenharia que ajudaram a Ford a vencer a corrida: a capacidade de mudar rotores e almofadas de freio em menos de um minuto, em comparação com os 20-30 minutos necessários para todas as outras equipes. Usando gestos intuitivos, o usuário pode manipular um modelo 3D detalhado do assembly de roda e freio GT40. Para expandir o assembly, o usuário pega uma chave lug, alinha-a ao bloqueio central na roda, vira-a no sentido anti-horário e, em seguida, puxa-a para longe da roda. Outros gestos são usados para remover os rotores e almofadas de freio usados, substituí-los por novos, recolher o assembly e ressecar o bloqueio central. Em segundo plano, um temporizador exibe o tempo decorrido, permitindo que o usuário veja se pode concluir o processo tão rapidamente quanto a equipe de pit em Le Mans.
A Experiência Ford GT40 pode ser baixada da Microsoft Store, permitindo que qualquer pessoa com um HoloLens 2 explore como o Happy Finish trouxe uma nova perspectiva para o lendário carro de corrida.
Obtendo fidelidade visual impressionante
Embora a gama de interações espaciais suportadas pela Experiência Ford GT40 seja impressionante por conta própria, a criatividade e a fidelidade visual que a experiência oferece é o que realmente a faz brilhar. Por meio de sua otimização de modelos 3D e do uso de sombreadores personalizados do Unreal, o Final Feliz atingiu sua meta de 60 quadros por segundo, mesmo com o segmento de desempenho do aplicativo se aproximando de 315.000 polígonos de tamanho.
"Estou muito feliz com a forma como conseguimos reunir um conjunto de interações fluidas e intuitivas em uma narrativa coerente e envolvente", diz Lambert. "Claramente, o poder da Unreal Engine em HoloLens 2 abre um novo mundo de oportunidades para experiências de realidade misturada mais surpreendentes e emocionantes. A fidelidade visual não descompromissada nem sempre é a meta final para aplicativos empresariais em HoloLens 2, mas quando é, o suporte para o Unreal em HoloLens 2 se torna inestimável".
Entrega rápida da solução
Por mais impressionante que a Experiência Ford GT40 do usuário final seja a rapidez com que a Happy Finish a entregou, com todo o projeto, desde a pré-produção até a entrega final, concluído em pouco menos de 12 semanas. Em resumo, o projeto consumiu 1.088 horas de esforço, divididas da seguinte maneira: diretor criativo (80 horas), designer de experiência do usuário (56 horas), designer de interface do usuário (40 horas), designer de som (40 horas), artista técnico/3D (328 horas), desenvolvedor de software (408 horas), diretor técnico (40 horas), produtor (56 horas) e garantia de qualidade (40 horas).
"No geral, chegamos muito perto de nossas estimativas originais do projeto", diz Daniel Cheetham, diretor de inovação da Happy Finish, que lidera a divisão interativa da empresa. "A Experiência Ford GT40 é a prova de que um aplicativo de alta fidelidade HoloLens 2 pode ser concluído em apenas alguns meses, com um orçamento modesto, mas ainda fornecer resultados altamente impactantes."
Do ponto de vista do desenvolvimento, com base em sua experiência anterior com o Unreal em HoloLens 2, Rodriguez estima que o MRTK para Unreal cortou o tempo total e o esforço necessários de sua parte pela metade. Ele também observa como o MRTK pode ajudar os desenvolvedores que nunca trabalharam com HoloLens 2 começar. "Quando outros desenvolvedores dizem que estão interessados em realidade misturada, eu os encorajo a entrar, instalar a pilha de desenvolvimento HoloLens 2 e o MRTK e ir em busca dela. O MRTK torna a criação de um aplicativo rápida e fácil, e o editor visual do Unreal funciona tão bem que você nem precisa de um dispositivo HoloLens 2 para começar. Não é nada complicado— tudo só funciona."
Possíveis aprimoramentos do serviço do Azure
Lambert vê várias maneiras pelas quais os serviços de realidade misturada do Azure poderiam ser usados para aprimorar a Experiência do Ford GT40, como usar âncoras espaciais do Azure para fornecer uma experiência multiusuário ancorada no mundo real. "De uma perspectiva criativa, as Âncoras Espaciais do Azure abrem uma gama totalmente nova de possibilidades através da capacidade que fornecem para mapear, persistir e restaurar conteúdo 3D ou pontos de interesse em nosso mundo físico", diz ele.
Lambert também prevê como o Azure Remote Rendering ou transmitir o aplicativo do Azure pode ser usado para obter as taxas de quadros desejadas enquanto trabalha com modelos 3D mais detalhados e complexos. "Tivemos que implementar alguns sombreadores personalizados altamente otimizados no Unreal para atingir nossa meta no dispositivo de 60 quadros por segundo", explica. "Com o Azure Remote Rendering, poderíamos fazer muito mais e fazer isso muito mais facilmente, sem tanto trabalho necessário para otimizar modelos de polígono, mapas de textura repintar e assim por diante."
Infinitas novas possibilidades
Então, o que vem a seguir para Happy Finish? Os comentários da Ford sobre a experiência do Ford GT40 foram extremamente positivos, levando a mais discussões entre a Happy Finish e a Ford sobre projetos futuros de HoloLens 2. Fora de seu relacionamento com a Ford, a Happy Finish já está iniciando um novo projeto no HoloLens 2, em que o MRTK para Unreal será um bloco de construção fundamental para a maior parte da experiência do usuário.
"Sempre mantivemos uma abordagem independente de tecnologia para cada novo projeto, propondo qualquer conjunto de ferramentas mais adequado para ajudar o cliente a alcançar os resultados desejados", diz Cheetham. "Dito isso, HoloLens 2 emergiu como o padrão ouro de fato para a realidade misturada, especialmente na empresa, de pé de cabeça a ombros acima de todas as outras opções em termos de funcionalidades de dispositivo e a difusão do ecossistema de suporte."
De acordo com Cheetham, a pandemia global tem alimentado imenso novo interesse em realidade misturada imersiva entre potenciais clientes. "Estamos mais ocupados do que nunca, com cerca de 50% dos clientes potenciais abertos a discutir uma opção de realidade misturada", diz ele. "A chave é fazer com que as pessoas experimentem. Você pode dizer-lhes sobre a realidade misturada o dia todo, mas quando você lhes dá um HoloLens 2 para experimentar por si mesmos, eles imediatamente obtêm como pode ser um divisor de águas. O suporte para Unreal Engine em HoloLens 2 só aumenta o valor que podemos oferecer, permitindo-nos fornecer experiências visualmente impressionantes que certamente satisfazem até mesmo os clientes mais exigentes."
Experimente!
Confira nossa introdução ao desenvolvimento de Realidade Misturada em HoloLens 2 ou MRTK para Unreal no GitHub.