Pensar de forma diferente para Mixed Reality

Artigo
07/12/2023

Quando a Microsoft lançou o HoloLens (1.ª geração) para programadores ansiosos em 2016, a equipa já tinha feito uma parceria com estúdios dentro e fora da Microsoft para criar as experiências de lançamento do dispositivo. Estas equipas aprenderam ao fazer, encontrando oportunidades e desafios no novo campo do design de realidade mista.

Transformámos os seus métodos e informações num currículo que ensinamos a novos programadores na nossa Academia Mixed Reality. O currículo inclui workshops de design de uma semana que oferecemos aos nossos parceiros empresariais).

Segue-se um instantâneo de tudo o que aprendemos para ajudar os nossos parceiros empresariais a preparar as suas equipas para o desenvolvimento de realidade mista. Embora muitos destes métodos visem originalmente o desenvolvimento do HoloLens, imaginar e comunicar em 3D são fundamentais para todo o espectro de experiências de realidade mista.

Pensar espacialmente durante o processo de conceção

Qualquer processo de conceção ou estrutura de design destina-se a iterar o pensamento: para abordar um problema em geral, partilhar ideias com outras pessoas de forma eficaz, avaliar essas ideias e chegar a uma solução. Atualmente, temos métodos de conceção e desenvolvimento bem estabelecidos para criar experiências em ambientes de trabalho, telemóveis e tablets. As equipas têm expetativas claras do que é necessário para iterar uma ideia e transformá-la num produto para os utilizadores.

Muitas vezes, as equipas são compostas por uma combinação de desenvolvimento, design, investigação e gestão. Todas as funções devem participar no processo de conceção. A barreira à entrada para contribuir com uma ideia para uma aplicação móvel é tão simples como desenhar um retângulo para o ecrã do dispositivo. Entretanto, esboçar elementos de IU com caixas e linhas é suficiente para estabelecer requisitos técnicos ou definir o potencial comportamento do utilizador.

Com a realidade mista, o processo de design 2D tradicional começa a dividir-se. Esboçar em 3D é difícil para a maioria das pessoas, e utilizar ferramentas 2D como caneta e papel ou quadros pode muitas vezes limitar ideias a essas dimensões. Entretanto, as ferramentas 3D, criadas para jogos ou engenharia, requerem um elevado grau de competência para desenvolver rapidamente ideias. A falta de ferramentas leves é agravada pela incerteza técnica inerente aos novos dispositivos, onde ainda estão a ser estabelecidos métodos de interação fundamentais. Estes desafios podem potencialmente limitar as contribuições de design para membros da equipa com fundos de desenvolvimento 3D, o que reduz drasticamente a capacidade de iteração da equipa.

Equipas a trabalhar durante um workshop na Academia Mixed Reality
Equipas do Programa de Parceiros do Mixed Reality no nosso workshop

Quando trabalhamos com parceiros externos, ouvimos histórias de equipas à espera que o programador conclua o protótipo antes de poderem continuar o processo de conceção. O resto da equipa é então potencialmente impedido de fazer progressos significativos no produto. Os programadores acabam por ter toda a responsabilidade de resolver a implementação técnica e a experiência do utilizador à medida que tentam colocar uma ideia aproximada em código.

Técnicas para expandir o processo de conceção

As nossas equipas na Microsoft têm um conjunto de técnicas para incluir mais eficazmente a sua equipa e iterar rapidamente através de problemas de design complexos. Embora não seja um processo formal, estas técnicas destinam-se a complementar em vez de substituir o fluxo de trabalho. Estes métodos permitem que os membros da equipa sem competências 3D especializadas ofereçam ideias antes de mergulharem na fase de prototipagem. Diferentes funções e disciplinas podem fazer parte do processo de conceção, não apenas designers 3D e programadores. Descobrir oportunidades e identificar possíveis desafios pode ocorrer mais tarde no desenvolvimento.

Técnicas para o processo de conceção

Gerar ideias com bodystorming

Fazer com que a sua equipa pense nos eventos que ocorrem no mundo real, para além do mundo tradicional dos dispositivos 2D, é fundamental para desenvolver experiências inovadoras de realidade mista. Na Microsoft, encontrámos os melhores resultados ao incentivar a interação com adereços físicos num espaço real. Com materiais de criação simples e baratos, criamos adereços físicos para representar objetos digitais, interfaces de utilizador e animações numa experiência proposta. Esta técnica chama-se bodystorming e tem sido um fundamento da ideia de produto dentro do design industrial há décadas.

Equipas que trabalham com materiais no Mixed Reality Academy Simple, materiais de arte baratos usados no bodystorming

Os adereços físicos simples nivelam o campo de jogo para os participantes, permitindo que indivíduos com diferentes conjuntos de competências e origens contribuam com ideias e descubram oportunidades inerentes a experiências de realidade mista em vez de serem bloqueados no pensamento 2D. Embora prototipagem técnica ou storyboarding de alta fidelidade exija um programador ou artista 3D qualificado, algumas bolas de esferovite e cartão podem ser suficientes para mostrar como uma interface pode desenrolar-se no espaço físico. Estas técnicas aplicam-se ao desenvolvimento de realidade mista com o HoloLens e aos headsets envolventes. Por exemplo, um conjunto de conectores plásticos pode ilustrar aproximadamente o tamanho dos hologramas que aparecem numa experiência do HoloLens ou como adereços para atuar em elementos interagiveis ou desenhos de movimento num mundo virtual.

O bodystorming é uma técnica utilizada para gerar rapidamente ideias e avaliar ideias demasiado nebulosas para protótipos. Na Microsoft, o bodystorming é mais frequentemente utilizado para examinar rapidamente uma ideia. Também pode ajudar a organizar uma sessão mais aprofundada se envolver intervenientes externos que não estão familiarizados com o desenvolvimento da realidade mista ou precisam de destilar cenários amplos. Lembre-se de que o objetivo do bodystorming é idear de forma rápida e eficiente, incentivando os participantes a pensar espacialmente. As obras de arte detalhadas ou as medidas precisas não são importantes nesta fase. Os adereços físicos só precisam de cumprir os requisitos mínimos para explorar ou comunicar uma ideia. Não se espera que as ideias apresentadas através do bodystorming sejam totalmente verificadas, mas o processo pode ajudar a reduzir as possibilidades de teste mais tarde durante a fase de prototipagem no dispositivo. Como tal, o bodystorming não substitui a prototipagem técnica, mas compensa o fardo de resolver desafios técnicos e de design durante a fase de prototipagem.

Comentários de especialistas e de representação

Seguindo o processo de criação de bodystorming com objetos físicos no mundo real, o próximo passo é percorrer uma experiência com estes objetos. Chamamos a esta fase de atuação do processo e envolve frequentemente a encenação de como um utilizador se deslocaria através da experiência ou de uma interação específica.

Equipas que atuam num cenário durante um workshop

Agir com adereços físicos permite que os participantes experimentem a perspetiva do utilizador, ao mesmo tempo que permitem que observadores externos vejam como os eventos são executados. Este é o momento ideal para incluir um público mais vasto de membros da equipa ou intervenientes que podem fornecer comentários específicos de "especialistas". Por exemplo, se estiver a explorar uma experiência de realidade mista concebida para hospitais, agir em conformidade com o seu pensamento sobre um profissional médico pode fornecer comentários inestimáveis. Outro exemplo é quando poderá ter um desafio específico que está a tentar compreender, como o áudio espacial ou o orçamento para a qualidade do recurso vs. desempenho. Nestes casos, agir dá aos especialistas um conceito rápido e áspero de como a experiência pode desenrolar-se, sem a necessidade de um protótipo baseado em dispositivos.

Este tipo de representação não é formalizado, sem necessidade de trazer talento profissional, mas em situações em que queremos partilhar o pensamento com outros que não estão presentes, vamos gravar em vídeo uma "cena" de interação ou incluir um artista de storyboard para observar e esboçar momentos-chave. Agir também pode ser uma atividade leve, acontecendo muitas vezes in situ durante a fase de bodystorming. Decidir que método utilizar depende da audiência e da fidelidade necessária para solicitar o tipo de feedback adequado. Em última análise, resume-se ao que mais eficazmente capturará o pensamento da sua equipa.

Capturar ideias com storyboards

O melhor método para transmitir as ideias e conceitos da sua experiência proposta depende da audiência pretendida e do tipo de feedback necessário para a sua próxima iteração. Ao apresentar novas ideias aos membros da equipa, as reencenações de baixa fidelidade do bodystorming podem ser suficientes para acelerar alguém. Ao introduzir os conceitos da sua experiência a novos intervenientes ou potenciais utilizadores, o melhor método é, muitas vezes, o storyboarding. O storyboarding é uma técnica comum à indústria do entretenimento, encontrada em segundo plano no desenvolvimento de filmes e videojogos. A técnica ajuda a transmitir o fluxo geral de uma experiência (com baixa fidelidade) e o aspeto estético e a sensação (em alta fidelidade). Tal como acontece com o prototipagem, compreender as necessidades de fidelidade do seu storyboard é fundamental para recolher os comentários certos e evitar discussões contraproducentes.

Exemplo de um storyboard de baixa fidelidade

Os storyboards de baixa fidelidade são a fidelidade certa para discussões rápidas, especialmente quando transmitem ideias de alto nível. Estes podem ser tão simples como desenhos de figura de vara e formas primitivas para denotar elementos virtuais numa cena ou a proximidade de componentes interativos (físicos e virtuais). Embora estas sejam úteis dada a relativa facilidade e a barreira de baixa competência a executar, lembre-se da lição do bodystorming: Nem todos podem ver representações 2D de uma experiência e compreender as implicações 3D.

Exemplo de um storyboard de alta fidelidade

Os storyboards de alta fidelidade são uma ferramenta poderosa ao trazer novos intervenientes ou combinar informações de uma sessão de bodystorming com a direção estética proposta da sua experiência. Os storyboards podem criar quadros de humor para ilustrar o aspeto final de uma experiência virtual e capturar momentos-chave que podem ser fundamentais para o produto final. Tenha em atenção que os storyboards de alta fidelidade exigem frequentemente um artista, especialmente um incorporado na equipa, que pode capturar ideias difíceis de descrever. Na Microsoft, adicionámos artistas de storyboard, muitas vezes com experiência em desenvolvimento de jogos, às nossas equipas de realidade mista que participam em reuniões preparadas para capturar rapidamente esboços que serão posteriormente expandidos para maquetes de maior fidelidade. Estes indivíduos trabalham em estreita colaboração com artistas técnicos, ajudando a transmitir a direção artística dos ativos utilizados na experiência final.

Processo de conceção

O nosso processo começa hoje com quadros e notas autocolantes e expande-se para bodystorming físico e atuação. Em seguida, traduzimos esse pensamento em storyboards e algo a que chamamos "Conceito de Linha Única" (a frase de alto nível que descreve o que estamos a fazer) antes de avançar para prototipagem e criação de ativos. O nosso trabalho de conceção é muitas vezes físico antes de entrarmos na fase de desenvolvimento.

Fluxo de processo de estruturação 1
Processo de conceção geral

O processo de design é complicado e todas as equipas são diferentes. No entanto, métodos como bodystorming, representação e storyboarding podem ajudar a aliviar as dificuldades na iteração.

Fluxo de processo de estruturação 2
Na realidade, as suas fases iterativas contínuas

Expandir as competências da sua equipa

Alterar o seu processo para melhor acomodar experiências de realidade mista depende de uma ligação mais próxima das funções técnicas e de design. Trabalhando com parceiros na Microsoft, vimos várias equipas transitarem com êxito para o desenvolvimento 3D e descobrimos que a maior vantagem vem dos membros da equipa saírem da sua zona de conforto e desenvolverem competências que lhes dão mais envolvimento ao longo do processo de desenvolvimento (não apenas limitando as suas competências ao design ou desenvolvimento).

O feedback e a iteração são fundamentais para qualquer design bem-sucedido e, com experiências de realidade mista, este tipo de feedback é muitas vezes distorcido para conceitos mais técnicos, especialmente tendo em conta a relativa relevância da tecnologia e das ferramentas da realidade mista. Criar as competências da sua equipa de design em áreas técnicas, incluindo competências com ferramentas como o Unity ou o Unreal, ajuda esses indivíduos a compreender melhor a abordagem dos programadores e a fornecer feedback mais eficaz durante a prototipagem. Da mesma forma, os programadores que compreendem os conceitos fundamentais de UX de experiências de realidade mista (e potenciais armadilhas de design) podem ajudá-los a oferecer informações de implementação durante as fases iniciais do planeamento.

Normalmente, recebemos perguntas de parceiros que trabalham na realidade mista sobre a melhor forma de desenvolver a sua equipa e conjuntos de competências com ferramentas 3D. Esta é uma pergunta difícil de responder dado o estado da indústria, uma vez que as equipas são confrontadas com a construção das experiências de amanhã com as ferramentas de ontem. Muitas equipas estão a reunir indivíduos com experiência em jogos e entretenimento, onde o desenvolvimento 3D tem sido um agrafo durante décadas. As equipas também estão a incentivar as suas equipas existentes a recolher ferramentas como o Unity e o software de modelação 3D. Embora estas sejam ambas necessidades essenciais para cumprir a linha de base das experiências de realidade mista hoje em dia, provavelmente haverá um grande número de ferramentas e competências especializadas para ajudar a construir as aplicações inovadoras de amanhã.

O campo do design de realidade mista está sempre a mudar, com mais foco em dados e serviços cloud em experiências holográficas. Esta próxima geração de experiências tirará partido do processamento avançado de linguagem natural e da visão digitalizada em tempo real e de cenários mais inerentemente sociais em experiências envolventes. Por exemplo, as experiências na realidade virtual permitem que os designers criem ambientes e espaços imaginativos, exigindo um conjunto de competências mais semelhante à arquitetura ou psicologia em vez do design de interface tradicional. Em alternativa, pode considerar experiências no mundo real com o HoloLens, onde os casos de utilização envolvem frequentemente campos altamente especializados, como medicina, engenharia ou fabrico, onde ambientes específicos e dados em tempo real são elementos essenciais da experiência. Trabalhar entre funções, utilizar design e conhecimentos especializados e ter vontade de aprender novas ferramentas são uma competência inestimável para as equipas que trabalham na realidade mista.

Ajudar a sua equipa a explorar a realidade mista de forma rápida e eficaz

Nos primeiros dias do HoloLens, estas técnicas surgiram por necessidade, uma vez que o hardware do protótipo inicial do dispositivo se revelou um formato menos ideal para iterar rapidamente através de ideias de design. Os métodos de interação, incluindo a IU fundamental no sistema operativo, foram explorados com bodystorming, enquanto a ação ajudou a nossa equipa de usabilidade a compreender os comportamentos fundamentais dos utilizadores para cenários no local de trabalho. No final, a equipa estabeleceu uma linha de base forte para o holoLens core UX, comunicando conceitos entre funções de equipa e permitindo que o desenvolvimento do SO se mova rapidamente em paralelo com o desenvolvimento de hardware.

Materiais de workshop na Academia de Mixed Reality

Quer se trate de bodystorming, representação, revisão com especialistas ou storyboarding, estas técnicas destinam-se a poupar-lhe tempo e esforço. Apesar de ainda estarmos muito nos primeiros dias do HoloLens e do desenvolvimento da realidade virtual, expandir o seu processo de conceção para a realidade mista ajudará a sua equipa a gastar a sua energia a explorar novos e desafiantes problemas de design em vez de ultrapassar as dificuldades de comunicação de ideias.

Lista de exemplos de materiais de workshop

Os materiais de arte simples fornecem aos membros da equipa as ferramentas necessárias para explicar ideias sem competências artísticas avançadas. Eis uma amostra do que a nossa equipa utiliza frequentemente durante o bodystorming: