Moldura holográfica

Artigo
07/12/2023

Os utilizadores veem o mundo da realidade mista através de um viewport retangular alimentado pelos seus auscultadores. No HoloLens, esta área retangular é denominada moldura holográfica e permite que os utilizadores vejam conteúdo digital sobreposto no mundo real à sua volta. Conceber experiências otimizadas para a moldura holográfica cria oportunidades, mitiga desafios e melhora a experiência de utilizador de aplicações de realidade mista.

Estruturar conteúdo

Muitas vezes, os designers sentem a necessidade de limitar o âmbito da sua experiência ao que o utilizador pode ver imediatamente, sacrificando a escala do mundo real para garantir que o utilizador vê um objeto na sua totalidade. Da mesma forma, os designers com aplicações complexas muitas vezes sobrecarregam a moldura holográfica com conteúdo, sobrecarregam os utilizadores com interações difíceis e interfaces desorganizados. Os designers que criam conteúdos de realidade mista não precisam de limitar a experiência diretamente à frente do utilizador e na sua vista imediata. Se o mundo físico à volta do utilizador estiver mapeado, todas estas superfícies devem ser consideradas uma tela potencial para conteúdo digital e interações. O design adequado das interações e dos conteúdos numa experiência deve incentivar o utilizador a deslocar-se no seu espaço, direcionando a sua atenção para os conteúdos-chave e ajudando a ver todo o potencial da realidade mista.

Talvez a técnica mais importante para incentivar o movimento e a exploração numa aplicação seja permitir que os utilizadores se ajustem à experiência. Dê aos utilizadores um curto período de tempo "sem tarefas" com o dispositivo. Isto pode ser tão simples como colocar um objeto no espaço e permitir que os utilizadores se movam ou narram uma introdução à experiência. Desta vez, deve estar livre de quaisquer tarefas críticas ou gestos específicos, como tocar no ar. O objetivo é permitir que os utilizadores se acomodem na visualização de conteúdos através do dispositivo antes de exigirem interatividade ou progredirem através da aplicação. Isto é especialmente importante para os utilizadores pela primeira vez, uma vez que se sentem confortáveis em ver conteúdo através da moldura holográfica e da natureza dos hologramas.

Objetos grandes

Muitas vezes, o conteúdo que uma experiência exige, especialmente o conteúdo do mundo real, será maior do que o fotograma holográfico. Os objetos que normalmente não cabem dentro da moldura holográfica devem ser encolhidos para caber quando são introduzidos pela primeira vez (numa escala menor ou à distância). A chave é permitir que os utilizadores vejam o tamanho total do objeto antes de a escala sobrecarregar a moldura. Por exemplo, um elefante holográfico deve ser apresentado para caber totalmente dentro da moldura. Isto permite que os utilizadores formem uma compreensão espacial da forma geral do animal, antes de dimensioná-la para uma escala real perto do utilizador.

Com o tamanho total do objeto em mente, os utilizadores têm uma expectativa de onde se mover e procurar partes específicas desse objeto. Numa experiência com conteúdo envolvente, ajuda ter uma forma de voltar ao tamanho total desse conteúdo. Por exemplo, se a experiência envolver andar por um modelo de uma casa virtual, ajuda ter uma versão menor do tamanho da casa de bonecas da experiência para identificar onde estão dentro da casa.

Para obter um exemplo de design para objetos grandes, consulte Volvo Cars.

Muitos objetos

As experiências com muitos objetos ou componentes devem considerar a utilização do espaço total à volta do utilizador para evitar desorganização da moldura holográfica diretamente à frente do utilizador. Recomendamos a lentidão da introdução de conteúdos a uma experiência, especialmente com experiências que planeiam servir muitos objetos ao utilizador. A chave é permitir que os utilizadores compreendam o esquema de conteúdo na experiência, o que os ajuda a obter uma compreensão espacial do que os rodeia à medida que os conteúdos são atualizados.

Uma técnica para tal é fornecer pontos persistentes (também conhecidos como marcos) na experiência que ancora o conteúdo ao mundo real. Por exemplo, um marco pode ser um objeto físico no mundo real, como uma tabela onde o conteúdo digital é apresentado ou um objeto digital, como um conjunto de ecrãs digitais onde o conteúdo aparece frequentemente. Os objetos também podem ser colocados na periferia da moldura holográfica para incentivar o utilizador a olhar para conteúdo chave. A deteção de conteúdo para além da periferia pode ser auxiliada por diretores de atenção.

A colocação de objetos na periferia pode incentivar os utilizadores a olhar para o lado, o que pode ser ajudado pelos diretores de atenção, conforme descrito abaixo. Para obter mais informações sobre considerações sobre molduras holográficas, consulte a documentação de conforto .

Considerações de interação

Tal como acontece com o conteúdo, as interações numa experiência de realidade mista não têm de ser limitadas ao que o utilizador pode ver imediatamente. As interações podem ocorrer em qualquer parte do espaço real em torno do utilizador. Estas interações podem ajudar a incentivar os utilizadores a moverem-se e a explorarem experiências.

Diretórios de atenção

Indicar pontos de interesse ou interações-chave pode ser crucial para progredir os utilizadores através de uma experiência. A atenção e o movimento do utilizador da moldura holográfica podem ser direcionados de formas subtis ou pesadas. Lembre-se de equilibrar os diretores de atenção com períodos de exploração gratuita na realidade mista (especialmente no início de uma experiência) para evitar sobrecarregar o utilizador. Em geral, existem dois tipos de diretores de atenção:

Diretores visuais: A forma mais fácil de informar o utilizador de que deve mover-se numa direção específica é fornecer uma indicação visual. Isto pode ser feito através de um efeito visual (por exemplo, um caminho que o utilizador pode seguir visualmente para a parte seguinte da experiência) ou mesmo como setas direcionais simples. Qualquer indicador visual deve estar ligado à terra no ambiente do utilizador e não "ligado" à moldura holográfica ou ao cursor.
Diretórios de áudio:o som espacial pode fornecer uma forma avançada de estabelecer objetos numa cena. Pode alertar os utilizadores para objetos que introduzem uma experiência ou direcionar a atenção para um ponto específico no espaço ao mover a vista do utilizador para objetos-chave. A utilização de diretórios de áudio para orientar a atenção do utilizador pode ser mais subtil e menos intrusiva do que os diretores visuais. Em alguns casos, pode ser melhor começar com um diretor de áudio e, em seguida, passar para um diretor visual se o utilizador não reconhecer a ajuda. Os diretórios de áudio também podem ser emparelhados com diretórios visuais para maior ênfase.

Idealmente, as interfaces em experiências de realidade mista são emparelhadas com os conteúdos digitais que controlam. Como tal, os menus 2D flutuantes livre não são muitas vezes ideais para interação e podem ser difíceis para os utilizadores demasiado confortavelmente com dentro da moldura holográfica. Para experiências que requerem elementos de interface, como menus ou campos de texto, considere utilizar um método de etiquetas para seguir a moldura holográfica após um curto período de tempo. Evite bloquear conteúdo na moldura como um aviso, pois isto pode ser desorientador para o utilizador e quebrar a sensação de imersão para outros objetos digitais na cena.

Também pode colocar elementos de interface diretamente no conteúdo específico que controlam, permitindo que as interações ocorram naturalmente em torno do espaço físico do utilizador. Por exemplo, divida um menu complexo em partes separadas, com cada botão ou grupo de controlos ligados ao objeto específico que a interação afeta. Para levar este conceito mais longe, considere a utilização de objetos interagiveis.

Mirar e olhar para o olhar

A moldura holográfica apresenta uma ferramenta para o programador acionar interações e avaliar onde reside a atenção de um utilizador. Gaze é uma das principais interações no HoloLens, onde o olhar pode ser emparelhado com gestos (como toques de ar) ou voz (permitindo interações mais curtas e naturais baseadas em voz). Como tal, isto torna a moldura holográfica um espaço para observar conteúdo digital e interagir com o mesmo. Se a experiência pedir a interação com múltiplos objetos à volta do espaço do utilizador (por exemplo, objetos de seleção múltipla à volta do espaço do utilizador com olhar + gesto), considere trazer esses objetos para a vista do utilizador ou limitar a quantidade de movimentos de cabeça necessários para promover o conforto do utilizador.

O gaze também pode ser utilizado para controlar a atenção do utilizador através de uma experiência e ver a que objetos ou partes da cena o utilizador prestou mais atenção. Isto pode ser especialmente utilizado para depurar uma experiência, permitindo que ferramentas analíticas como mapas térmicos vejam onde os utilizadores passam mais tempo ou estão a perder determinados objetos ou interação. O controlo de olhares também pode fornecer uma ferramenta poderosa para facilitadores em experiências (veja o exemplo lowe's Kitchen ).

Se quiser ver os conceitos de estrutura do Head and Eye Tracking em ação, consulte a nossa demonstração de vídeo Designing Holograms - Head Tracking e Eye Tracking abaixo:

Este vídeo foi retirado da aplicação "Designing Holograms" HoloLens 2. Transfira e desfrute da experiência completa aqui.

Desempenho

A utilização adequada da moldura holográfica é fundamental para as experiências de qualidade de desempenho . Um desafio técnico comum (e usabilidade) é sobrecarregar a moldura do utilizador com conteúdo digital, o que faz com que o desempenho da composição fique degradado. Considere, em vez disso, utilizar todo o espaço à volta do utilizador para dispor conteúdo digital, utilizando as técnicas descritas acima, para diminuir a carga de composição e garantir uma qualidade de apresentação ideal.

Exemplos

Volvo Cars

Na experiência de showroom da Volvo Cars, os clientes são convidados a saber mais sobre as capacidades de um carro novo numa experiência holoLens orientada por um associado da Volvo. A Volvo enfrentou um desafio com a moldura holográfica: um carro de tamanho completo é demasiado grande para ser colocado ao lado de um utilizador. A solução foi começar a experiência com um marco físico, uma mesa central no showroom, com um modelo digital mais pequeno do carro colocado em cima da mesa. Isto garante que o utilizador está a ver o carro completo quando é introduzido, permitindo uma sensação de compreensão espacial assim que o carro cresce à sua escala real mais tarde na experiência.

A experiência da Volvo também utiliza os diretores visuais, criando um longo efeito visual a partir do modelo de carro em pequena escala na mesa para uma parede na sala de espetáculos. Isto leva a um efeito de "janela mágica", mostrando a vista completa do carro à distância, ilustrando mais características do carro à escala real. O movimento da cabeça é horizontal, sem qualquer interação direta por parte do utilizador (em vez disso, recolhe ajudas visualmente e da narração da experiência do associado da Volvo).

Cozinha de Lowe

Uma experiência de loja da Lowe convida os clientes para uma maquete em larga escala de uma cozinha para mostrar várias oportunidades de remodelação como visto através do HoloLens. A cozinha da loja fornece um pano de fundo físico para objetos digitais, uma tela em branco de eletrodomésticos, bancadas e armários para a experiência de realidade mista se desenrolar.

As superfícies físicas atuam como marcos estáticos para o utilizador se basear na experiência, uma vez que um associado da Lowe guia o utilizador através de diferentes opções e acabamentos de produtos. Desta forma, o associado pode direcionar verbalmente a atenção do utilizador para o "frigorífico" ou "centro da cozinha" para mostrar conteúdo digital.

Um associado da Lowe utiliza um tablet para orientar os clientes através da experiência do HoloLens.

A experiência do utilizador é gerida, em parte, por uma experiência de tablet controlada pelo associado de Lowe. Parte do papel do associado neste caso seria também limitar o movimento excessivo da cabeça, direcionando a sua atenção suavemente em todos os pontos de interesse na cozinha. A experiência de tablet também fornece ao associado do Lowe dados de olhar atento sob a forma de uma vista de mapa térmico da cozinha, ajudando a entender onde o utilizador está habitando (por exemplo, em uma área específica de armários) para fornecer-lhes com mais precisão orientação de remodelação.

Para uma análise mais aprofundada da experiência lowe's Kitchen, consulte o keynote da Microsoft na Ignite 2016.

Fragmentos

No jogo HoloLens Fragments, a sua sala de estar é transformada em cena de crime virtual mostrando pistas e provas, e uma sala de reuniões virtual, onde você fala com personagens que se sentam nas suas cadeiras e se inclinam nas suas paredes.

Os fragmentos foram concebidos para serem realizados na casa de um utilizador, com carateres que interagem com objetos e superfícies do mundo real.

Quando os utilizadores iniciam inicialmente a experiência, é-lhes dado um curto período de ajuste com pouca ou nenhuma interação. Em vez disso, são encorajados a olhar em volta e a orientar-se e a garantir que a sala está devidamente mapeada para o conteúdo interativo do jogo.

Ao longo da experiência, os carateres tornam-se pontos focais e atuam como diretores visuais (movimentos de cabeça entre carateres, virando-se para olhar ou gesto em direção a áreas de interesse). O jogo também depende de pistas visuais mais proeminentes quando um utilizador demora demasiado tempo a encontrar um objeto ou evento e faz uso pesado do áudio espacial (especialmente com vozes de carateres ao entrar numa cena).

Destino: Marte

Na experiência Destination: Mars em destaque no Kennedy Space Center da NASA, os visitantes foram convidados para uma viagem envolvente à superfície de Marte, guiada pela representação virtual do lendário astronauta Buzz Aldrin.

Um Buzz Aldrin virtual torna-se o ponto focal para os utilizadores em Destination: Mars.

Como uma experiência envolvente, estes utilizadores foram encorajados a olhar ao redor, movendo a cabeça em todas as direções para ver a paisagem marciana virtual. Embora para garantir o conforto dos utilizadores, a narração e a presença virtual de Buzz Aldrin proporcionaram um ponto focal ao longo da experiência. Esta gravação virtual do Buzz (criada pela Microsoft Mixed Reality Capture Studios) estava em tamanho real e humano, no canto da sala, permitindo que os utilizadores o vissem na vista quase completa. A narração de Buzz direcionou os utilizadores para se concentrarem em diferentes pontos no ambiente (por exemplo, um conjunto de rochas marcianas no chão ou numa cordilheira à distância) com alterações ou objetos de cena específicos introduzidos por ele.

Os narradores virtuais vão virar-se para seguir o movimento de um utilizador, criando um poderoso ponto focal ao longo da experiência.

A representação realista de Buzz forneceu um poderoso ponto focal, completo com técnicas subtis para virar Buzz em direção ao utilizador para sentir como se estivesse lá, falando consigo. À medida que o utilizador se move sobre a experiência, o Buzz deslocar-se-á na sua direção para um limiar antes de regressar a um estado neutro se o utilizador se mover demasiado para além da sua periferia. Se o utilizador tiver um aspeto totalmente diferente do Buzz (por exemplo, para ver algo noutro local da cena) e, em seguida, regressar ao Buzz, a posição direcional do narrador será novamente focada no utilizador. Técnicas como esta proporcionam uma poderosa sensação de imersão e criam um ponto focal dentro da moldura holográfica, reduzindo o movimento excessivo da cabeça e promovendo o conforto dos utilizadores.