Acompanhamento ocular no HoloLens 2

Demonstração de acompanhamento ocular no MRTK

O HoloLens 2 permite um novo nível de contexto e compreensão humana dentro da experiência holográfica, fornecendo aos desenvolvedores a capacidade de usar informações sobre o que o usuário está olhando. Esta página explica como os desenvolvedores podem se beneficiar do acompanhamento ocular para vários casos de uso e o que procurar ao projetar interações de usuário baseadas em olhar.

A API de Acompanhamento ocular foi projetada com a privacidade de um usuário em mente; evita a passagem de qualquer informação identificável, especialmente qualquer biometria. Para aplicativos compatíveis com o rastreamento de olhos, o usuário precisa conceder permissão de aplicativo para usar informações de acompanhamento ocular.

Suporte a dispositivos

Recurso HoloLens (1ª geração) HoloLens 2 Headsets imersivos
Olhar para os olhos ✔️

Demonstração dos conceitos de design de rastreamento da cabeça e dos olhos

Se quiser ver os conceitos de design de rastreamento da cabeça e dos olhos em ação, confira abaixo nosso vídeo de demonstração do Projetando hologramas - Rastreamento da cabeça e rastreamento dos olhos. Depois de assistir ao vídeo, prossiga para saber mais sobre os tópicos específicos.

Este vídeo foi obtido do aplicativo HoloLens 2 "Designing Holograms". Baixe-o e aproveite a experiência completa aqui.

Calibragem

Para que o acompanhamento ocular funcione com precisão, cada usuário deve passar por uma calibragem de usuário de acompanhamento ocular para a qual o usuário precisa examinar um conjunto de destinos holográficos. Isso permite que o dispositivo ajuste o sistema, resultando em uma experiência de visualização mais confortável e de qualidade mais alta para o usuário e garantindo um acompanhamento visual preciso ao mesmo tempo.

O acompanhamento ocular deve funcionar para a maioria dos usuários, mas há casos raros em que um usuário não pode calibrar com êxito. A calibragem pode falhar por vários motivos, incluindo, mas não se limitando a:

  • O usuário anteriormente optou por não realizar o processo de calibragem.
  • O usuário se distraiu e não seguiu os destinos de calibragem.
  • O usuário tem certos tipos de lentes de contato e óculos que o sistema ainda não dá suporte.
  • O usuário tem determinada fisiologia ocular ou condições oculares ou fez uma cirurgia ocular, que o sistema ainda não dá suporte.
  • Fatores externos que inibem o acompanhamento visual confiável, como manchas no visor ou óculos do HoloLens, luz solar direta intensa e oclusãos devido ao cabelo na frente dos olhos.

Os desenvolvedores devem garantir que forneçam suporte adequado para usuários para os quais os dados de acompanhamento ocular podem não estar disponíveis (que não podem ser calibrados com êxito). Fornecemos recomendações para soluções de fallback na seção na parte inferior desta página.

Para saber mais sobre a calibragem e como garantir uma experiência tranquila, consulte nossa página de calibragem do usuário de acompanhamento ocular .


Dados de acompanhamento ocular disponíveis

O acompanhamento ocular no HoloLens 2 permite que os desenvolvedores criem cenários de entrada e interação naturais e intuitivos. A API de Acompanhamento ocular fornece as informações sobre o que o usuário está olhando como um único raio de olhar (origem e direção do olhar) a aproximadamente 30 FPS (30 Hz). Para que o acompanhamento ocular funcione com precisão, cada usuário deve passar por uma calibração de usuário de acompanhamento ocular. Para obter informações mais detalhadas sobre como acessar dados de acompanhamento ocular, consulte nossos guias de desenvolvedor para usar o olhar no DirectX e o olhar no Unity.

O olhar previsto está aproximadamente dentro de 1,5 graus no ângulo visual ao redor do destino real (consulte a ilustração abaixo). Pequenas imprecisões são esperadas, portanto, os desenvolvedores devem planejar alguma margem em torno desse valor de limite inferior (por exemplo, 2,0-3,0 graus pode resultar em uma experiência muito mais confortável). Discutiremos como abordar a seleção de destinos pequenos mais detalhadamente abaixo.

Tamanho ideal do destino a 2 metros de distância
Tamanho ideal do destino a uma distância de 2 metros


Dados de acompanhamento ocular estendido

As APIs de acompanhamento ocular estendido permitem que os desenvolvedores desbloqueiem o próximo nível de cenários inovadores, como avaliação de saúde, monitoramento e terapia, fornecendo informações mais refinadas sobre o olhar do usuário.

As APIs de acompanhamento ocular estendido fornecem acesso a valores existentes de acompanhamento ocular e novos recursos, como vetores individuais (esquerdo e direito), taxas de quadros com suporte e a capacidade de definir a taxa de quadros de rastreamento ocular como 30, 60 ou 90fps. Para usar a API de Acompanhamento Ocular Estendido, consulte nossos guias de desenvolvedor para usar APIs de Acompanhamento Ocular Estendido para nativo ou Unity.

Casos de uso

O acompanhamento ocular permite que os aplicativos acompanhem para que local o usuário está olhando em tempo real. Os casos de uso a seguir descrevem algumas interações possíveis com o acompanhamento ocular no HoloLens 2 na realidade misturada. Esses casos de uso ainda não fazem parte da experiência do Shell Holográfico (a interface que você vê ao iniciar o HoloLens 2). Você pode experimentar alguns deles no kit de ferramentas do Realidade Misturada. O Kit de Ferramentas fornece vários exemplos interessantes e poderosos para usar o acompanhamento ocular, como seleções de destino rápidas e sem esforço com suporte nos olhos e rolagem automática pelo texto com base no que o usuário olha.

Intenção do usuário

Informações sobre onde e o que um usuário examina fornece um contexto poderoso para outras entradas, como voz, mãos e controladores. Isso pode ser usado para várias tarefas. Por exemplo, o usuário pode direcionar rapidamente e sem esforço para toda a cena olhando para um holograma e dizendo "selecionar" (também ver olhar e confirmar) ou "colocar isso..."e, em seguida, olhar para onde deseja colocar o holograma e dizer "... lá". Exemplos para esse caso podem ser encontrados em Kit de Ferramentas de Realidade Misturada – Seleção de alvo com suporte ocular e Kit de Ferramentas de Realidade Misturada – Posicionamento de alvo com suporte ocular.

Além disso, um exemplo de intenção de usuário pode incluir o uso de informações sobre o que os usuários olham para aprimorar o envolvimento com agentes virtuais incorporados e hologramas interativos. Por exemplo, os agentes virtuais podem adaptar as opções disponíveis e seu comportamento, com base no conteúdo exibido no momento.

Ações implícitas

A categoria de ações implícitas está intimamente relacionada à intenção do usuário. A ideia é que hologramas ou elementos de interface do usuário reajam de forma instintiva que pode nem parecer que o usuário está interagindo com o sistema, mas sim que o sistema e o usuário estão sincronizados. Um exemplo é a rolagem automática baseada em olhar onde o usuário pode ler um texto longo que começa a rolar automaticamente quando o usuário chega à parte inferior da caixa de texto. Isso mantém o usuário no fluxo de leitura sem levantar um dedo. Um aspecto fundamental disso é que a velocidade de rolagem se adapta à velocidade de leitura do usuário.

Outro exemplo é o zoom com suporte para os olhos e o painel em que o usuário pode sentir que está mergulhando exatamente em direção ao que está focado.

Disparar e controlar a velocidade de zoom pode ser controlado pela entrada de voz ou mão, o que é importante para fornecer ao usuário a sensação de controle, evitando ser sobrecarregado. Falaremos sobre essas considerações de design mais detalhadamente abaixo. Uma vez ampliado, o usuário pode seguir sem problemas, por exemplo, o curso de uma rua para explorar seu bairro usando seu olhar para os olhos. Exemplos de demonstração para esses tipos de interações podem ser encontrados na amostra do Kit de Ferramentas de Realidade Misturada – Navegação com suporte ocular.

Outros casos de uso para ações implícitas podem incluir:

  • Notificações inteligentes: Você já se irritou com as notificações aparecendo bem no meio do seu modo de exibição? Você pode melhorar essa experiência compensando as notificações de onde o usuário está observando no momento. Isso limita as distrações e as descarta automaticamente depois que o usuário termina de ler.
  • Hologramas atentos: São hologramas que reagem de forma sutil quando são olhados. Isso pode variar de elementos de interface do usuário ligeiramente brilhantes a uma flor lentamente florescendo até um cão virtual começando a olhar para trás para o usuário e abanando sua cauda. Essa interação pode fornecer uma sensação interessante de conectividade e satisfação em seu aplicativo.

Acompanhamento de atenção

As informações sobre onde ou o que os usuários olham podem ser uma ferramenta imensamente poderosa. Ele pode ajudar a avaliar a usabilidade de designs e identificar problemas nos fluxos de trabalho para torná-los mais eficientes. A visualização e a análise de acompanhamento ocular são uma prática comum em várias áreas do aplicativo. Com o HoloLens 2, fornecemos uma nova dimensão para esse entendimento; Hologramas 3D podem ser colocados em contextos reais e avaliados adequadamente.

O Realidade Misturada Toolkit fornece exemplos básicos para registrar em log e carregar dados de acompanhamento ocular e como visualizá-los.

A Microsoft se dedica a facilitar a inovação, garantindo que os usuários tenham uma experiência informada e transparente com a forma como suas informações de acompanhamento ocular são usadas. Continuaremos a trabalhar com nossos desenvolvedores e equipes de UX para fornecer diretrizes para terceiros para garantir que as experiências sejam centralizados em torno do usuário.

Outros aplicativos nessa área podem incluir:

  • Visualização remota do olhar: Visualize o que os colaboradores remotos estão olhando. Isso pode fornecer comentários imediatos e facilitar o processamento de informações mais precisos.
  • Estudos de pesquisa de usuário: O acompanhamento de atenção pode fornecer insights sobre como os usuários percebem e se envolvem com o ambiente natural sem interferir. Isso pode ajudar os desenvolvedores a criar interações mais instintivos entre computadores humanos. O acompanhamento ocular pode fornecer informações que não são articuladas diretamente pelos participantes do estudo e podem ser facilmente perdidas pelo pesquisador.
  • Treinamento e monitoramento de desempenho: Pratique e otimize a execução de tarefas identificando gargalos com mais eficiência no fluxo de execução. O acompanhamento ocular pode fornecer informações naturais, em tempo real e objetivas para ajudar a melhorar o treinamento, a produtividade e a segurança no local de trabalho.
  • Projetar avaliações, marketing e pesquisa de consumidores: O acompanhamento ocular permite que empresas comerciais realizem estudos de marketing e consumidores em ambientes reais ou analisem o que captura a atenção de um usuário para melhorar o design de produtos ou espaços.

Outros casos de uso

  • Jogos: Você já quis ter superpoderes? Esta é a sua chance!

Você pode levitar hologramas olhando para eles.

Dispare raios laser de seus olhos, experimente em RoboRaid para HoloLens 2.

Transforme inimigos em pedra ou congele-os.

Use sua visão de raios X para explorar prédios.

O limite é sua imaginação. No entanto, cuidado para não sobrecarregar o usuário. Para saber mais, confira nossas diretrizes de design de entrada baseadas em foco nos olhos.

  • Avatares expressivos: O acompanhamento ocular ajuda em avatares 3D mais expressivos usando dados de rastreamento de olhos dinâmicos para animar os olhos do avatar e fazê-los seguir o que o usuário está olhando.

  • Entrada de texto: O acompanhamento ocular pode ser usado como uma alternativa para entrada de texto de baixo esforço, especialmente quando a fala ou as mãos estão inconvenientes para usar.


Usando o olhar para interação

Criar uma interação que aproveite o direcionamento rápido dos olhos pode ser um desafio. Como os olhos podem se mover rapidamente, se você não tiver cuidado sobre como usar a entrada de olhar para os olhos, os usuários podem achar a experiência esmagadora ou perturbadora. Mas isso vale a pena o desafio porque o acompanhamento ocular permite que você crie experiências verdadeiramente mágicas que excitarão seus usuários! Para ajudá-lo, confira nossa visão geral das principais vantagens, desafios e recomendações de design para o olhar para interação.

Soluções de fallback quando o acompanhamento ocular não está disponível

Em casos raros, os dados de acompanhamento ocular podem não estar disponíveis. Isso pode acontecer por vários motivos – os mais comuns são listados abaixo:

  • O sistema falhou ao calibrar o usuário.
  • O usuário ignorou a calibragem.
  • O usuário está calibrado, mas decidiu não conceder permissão ao aplicativo para usar os dados de acompanhamento ocular.
  • O usuário tem óculos exclusivos ou alguma condição ocular que o sistema ainda não dá suporte.
  • Fatores externos inibindo o acompanhamento visual confiável, como manchas no visor do HoloLens ou óculos, luz solar direta intensa e oclusão por causa do cabelo na frente dos olhos.

Os desenvolvedores devem garantir que haja suporte de fallback apropriado para esses usuários. Na página Acompanhamento ocular no DirectX , explicamos as APIs necessárias para detectar se os dados de rastreamento ocular estão disponíveis.

Alguns usuários podem decidir que maior privacidade é mais importante para eles do que a experiência aprimorada que o acompanhamento ocular pode fornecer, de modo que eles revogam intencionalmente o acesso aos seus dados de acompanhamento ocular. No entanto, em alguns casos, essa revogação pode não ser intencional. Se seu aplicativo usa acompanhamento ocular e essa é uma parte importante da experiência, recomendamos que você comunique isso claramente ao usuário. Explicar ao usuário como o acompanhamento ocular desbloqueia todo o potencial do aplicativo pode ajudá-lo a entender melhor o que ele está desistindo. Se o acompanhamento ocular estiver ativado, mas não estiver funcionando, ajude o usuário a identificar e resolver o problema usando a lista de verificação acima como guia. Por exemplo, se você puder detectar que o sistema dá suporte ao rastreamento ocular e o usuário estiver calibrado e tiver dado sua permissão, mas nenhum dado de rastreamento ocular for recebido, isso poderá apontar para problemas como manchas ou os olhos sendo ocluídos.

Há casos raros em que o rastreamento ocular simplesmente não funciona para alguém e não há nenhuma razão óbvia. Respeite isso permitindo que o usuário descarte ou desabilite lembretes para habilitar o acompanhamento ocular em seu aplicativo.

Recuar para aplicativos usando o olhar como um ponteiro de entrada primário

Se seu aplicativo usa o olhar como uma entrada de ponteiro para selecionar rapidamente hologramas em toda a cena, mas os dados de rastreamento ocular não estão disponíveis, recomendamos voltar ao olhar para a cabeça e mostrar o cursor de olhar para a cabeça. É recomendável usar um tempo limite (por exemplo, 500-1500 ms) para determinar se deseja alternar ou não. Essa ação impede que cursores apareçam sempre que o sistema pode perder o controle brevemente devido a movimentos rápidos nos olhos ou piscadelas e pisca. Se você for um desenvolvedor do Unity, o fallback automático para o foco de cabeça já será tratado no Realidade Misturada Toolkit. Se você for um desenvolvedor do DirectX, precisará lidar com esse comutador por conta própria.

Recuar para outros aplicativos específicos do rastreamento ocular

Seu aplicativo pode usar o olhar de uma maneira exclusiva que seja adaptada especificamente aos olhos , por exemplo, animando os olhos de um avatar ou os focos de calor de atenção baseados nos olhos que dependem de informações precisas sobre a atenção visual. Nesse tipo de caso, não há fallback claro. Se o acompanhamento ocular não estiver disponível, essas funcionalidades poderão precisar ser desabilitadas. Novamente, recomendamos que você comunique isso claramente ao usuário, que pode não saber que a funcionalidade não está funcionando.


Esta página lhe forneceu uma boa visão geral para começar a entender a função de acompanhamento ocular e entrada de olhar para o HoloLens 2. Para começar a desenvolver, confira nossas informações sobre a função de olhar para interagir com hologramas, olhar para os olhos no Unity e olhar para os olhos no DirectX.

Confira também