Interação baseada no olhar nos HoloLens 2
Uma das nossas novas capacidades interessantes no HoloLens 2 é o controlo ocular. Na nossa página Monitorização ocular na HoloLens 2, mencionámos a necessidade de cada utilizador passar por uma Calibragem, fornecer algumas orientações para programadores e casos de utilização realçados para monitorização ocular. A entrada de olhar para os olhos ainda é um novo tipo de entrada de utilizador e há muito a aprender.
Embora a entrada de olhar para o olhar só seja utilizada subtilmente na nossa experiência do Holographic Shell (a interface de utilizador que vê quando inicia a sua HoloLens 2), várias aplicações, como o "HoloLens Playground", apresentam excelentes exemplos sobre como a entrada de olhar para os olhos pode aumentar a magia da sua experiência holográfica. Nesta página, abordamos considerações de design para integrar entradas de olhar atento para interagir com as suas aplicações holográficas.
Ficará a saber mais sobre as principais vantagens e também os desafios únicos que vêm com a entrada de olhar para os olhos. Com base nestas, fornecemos várias recomendações de design para o ajudar a criar interfaces de utilizador satisfatórias suportadas pelo olhar atento.
Suporte de dispositivos
| Funcionalidade | HoloLens (1.ª geração) | HoloLens 2 | Headsets envolventes |
| Olhar para os olhos | ❌ | ✔️ | ❌ |
Demonstração de conceitos de design de controlo de cabeças e olhos
Se quiser ver os conceitos de estrutura do Head and Eye Tracking em ação, consulte a nossa demonstração de vídeo Designing Holograms - Head Tracking e Eye Tracking abaixo. Quando terminar, continue para obter uma descrição mais detalhada sobre tópicos específicos.
Este vídeo foi retirado da aplicação "Designing Holograms" HoloLens 2. Transfira e desfrute da experiência completa aqui.
Diretrizes de design de entrada de olhar para os olhos
Criar uma interação que tire partido da segmentação rápida dos olhos pode ser um desafio. Nesta secção, vamos resumir as principais vantagens e desafios a considerar ao conceber a sua aplicação.
Benefícios da entrada de olhar para os olhos
Apontamento de alta velocidade. O músculo ocular é o músculo que reage mais rapidamente no corpo humano.
Esforço baixo. Quase todos os movimentos físicos são necessários.
Implícito. Muitas vezes descritas pelos utilizadores como "leitura da mente", as informações sobre os movimentos oculares de um utilizador permitem que o sistema saiba qual o destino que o utilizador planeia envolver.
Canal de entrada alternativo. O olhar atento pode fornecer um poderoso contributo de apoio para a introdução de mãos e voz com base em anos de experiência dos utilizadores com base na sua coordenação mão-olho.
Atenção visual. Outra vantagem importante é a possibilidade de inferir aquilo a que um utilizador está a prestar atenção. Isto pode ajudar em várias áreas de aplicação, desde a avaliação mais eficaz de diferentes designs até à ajuda em interfaces de utilizador mais inteligentes e ajudas sociais melhoradas para a comunicação remota.
Resumindo, utilizar o olhar atento como entrada oferece um sinal de entrada contextual rápido e sem esforço. Isto é poderoso quando combinado com outras entradas, como voz e entrada manual , para confirmar a intenção do utilizador.
Desafios do olhar como entrada
Embora o olhar atento possa ser usado para criar experiências de utilizador satisfatórias, o que o faz sentir-se como um super-herói, também é importante saber no que não é bom ter em conta adequadamente isto. A lista seguinte aborda alguns desafios a considerar e como resolvê-los ao trabalhar com entradas de olhar para os olhos:
O seu olhar é "sempre ligado" No momento em que abres as tampas dos olhos, os teus olhos começam a fixar-se nas coisas no ambiente. Reagir a cada olhar que faz e emitir acidentalmente ações, uma vez que analisou algo durante demasiado tempo, resultaria numa experiência insatisfatória. Recomendamos combinar o olhar atento com um comando de voz, gesto de mão, clique com botão ou posição expandida para acionar a seleção de um destino (para obter mais informações, consulte olhar e consolidar). Esta solução também permite um modo em que o utilizador pode olhar livremente sem ficar sobrecarregado ao acionar involuntariamente algo. Este problema também deve ser considerado ao conceber comentários visuais e auditivos ao analisar um destino. Tente não sobrecarregar o utilizador com efeitos de pop-out imediatos ou sons de passagem do rato. A subtileza é fundamental. Iremos abordar algumas das melhores práticas para este assunto mais abaixo ao falar sobre recomendações de design.
Observação vs. controlo Imagine que quer endireitar precisamente uma fotografia na parede. Olha-se para os limites e o ambiente para ver se se alinha bem. Agora, imagine como o faria quando quiser utilizar o seu olhar como entrada para mover a imagem. Difícil, não é? Isto descreve a dupla função de olhar para os olhos quando é necessário tanto para a entrada como para o controlo.
Sair antes de clicar em: Para seleções de destino rápido, a pesquisa mostrou que o olhar de um utilizador pode seguir em frente antes de concluir um clique manual (por exemplo, um toque de ar). Preste especial atenção à sincronização do sinal de olhar rápido com entrada de controlo mais lenta (por exemplo, voz, mãos, controlador).
Alvos pequenos: Conhece a sensação quando tenta ler texto que é um pouco pequeno demais para ler confortavelmente? Esta sensação de tensão nos olhos pode fazer com que se sinta cansado e desgastado, porque tenta reajustar os olhos para se concentrar melhor. Esta é uma sensação que pode invocar nos seus utilizadores ao forçá-los a selecionar destinos demasiado pequenos na sua aplicação através de filtragem ocular. Para a sua conceção, para criar uma experiência agradável e confortável para os seus utilizadores, recomendamos que os destinos sejam, pelo menos, 2° em ângulo visual, de preferência maiores.
Movimentos de olhar esfarrapados Os nossos olhos executam movimentos rápidos desde a fixação à fixação. Se olharmos para os caminhos de digitalização de movimentos oculares gravados, podemos ver que parecem esfarrapados. Os seus olhos movem-se rapidamente e em saltos espontâneas em comparação com o olhar da cabeça ou os movimentos das mãos.
Controlar a fiabilidade: A precisão do controlo ocular pode degradar-se um pouco na mudança de luz à medida que os olhos se ajustam às novas condições. Embora isto não deva afetar necessariamente a conceção da aplicação, uma vez que a precisão deve estar dentro da limitação de 2°, poderá ser necessário que o utilizador volte a calibrar.
Recomendações de conceção
Segue-se uma lista de recomendações de design específicas com base nas vantagens e desafios descritos para a entrada de olhar para o olhar:
O olhar não é o mesmo que olhar para a cabeça:
Considere se os movimentos oculares rápidos mas esfarrapados se ajustam à sua tarefa de entrada: Embora os nossos movimentos oculares rápidos e esfarrapados sejam ótimos na seleção rápida de destinos em todo o nosso campo de vista, é menos aplicável para tarefas que requerem trajetórias de entrada suaves (por exemplo, anotações de desenho ou de círculo). Neste caso, deve ser preferível apontar para a mão ou para a cabeça.
Evite anexar algo diretamente ao olhar do utilizador (por exemplo, um controlo de deslize ou um cursor). Com os cursores, isto pode resultar num efeito de "cursor em fuga" devido a ligeiros desvios no sinal de olhar-olhar projetado. Com um controlo de deslize, pode entrar em conflito com a dupla função de controlar o controlo de deslize com os olhos, ao mesmo tempo que pretende verificar se o objeto está na localização correta. Para o exemplo do controlo de deslize, faz mais sentido utilizar o olhar em combinação com gestos de mão. Isto significa que o utilizador pode alternar rápida e sem esforço entre muitos controlos de deslize, levantando a mão e beliscando o polegar e o dedo indicador para o agarrar e mover. Quando a pitada é libertada, o controlo de deslize deixa de se mover. Os utilizadores podem ficar sobrecarregados e distraídos, especialmente se o sinal for impreciso para esse utilizador.
Combine o olhar atento com outras entradas: A integração do controlo ocular com outras entradas, como gestos com as mãos, comandos de voz ou pressões de botões, proporciona várias vantagens:
Permitir observação gratuita: Tendo em conta que o papel principal dos nossos olhos é observar o nosso ambiente, é importante que os utilizadores possam dar uma vista de olhos sem acionar comentários (visuais, auditivos, etc.) ou ações. Combinar o controlo ocular com outro controlo de entrada permite uma transição suave entre a observação do controlo ocular e os modos de controlo de entrada.
Fornecedor de contexto avançado: Utilizar informações sobre onde e o que o utilizador está a ver ao dizer um comando de voz ou utilizar um gesto de mão permite canalizar facilmente a entrada através do campo de vista. Por exemplo: diga "coloque isso aí" para selecionar e posicionar rapidamente e fluentemente um holograma na cena ao observar um destino e o destino pretendido.
Necessidade de sincronizar entradas multimodais: Combinar movimentos oculares rápidos com entradas mais complexas, como comandos de voz longos ou gestos de mão, corre o risco de o utilizador continuar a olhar à volta antes de o comando de entrada adicional ser concluído e reconhecido. Se criar os seus próprios controlos de entrada (por exemplo, gestos de mão personalizados), certifique-se de que regista o início desta entrada ou duração aproximada para correlacioná-lo com o que um utilizador tinha olhado no passado.
Comentários subtis para entrada de controlo ocular: É útil fornecer feedback quando um destino é analisado para indicar que o sistema está a funcionar conforme pretendido, mas deve ser mantido subtil. Isto pode incluir misturas lentas, realces visuais ou outros comportamentos de destino subtis, como câmaras lentas, como aumentar ligeiramente o tamanho do destino. Isto indica que o sistema detetou corretamente que o utilizador está a olhar para um destino sem interromper desnecessariamente o fluxo de trabalho atual do utilizador.
Evite impor movimentos oculares não naturais como entrada: Não force os utilizadores a utilizar movimentos oculares específicos (gestos de olhar) para acionar ações na sua aplicação.
Conta para imprecisões: Distinguimos dois tipos de imprecisões, que são visíveis para os utilizadores: desvio e nervosismo. A forma mais fácil de resolver um desvio é fornecer destinos suficientemente grandes para interagir. Sugere-se que utilize um ângulo visual superior a 2° como referência. Por exemplo, a miniatura tem cerca de 2° de ângulo visual quando estica o braço. Isto leva à seguinte documentação de orientação:
- Não force os utilizadores a selecionar alvos pequenos. A pesquisa mostrou que se os alvos forem suficientemente grandes e o sistema for bem concebido, os utilizadores descrevem as suas interações como sem esforço e mágicas. Se os destinos se tornarem demasiado pequenos, os utilizadores descrevem a experiência como fatigante e frustrante.
Esta página forneceu-lhe uma boa descrição geral para começar a compreender o olhar como uma entrada na realidade mista. Para começar a desenvolver, veja as nossas informações sobre o olhar atento no Unity e o olhar atento no DirectX.