Olhar e confirmar

Olhar e comprometer-se é um modelo de entrada fundamental que está intimamente relacionado com a forma como interagimos com os nossos computadores usando o rato: Clique de ponto&. Nesta página, introduzimos dois tipos de entrada de olhar (olhar de cabeça e olho) e diferentes tipos de ações de compromisso. Olhar e cometer é considerado um modelo de entrada distante com manipulação indireta. É melhor usado para interagir com conteúdo holográfico que está fora de alcance.

Os auscultadores de realidade mista podem usar a posição e orientação da cabeça do utilizador para determinar o vetor da direção da cabeça. Pense no olhar como um laser apontando diretamente para a frente entre os olhos do utilizador. Esta é uma aproximação bastante grosseira de onde o utilizador está a olhar. A sua aplicação pode intersectar este raio com objetos virtuais ou reais e desenhar um cursor nesse local para que o utilizador saiba o que está a apontar.

Além do olhar da cabeça, alguns auscultadores de realidade mista, como HoloLens 2, incluem sistemas de rastreio ocular que produzem um vetor de olhar para os olhos. Isto fornece uma medição de grãos finos de onde o utilizador está a olhar. Em ambos os casos, o olhar representa um sinal importante para a intenção do utilizador. Quanto melhor o sistema puder interpretar e prever as ações pretendidas do utilizador, mais a satisfação e desempenho do utilizador melhoram.

Abaixo estão alguns exemplos para como você como um desenvolvedor de realidade mista pode beneficiar de olhar de cabeça ou olho:

  • A sua aplicação pode cruzar o olhar com os hologramas da sua cena para determinar onde está a atenção do utilizador (mais precisa com o olhar atento).
  • A sua aplicação pode canalizar gestos e pressãos de controlador com base no olhar do utilizador, o que permite ao utilizador selecionar, ativar, agarrar, deslocar ou interagir de outra forma com os seus hologramas.
  • A sua aplicação pode permitir que o utilizador coloque hologramas em superfícies do mundo real cruzando o seu raio de olhar com a malha de mapeamento espacial.
  • A sua aplicação pode saber quando o utilizador não está a olhar na direção de um objeto importante, o que pode levar a sua app a dar pistas visuais e áudio para se virar para esse objeto.

Suporte de dispositivos

Modelo de entrada HoloLens (1ª geração) HoloLens 2 Auscultadores imersivos
Olhar de cabeça e comprometer-se ✔️ Recomendado ✔️ Recomendado (terceira escolha - Ver as outras opções) ➕ Opção alternativa
Olhar de olho e comprometer-se ❌ Não disponível ✔️ Recomendado (terceira escolha - Ver as outras opções) ❌ Não disponível

Demo de design de rastreio de cabeça e olhos

Se você gostaria de ver conceitos de design head and eye tracking em ação, confira nosso design Hologramas - Head Tracking e eye tracking video demo abaixo. Quando terminar, continue para um mergulho mais detalhado em tópicos específicos.

Este vídeo foi tirado da aplicação "Designing Hologramas" HoloLens 2. Faça o download e desfrute de toda a experiência aqui.

Olhar

Olhos ou olhares de cabeça?

Há várias considerações quando confrontado com a questão de saber se deve usar o modelo de entrada "olhar para os olhos e cometer" ou "olhar de cabeça e comprometer-se". Se está a desenvolver para um auricular imersivo ou para HoloLens (1ª geração), então a escolha é simples: olhar de cabeça e comprometer-se. Se estás a desenvolver-te para HoloLens 2, a escolha torna-se um pouco mais difícil. É importante entender as vantagens e desafios que surgem com cada um deles. Compilamos alguns pro's e contra's na tabela abaixo para contrastar a cabeça vs. alvo de olhares. Isto está longe de estar completo e sugerimos aprender mais sobre o olhar atento na realidade mista aqui:

  • Rastreio de olhos no HoloLens 2: Introdução geral da nossa nova capacidade de rastreio de olhos no HoloLens 2, incluindo alguma orientação do desenvolvedor.
  • Interação olhar-olhar: Considerações de design e recomendações ao planear usar o rastreio de olhos como entrada.
Alvo de olhar de olho Alvo de olhar de cabeça
Rápido, rápido! Mais devagar
Baixo esforço (quase nenhum movimento corporal necessário) Pode ser fatigado - Possível desconforto (por exemplo, estirpe do pescoço)
Não requer um cursor, mas o feedback subtil é recomendado Requer mostrar um cursor
Sem movimentos suaves dos olhos – por exemplo, não é bom para desenhar Mais controlado e explícito
Difícil para alvos pequenos (por exemplo, botões minúsculos ou weblinks) De confiança! Grande recuo!
... ...

Quer use olhar de cabeça ou olhar para o seu modelo de entrada de olhar e compromisso, cada um vem com diferentes conjuntos de restrições de design. Estes são cobertos separadamente no olhar e comprometem-se e olham de cabeça e cometem artigos.



Cursor

Para o olhar de cabeça, a maioria das aplicações deve usar um cursor ou outra indicação auditiva/visual para dar confiança ao utilizador no que está prestes a interagir. Normalmente posiciona-se este cursor no mundo onde o seu raio de olhar de cabeça cruza primeiro um objeto, que pode ser um holograma ou uma superfície real.

Para olhar atento, recomendamos geralmente não mostrar um cursor, pois isto pode rapidamente tornar-se distraído e irritante para o utilizador. Em vez disso, destaca subtilmente os alvos visuais ou usa um cursor de olhos fraco para fornecer confiança sobre o que o utilizador está prestes a interagir. Para mais informações, consulte a nossa orientação de design para obter informações baseadas nos olhos no HoloLens 2.

An example visual cursor to show gaze
Imagem: Um cursor visual de exemplo para mostrar olhar



Consolidação

Depois de falar de diferentes maneiras de olhar para um alvo, vamos falar um pouco mais sobre a parte do compromisso no olhar e comprometer-se. Depois de direcionar um objeto ou elemento UI, o utilizador pode interagir ou clicar nele utilizando uma entrada secundária. Conhecido como o passo de confirmação do modelo de entrada.

São apoiados os seguintes métodos de compromisso:

  • Gesto de mão de toque de ar (isto é, levante a mão na sua frente e junte o seu dedo indicador e polegar)
  • Diga "selecione" ou um dos comandos de voz direcionados
  • Pressione um único botão num Clicker HoloLens
  • Prima o botão 'A' num gamepad Xbox
  • Prima o botão 'A' num controlador adaptativo Xbox

Gesto de toque de olhar e ar

A torneira de ar é um gesto de toque com a mão na vertical. Para utilizar uma torneira de ar, levante o dedo indicador para a posição pronta, depois belisque com o polegar e levante o dedo indicador de volta para a libertação. No HoloLens (1º gágeno), a torneira de ar é a entrada secundária mais comum.

Finger in the ready position
Dedo na posição pronta

Press finger down to tap or click
Pressione o dedo para baixo para tocar ou clicar

A torneira de ar também está disponível no HoloLens 2. Foi descontraído da versão original. Quase todos os tipos de pinches são agora suportados desde que a mão esteja na vertical e segurando imóvel. Isto torna muito mais fácil para os utilizadores aprenderem e usarem o gesto. Esta nova torneira de ar substitui a antiga através da mesma API, pelo que as aplicações existentes terão o novo comportamento automaticamente após a recomplagem para HoloLens 2.



Olhar e "Selecionar" comando de voz

O comando de voz é um dos principais métodos de interação na realidade mista. Fornece um poderoso mecanismo mãos-livres para controlar o sistema. Existem diferentes tipos de modelos de interação de voz:

  • O comando genérico "Selecione" que usa uma atuação de clique ou compromete-se como entrada secundária.
  • Os comandos do objeto (por exemplo, "Fechar" ou "Torná-lo maior") executam e comprometem-se a uma ação como entrada secundária.
  • Os comandos globais (por exemplo, "Vai começar") não requerem um alvo.
  • As interfaces de utilizador de conversação ou entidades como Cortana têm uma capacidade de idioma natural da IA.
  • Comandos de voz personalizados

Para saber mais sobre detalhes e uma lista completa de comandos de voz disponíveis e como usá-los, consulte a nossa orientação de comando de voz .



Gaze e HoloLens Clicker

O HoloLens Clicker é o primeiro dispositivo periférico construído especificamente para HoloLens. Está incluído com HoloLens (1ª gen) Edição de Desenvolvimento. O clicker HoloLens permite que um utilizador clique com o mínimo de movimento da mão e comprometa-se como uma entrada secundária. O Clicker HoloLens liga-se a HoloLens (1ª gen) ou HoloLens 2 utilizando Bluetooth De Baixa Energia (BTLE).

Mais informações e instruções para emparelhar o dispositivo

Imagem: HoloLens Clicker

HoloLens Clicker



Olhar e Comando Sem Fios Xbox

O Comando Sem Fios Xbox executa uma atuação de clique como entrada secundária utilizando o botão 'A'. O dispositivo está mapeado para um conjunto padrão de ações que ajudam a navegar e controlar o sistema. Se pretender personalizar o controlador, utilize a aplicação Xbox Accessories para configurar o seu Comando Sem Fios Xbox.

Como emparelhar um controlador Xbox com o seu PC

Imagem: Comando Sem Fios Xbox

Xbox Wireless Controller



Controlador Adaptativo Gaze e Xbox

Projetado principalmente para atender às necessidades dos jogadores com mobilidade limitada, o Xbox Adaptive Controller é um hub unificado para dispositivos que ajuda a tornar a realidade mista mais acessível.

O Controlador Adaptativo Xbox executa uma atuação de clique como entrada secundária utilizando o botão 'A'. O dispositivo está mapeado para um conjunto padrão de ações que ajudam a navegar e controlar o sistema. Se quiser personalizar o controlador, utilize a aplicação Xbox Accessories para configurar o seu Controlador Xbox Adaptive.

Xbox Adaptive Controller
Controlador Adaptativo Xbox

Ligação dispositivos externos, tais como interruptores, botões, suportes e joysticks para criar uma experiência de controlador personalizado que é exclusivamente sua. As entradas de botões, polegares e gatilhos são controladas com dispositivos de assistência ligados através de tomadas de 3,5 mm e portas USB.

Xbox Adaptive Controller ports
Portas do Controlador Adaptativo Xbox

Instruções para emparelhar o dispositivo

Mais informações disponíveis no site da Xbox



Gestos compósitos

Toque no ar

O gesto da torneira de ar (e os outros gestos abaixo) reage apenas a uma torneira específica. Para detetar outras torneiras, como Menu ou Grasp, a sua aplicação deve utilizar diretamente as interações de nível inferior descritas na secção de dois componentes chave acima.

Toque e mantenha

O hold é simplesmente manter a posição do dedo descendente da torneira de ar. A combinação de toque de ar e porão permite várias interações mais complexas de "clique e arrastar" quando combinadas com o movimento do braço, como pegar num objeto em vez de a ativar ou fazer interações secundárias de ratá losão, como mostrar um menu de contexto. No entanto, deve ser utilizado um cuidado ao conceber este gesto, uma vez que os utilizadores podem ser propensos a relaxar as suas posturas de mão durante qualquer gesto prolongado.

Manipulação

Os gestos de manipulação podem ser usados para mover, redimensionar ou rodar um holograma quando pretende que o holograma reaja 1:1 aos movimentos da mão do utilizador. Uma das utilizações para tais movimentos 1:1 é deixar o utilizador desenhar ou pintar no mundo. O alvo inicial para um gesto de manipulação deve ser feito por olhar ou apontar. Uma vez que a torneira e o porão começam, qualquer manipulação de objetos é manuseada por movimentos de mão, o que liberta o utilizador de olhar ao redor enquanto manipula.

Os gestos de navegação funcionam como um joystick virtual, e podem ser usados para navegar em widgets de UI, como menus radiais. Toque e segure para iniciar o gesto e, em seguida, mova a mão dentro de um cubo 3D normalizado, centrado na prensa inicial. Pode mover a mão ao longo do eixo X, Y ou Z de um valor de -1 para 1, sendo 0 o ponto de partida. A navegação pode ser usada para construir gestos contínuos de deslocamento ou zoom baseados na velocidade, semelhantes ao deslocamento de um UI 2D clicando no botão do rato médio e, em seguida, movendo o rato para cima e para baixo.

A navegação com carris refere-se à capacidade de reconhecer movimentos em determinado eixo até que um determinado limiar seja atingido nesse eixo. Isto só é útil quando o movimento em mais de um eixo é ativado numa aplicação pelo desenvolvedor, como se uma aplicação estiver configurada para reconhecer gestos de navegação através do eixo X, Y, mas também especificado eixo X com trilhos. Neste caso, o sistema reconhecerá os movimentos das mãos através do eixo X, desde que permaneçam dentro de um trilho imaginário (guia) sobre o eixo X, se o movimento da mão também ocorrer no eixo Y.

Dentro das aplicações 2D, os utilizadores podem usar gestos de navegação vertical para deslocar, zoom ou arrastar dentro da app. Isto injeta toques de dedo virtuais na aplicação para simular gestos de toque do mesmo tipo. Os utilizadores podem selecionar quais destas ações ocorrem toggling entre as ferramentas na barra acima da aplicação, quer selecionando o botão ou dizendo "<Ferramenta De arrasto/arrasto/zoom> ".

Mais informações sobre gestos compósitos

Reconhecedores de gestos

Um benefício de usar o reconhecimento de gestos é que você pode configurar um reconhecimento de gesto apenas para os gestos que o holograma atualmente direcionado pode aceitar. A plataforma só faz a desambiguação como necessário para distinguir esses gestos particularmente apoiados. Desta forma, um holograma que apenas suporta a torneira de ar pode aceitar qualquer período de tempo entre a imprensa e o lançamento, enquanto um holograma que suporta tanto a torneira como a hold pode promover a torneira até um porão após o limite do tempo de espera.

Reconhecimento de mão

HoloLens reconhece gestos com as mãos, rastreando a posição de ambas as mãos que são visíveis ao dispositivo. HoloLens vê as mãos quando estão no estado de preparação (de costas viradas para si com o dedo indicador para cima) ou o estado pressionado (de trás da mão virada para si com o dedo indicador para baixo). Quando as mãos estão noutras poses, HoloLens as ignora. Para cada mão que HoloLens deteta, pode aceder à sua posição sem orientação e ao seu estado pressionado. À medida que a mão se aproxima da borda da moldura do gesto, você também é fornecido com um vetor de direção, que você pode mostrar ao utilizador para que eles saibam mover a mão para levá-lo de volta onde HoloLens pode vê-lo.

Quadro de gesto

Para gestos no HoloLens, a mão deve estar dentro de uma moldura de gesto, num intervalo que as câmaras de deteção de gestos podem ver adequadamente, do nariz à cintura e entre os ombros. Os utilizadores precisam de ser treinados nesta área de reconhecimento, tanto para o sucesso da ação como para o seu próprio conforto. Muitos utilizadores assumirão inicialmente que o quadro de gestos deve estar dentro da sua visão através de HoloLens, e segurar os braços desconfortavelmente para interagir. Ao utilizar o clicker HoloLens, não é necessário que as mãos estejam dentro da moldura do gesto.

Para gestos contínuos em particular, existe algum risco de os utilizadores moverem as mãos para fora da moldura do gesto enquanto em gesto médio ao mover um objeto holográfico, por exemplo, e perder o resultado pretendido.

Há três coisas que deve considerar:

  • Educação do utilizador sobre a existência do quadro de gestos e limites aproximados. Isto é ensinado durante HoloLens configuração.

  • Notificar os utilizadores quando os seus gestos estão próximos ou quebrar os limites do quadro de gestos dentro de uma aplicação ao ponto de um gesto perdido levar a resultados não desejados. A investigação demonstrou as qualidades-chave de um sistema de notificação deste tipo. O HoloLens concha fornece um bom exemplo deste tipo de notificação-visual, no cursor central, indicando a direção em que está a ocorrer a passagem de fronteira.

  • As consequências de quebrar os limites da moldura do gesto devem ser minimizadas. Em geral, isto significa que o resultado de um gesto deve ser interrompido na fronteira, e não invertido. Por exemplo, se um utilizador estiver a mover algum objeto holográfico através de uma sala, o movimento deve parar quando a moldura do gesto é violada e não devolvida ao ponto de partida. O utilizador pode sentir alguma frustração, mas pode compreender mais rapidamente os limites, e não ter que reiniciar todas as suas ações pretendidas cada vez.

Ver também