Olhar e confirmar
Olhar e consolidar é um modelo de entrada fundamental que está intimamente relacionado com a forma como estamos a interagir com os nossos computadores com o rato: aponte & clique. Nesta página, introduzimos dois tipos de entrada de olhar fixo (olhar e olhar) e diferentes tipos de ações de consolidação. Olhar e consolidar é considerado um modelo de entrada distante com manipulação indireta. É melhor utilizado para interagir com conteúdos holográficos que estão fora de alcance.
Os headsets de realidade mista podem utilizar a posição e a orientação da cabeça do utilizador para determinar o vetor de direção da cabeça. Pense no olhar como um laser a apontar diretamente entre os olhos do utilizador. Trata-se de uma aproximação bastante grosseira de onde o utilizador está a procurar. A sua aplicação pode interseccionar este raio com objetos virtuais ou reais e desenhar um cursor nessa localização para que o utilizador saiba o que está a direcionar.
Além do olhar para a cabeça, alguns headsets de realidade mista, como HoloLens 2, incluem sistemas de controlo ocular que produzem um vetor de olhar para os olhos. Isto fornece uma medição detalhada do local onde o utilizador está a procurar. Em ambos os casos, o olhar atento representa um sinal importante para a intenção do utilizador. Quanto melhor o sistema conseguir interpretar e prever as ações pretendidas do utilizador, mais a satisfação do utilizador e o desempenho melhoram.
Seguem-se alguns exemplos de como, enquanto programador de realidade mista, pode beneficiar de olhar para a cabeça ou olhar:
- A sua aplicação pode intercalar o olhar com os hologramas na sua cena para determinar onde está a atenção do utilizador (mais precisa com olhar para os olhos).
- A sua aplicação pode canalizar gestos e premir comandos com base no olhar do utilizador, o que permite que o utilizador selecione, ative, agarre, desloque ou interaja de outra forma com os hologramas.
- A sua aplicação pode permitir que o utilizador coloque hologramas em superfícies do mundo real ao interseccionar o seu raio de olhar com a malha de mapeamento espacial.
- A sua aplicação pode saber quando o utilizador não está a olhar na direção de um objeto importante, o que pode levar a sua aplicação a dar ajudas visuais e de áudio para se virar para esse objeto.
Suporte de dispositivos
| Modelo de entrada | HoloLens (1.ª geração) | HoloLens 2 | Headsets envolventes |
| Olhar atento e consolidar | ✔️ Recomendado | ✔️ Recomendado (terceira opção – ver as outras opções) | ➕ Opção alternativa |
| Olhar e consolidar | ❌ Não disponível | ✔️ Recomendado (terceira opção – ver as outras opções) | ❌ Não disponível |
Demonstração de conceitos de design de controlo de cabeças e olhos
Se quiser ver os conceitos de estrutura do Head and Eye Tracking em ação, consulte a nossa demonstração de vídeo Designing Holograms - Head Tracking e Eye Tracking abaixo. Quando terminar, continue para obter uma descrição mais detalhada sobre tópicos específicos.
Este vídeo foi retirado da aplicação "Designing Holograms" HoloLens 2. Transfira e desfrute da experiência completa aqui.
Olhar
Olhar ou olhar para a cabeça?
Existem várias considerações quando confrontados com a questão de saber se deve utilizar o modelo de entrada "olhar e consolidar" ou "olhar para a cabeça e consolidar". Se estiver a desenvolver um headset envolvente ou para o HoloLens (1.ª geração), a escolha é simples: Olhar para a cabeça e consolidar. Se estiveres a desenvolver-te para HoloLens 2, a escolha torna-se um pouco mais difícil. É importante compreender as vantagens e os desafios que surgem com cada um deles. Compilámos alguns prós e contras largos na tabela abaixo para contrastar a segmentação de cabeça vs. olhar para os olhos. Isto está longe de estar concluído e sugerimos que saiba mais sobre a segmentação de olhares na realidade mista aqui:
- Controlo ocular sobre HoloLens 2: introdução geral da nossa nova capacidade de controlo ocular no HoloLens 2 incluindo algumas orientações para programadores.
- Interação atenta: considerações e recomendações de design ao planear utilizar o controlo ocular como entrada.
| Segmentação de olhar para os olhos | Filtragem de olhar para a cabeça |
| Rápido! | Mais lenta |
| Baixo esforço (quase todos os movimentos do corpo necessários) | Pode ser fatigador - Possível desconforto (por exemplo, tensão no pescoço) |
| Não requer um cursor, mas recomenda-se comentários subtis | É necessário mostrar um cursor |
| Sem movimentos suaves nos olhos – por exemplo, não é bom para desenhar | Mais controlado e explícito |
| Difícil para destinos pequenos (por exemplo, botões minúsculos ou weblinks) | É fiável! Grande contingência! |
| ... | ... |
Quer utilize o olhar atento ou o olhar para o seu modelo de entrada de olhar e consolidação, cada um inclui diferentes conjuntos de restrições de design. Estes são abordados separadamente nos artigos de análise e consolidação e de olhar para a cabeça e consolidação .
Cursor
Para olhar para a cabeça, a maioria das aplicações deve utilizar um cursor ou outra indicação auditiva/visual para dar confiança ao utilizador no que está prestes a interagir.
Normalmente, posiciona este cursor no mundo onde o raio de olhar de cabeça se cruza primeiro com um objeto, que pode ser um holograma ou uma superfície do mundo real.
Para olhar para os olhos, geralmente recomendamos que não mostre um cursor, uma vez que isto pode tornar-se rapidamente distrativo e irritante para o utilizador.
Em vez disso, realce subtilmente os destinos visuais ou utilize um cursor fraco para fornecer confiança sobre o que o utilizador está prestes a interagir. Para obter mais informações, consulte a nossa documentação de orientação de conceção para obter informações sobre HoloLens 2.
Imagem: um cursor visual de exemplo para mostrar o olhar
Consolidação
Depois de falarmos de diferentes formas de olhar para um destino, vamos falar um pouco mais sobre a parte de consolidação em olhar e consolidar. Depois de filtrar um objeto ou elemento de IU, o utilizador pode interagir ou clicar no mesmo com uma entrada secundária. Conhecido como o passo de confirmação do modelo de entrada.
São suportados os seguintes métodos de consolidação:
- Gesto de toque no ar (ou seja, levante a mão à sua frente e reúna o dedo indicador e o polegar)
- Diga "selecionar" ou um dos comandos de voz de destino
- Premir um único botão num HoloLens Clicker
- Premir o botão "A" num gamepad da Xbox
- Premir o botão "A" num comando adaptável xbox
Gesto de olhar e toque de ar
O toque de ar é um gesto de toque com a mão na vertical. Para utilizar um toque de ar, levante o dedo indicador para a posição pronta, aproxime o dedo com o polegar e levante o dedo indicador para cima para soltar. No HoloLens (1.ª geração), o toque de ar é a entrada secundária mais comum.
Dedo na posição pronta
Prima o dedo para baixo para tocar ou clicar em
O toque de ar também está disponível no HoloLens 2. Foi descontraído da versão original. Quase todos os tipos de pinches são agora suportados desde que a mão esteja na vertical e a manter-se imóvel. Isto torna muito mais fácil para os utilizadores aprenderem e utilizarem o gesto. Este novo toque de ar substitui o antigo através da mesma API, pelo que as aplicações existentes terão o novo comportamento automaticamente após a recompilação para HoloLens 2.
Comando de voz Olhar e "Selecionar"
Os comandos de voz são um dos principais métodos de interação na realidade mista. Fornece um poderoso mecanismo mãos-livres para controlar o sistema. Existem diferentes tipos de modelos de interação por voz:
- O comando genérico "Selecionar" que utiliza uma actuação de clique ou consolidação como uma entrada secundária.
- Os comandos de objeto (por exemplo, "Fechar" ou "Aumentar") executam e consolidam uma ação como uma entrada secundária.
- Os comandos globais (por exemplo, "Ir para iniciar") não requerem um destino.
- Interfaces de utilizador de conversação ou entidades como a Cortana têm uma capacidade de linguagem natural de IA.
- Comandos de voz personalizados
Para saber mais sobre os detalhes e uma lista completa dos comandos de voz disponíveis e como utilizá-los, consulte a nossa documentação de orientação de comandos de voz .
Gaze e HoloLens Clicker
O HoloLens Clicker é o primeiro dispositivo periférico criado especificamente para o HoloLens. Está incluído no HoloLens (1.ª geração) Development Edition. O HoloLens Clicker permite que um utilizador clique com um movimento de mão mínimo e consolide como uma entrada secundária. O HoloLens Clicker liga-se ao HoloLens (1.ª geração) ou HoloLens 2 com Bluetooth Low Energy (BTLE).
Mais informações e instruções para emparelhar o dispositivo
Imagem: HoloLens Clicker
Olhar e Comando Sem Fios Xbox
O Comando Sem Fios Xbox executa uma actuação de clique como uma entrada secundária com o botão "A". O dispositivo está mapeado para um conjunto predefinido de ações que ajudam a navegar e controlar o sistema. Se quiser personalizar o comando, utilize a aplicação Acessórios Xbox para configurar o seu Comando Sem Fios Xbox.
Como emparelhar um comando Xbox com o seu PC
Imagem: Comando Sem Fios Xbox
Gaze e Xbox Adaptive Controller
Concebido principalmente para satisfazer as necessidades dos jogadores com mobilidade limitada, o Xbox Adaptive Controller é um hub unificado para dispositivos que ajuda a tornar a realidade mista mais acessível.
O Comando Adaptativo xbox executa uma actuação de clique como uma entrada secundária com o botão "A". O dispositivo está mapeado para um conjunto predefinido de ações que ajudam a navegar e controlar o sistema. Se quiser personalizar o comando, utilize a aplicação Acessórios Xbox para configurar o Seu Controlador Adaptativo Xbox.
Xbox Adaptive Controller
Ligue dispositivos externos, como comutadores, botões, montagens e joysticks, para criar uma experiência de controlador personalizado exclusivamente sua. As entradas de botão, thumbstick e acionador são controladas com dispositivos de apoio ligados através de tomadas de 3,5 mm e portas USB.
Portas do Xbox Adaptive Controller
Instruções para emparelhar o dispositivo
Mais informações disponíveis no site xbox
Gestos compostos
Toque no ar
O gesto de toque de ar (e os outros gestos abaixo) reage apenas a um toque específico. Para detetar outros toques, como Menu ou Apreensão, a aplicação tem de utilizar diretamente as interações de nível inferior descritas na secção dois gestos de componente chave acima.
Toque sem soltar
A suspensão está simplesmente a manter a posição do dedo descendente da torneira de ar. A combinação de toque de ar e suspensão permite várias interações mais complexas de "clicar e arrastar" quando combinadas com o movimento do braço, como recolher um objeto em vez de o ativar ou interações secundárias de mousedown, como mostrar um menu de contexto. No entanto, deve ser utilizada atenção ao conceber este gesto, uma vez que os utilizadores podem ser propensos a relaxar as suas posturas de mão durante qualquer gesto prolongado.
Manipulação
Os gestos de manipulação podem ser utilizados para mover, redimensionar ou rodar um holograma quando pretende que o holograma reaja 1:1 aos movimentos das mãos do utilizador. Uma utilização para estes movimentos 1:1 é permitir que o utilizador desenhe ou pinte no mundo. A segmentação inicial para um gesto de manipulação deve ser feita através de olhar ou apontar. Quando o toque e a suspensão são iniciados, qualquer manipulação de objetos é processada por movimentos manípulos, o que liberta o utilizador de olhar à sua volta enquanto manipula.
Navegação
Os gestos de navegação funcionam como um joystick virtual e podem ser utilizados para navegar em widgets de IU, como menus radiais. Toque sem soltar para iniciar o gesto e, em seguida, mova a mão dentro de um cubo 3D normalizado, centrado em torno da imprensa inicial. Pode mover a mão ao longo do eixo X, Y ou Z de um valor de -1 para 1, sendo 0 o ponto de partida. A navegação pode ser utilizada para criar gestos de deslocamento ou zoom contínuos baseados na velocidade, semelhantes a deslocar uma IU 2D ao clicar no botão do rato do meio e, em seguida, mover o rato para cima e para baixo.
A navegação com trilhos refere-se à capacidade de reconhecer movimentos em determinado eixo até atingir um determinado limiar nesse eixo. Isto só é útil quando o movimento em mais do que um eixo é ativado numa aplicação pelo programador, como, por exemplo, se uma aplicação estiver configurada para reconhecer gestos de navegação no eixo X, Y, mas também especificou o eixo X com trilhos. Neste caso, o sistema reconhecerá movimentos manuais através do eixo X, desde que permaneçam dentro de um trilho imaginário (guia) no eixo X, se o movimento manual também ocorrer no eixo Y.
Nas aplicações 2D, os utilizadores podem utilizar gestos de navegação vertical para deslocar, ampliar ou arrastar para dentro da aplicação. Esta ação injeta toques de dedos virtuais na aplicação para simular gestos de toque do mesmo tipo. Os utilizadores podem selecionar qual destas ações ocorre ao alternar entre as ferramentas na barra acima da aplicação, selecionando o botão ou dizendo "<Scroll/Drag/Zoom> Tool".
Mais informações sobre gestos compostos
Reconhecedores de gestos
Uma das vantagens de utilizar o reconhecimento de gestos é que pode configurar um reconhecedor de gestos apenas para os gestos que o holograma atualmente visado pode aceitar. A plataforma só faz a desambiguação conforme necessário para distinguir esses gestos suportados específicos. Desta forma, um holograma que apenas suporta toque de ar pode aceitar qualquer período de tempo entre a imprensa e o lançamento, enquanto um holograma que suporte toque e mantenha premido pode promover o toque para uma suspensão após o limite de tempo de espera.
Reconhecimento manual
O HoloLens reconhece gestos de mão ao controlar a posição de ambas as mãos que estão visíveis para o dispositivo. O HoloLens vê as mãos quando estão no estado pronto (na parte de trás da mão virada para cima com o dedo indicador para cima) ou o estado premido (na parte de trás da mão virada para si com o dedo indicador para baixo). Quando as mãos estão noutras poses, o HoloLens ignora-as. Para cada mão que o HoloLens deteta, pode aceder à sua posição sem orientação e ao respetivo estado premido. À medida que a mão se aproxima da extremidade da moldura de gestos, também lhe é fornecido um vetor de direção, que pode mostrar ao utilizador para que saiba como mover a mão para a colocar de volta onde o HoloLens pode vê-la.
Moldura de gesto
Para gestos no HoloLens, a mão tem de estar dentro de uma moldura de gestos, num intervalo que as câmaras de deteção de gestos podem ver adequadamente, do nariz à cintura e entre os ombros. Os utilizadores têm de ser preparados nesta área de reconhecimento, tanto para o sucesso da ação como para o seu próprio conforto. Muitos utilizadores assumirão inicialmente que a moldura de gestos tem de estar na sua vista através do HoloLens e manter os braços desconfortavelmente para interagir. Ao utilizar o HoloLens Clicker, não é necessário que as mãos estejam dentro da moldura de gestos.
Para gestos contínuos em particular, existe algum risco de os utilizadores moverem as mãos para fora da moldura de gestos enquanto estão a meio do gesto ao moverem um objeto holográfico, por exemplo, e perderem o resultado pretendido.
Existem três aspetos que deve considerar:
Educação do utilizador sobre a existência da moldura de gestos e limites aproximados. Isto é ensinado durante a configuração do HoloLens.
Notificar os utilizadores quando os seus gestos estão a aproximar-se ou a quebrar os limites da moldura de gestos dentro de uma aplicação ao ponto de um gesto perdido levar a resultados indesejáveis. A investigação mostrou as principais qualidades de um sistema de notificação deste tipo. A shell do HoloLens fornece um bom exemplo deste tipo de notificação- elemento visual, no cursor central, que indica a direção em que a passagem de limites está a ocorrer.
As consequências de quebrar os limites da moldura de gestos devem ser minimizadas. Em geral, isto significa que o resultado de um gesto deve ser parado no limite e não invertido. Por exemplo, se um utilizador estiver a mover algum objeto holográfico através de uma sala, o movimento deve parar quando a moldura do gesto for violada e não regressar ao ponto de partida. O utilizador pode sentir alguma frustração, mas pode compreender mais rapidamente os limites e não ter de reiniciar sempre as ações pretendidas completas.