Apontar e confirmar com as mãos
Apontar e consolidar com mãos é um modelo de entrada que permite aos utilizadores direcionar, selecionar e manipular conteúdo 2D e 3D fora do alcance. Esta técnica de interação "distante" é exclusiva da realidade mista porque os humanos não interagem naturalmente com o mundo real dessa forma. Por exemplo, no filme de super-herói, X-Men, a personagem Magneto pode manipular objetos distantes à distância com as mãos. Isto não é algo que os humanos possam fazer na realidade. Tanto no HoloLens (AR) como no Mixed Reality (MR), equipamos os utilizadores com este poder mágico para quebrar a restrição física do mundo real. Não só é uma experiência holográfica divertida, como também torna as interações do utilizador mais eficazes e eficientes.
Suporte de dispositivos
| Modelo de entrada | HoloLens (1.ª geração) | HoloLens 2 | Headsets envolventes |
| Apontar e confirmar com as mãos | ❌ Não suportado | ✔️ Recomendado | ✔️ Recomendado |
"Apontar e consolidar com as mãos" é uma das novas funcionalidades que utilizam o novo sistema de controlo manual articulado. Este modelo de entrada é também o modelo de entrada principal em headsets envolventes através de controladores de movimento.
Raios de mão
No HoloLens 2, criámos um raio-mão que dispara do centro da palma da mão do utilizador. Este raio é tratado como uma extensão da mão. Um cursor em forma de anel é ligado ao fim do raio para indicar a localização onde o raio se cruza com um objeto de destino. O objeto no qual o cursor chega pode, em seguida, receber comandos gesturais da mão.
Este comando gestual básico é acionado com o polegar e o dedo indicador para efetuar a ação de toque de ar. Ao utilizar o raio da mão para apontar e tocar no ar para consolidar, os utilizadores podem ativar um botão ou uma hiperligação. Com gestos mais compostos, os utilizadores podem navegar no conteúdo Web e manipular objetos 3D à distância. A estrutura visual do raio-mão também deve reagir a estes estados de ponto e consolidação, conforme descrito e mostrado abaixo:
Estado a apontar
No estado apontador , o raio é uma linha de traço e o cursor é uma forma em anel.
Estado de consolidação
No estado de consolidação , o raio transforma-se numa linha sólida e o cursor encolhe para um ponto.
Transição entre perto e longe
Em vez de utilizar gestos específicos como "apontar com o dedo indicador" para direcionar o raio, concebemos o raio para sair do centro da palma da mão dos utilizadores. Desta forma, lançámos e reservamos os Cinco Dedos para gestos mais manipuladores como beliscar e agarrar. Com este design, criamos apenas um modelo mental - o mesmo conjunto de gestos de mão são utilizados para interação próxima e distante. Pode utilizar o mesmo gesto de agarrar para manipular objetos a distâncias diferentes. A invocação dos raios é automática e baseada na proximidade da seguinte forma:
Manipulação quase
Quando um objeto está dentro do comprimento do braço (cerca de 50 cm), os raios são desativados automaticamente, incentivando a quase interação.
Manipulação de longe
Quando o objeto está mais longe do que 50 cm, os raios são ligados. A transição deve ser suave e totalmente integrada.
Interação 2D de ardósia
Uma lista 2D é um contentor holográfico que aloja conteúdos de aplicações 2D, como um browser. O conceito de design para interagir de longe com uma ardósia 2D é usar raios de mão para direcionar e tocar no ar para selecionar. Depois de filtrar com um raio de mão, os utilizadores podem tocar no ar para acionar uma hiperligação ou um botão. Podem utilizar uma mão para "tocar no ar e arrastar" para deslocar o conteúdo da ardósia para cima e para baixo. O movimento relativo de utilizar duas mãos para tocar no ar e arrastar pode ampliar e reduzir o conteúdo de ardósia.
Direcionar o raio da mão nos cantos e arestas revela a manipulação mais próxima. Ao "agarrar e arrastar" as acessibilidades de manipulação, os utilizadores podem fazer dimensionamento uniforme através das acessibilidades de canto, e podem ajustar a ardósia através das acessibilidades de aresta. Agarrar e arrastar a holobar na parte superior da ardósia 2D permite que os utilizadores movam toda a ardósia.
Clique
Deslocar
Zoom
Para manipular a ardósia 2D
- Os utilizadores apontam o raio da mão nos cantos ou arestas para revelar a maior acessibilidade de manipulação.
- Ao aplicar um gesto de manipulação na acessibilidade, os utilizadores podem fazer o dimensionamento uniforme através da acessibilidade do canto, e podem ajustar a ardósia através da acessibilidade edge.
- Ao aplicar um gesto de manipulação na barra holobar na parte superior da ardósia 2D, os utilizadores podem mover toda a ardósia.
Manipulação de objetos 3D
Na manipulação direta, existem duas formas de os utilizadores manipularem objetos 3D: manipulação baseada em acessibilidade e manipulação baseada em não-acessibilidade. No modelo de ponto e consolidação, os utilizadores podem realizar exatamente as mesmas tarefas através dos raios manos. Não é necessária aprendizagem extra.
Manipulação baseada na acessibilidade
Os utilizadores usam raios de mão para apontar e revelar a caixa delimitadora e as acessibilidades de manipulação. Os utilizadores podem aplicar o gesto de manipulação na caixa delimitadora para mover todo o objeto, nas margens para rodar e nos limites para dimensionar uniformemente.
Mover
Rodar
Dimensionamento
Manipulação não baseada em acessibilidade
Os utilizadores apontam com raios de mão para revelar a caixa delimitadora e, em seguida, aplicam diretamente gestos de manipulação na mesma. Com uma mão, a tradução e a rotação do objeto estão associadas ao movimento e orientação da mão. Com duas mãos, os utilizadores podem traduzir, dimensionar e rodar de acordo com movimentos relativos de duas mãos.
Gestos instintivos
O conceito de gestos instintivos para apontar e consolidar é semelhante ao da manipulação direta com as mãos. Os gestos que os utilizadores fazem num objeto 3D são guiados pela conceção de acessibilidades de IU. Por exemplo, um pequeno ponto de controlo pode motivar os utilizadores a beliscarem com o polegar e o dedo indicador, enquanto um utilizador poderá querer utilizar os Cinco Dedos para agarrar um objeto maior.
Objeto pequeno
Objeto médio
Objeto grande
Estrutura simétrica entre as mãos e o controlador DoF 6
O conceito de ponto e consolidação para interação distante foi criado e definido para o Portal do Mixed Reality (MRP). Neste cenário, um utilizador usa um headset envolvente e interage com objetos 3D através de controladores de movimento. Os comandos de movimento disparam raios por apontarem e manipularem objectos distantes. Existem botões nos controladores para continuar a consolidar diferentes ações. Aplicamos o modelo de interação dos raios e prendemo-los a ambas as mãos. Com este design simétrico, os utilizadores que estão familiarizados com o MRP não precisarão de aprender outro modelo de interação para apontar e manipular de longe quando utilizam HoloLens 2 e ao contrário.
Raios do controlador
Raios de mão
Raio de mão no MRTK (Mixed Reality Toolkit) para o Unity
Por predefinição, o MRTK fornece um pré-fabricador de raios manuais (DefaultControllerPointer.prefab) que tem o mesmo estado visual que o raio manual do sistema da shell. Está atribuído no perfil de Entrada do MRTK, em Ponteiros. Num headset envolvente, são utilizados os mesmos raios para os comandos de movimento.