Orientador de mão

Example: Hand coach

O hand coach dispara mãos modeladas em 3D quando o sistema não detecta as mãos do usuário. Esse recurso é um componente de "ensino" que ajuda a orientar o usuário quando o gesto não foi ensinado. Se os usuários não tiverem feito o gesto especificado por um período, as mãos farão loop com um atraso. O hand coach pode ser usado para representar pressionar um botão ou pegar um holograma.

Treinador manual fornecido

O modelo de interação atual representa uma grande variedade de controles de gesto, como rolagem, seleção distante e toque próximo. Abaixo está uma lista completa dos gestos de mão existentes fornecidos no MRTK:

Example of Near Select
Exemplo de Seleção Próxima – Usado para mostrar como selecionar botões ou fechar objetos interacionáveis

Example of Air Tap
Exemplo de Air Tap – Usado para mostrar como selecionar objetos que estão distantes

Example of Move
Exemplo de mover um objeto no espaço usado para mostrar como mover um holograma no espaço

Example of Rotate
Exemplo de Rotate-Used para mostrar como girar hologramas ou objetos

Example of Scale
Exemplo de escala- Usado para mostrar como manipular hologramas para serem maiores ou menores

Example of Palm Up
Exemplo de Palm up – Uso sugerido, para criar menus de mão

Example of HandFlip
Exemplo de Inversão de Mão – Outra maneira de criar menus de mão

Example of Scroll
Exemplo de Rolagem – Usado para rolar uma lista ou um documento longo

Conceitos de design

Para o Hololens2, projetamos interações de mão baseadas em gestos instintivos e naturais da mão. Acreditamos que eles sejam intuitivos para a maioria dos usuários, portanto, não criamos momentos dedicados de aprendizado de gestos. Em vez disso, criamos o coach de mão para ajudar os usuários a aprender sobre esses gestos se eles ficam presos ou não estão familiarizados com interações de holograma. Sem um momento de aprendizado, sentimos que mostrar aos usuários como executar uma ação demonstrando que seria a melhor opção. Descobrimos que os usuários foram capazes de descobrir o gesto, mas precisavam de um pouco de orientação. Se detectarmos que um usuário não interage com um objeto por um período, um hand coach será disparado demonstrando o posicionamento correto da mão e do dedo.

Intuitiva

Ao animar as mãos, deve ser óbvio e não deve causar confusão. A animação manual é uma representação do gesto que você está tentando solicitar que o usuário entenda.

Por exemplo, se você quiser que um usuário pressione um botão, uma mão pressionando um botão será disparada.

Example: Hand coach Near Tap
Hand Coach demonstrando Near Tapping a Gem

Escala manual

Testamos vários tamanhos de mão com os menus da interface do usuário e sentimos que se as mãos fossem verdadeiras ao tamanho, isso dava uma sensação ameaçadora. Se eles eram muito pequenos, era difícil ver e entender o gesto.

Voz sobre e mãos

Não espere que os usuários possam ouvir um conjunto de instruções por meio de voz e observar instruções diferentes por meio do Hand coach. Sequenciar suas instruções para ajudar os usuários a se concentrarem versus competirem por sua atenção para reduzir a sobrecarga sensorial.

Posso criar o meu próprio?

Sim. Incentivamos você a criar seu próprio gesto exclusivo para o seu jogo e contribuir de volta para a comunidade! Fornecemos um arquivo Maya de uma mão fraudada que pode ser usado para seu aplicativo, que pode ser baixado aqui: Baixe HandCoach_MRTK.zip

Example of Animated Hands in Maya
Exemplo de mão animada cutucando uma caixa em Maya

Ferramenta de criação recomendada

Entre os artistas 3D, muitos optam por usar o Maya do Autodesk, que pode usar HoloLens para transformar a forma como os ativos são criados. O arquivo de mãos fornecido é um Arquivo Binário Maya, portanto, é recomendável usar Maya para animar e exportar as mãos. Se você preferir usar outro programa 3D, aqui está um . FBX: Baixe HandCoachMRTK_FBX.zip para criar sua própria configuração de controlador.

Se estiver usando o arquivo manual maya para download fornecido, é sugerido reduzir verticalmente as mãos no Unity para 0,6.

Example: Hand coach rig in Maya
Mãos Manipuladas

Especificações técnicas

  • O arquivo de duas mãos está disponível no formato Maya Ascii
  • A direita e a esquerda estão disponíveis no formato Binário Maya
  • Definir o arquivo Maya como 24 FPS
  • Dentro do arquivo, há uma mão esquerda e direita, que pode ser usada para gestos com duas mãos ou mão única. A mão direita só ficará visível por padrão.
  • É sugerido deixar um buffer de cerca de 10 quadros no início e no final para fades
  • Se animar um objeto com um destino especificado, sua melhor prática será animar para uma caixa Padrão ou Null.
  • Se a mão estiver animando um objeto físico como uma caixa, sua melhor prática é não animar a tradução em Maya, mas aguardar para animá-la no Unity ou no Código.
  • A Animação Visível deve ser de 1,5 segundos para que qualquer informação significativa seja transmitida
  • Quando você se sente satisfeito com sua animação:

Exportando de Maya

Depois que você estiver satisfeito com sua animação

  • Selecionar todas as articulações: Selecionar > Hierarquia

    Example: Hierarchy in Menu

  • Asse sua animação: Alterne para animação bake da chave > de animação >

    Example: Bake Animation Menu Location

  • Excluir a plataforma do controlador: > MainR_Grp de estrutura de tópicos ou MainL_Grp

    Example: Controller Rig Menu Location

  • Exportar como FBX: selecione JNT + Mesh: Seleção de Exportação de Arquivo > (caixa de opção) > Exportar Seleção

    Example: Export selection Menu Location

    Example: Menu Location

    Example: Export Options Menu Location

Ao exportar como um FBX e trazido para o Unity, reduza as mãos para 0,6. Descobrimos que era o equilíbrio perfeito para exibir as mãos.

Example: Unity Settings
Configurações do Unity para HandCoach_R pré-fabricado encontrado no MRTK

Implementando o Hands em seu projeto do Unity

Práticas recomendadas

  • Sugere-se reduzir as mãos na unidade para 0,6

  • As mãos devem ser reproduzidas duas vezes e, se não concluídas, continuamente em loop até que o gesto seja concluído. As mãos devem ser em loop duas vezes para garantir que o usuário tenha tempo para se registrar e ver o gesto. As mãos devem esmaecer entre loops.

  • Se as mãos do usuário estiverem visíveis pelas câmeras HL2, mas os usuários não estiverem fazendo a interação necessária, as mãos aparecerão após 10 segundos.

  • Se as mãos do usuário NÃO estiverem visíveis pelas câmeras HL2, as mãos aparecerão após 5 segundos.

  • Se as mãos do usuário forem visivelmente rastreadas por câmeras HL2 no meio da animação, a animação será concluída e desaparecerá.

  • Se você estiver incluindo a narração, sugerimos que ela corresponda ao gesto da mão.

  • Se você tiver ensinado as mãos pelo menos uma vez, só repita o gesto se for detectado que o usuário está preso.

  • Se posições específicas do dedo/mão forem críticas, verifique se os usuários podem ver claramente essas nuances na animação. Tente pendurar as mãos para que as partes mais importantes fiquem claramente visíveis.

  • Se você observar distorção nas mãos, será necessário acessar as configurações de Qualidade do Unity para aumentar o número de ossos. Acesse Editar > Project Configurações > Qualidade > de Outros > Pesos de Mistura do Unity. Verifique se "4 ossos" estão selecionados para ver As Articulações Suaves.

    Example: Project Settings Window

O que evitar

Confira também