Treinador de mãos
O hand coach aciona mãos modeladas em 3D quando o sistema não deteta as mãos do utilizador. Esta funcionalidade é um componente de "ensino" que ajuda a orientar o utilizador quando o gesto não foi ensinado. Se os utilizadores não cumprirem o gesto especificado durante um período, as mãos irão fazer um ciclo com um atraso. O Técnico de mãos pode ser utilizado para representar premir um botão ou recolher um holograma.
Treinador de mãos fornecido
O modelo de interação atual representa uma grande variedade de controlos de gestos, como deslocamento, seleção de longe e quase toque. Segue-se uma lista completa dos gestos de mão existentes fornecidos no MRTK:
Exemplo de Seleção Próxima – utilizado para mostrar como selecionar botões ou fechar objetos interagiveis
Exemplo de Toque de Ar – utilizado para mostrar como selecionar objetos distantes
Exemplo de Mover um objeto no espaço Utilizado para mostrar como mover um holograma no espaço
Exemplo de Rotate-Used para mostrar como rodar hologramas ou objetos
Exemplo de Dimensionamento – utilizado para mostrar como manipular hologramas para serem maiores ou menores
Exemplo de Palma da Mão – Utilização sugerida, para apresentar os menus manumentais
Exemplo de Hand Flip – Outra forma de apresentar menus de mãos
Exemplo de Deslocamento – utilizado para deslocar uma lista ou um documento longo
Conceitos de design
Para o Hololens2, concebemos interações manuais baseadas em gestos de mão instintivos e naturais. Acreditamos que estes são intuitivos para a maioria dos utilizadores, pelo que não criámos momentos dedicados de aprendizagem de gestos. Em vez disso, criámos o manual coach para ajudar os utilizadores a saber mais sobre estes gestos se ficarem presos ou não estiverem familiarizados com as interações do holograma. Sem um momento de aprendizagem, sentimos que mostrar aos utilizadores como realizar uma ação demonstrando que seria a melhor opção. Descobrimos que os utilizadores conseguiram perceber o gesto, mas precisavam de uma pequena orientação. Se detetarmos que um utilizador não interage com um objeto durante um período, será acionado um Técnico de mãos a demonstrar o posicionamento correto da mão e do dedo.
Intuitivo
Ao animar as mãos, deve ser óbvio e não deve causar confusão. A animação manual é uma representação do gesto que está a tentar pedir ao utilizador para compreender.
Por exemplo, se quiser que um utilizador prima um botão, será acionada uma mão a premir um botão.
Hand Coach demonstrando Quase Tocar numa Jóia
Dimensionamento manual
Testámos vários tamanhos de mão com os menus de IU e sentimos que se as mãos fossem verdadeiras ao tamanho, dava uma sensação ameaçadora. Se eram muito pequenos, era difícil ver e entender o gesto.
Voz e mãos
Não espere que os utilizadores possam ouvir um conjunto de instruções através do voice over e watch instruções diferentes através do Hand coach. Sequenciar as instruções para ajudar os utilizadores a concentrarem-se versus competir pela sua atenção para reduzir a sobrecarga sensorial.
Posso criar o meu próprio?
Sim! Encorajamo-lo a criar o seu próprio gesto exclusivo para o seu jogo e a contribuir de volta para a comunidade! Fornecemos um ficheiro Maya de uma mão manipulada que pode ser utilizada para a sua aplicação, que pode ser transferida aqui: Transfira HandCoach_MRTK.zip
Exemplo de mão animada a espetar uma caixa em Maya
Ferramenta de criação recomendada
Entre os artistas 3D, muitos optam por utilizar o Maya do Autodesk, que pode utilizar o HoloLens para transformar a forma como os recursos são criados. O ficheiro hands fornecido é um Ficheiro Binário Maya, pelo que é recomendado utilizar Maya para animar e exportar as mãos. Se preferir utilizar outro programa 3D, eis um . FBX: transfira HandCoachMRTK_FBX.zip para criar a configuração do seu próprio controlador.
Se utilizar o ficheiro maya hand transferível fornecido, é sugerido reduzir verticalmente as mãos em unidade para 0,6.
Mãos Manipuladas
Especificações Técnicas
- O Ficheiro com duas mãos está disponível no formato Maya Ascii
- A Direita e a Esquerda estão disponíveis no formato Binário Maya
- Defina o seu ficheiro Maya para 24 FPS
- No ficheiro, existe uma mão esquerda e direita, que pode ser utilizada para gestos com duas mãos ou com uma mão única. A mão direita só estará visível por predefinição.
- Sugere-se que deixe uma memória intermédia de cerca de 10 fotogramas no início e no fim para desvanecimentos
- Se animar um objeto com um destino especificado, a melhor prática é animar para uma caixa Predefinida ou Nulo.
- Se a mão estiver a animar um objeto físico, como uma caixa, a melhor prática é não animar a tradução em Maio, mas esperar para o animar no Unity ou no Código.
- A Animação Visível deve ser de 1,5 segundos para que quaisquer informações significativas sejam transmitidas
- Quando se sentir satisfeito com a animação:
- Selecionar todas as articulações e molduras de teclas de cozedura
- Eliminar os Controladores, Selecionar as articulações e a malha e exportar como um FBX
- Se existirem Múltiplas Animações, pode utilizar o Exportador de Jogos incorporado da Maya: https://knowledge.autodesk.com/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2015/ENU/Maya/files/Game-Exporter-htm.html
Exportar a partir de Maya
Depois de estar satisfeito com a animação
Selecionar todas as juntas: Selecionar > Hierarquia
Asse a animação: Mude para Animação de Atalho de Teclas > de Animação >
Eliminar a Plataforma do Controlador: > MainR_Grp ou MainL_Grp
Exportar como FBX: Selecione JNT + Mesh: Seleção de Exportação de Ficheiros > (caixa de opção) > Exportar Seleção
Ao exportar como um FBX e trazido para o Unity, reduza as mãos para 0,6. Descobrimos que este era o equilíbrio perfeito para mostrar as mãos.
Definições do Unity para HandCoach_R pré-fabricada encontrada no MRTK
Implementar As Mãos no seu projeto do Unity
Melhores práticas
Sugere-se que reduza as mãos em unidade para 0,6
As mãos devem ser reproduzidas duas vezes e, se não forem concluídas, continuamente em ciclo até que o gesto seja concluído. As mãos devem ser looped duas vezes para garantir que o utilizador teve tempo para se registar e ver o gesto. As mãos devem desvanecer-se entre ciclos.
Se as mãos do utilizador estiverem visíveis pelas câmaras HL2, mas os utilizadores não estiverem a fazer a interação necessária, as mãos aparecerão após 10 segundos.
Se as mãos do utilizador não estiverem visíveis pelas câmaras HL2, as mãos serão apresentadas após 5 segundos.
Se as mãos do utilizador forem visivelmente controladas pelas câmaras HL2 no meio da animação, a animação será concluída e desvanecido.
Se estiver a incluir o voice over, sugerimos que corresponda ao gesto da mão.
Se ensinou as mãos pelo menos uma vez, repita apenas o gesto se for detetado que o utilizador está bloqueado.
Se posições específicas de dedo/mão forem críticas, certifique-se de que os utilizadores conseguem ver claramente estas nuances na animação. Experimente balançar as mãos para que as partes mais importantes fiquem claramente visíveis.
Se notar distorções nas mãos, tem de aceder às definições de Qualidade do Unity para aumentar o número de ossos. Aceda a Editar > Definições do Projeto Definições > de Projeto Qualidade > Outros > Pesos de Mistura. Certifique-se de que "4 ossos" estão selecionados para ver As Articulações Suaves.
O que evitar
- Dimensionar as Mãos demasiado grandes
- Colocar as Mãos demasiado perto do utilizador
- As mãos só devem ser ensinadas uma vez. Sobre o ensino pode causar confusão e confusão
- Trazendo-o para o Unity, transfira o MRTK mais recente aqui: https://github.com/microsoft/MixedRealityToolkit-Unity
- Material: Teaching_Hand2
- Scripts: Veja as diretrizes do MRTK para o técnico manual do MRTK
- Definição por projeto
- Cenário definido como UWP: pode encontrar instruções no artigo Configurar um novo projeto OpenXR com MRTK .