O que é o Mixed Reality Toolkit 2?
O MRTK-Unity é um projeto da Microsoft que proporciona um conjunto de componentes e funcionalidades, utilizados para acelerar o desenvolvimento de aplicações MR entre várias plataformas no Unity. Veja a seguir algumas das suas funções:
- Fornece o sistema de entrada multiplataforma e blocos de construção para interações espaciais e interface do usuário.
- Permite a prototipagem rápida através de simulação no editor que lhe permite ver as alterações imediatamente.
- Opera como uma estrutura extensível que fornece aos desenvolvedores a capacidade de trocar componentes principais.
- Suporta uma vasta gama de dispositivos:
| XR SDK Plugin (Unity XR Plugin Management Plugin Providers) | Dispositivos suportados |
|---|---|
| Unity OpenXR Plugin (Unity 2020 ou 2021 LTS) (Mixed Reality OpenXR Plugin necessário para certos recursos em determinados dispositivos) |
Microsoft HoloLens 2 Auriculares Windows Mixed Reality Meta Missão Dispositivo em execução no SteamVR via OpenXR |
| Plug-in do Windows XR | Microsoft HoloLens Microsoft HoloLens 2 Headset da Windows Mixed Reality |
| Plugin Oculus XR (Unity 2019 ou LTS mais recente) | Meta Quest (via pacote de integração Oculus) |
| ARCore XR Plug-in | Android (via AR Foundation) |
| ARKit XR Plug-in | iOS (via AR Foundation) |
| XR SDK Plugin (Unity XR Plugin Management Plugin Providers) | Dispositivos suportados |
|---|---|
| Unity OpenXR Plugin (Pré-visualização em MRTK 2.6, Unity 2020 ou 2021 LTS) (Mixed Reality OpenXR Plugin necessário para certos recursos em determinados dispositivos) |
Microsoft HoloLens 2 Auriculares Windows Mixed Reality Meta Missão Dispositivo em execução no SteamVR via OpenXR |
| Plug-in do Windows XR | Microsoft HoloLens Microsoft HoloLens 2 Headset da Windows Mixed Reality |
| Plugin Oculus XR (Unity 2019 ou LTS mais recente) | Meta Quest (via pacote de integração Oculus) |
| ARCore XR Plug-in | Android (via AR Foundation) |
| ARKit XR Plug-in | iOS (via AR Foundation) |
Dispositivos adicionais suportados:
- Controlador Ultraleap Leap Motion para rastreamento de mãos
Nota
Apresentamos a prévia pública do MRTK3, o próximo capítulo do MRTK. Para obter mais informações, consulte a documentação do MRTK3.
Introdução ao MRTK
Se você é novo no desenvolvimento de MRTK ou Realidade Mista no Unity, recomendamos instalar e explorar o aplicativo de exemplo MRTK Examples Hub em seu dispositivo ou emulador.
Depois de pegar o jeito do que a Realidade Mista e o MRTK têm a oferecer, instale as ferramentas necessárias e siga nossa série de tutoriais HoloLens 2 de nível iniciante.
Quer ver o que se passa debaixo do capô?
Documentação
 Notas de Versão |
 Visão geral do MRTK |
 Referência da API |
|---|
Status da compilação
| Filial | Estado do IC | Estado do Documento |
|---|---|---|
main |
Áreas de destaque
Blocos de construção de UX
Botão
Um controle de botão que suporta vários métodos de entrada, incluindo a mão articulada do HoloLens 2
Controle de limites
Interface do usuário padrão para manipular objetos no espaço 3D
Manipulador de objetos
Script para manipular objetos com uma ou duas mãos
Ardósia
Plano de estilo 2D que suporta rolagem com entrada de mão articulada
Teclado do sistema
Exemplo de script de uso do teclado do sistema no Unity
Interacionável
Um script para tornar os objetos interacionáveis com estados visuais e suporte a temas
Solucionador
Vários comportamentos de posicionamento de objetos, como tag-along, body-lock, tamanho de visão constante e magnetismo de superfície
Coleção Object
Script para dispor uma matriz de objetos em uma forma tridimensional
Tooltip
Interface do usuário de anotação com um sistema de âncora/pivô flexível, que pode ser usado para rotular controladores de movimento e objetos
Controle deslizante
Interface do usuário do controle deslizante para ajustar os valores que suportam a interação direta de rastreamento manual
Sombreador padrão MRTK
O sombreador Standard do MRTK suporta vários elementos de design Fluent com desempenho
Menu de mãos
Interface do usuário bloqueada manualmente para acesso rápido, usando o Solucionador de Restrições de Mão
Barra de aplicativos
Interface do usuário para ativação manual do Controle de Limites
Ponteiros
Saiba mais sobre vários tipos de ponteiros
Visualização na ponta dos dedos
Acessibilidade visual na ponta do dedo, o que melhora a confiança para a interação direta
Perto do Menu
Interface do usuário de menu flutuante para as interações próximas
Visualização de consciência espacial
Faça com que seus objetos holográficos interajam com os ambientes físicos
Comando de voz
Scripts e exemplos para integrar a entrada de fala
Indicador de progresso
Indicador visual para comunicar o processo ou operação de dados
Caixa de diálogo
Interface do usuário para solicitar a confirmação ou confirmação do usuário
Treinador de Mão
Componente que ajuda a orientar o usuário quando o gesto não foi ensinado
Serviço de Física da Mão [Experimental]
O serviço de física da mão permite eventos de colisão de corpo rígido e interações com mãos articuladas
Coleção Scrolling
Uma coleção de objetos que rola nativamente objetos 3D
Doca [Experimental]
O Dock permite que os objetos sejam movidos para dentro e para fora de posições predeterminadas
Eye Tracking: Seleção de alvos
Combine olhos, voz e entrada de mão para selecionar hologramas de forma rápida e sem esforço em toda a sua cena
Eye Tracking: Navegação
Saiba como rolar texto automaticamente ou ampliar fluentemente o conteúdo focado com base no que você está vendo
Eye Tracking: Mapa de calor
Exemplos para registrar, carregar e visualizar o que os usuários têm visto em seu aplicativo
Ferramentas
 Janela Otimizar |
 Janela de dependência |
 Janela de construção |
 Gravação de entrada |
|---|---|---|---|
| Automatize a configuração de projetos de Realidade Mista para otimizações de desempenho | Analise dependências entre ativos e identifique ativos não utilizados | Configurar e executar um processo de compilação de ponta a ponta para aplicativos de realidade mista | Gravar e reproduzir o movimento da cabeça e dados de rastreamento de mãos no editor |
Exemplos de cenas
O MRTK fornece exemplos de cenas que demonstram como usar os recursos do MRTK. Você pode encontrar as cenas de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de interação manual é um ótimo lugar para começar a experimentar os blocos de construção do MRTK para interações e interface do usuário.
Hub de exemplos MRTK
Com o MRTK Examples Hub, você pode tentar várias cenas de exemplo no MRTK sem criar e implantar cada cena. Você pode baixar pacotes de aplicativos pré-criados para HoloLens(x86), HoloLens 2(ARM) e fones de ouvido imersivos Windows Mixed Reality(x64) selecionando o pacote "Exemplos do Kit de Ferramentas de Realidade Mista" na MR Feature Tool. Certifique-se de usar o Windows Device Portal para instalar aplicativos no HoloLens (1ª geração). No HoloLens 2, você pode baixar e instalar o MRTK Examples Hub por meio do aplicativo da Microsoft Store.
Consulte a página Leiame do Hub de Exemplos para saber mais sobre os detalhes sobre a criação de um hub de várias cenas com o sistema de cena e o serviço de transição de cena do MRTK.
Exemplos de aplicativos feitos com MRTK
 |
 |
 |
|---|---|---|
| A Tabela Periódica dos Elementos é um aplicativo de exemplo de código aberto que demonstra como usar o sistema de entrada e os blocos de construção do MRTK para criar uma experiência de aplicativo para HoloLens e fones de ouvido imersivos. Leia a história de portabilidade: Trazendo a Tabela Periódica do aplicativo Elements para o HoloLens 2 com MRTK v2 | Galaxy Explorer é um aplicativo de exemplo de código aberto que foi originalmente desenvolvido em março de 2016 como parte da campanha HoloLens 'Share Your Idea'. Galaxy Explorer foi atualizado com novos recursos para HoloLens 2, usando MRTK v2. Leia a história: A criação do Galaxy Explorer para HoloLens 2 | O Surfaces é um aplicativo de amostra de código aberto para HoloLens 2 que explora como podemos criar uma sensação tátil com rastreamento de mãos visual, áudio e totalmente articulado. Consulte a sessão Microsoft MR Dev Days Learnings da aplicação Surfaces para obter a história detalhada de design e desenvolvimento. |
Vídeos da sessão do Mixed Reality Dev Days 2020
 |
 |
 |
|---|---|---|
| Tutorial sobre como criar um aplicativo MRTK simples do início ao fim. Saiba mais sobre os conceitos de interação e os recursos multiplataforma do MRTK. | Aprofunde-se nos blocos de construção de UX do MRTK que ajudam você a construir belas experiências de realidade mista. | Uma introdução às ferramentas de desempenho, tanto no MRTK quanto no externo, bem como uma visão geral do MRTK Standard Shader. |
Veja Mixed Reality Dev Days para explorar mais vídeos de sessão.
Envolva-se com a comunidade
Junte-se à conversa em torno do MRTK no Slack. Você pode participar da comunidade do Slack através do remetente automático do convite.
Faça perguntas sobre como usar o MRTK no estouro de pilha usando a tag MRTK .
Procure problemas conhecidos ou arquive um novo problema se encontrar algo quebrado no código MRTK.
Para perguntas sobre como contribuir para o MRTK, acesse o canal do kit de ferramentas de realidade mista no slack.
Este projeto adotou o Código de Conduta Open Source da Microsoft. Para mais informações, veja as Perguntas Frequentes do Código de Conduta ou contacte opencode@microsoft.com com quaisquer questões ou comentários adicionais.
Recursos úteis sobre o Centro de Desenvolvimento de Realidade Mista
 Descubra |
 Desenho |
 Desenvolver |
 Distribuir |
|---|---|---|---|
| Aprenda a criar experiências de realidade mista para HoloLens e headsets imersivos (VR). | Obtenha guias de design. Crie a interface do usuário. Aprenda interações e entradas. | Obtenha guias de desenvolvimento. Aprenda a tecnologia. Compreender a ciência. | Prepare seu aplicativo para outras pessoas e considere criar um iniciador 3D. |
Recursos úteis no Azure
 Âncoras espaciais |
 Serviços de Fala |
 Serviços de visão |
|---|---|---|
| O Spatial Anchors é um serviço multiplataforma que permite criar experiências de Realidade Mista usando objetos que persistem sua localização entre dispositivos ao longo do tempo. | Descubra e integre recursos de fala com tecnologia do Azure, como conversão de fala em texto, reconhecimento de alto-falante ou tradução de fala em seu aplicativo. | Identifique e analise seu conteúdo de imagem ou vídeo usando os Serviços de Visão, como visão computacional, deteção de rosto, reconhecimento de emoções ou indexador de vídeo. |
Como contribuir
Saiba como você pode contribuir para o MRTK no Contributing.
Obter ajuda
Se você tiver problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, existem alguns recursos que podem ajudar:
- Para relatórios de bugs, registre um problema no repositório GitHub.
- Em caso de dúvidas, entre em contato pelo StackOverflow ou pelo canal mixed-reality-toolkit no Slack. Você pode participar da comunidade do Slack através do remetente automático do convite.