Partilhar via


O que é o Mixed Reality Toolkit 2?

Toolkit de Realidade Mista


O MRTK-Unity é um projeto da Microsoft que proporciona um conjunto de componentes e funcionalidades, utilizados para acelerar o desenvolvimento de aplicações MR entre várias plataformas no Unity. Veja a seguir algumas das suas funções:

  • Fornece o sistema de entrada multiplataforma e blocos de construção para interações espaciais e interface do usuário.
  • Permite a prototipagem rápida através de simulação no editor que lhe permite ver as alterações imediatamente.
  • Opera como uma estrutura extensível que fornece aos desenvolvedores a capacidade de trocar componentes principais.
  • Suporta uma vasta gama de dispositivos:
XR SDK Plugin (Unity XR Plugin Management Plugin Providers) Dispositivos suportados
Unity OpenXR Plugin (Unity 2020 ou 2021 LTS)
(Mixed Reality OpenXR Plugin necessário para certos recursos em determinados dispositivos)
Microsoft HoloLens 2
Auriculares Windows Mixed Reality
Meta Missão
Dispositivo em execução no SteamVR via OpenXR
Plug-in do Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Headset da Windows Mixed Reality
Plugin Oculus XR (Unity 2019 ou LTS mais recente) Meta Quest (via pacote de integração Oculus)
ARCore XR Plug-in Android (via AR Foundation)
ARKit XR Plug-in iOS (via AR Foundation)
XR SDK Plugin (Unity XR Plugin Management Plugin Providers) Dispositivos suportados
Unity OpenXR Plugin (Pré-visualização em MRTK 2.6, Unity 2020 ou 2021 LTS)
(Mixed Reality OpenXR Plugin necessário para certos recursos em determinados dispositivos)
Microsoft HoloLens 2
Auriculares Windows Mixed Reality
Meta Missão
Dispositivo em execução no SteamVR via OpenXR
Plug-in do Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Headset da Windows Mixed Reality
Plugin Oculus XR (Unity 2019 ou LTS mais recente) Meta Quest (via pacote de integração Oculus)
ARCore XR Plug-in Android (via AR Foundation)
ARKit XR Plug-in iOS (via AR Foundation)

Dispositivos adicionais suportados:

  • Controlador Ultraleap Leap Motion para rastreamento de mãos

Nota

Apresentamos a prévia pública do MRTK3, o próximo capítulo do MRTK. Para obter mais informações, consulte a documentação do MRTK3.

Introdução ao MRTK

Se você é novo no desenvolvimento de MRTK ou Realidade Mista no Unity, recomendamos instalar e explorar o aplicativo de exemplo MRTK Examples Hub em seu dispositivo ou emulador.

Depois de pegar o jeito do que a Realidade Mista e o MRTK têm a oferecer, instale as ferramentas necessárias e siga nossa série de tutoriais HoloLens 2 de nível iniciante.

Quer ver o que se passa debaixo do capô?

Documentação

Notas de versão
Notas de Versão
Visão geral do MRTK
Visão geral do MRTK
Referência de API
Referência da API

Status da compilação

Filial Estado do IC Estado do Documento
main Estado do IC Estado do Documento

Áreas de destaque

Blocos de construção de UX

BotãoBotão
Um controle de botão que suporta vários métodos de entrada, incluindo a mão articulada do HoloLens 2

Controle de limitesControle de limites
Interface do usuário padrão para manipular objetos no espaço 3D

Manipulador de objetosManipulador de objetos
Script para manipular objetos com uma ou duas mãos

ArdósiaArdósia
Plano de estilo 2D que suporta rolagem com entrada de mão articulada

Teclado do sistemaTeclado do sistema
Exemplo de script de uso do teclado do sistema no Unity

InteracionávelInteracionável
Um script para tornar os objetos interacionáveis com estados visuais e suporte a temas

SolverSolucionador
Vários comportamentos de posicionamento de objetos, como tag-along, body-lock, tamanho de visão constante e magnetismo de superfície

Coleção ObjectColeção Object
Script para dispor uma matriz de objetos em uma forma tridimensional

DescriçãoTooltip
Interface do usuário de anotação com um sistema de âncora/pivô flexível, que pode ser usado para rotular controladores de movimento e objetos

Controlo de deslizeControle deslizante
Interface do usuário do controle deslizante para ajustar os valores que suportam a interação direta de rastreamento manual

Sombreador padrão MRTKSombreador padrão MRTK
O sombreador Standard do MRTK suporta vários elementos de design Fluent com desempenho

Menu de mãosMenu de mãos
Interface do usuário bloqueada manualmente para acesso rápido, usando o Solucionador de Restrições de Mão

Barra de aplicativosBarra de aplicativos
Interface do usuário para ativação manual do Controle de Limites

SugestõesPonteiros
Saiba mais sobre vários tipos de ponteiros

Visualização na ponta dos dedosVisualização na ponta dos dedos
Acessibilidade visual na ponta do dedo, o que melhora a confiança para a interação direta

Perto do MenuPerto do Menu
Interface do usuário de menu flutuante para as interações próximas

Consciência espacial IntroduçãoVisualização de consciência espacial
Faça com que seus objetos holográficos interajam com os ambientes físicos

Comando de vozComando de voz
Scripts e exemplos para integrar a entrada de fala

Indicador de progressoIndicador de progresso
Indicador visual para comunicar o processo ou operação de dados

Caixa de diálogoCaixa de diálogo
Interface do usuário para solicitar a confirmação ou confirmação do usuário

Treinador de MãoTreinador de Mão
Componente que ajuda a orientar o usuário quando o gesto não foi ensinado

Serviço de Física da MãoServiço de Física da Mão [Experimental]
O serviço de física da mão permite eventos de colisão de corpo rígido e interações com mãos articuladas

Coleção ScrollingColeção Scrolling
Uma coleção de objetos que rola nativamente objetos 3D

DocaDoca [Experimental]
O Dock permite que os objetos sejam movidos para dentro e para fora de posições predeterminadas

Eye Tracking: Seleção de alvosEye Tracking: Seleção de alvos
Combine olhos, voz e entrada de mão para selecionar hologramas de forma rápida e sem esforço em toda a sua cena

Eye Tracking: NavegaçãoEye Tracking: Navegação
Saiba como rolar texto automaticamente ou ampliar fluentemente o conteúdo focado com base no que você está vendo

Eye Tracking: Mapa de calorEye Tracking: Mapa de calor
Exemplos para registrar, carregar e visualizar o que os usuários têm visto em seu aplicativo

Ferramentas

Janela OtimizarJanela Otimizar Janela de dependênciaJanela de dependência Janela de construçãoJanela de construção Gravação de entradaGravação de entrada
Automatize a configuração de projetos de Realidade Mista para otimizações de desempenho Analise dependências entre ativos e identifique ativos não utilizados Configurar e executar um processo de compilação de ponta a ponta para aplicativos de realidade mista Gravar e reproduzir o movimento da cabeça e dados de rastreamento de mãos no editor

Exemplos de cenas

O MRTK fornece exemplos de cenas que demonstram como usar os recursos do MRTK. Você pode encontrar as cenas de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de interação manual é um ótimo lugar para começar a experimentar os blocos de construção do MRTK para interações e interface do usuário.

Exemplo de cena 2

Hub de exemplos MRTK

Com o MRTK Examples Hub, você pode tentar várias cenas de exemplo no MRTK sem criar e implantar cada cena. Você pode baixar pacotes de aplicativos pré-criados para HoloLens(x86), HoloLens 2(ARM) e fones de ouvido imersivos Windows Mixed Reality(x64) selecionando o pacote "Exemplos do Kit de Ferramentas de Realidade Mista" na MR Feature Tool. Certifique-se de usar o Windows Device Portal para instalar aplicativos no HoloLens (1ª geração). No HoloLens 2, você pode baixar e instalar o MRTK Examples Hub por meio do aplicativo da Microsoft Store.

Consulte a página Leiame do Hub de Exemplos para saber mais sobre os detalhes sobre a criação de um hub de várias cenas com o sistema de cena e o serviço de transição de cena do MRTK.

Exemplo de Hub de Cena

Exemplos de aplicativos feitos com MRTK

Tabela Periódica dos Elementos Explorador de galáxias Aplicação de exemplo do Surfaces
A Tabela Periódica dos Elementos é um aplicativo de exemplo de código aberto que demonstra como usar o sistema de entrada e os blocos de construção do MRTK para criar uma experiência de aplicativo para HoloLens e fones de ouvido imersivos. Leia a história de portabilidade: Trazendo a Tabela Periódica do aplicativo Elements para o HoloLens 2 com MRTK v2 Galaxy Explorer é um aplicativo de exemplo de código aberto que foi originalmente desenvolvido em março de 2016 como parte da campanha HoloLens 'Share Your Idea'. Galaxy Explorer foi atualizado com novos recursos para HoloLens 2, usando MRTK v2. Leia a história: A criação do Galaxy Explorer para HoloLens 2 O Surfaces é um aplicativo de amostra de código aberto para HoloLens 2 que explora como podemos criar uma sensação tátil com rastreamento de mãos visual, áudio e totalmente articulado. Consulte a sessão Microsoft MR Dev Days Learnings da aplicação Surfaces para obter a história detalhada de design e desenvolvimento.

Vídeos da sessão do Mixed Reality Dev Days 2020

MRDevDias 1 MRDevDias 3 MRDevDias 2
Tutorial sobre como criar um aplicativo MRTK simples do início ao fim. Saiba mais sobre os conceitos de interação e os recursos multiplataforma do MRTK. Aprofunde-se nos blocos de construção de UX do MRTK que ajudam você a construir belas experiências de realidade mista. Uma introdução às ferramentas de desempenho, tanto no MRTK quanto no externo, bem como uma visão geral do MRTK Standard Shader.

Veja Mixed Reality Dev Days para explorar mais vídeos de sessão.

Envolva-se com a comunidade

  • Junte-se à conversa em torno do MRTK no Slack. Você pode participar da comunidade do Slack através do remetente automático do convite.

  • Faça perguntas sobre como usar o MRTK no estouro de pilha usando a tag MRTK .

  • Procure problemas conhecidos ou arquive um novo problema se encontrar algo quebrado no código MRTK.

  • Para perguntas sobre como contribuir para o MRTK, acesse o canal do kit de ferramentas de realidade mista no slack.

Este projeto adotou o Código de Conduta Open Source da Microsoft. Para mais informações, veja as Perguntas Frequentes do Código de Conduta ou contacte opencode@microsoft.com com quaisquer questões ou comentários adicionais.

Recursos úteis sobre o Centro de Desenvolvimento de Realidade Mista

DetetarDescubra EstruturarDesenho ProgramarDesenvolver Distribuir)Distribuir
Aprenda a criar experiências de realidade mista para HoloLens e headsets imersivos (VR). Obtenha guias de design. Crie a interface do usuário. Aprenda interações e entradas. Obtenha guias de desenvolvimento. Aprenda a tecnologia. Compreender a ciência. Prepare seu aplicativo para outras pessoas e considere criar um iniciador 3D.

Recursos úteis no Azure

Spatial Anchors
Âncoras espaciais
Serviços de VozServiços de Fala Serviços de ImagemServiços de visão
O Spatial Anchors é um serviço multiplataforma que permite criar experiências de Realidade Mista usando objetos que persistem sua localização entre dispositivos ao longo do tempo. Descubra e integre recursos de fala com tecnologia do Azure, como conversão de fala em texto, reconhecimento de alto-falante ou tradução de fala em seu aplicativo. Identifique e analise seu conteúdo de imagem ou vídeo usando os Serviços de Visão, como visão computacional, deteção de rosto, reconhecimento de emoções ou indexador de vídeo.

Como contribuir

Saiba como você pode contribuir para o MRTK no Contributing.

Obter ajuda

Se você tiver problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, existem alguns recursos que podem ajudar:

  • Para relatórios de bugs, registre um problema no repositório GitHub.
  • Em caso de dúvidas, entre em contato pelo StackOverflow ou pelo canal mixed-reality-toolkit no Slack. Você pode participar da comunidade do Slack através do remetente automático do convite.