O que é Mixed Reality Toolkit 2?
O MRTK-Unity é um projeto da Microsoft que proporciona um conjunto de componentes e funcionalidades, utilizados para acelerar o desenvolvimento de aplicações MR entre várias plataformas no Unity. Veja a seguir algumas das suas funções:
- Fornece o sistema de entrada entre plataformas e blocos modulares para interações espaciais e IU.
- Permite prototipagem rápida através de simulação no editor que lhe permite ver as alterações imediatamente.
- Funciona como uma arquitetura extensível que proporciona aos programadores a capacidade de trocar componentes principais.
- Suporta uma vasta gama de dispositivos:
Plug-in XR SDK (Fornecedores de Plug-ins de Gestão de Plug-ins do Unity XR) | Dispositivos Suportados |
---|---|
Plug-in OpenXR do Unity (Unity 2020 ou 2021 LTS) (Mixed Reality Plug-in OpenXR necessário para determinadas funcionalidades em determinados dispositivos) |
Microsoft HoloLens 2 Headset da Windows Mixed Reality Meta Pedido Dispositivo em execução no SteamVR através de OpenXR |
Plug-in do Windows XR | Microsoft HoloLens Microsoft HoloLens 2 Headset da Windows Mixed Reality |
Plug-in Oculus XR (Unity 2019 ou LTS mais recente) | Meta Quest (através do Pacote de Integração Oculus) |
ARCore XR Plug-in | Android (via AR Foundation) |
ARKit XR Plug-in | iOS (via AR Foundation) |
Plug-in XR SDK (Fornecedores de Plug-ins de Gestão de Plug-ins do Unity XR) | Dispositivos Suportados |
---|---|
Plug-in OpenXR do Unity (Pré-visualização no MRTK 2.6, Unity 2020 ou 2021 LTS) (Mixed Reality Plug-in OpenXR necessário para determinadas funcionalidades em determinados dispositivos) |
Microsoft HoloLens 2 Headset da Windows Mixed Reality Meta Pedido Dispositivo em execução no SteamVR através de OpenXR |
Plug-in do Windows XR | Microsoft HoloLens Microsoft HoloLens 2 Headset da Windows Mixed Reality |
Plug-in Oculus XR (Unity 2019 ou LTS mais recente) | Meta Quest (através do Pacote de Integração Oculus) |
ARCore XR Plug-in | Android (via AR Foundation) |
ARKit XR Plug-in | iOS (via AR Foundation) |
Dispositivos adicionais suportados:
- Controlador de Movimento Bissexto Ultraleap para controlo manual
Nota
Introduzimos a pré-visualização pública do MRTK3, o próximo capítulo do MRTK. Para obter mais informações, aceda à documentação do MRTK3.
Introdução ao MRTK
Se não estiver familiarizado com o MRTK ou Mixed Reality desenvolvimento no Unity, recomendamos que instale e explore a aplicação de exemplo do Hub de Exemplos do MRTK no seu dispositivo ou emulador.
Assim que tiver o problema que o Mixed Reality e o MRTK têm para oferecer, instale as ferramentas necessárias e siga o nosso nível de principiante HoloLens 2 série de tutoriais.
Quer ver o que se passa debaixo dos bastidores?
Documentação
Notas de Versão |
Descrição Geral do MRTK |
Referência da API |
---|
Estado da compilação
Ramo | Estado de CI | Estado do Docs |
---|---|---|
main |
Áreas de funcionalidades
Blocos modulares da UX
Botão Botão
Um controlo de botão que suporta vários métodos de entrada, incluindo a mão articulada de HoloLens 2
Limites
IU padrão para manipular objetos no espaço 3D
de objetos
Script para manipular objetos com uma ou duas mãos
Ardósia
Plano de estilo 2D que suporta deslocamento com entrada manual articulada
Interacionável Interacionável
Um script para tornar os objetos interagiveis com estados visuais e suporte de temas
Solver Solver
Vários comportamentos de posicionamento de objetos, como tag-along, body-lock, tamanho de vista constante e magnetismo da superfície
Coleção de Objetos de Coleção de Objetos
Script para definir uma matriz de objetos numa forma tridimensional
Deslize
IU do controlo de deslize para ajustar valores que suportam a interação direta de controlo manual
MRTK Standard Shader
O sombreado Standard do MRTK suporta vários elementos de design Fluent com desempenho
Menu Manual
IU bloqueada à mão para acesso rápido, utilizando o Hand Constraint Solver
Aplicações
IU para ativação manual do Controlo de Limites
Ponteiros de Ponteiros
Saiba mais sobre vários tipos de ponteiros
Visualização
Acessibilidade visual na ponta do dedo, o que melhora a confiança para a interação direta
Perto do Menu Perto
IU do menu flutuante para as interações próximas
Vista de Introdução à Sensibilização Espacial
Fazer com que os objetos holográficos interajam com os ambientes físicos
Comando de Voz do Comando de Voz de Voz
Scripts e exemplos para integrar entradas de voz
Indicador Progresso Indicador de Progresso Indicador
Indicador visual para comunicar o processo ou operação de dados
Diálogo
IU para pedir confirmação ou confirmação do utilizador
Hand Coach
Componente que ajuda a orientar o utilizador quando o gesto não foi ensinado
Hand Physics Service [Experimental]
O serviço de física manual permite eventos rígidos de colisão corporal e interações com mãos articuladas
Deslocamento da Coleção de Deslocamento
Uma Coleção de Objetos que desloque objetos 3D de forma nativa
Dock Dock [Experimental]
A Dock permite que os objetos sejam movidos para dentro e para fora de posições pré-determinados
: Seleção de Destino
Combinar os olhos, a voz e a introdução de mãos para selecionar hologramas de forma rápida e fácil na sua cena
: Navegação
Saiba como deslocar texto automaticamente ou ampliar fluentemente conteúdos focados com base no que está a ver
térmico: mapa térmico
Exemplos de registo, carregamento e visualização do que os utilizadores têm estado a ver na sua aplicação
Ferramentas
de Otimização da Janela | Janela de Dependência | Janela de Compilação | Gravação de entrada |
---|---|---|---|
Automatizar a configuração de projetos de Mixed Reality para otimizações de desempenho | Analisar dependências entre recursos e identificar recursos não utilizados | Configurar e executar um processo de compilação ponto a ponto para aplicações Mixed Reality | Gravar e reproduzir o movimento da cabeça e os dados de controlo manual no editor |
Cenas de exemplo
O MRTK fornece cenas de exemplo que demonstram como utilizar as funcionalidades do MRTK. Pode encontrar os cenários de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de Interação Manual é um ótimo local para começar a experimentar os blocos modulares do MRTK para interações e IU.
Hub de exemplos do MRTK
Com o Hub de Exemplos do MRTK, pode experimentar várias cenas de exemplo no MRTK sem criar e implementar cada cena. Pode transferir pacotes de aplicações pré-criados para HoloLens(x86), HoloLens 2(ARM) e Windows Mixed Reality headsets envolventes (x64) ao selecionar o pacote "Mixed Reality Toolkit Examples" na Ferramenta de Funcionalidades mr. Certifique-se de que utiliza o Portal do Dispositivo Windows para instalar aplicações no HoloLens (1.ª geração). No HoloLens 2, pode transferir e instalar o Hub de Exemplos do MRTK através da aplicação Microsoft Store.
Veja a página README do Hub de Exemplos para saber mais sobre os detalhes sobre como criar um hub de várias cenas com o sistema de cenários e o serviço de transição de cenas do MRTK.
Aplicações de exemplo efetuadas com MRTK
A Tabela Periódica dos Elementos é uma aplicação de exemplo open source que demonstra como utilizar o sistema de entrada do MRTK e blocos modulares para criar uma experiência de aplicação para o HoloLens e headsets envolventes. Leia a história da migração: Trazer a aplicação Tabela Periódica dos Elementos para HoloLens 2 com MRTK v2 | O Galaxy Explorer é uma aplicação de exemplo open source que foi originalmente desenvolvida em março de 2016 como parte da campanha "Partilhar a Sua Ideia" do HoloLens. O Galaxy Explorer foi atualizado com novas funcionalidades para HoloLens 2, com o MRTK v2. Leia a história: The Making of Galaxy Explorer for HoloLens 2 | O Surfaces é uma aplicação de exemplo open source para HoloLens 2 que explora como podemos criar uma sensação táctil com controlo manual visual, áudio e totalmente articulado. Consulte Microsoft MR Dev Days session Learnings from the Surfaces app (Aprendizagens da aplicação Surfaces ) para obter a história detalhada de design e desenvolvimento. |
Vídeos de sessão do Mixed Reality Dev Days 2020
Veja Mixed Reality Dias do Programador para explorar mais vídeos de sessão.
Interagir com a comunidade
Participe na conversa em torno do MRTK no Slack. Pode aderir à comunidade do Slack através do remetente de convite automático.
Faça perguntas sobre como utilizar o MRTK no Stack Overflow com a etiqueta MRTK .
Procure problemas conhecidos ou apresente um novo problema se encontrar algo danificado no código MRTK.
Para perguntas sobre como contribuir para o MRTK, aceda ao canal mixed-reality-toolkit no Slack.
Este projeto adotou o Microsoft Open Source Code of Conduct (Código de Conduta do Microsoft Open Source). Para obter mais informações, veja a Code of Conduct FAQ (FAQ do Código de Conduta) ou envie um e-mail para opencode@microsoft.com com quaisquer perguntas ou comentários adicionais.
Recursos úteis no Mixed Reality Dev Center
Deteção | Distribuir | ||
---|---|---|---|
Saiba como criar experiências de realidade mista para o HoloLens e headsets envolventes (VR). | Obter guias de conceção. Criar interface de utilizador. Aprenda interações e entradas. | Obter guias de desenvolvimento. Aprenda a tecnologia. Compreenda a ciência. | Prepare a sua aplicação para outras pessoas e considere criar um iniciador 3D. |
Recursos úteis no Azure
Spatial Anchors |
de Voz | Serviços de Visão dos Serviços de |
---|---|---|
O Spatial Anchors é um serviço multiplataformas que lhe permite criar experiências de Mixed Reality com objetos que persistem na respetiva localização nos dispositivos ao longo do tempo. | Descubra e integre capacidades de voz com tecnologia do Azure, como conversão de voz em texto, reconhecimento de orador ou tradução de voz na sua aplicação. | Identifique e analise o conteúdo da sua imagem ou vídeo com os Serviços de Visão, como a imagem digitalizada, a deteção facial, o reconhecimento de emoções ou o indexador de vídeo. |
Como contribuir
Saiba como pode contribuir para o MRTK em Contribuir.
Obter ajuda
Se se deparar com problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, existem alguns recursos que podem ajudar:
- Para relatórios de erros, submeta um problema no repositório do GitHub.
- Para perguntas, contacte o StackOverflow ou o canal mixed-reality-toolkit no Slack. Pode aderir à comunidade do Slack através do remetente de convite automático.