O que é Mixed Reality Toolkit 2?

O MRTK-Unity é um projeto da Microsoft que proporciona um conjunto de componentes e funcionalidades, utilizados para acelerar o desenvolvimento de aplicações MR entre várias plataformas no Unity. Veja a seguir algumas das suas funções:

• Fornece o sistema de entrada entre plataformas e blocos modulares para interações espaciais e IU.
• Permite prototipagem rápida através de simulação no editor que lhe permite ver as alterações imediatamente.
• Funciona como uma arquitetura extensível que proporciona aos programadores a capacidade de trocar componentes principais.
• Suporta uma vasta gama de dispositivos:

Plug-in XR SDK (Fornecedores de Plug-ins de Gestão de Plug-ins do Unity XR)	Dispositivos Suportados
Plug-in OpenXR do Unity (Unity 2020 ou 2021 LTS) (Mixed Reality Plug-in OpenXR necessário para determinadas funcionalidades em determinados dispositivos)	Microsoft HoloLens 2 Headset da Windows Mixed Reality Meta Pedido Dispositivo em execução no SteamVR através de OpenXR
Plug-in do Windows XR	Microsoft HoloLens Microsoft HoloLens 2 Headset da Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou LTS mais recente)	Meta Quest (através do Pacote de Integração Oculus)
ARCore XR Plug-in	Android (via AR Foundation)
ARKit XR Plug-in	iOS (via AR Foundation)

Dispositivos adicionais suportados:

• Controlador de Movimento Bissexto Ultraleap para controlo manual

Nota

Introduzimos a pré-visualização pública do MRTK3, o próximo capítulo do MRTK. Para obter mais informações, aceda à documentação do MRTK3.

Introdução ao MRTK

Se não estiver familiarizado com o MRTK ou Mixed Reality desenvolvimento no Unity, recomendamos que instale e explore a aplicação de exemplo do Hub de Exemplos do MRTK no seu dispositivo ou emulador.

Transferir a aplicação Hub de Exemplos do MRTK

Assim que tiver o problema que o Mixed Reality e o MRTK têm para oferecer, instale as ferramentas necessárias e siga o nosso nível de principiante HoloLens 2 série de tutoriais.

Instalar as ferramentas

HoloLens 2 Tutorial Series

Quer ver o que se passa debaixo dos bastidores?

Explorar o MRTK no GitHub

Documentação

Notas de Versão	Descrição Geral do MRTK	Referência da API

Estado da compilação

Ramo	Estado de CI	Estado do Docs
main

Áreas de funcionalidades

Sistema de Entrada

Controlo Manual
(HoloLens 2)

Controlo Ocular
(HoloLens 2)

Perfis

Controlo Manual
(Ultraleap)

Controlos de IU

Solucionadores

Várias Cenas
Gestor

Espacial
Sensibilização

Diagnóstico
Ferramenta

Vista de Exemplo do Tom Padrão do MRTK

Voz
Ditado do &

Limite
Sistema

No Editor
Simulação

Experimental
Funcionalidades

Blocos modulares da UX

Botão Botão
Um controlo de botão que suporta vários métodos de entrada, incluindo a mão articulada de HoloLens 2

Limites
IU padrão para manipular objetos no espaço 3D

de objetos
Script para manipular objetos com uma ou duas mãos

Ardósia
Plano de estilo 2D que suporta deslocamento com entrada manual articulada

Script de exemplo da utilização do teclado do sistema no Unity

Interacionável Interacionável
Um script para tornar os objetos interagiveis com estados visuais e suporte de temas

Solver Solver
Vários comportamentos de posicionamento de objetos, como tag-along, body-lock, tamanho de vista constante e magnetismo da superfície

Coleção de Objetos de Coleção de Objetos
Script para definir uma matriz de objetos numa forma tridimensional

IU de anotação com um sistema de âncora/pivô flexível, que pode ser utilizado para etiquetar controladores de movimento e objetos

Deslize
IU do controlo de deslize para ajustar valores que suportam a interação direta de controlo manual

MRTK Standard Shader
O sombreado Standard do MRTK suporta vários elementos de design Fluent com desempenho

Menu Manual
IU bloqueada à mão para acesso rápido, utilizando o Hand Constraint Solver

Aplicações
IU para ativação manual do Controlo de Limites

Ponteiros de Ponteiros
Saiba mais sobre vários tipos de ponteiros

Visualização
Acessibilidade visual na ponta do dedo, o que melhora a confiança para a interação direta

Perto do Menu Perto
IU do menu flutuante para as interações próximas

Vista de Introdução à Sensibilização Espacial
Fazer com que os objetos holográficos interajam com os ambientes físicos

Comando de Voz do Comando de Voz de Voz
Scripts e exemplos para integrar entradas de voz

Indicador Progresso Indicador de Progresso Indicador
Indicador visual para comunicar o processo ou operação de dados

Diálogo
IU para pedir confirmação ou confirmação do utilizador

Hand Coach
Componente que ajuda a orientar o utilizador quando o gesto não foi ensinado

Hand Physics Service [Experimental]
O serviço de física manual permite eventos rígidos de colisão corporal e interações com mãos articuladas

Deslocamento da Coleção de Deslocamento
Uma Coleção de Objetos que desloque objetos 3D de forma nativa

Dock Dock [Experimental]
A Dock permite que os objetos sejam movidos para dentro e para fora de posições pré-determinados

: Seleção de Destino
Combinar os olhos, a voz e a introdução de mãos para selecionar hologramas de forma rápida e fácil na sua cena

: Navegação
Saiba como deslocar texto automaticamente ou ampliar fluentemente conteúdos focados com base no que está a ver

térmico: mapa térmico
Exemplos de registo, carregamento e visualização do que os utilizadores têm estado a ver na sua aplicação

Ferramentas

de Otimização da Janela	Janela de Dependência	Janela de Compilação	Gravação de entrada
Automatizar a configuração de projetos de Mixed Reality para otimizações de desempenho	Analisar dependências entre recursos e identificar recursos não utilizados	Configurar e executar um processo de compilação ponto a ponto para aplicações Mixed Reality	Gravar e reproduzir o movimento da cabeça e os dados de controlo manual no editor

Cenas de exemplo

O MRTK fornece cenas de exemplo que demonstram como utilizar as funcionalidades do MRTK. Pode encontrar os cenários de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de Interação Manual é um ótimo local para começar a experimentar os blocos modulares do MRTK para interações e IU.

Hub de exemplos do MRTK

Com o Hub de Exemplos do MRTK, pode experimentar várias cenas de exemplo no MRTK sem criar e implementar cada cena. Pode transferir pacotes de aplicações pré-criados para HoloLens(x86), HoloLens 2(ARM) e Windows Mixed Reality headsets envolventes (x64) ao selecionar o pacote "Mixed Reality Toolkit Examples" na Ferramenta de Funcionalidades mr. Certifique-se de que utiliza o Portal do Dispositivo Windows para instalar aplicações no HoloLens (1.ª geração). No HoloLens 2, pode transferir e instalar o Hub de Exemplos do MRTK através da aplicação Microsoft Store.

Veja a página README do Hub de Exemplos para saber mais sobre os detalhes sobre como criar um hub de várias cenas com o sistema de cenários e o serviço de transição de cenas do MRTK.

Aplicações de exemplo efetuadas com MRTK

A Tabela Periódica dos Elementos é uma aplicação de exemplo open source que demonstra como utilizar o sistema de entrada do MRTK e blocos modulares para criar uma experiência de aplicação para o HoloLens e headsets envolventes. Leia a história da migração: Trazer a aplicação Tabela Periódica dos Elementos para HoloLens 2 com MRTK v2	O Galaxy Explorer é uma aplicação de exemplo open source que foi originalmente desenvolvida em março de 2016 como parte da campanha "Partilhar a Sua Ideia" do HoloLens. O Galaxy Explorer foi atualizado com novas funcionalidades para HoloLens 2, com o MRTK v2. Leia a história: The Making of Galaxy Explorer for HoloLens 2	O Surfaces é uma aplicação de exemplo open source para HoloLens 2 que explora como podemos criar uma sensação táctil com controlo manual visual, áudio e totalmente articulado. Consulte Microsoft MR Dev Days session Learnings from the Surfaces app (Aprendizagens da aplicação Surfaces ) para obter a história detalhada de design e desenvolvimento.

Vídeos de sessão do Mixed Reality Dev Days 2020

Tutorial sobre como criar uma aplicação MRTK simples do princípio ao fim. Saiba mais sobre os conceitos de interação e as capacidades multiplataformas do MRTK.	Descrição aprofundada sobre os blocos modulares da UX do MRTK que o ajudam a criar belas experiências de realidade mista.	Uma introdução às ferramentas de desempenho, tanto no MRTK como no externo, bem como uma descrição geral do Tom Padrão do MRTK.

Veja Mixed Reality Dias do Programador para explorar mais vídeos de sessão.

Interagir com a comunidade

• Participe na conversa em torno do MRTK no Slack. Pode aderir à comunidade do Slack através do remetente de convite automático.

• Faça perguntas sobre como utilizar o MRTK no Stack Overflow com a etiqueta MRTK .

• Procure problemas conhecidos ou apresente um novo problema se encontrar algo danificado no código MRTK.

• Para perguntas sobre como contribuir para o MRTK, aceda ao canal mixed-reality-toolkit no Slack.

Este projeto adotou o Microsoft Open Source Code of Conduct (Código de Conduta do Microsoft Open Source). Para obter mais informações, veja a Code of Conduct FAQ (FAQ do Código de Conduta) ou envie um e-mail para opencode@microsoft.com com quaisquer perguntas ou comentários adicionais.

Recursos úteis no Mixed Reality Dev Center

Deteção			Distribuir
Saiba como criar experiências de realidade mista para o HoloLens e headsets envolventes (VR).	Obter guias de conceção. Criar interface de utilizador. Aprenda interações e entradas.	Obter guias de desenvolvimento. Aprenda a tecnologia. Compreenda a ciência.	Prepare a sua aplicação para outras pessoas e considere criar um iniciador 3D.

Recursos úteis no Azure

Spatial Anchors	de Voz	Serviços de Visão dos Serviços de
O Spatial Anchors é um serviço multiplataformas que lhe permite criar experiências de Mixed Reality com objetos que persistem na respetiva localização nos dispositivos ao longo do tempo.	Descubra e integre capacidades de voz com tecnologia do Azure, como conversão de voz em texto, reconhecimento de orador ou tradução de voz na sua aplicação.	Identifique e analise o conteúdo da sua imagem ou vídeo com os Serviços de Visão, como a imagem digitalizada, a deteção facial, o reconhecimento de emoções ou o indexador de vídeo.

Como contribuir

Saiba como pode contribuir para o MRTK em Contribuir.

Obter ajuda

Se se deparar com problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, existem alguns recursos que podem ajudar:

• Para relatórios de erros, submeta um problema no repositório do GitHub.
• Para perguntas, contacte o StackOverflow ou o canal mixed-reality-toolkit no Slack. Pode aderir à comunidade do Slack através do remetente de convite automático.