¿Qué es Mixed Reality Toolkit 2?

Mixed Reality Toolkit


MRTK Unity es un proyecto controlado por Microsoft que proporciona un conjunto de componentes y características para acelerar el desarrollo de aplicaciones de MR multiplataforma en Unity. Estas son algunas de sus funciones:

  • Proporciona el sistema de entrada multiplataforma y los bloques de creación para las interacciones espaciales y la interfaz de usuario.
  • Permite la creación rápida de prototipos gracias a la simulación en el editor, que permite ver los cambios inmediatamente.
  • Funciona como plataforma extensible que permite a los desarrolladores intercambiar los componentes principales.
  • Es compatible con una amplia gama de dispositivos:
Complemento del SDK de XR (proveedores de complementos de administración de complementos XR de Unity) Dispositivos compatibles
Complemento OpenXR de Unity (Unity 2020 o 2021 LTS)
(Complemento OpenXR de Mixed Reality necesario para ciertas características de determinados dispositivos)
Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Meta Quest
Dispositivo que se ejecuta en SteamVR a través de OpenXR
Complemento XR de Windows Microsoft HoloLens
Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Complemento de XR de Oculus (Unity 2019 o LTS más reciente) Meta Quest (a través del paquete de integración de Oculus)
Complemento ARCore XR Android (a través de AR Foundation)
Complemento ARKit XR iOS (a través de AR Foundation)
Complemento del SDK de XR (proveedores de complementos de administración de complementos XR de Unity) Dispositivos compatibles
Complemento OpenXR de Unity (versión preliminar en MRTK 2.6, Unity 2020 o 2021 LTS)
(Complemento OpenXR de Mixed Reality necesario para ciertas características de determinados dispositivos)
Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Meta Quest
Dispositivo que se ejecuta en SteamVR a través de OpenXR
Complemento XR de Windows Microsoft HoloLens
Microsoft HoloLens 2
Cascos de Windows Mixed Reality
Complemento de XR de Oculus (Unity 2019 o LTS más reciente) Meta Quest (a través del paquete de integración de Oculus)
Complemento ARCore XR Android (a través de AR Foundation)
Complemento ARKit XR iOS (a través de AR Foundation)

Dispositivos adicionales admitidos:

  • Leap Motion Controller para el seguimiento de manos

Nota

Se ha incorporado la versión preliminar pública de MRTK3, el siguiente capítulo de MRTK. Para más información, vaya a la documentación de MRTK3.

Introducción a MRTK

Si no está familiarizado con MRTK ni con el desarrollo de realidad mixta en Unity, se recomienda instalar y explorar la aplicación de ejemplo MRTK Examples Hub en el dispositivo o emulador.

Una vez que haya comprendido lo que la realidad mixta y MRTK tienen para ofrecer, instale las herramientas necesarias y siga nuestra serie de tutoriales de HoloLens 2 para principiantes.

¿Quiere conocer lo que se esconde bajo la superficie?

Documentación

Notas de la versión
Notas de la versión
Información general de MRTK
Información general de MRTK
Referencia de API
Referencia de API

Estado de la compilación

Rama Estado de CI Estado del documento
main Estado de CI Estado del documento

Áreas de características

Voz y dictado
Voz
dictado de &

Bloques de creación de la experiencia de usuario

ButtonBotón
Control de botón que admite varios métodos de entrada, incluida la mano articulada de HoloLens 2.

Bounds ControlControl de límites
Interfaz de usuario estándar para manipular objetos en el espacio 3D.

Object ManipulatorManipulador de objetos
Script para manipular objetos con una o dos manos.

SlateClaqueta
Plano de estilo 2D que admite el desplazamiento con la entrada de mano articulada.

System KeyboardTeclado del sistema
Ejemplo de script de uso del teclado del sistema en Unity.

InteractableInteractuable
Un script para que los objetos interactúen con los estados visuales y la compatibilidad con temas.

SolverSolucionador
Varios comportamientos de posicionamiento de objetos, como etiquetado, bloqueo del cuerpo, tamaño de vista constante y magnetismo de la superficie.

Object CollectionColección de objetos
Script para diseñar una matriz de objetos en una forma tridimensional.

TooltipInformación sobre herramientas
Interfaz de usuario de anotación con un sistema flexible de anclaje/dinamización que se puede usar para etiquetar controladores de movimiento y objetos.

SliderControl deslizante
Interfaz de usuario del control deslizante para ajustar los valores que admiten la interacción directa de seguimiento de manos.

MRTK Standard ShaderSombreador MRTK Standard
El sombreador MRTK Standard admite varios elementos de diseño de Fluent con rendimiento.

Hand MenuMenú Mano
Interfaz de usuario bloqueada manualmente para un acceso rápido mediante el solucionador de restricciones de la mano.

App BarBarra de aplicaciones
Interfaz de usuario para la activación manual del control de límites.

PointersPunteros
Información sobre los distintos tipos de punteros.

Fingertip VisualizationVisualización de la punta del dedo
Prestación visual de la punta del dedo, lo que mejora la confianza para la interacción directa.

Near MenuMenú Cerca
Interfaz de usuario de menú flotante para las interacciones cercanas.

Spatial Awareness Getting startedVista de reconocimiento espacial
Haga que los objetos holográficos interactúen con los entornos físicos.

Voice CommandComando de voz
Scripts y ejemplos para integrar la entrada de voz.

Progress IndicatorIndicador de progreso
Indicador visual para comunicar el proceso o la operación de datos.

DialogCuadro de diálogo
Interfaz de usuario para solicitar confirmación o reconocimiento del usuario.

Hand CoachAsesor manual
Componente que ayuda a guiar al usuario cuando no se ha enseñado el gesto.

Hand Physics ServiceServicio de la física de la mano [experimental]
El servicio de la física de la mano permite eventos e interacciones de colisión de cuerpos rígidos con manos articuladas.

Scrolling CollectionDesplazamiento por la colección
Colección de objetos que desplaza objetos 3D de forma nativa.

DockDock [experimental]
Dock permite que los objetos entren y salgan de las posiciones predeterminadas.

Eye Tracking: Target SelectionSeguimiento ocular: selección de destino
Combine la entrada ocular, de voz y de manos para seleccionar los hologramas de forma rápida y sencilla a lo largo de la escena.

Eye Tracking: NavigationSeguimiento ocular: navegación
Aprenda sobre cómo desplazarse por texto automáticamente o acercar de forma fluida el contenido donde está el foco en función de lo que está examinando.

Eye Tracking: Heat MapSeguimiento ocular: mapa térmico
Ejemplos para registrar, cargar y visualizar lo que los usuarios han estado examinando en la aplicación.

Herramientas

Optimize WindowOptimizar ventana Dependency WindowVentana de dependencias Build WindowVentana de compilación Input recordingGrabación de entrada
Automatice la configuración de proyectos de Mixed Reality para optimizar el rendimiento. Analice las dependencias entre recursos e identifique los recursos sin usar. Configure y ejecute un proceso de compilación de un extremo a otro para aplicaciones de realidad mixta. Grabe y reproduzca los datos de movimiento y seguimiento de manos en el editor.

Escenas de ejemplo

MRTK proporciona escenas de ejemplo que muestran cómo usar las características de MRTK. Puede encontrar las escenas de ejemplo en la carpeta Assets/MRTK/Examples/Demos. Lea la página Escenas de ejemplo para obtener información sobre cómo adquirir y ejecutar escenas de ejemplo. La escena de ejemplos de interacción manual es un excelente lugar para empezar a experimentar con los bloques de creación de MRTK para las interacciones y la interfaz de usuario.

Escenas de ejemplo 2

MRTK Examples Hub

Con MRTK Examples Hub, puede probar varias escenas de ejemplo en MRTK sin crear ni implementar cada escena. Puede descargar paquetes de aplicaciones pregenerados para HoloLens (x86), HoloLens 2 (ARM) y cascos envolventes de Windows Mixed Reality (x64); para ello, seleccione el paquete "Ejemplos de Mixed Reality Toolkit" en MR Feature Tool. Asegúrese de usar el Portal de dispositivos Windows para instalar aplicaciones en HoloLens (1.ª generación). En HoloLens 2, puede descargar e instalar MRTK Examples Hub a través de Microsoft Store.

Consulte la página Léame de Examples Hub para obtener información sobre cómo crear un centro de varias escenas con el sistema de escenas y el servicio de transición de escenas de MRTK.

Centro de escenas de ejemplo

Aplicaciones de ejemplo hechas con MRTK

Tabla periódica de los elementos Explorador de la galaxia Aplicación de ejemplo Surfaces
Periodic Table of the Elements es una aplicación de ejemplo de código abierto que muestra cómo usar el sistema de entrada de MRTK y los bloques de creación para crear una experiencia de aplicación para HoloLens y cascos envolventes. Lea la historia de la migración: Incorporación de la aplicación Periodic Table of the Elements a HoloLens 2 con MRTK v2. Galaxy Explorer es una aplicación de ejemplo de código abierto que se desarrolló originalmente en marzo de 2016 como parte de la campaña "Share Your Idea" de HoloLens. Galaxy Explorer se ha actualizado con las nuevas características de HoloLens 2, mediante MRTK v2. Lea la historia: La creación de Galaxy Explorer para HoloLens 2. Surfaces es una aplicación de ejemplo de código abierto para HoloLens 2, que explora cómo podemos crear una sensación táctil con entrada visual, de audio y seguimiento de manos totalmente articuladas. Consulte Aprendizajes de la aplicación Surfaces de la sesión Microsoft MR Dev Days para obtener información sobre el diseño y la historia de desarrollo.

Vídeos de sesión de Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutorial sobre cómo crear una sencilla aplicación de MRTK de principio a fin. Obtenga información sobre los conceptos de interacción y las funcionalidades multiplataforma de MRTK. Profundice en los bloques de creación de la experiencia de usuario de MRTK que le ayudarán a crear fantásticas experiencias de realidad mixta. Introducción a las herramientas de rendimiento, tanto de MRTK como externas, e información general sobre el sombreador estándar de MRTK.

Consulte Mixed Reality Dev Days para explorar más vídeos de sesiones.

Interacción con la comunidad

El proyecto ha adoptado el Código de conducta de código abierto de Microsoft. Para obtener más información, consulte las preguntas más frecuentes del código de conducta o póngase en contacto con opencode@microsoft.com si tiene cualquier otra pregunta o comentario.

Recursos útiles en el Centro de desarrollo de realidad mixta

DiscoverDescubrir DesignDiseñar DevelopDesarrollar Distribute)Distribuir
Aprende a crear experiencias de realidad mixta para HoloLens y cascos envolventes (VR). Obtenga guías de diseño. Cree interfaces de usuario. Aprenda sobre interacciones y entradas. Obtenga guías de desarrollo. Aprenda sobre la tecnología. Aprenda sobre la ciencia. Haga que la aplicación esté disponible para otros usuarios y considere la posibilidad de crear un iniciador 3D.

Recursos útiles en Azure

Spatial Anchors
Spatial Anchors
Speech ServicesSpeech Services Vision ServicesVision Services
Spatial Anchors es un servicio multiplataforma que le permite crear experiencias de realidad mixta mediante objetos que conservan su ubicación en los dispositivos y a lo largo del tiempo. Conozca e integre en su aplicación las funcionalidades de voz con tecnología de Azure como, por ejemplo, conversión de voz a texto, reconocimiento del hablante o traducción de voz. Identifique y analice el contenido de sus imágenes o vídeos mediante servicios de visión como Computer Vision, detección de caras, reconocimiento de emociones o indexador de vídeo.

Cómo contribuir

Obtenga información sobre cómo contribuir a MRTK en Colaboración.

Ayuda

Si surgen problemas debido a MRTK o tiene dudas sobre cómo hacer algo, hay algunos recursos que pueden resultar útiles: