Aplicaciones y ejemplos de características de realidad mixta
Artículo
Cada recorrido de desarrollo comienza con un vistazo a lo que otros desarrolladores han compilado correctamente. En el caso de la realidad mixta, no es diferente. Actualmente, todos nuestros tutoriales y aplicaciones de ejemplo se basan en Unity o Unreal. A medida que desarrollamos contenido para otros motores y plataformas, los encontrará en el encabezado correspondiente de la tabla de contenido.
Nuestros equipos crearon las aplicaciones de ejemplo de código abierto para ayudarle a entender el desarrollo de la realidad mixta de primera mano. Hemos proporcionado los proyectos y el código fuente completo como referencia de aprendizaje.
Aplicaciones de ejemplo de código abierto de HoloLens 2
Estas aplicaciones de ejemplo se hacen con Mixed Reality Toolkit para Unity.
La mayoría de las aplicaciones de ejemplo de código abierto que ha creado nuestro equipo se pueden encontrar en el repositorio de ejemplos de realidad mixta de Unreal de GitHub. Hemos proporcionado el código fuente para que los desarrolladores puedan ver nuestros proyectos, aprender de ellos y volverlos a usar.
Aplicaciones de ejemplo de código abierto de HoloLens 2
Un subconjunto de los ejemplos usa componentes de experiencia del usuario interactivos, como botones y controles deslizantes. Los proporciona el complemento UX Tools como parte de Mixed Reality Toolkit for Unreal.
Para cada uno de los escenarios de desarrollador que se indican a continuación, hay ejemplos de características que corresponden a implementaciones específicas que se tratan en nuestra documentación y abarcan una variedad de plataformas de desarrollo y dispositivos de hardware.
Colabore de un modo más eficaz trabajando juntos desde diferentes ubicaciones con Dynamics 365 Remote Assist en dispositivos HoloLens, HoloLens 2, Android o iOS.
Examine de cerca el funcionamiento interno de una aplicación del mundo real que necesita alinear un objeto u objetos de gran tamaño con características del mundo real. El ejemplo de marca de espacio ofrece una vista simplificada y más centrada de la característica de marca de espacio.
Muestra cómo configurar marcas de espacio mediante la manipulación manual de objetos de marcador en la posición correspondiente con las prestaciones de MRTK.
Cuando el dispositivo HoloLens 2 se ejecuta en entornos cálidos o con requisitos de rendimiento intensivo (uso de CPU/GPU, uso periférico, etc.), se puede usar el SDK de PowerThermalNotification para suscribirse a eventos de notificación, lo que permite que el dispositivo funcione más tiempo. Consulte la referencia de la API de PowerThermalNotification.
Creación de escenarios básicos de OpenXR
Si está empezando a crear escenarios básicos de realidad mixta, estos ejemplos le ayudarán a empezar a trabajar.
Para los desarrolladores que usan Unity 2020 para compilar aplicaciones para HoloLens 2 o realidad mixta, se puede usar el complemento de OpenXR en lugar del complemento de Windows XR para mejorar la compatibilidad multiplataforma. El complemento OpenXR de realidad mixta también funciona bien con la versión más reciente de Mixed Reality Toolkit (2.7.x).
Estos proyectos de ejemplo muestran cómo compilar aplicaciones de Unity para HoloLens 2 o cascos de realidad mixta con el complemento OpenXR de realidad mixta.
Este repositorio contiene un proyecto de Unity configurado con paquetes de recursos estándar y Microsoft Mixed Reality Toolkit Foundations, así como el paquete del complemento OpenXR de Microsoft.
MRTK-Unity es un proyecto controlado por Microsoft que proporciona un conjunto de componentes y características que se usan para acelerar el desarrollo de aplicaciones de MR multiplataforma en Unity.
El explorador de OpenXR es una herramienta de depuración útil para desarrolladores de OpenXR. Permite cambiar fácilmente entre los entornos en tiempo de ejecución de OpenXR, muestra listas de las extensiones admitidas del entorno en tiempo de ejecución y permite la inspección de propiedades y enumeraciones comunes, con vínculos directos a partes relevantes de la especificación OpenXR.
Estos ejemplos de OpenXR usan C++17 y Direct3D 11. El mismo código fuente funciona en aplicaciones para UWP que se ejecutan en HoloLens 2 y aplicaciones de Win32 que se ejecutan en escritorios de Windows con cascos envolventes de Windows Mixed Reality.
Colaboración en realidad mixta
En la realidad mixta, las personas se reúnen virtualmente para compartir experiencias y colaborar. Los ejemplos que se enumeran aquí muestran algunas características que hacen posible esta colaboración.
Identidad del usuario
En este ejemplo se configura el dispositivo HoloLens 2 con las credenciales de Azure Active Directory (AAD) y, a continuación, se configura el dispositivo para que use el inicio de sesión mediante iris.
Este ejemplo se ejecuta en Windows Mixed Reality y representa un cubo giratorio. Coloque el cubo en otra posición para interactuar con él. Se admiten varios métodos de entrada. Este ejemplo funciona en equipos con cascos conectados y también en Microsoft HoloLens.
El reconocimiento de la escena proporciona a los desarrolladores de realidad mixta una representación del entorno estructurada y de alto nivel. El reconocimiento de la escena está diseñada para desarrollar aplicaciones intuitivas y con reconocimiento del entorno, ya que combina las opciones que ofrecen los entornos en tiempo de ejecución de realidad mixta existentes. Estos entornos en tiempo de ejecución son la asignación espacial más precisa, pero menos estructurada, y los nuevos entornos en tiempo de ejecución basados en IA.
Ejemplo de MRTL y el SDK de reconocimiento de escenas.
Superposiciones de datos contextuales
Los datos contextuales son la información subyacente que facilita una mayor comprensión de un evento, persona o elemento. Con la realidad aumentada (AR), esta información se puede mostrar y alinear con precisión con objetos físicos para proporcionar conclusiones, instrucciones, registros de servicio y otros datos importantes.
Códigos QR
HoloLens 2 puede detectar códigos QR en el entorno alrededor del caso, estableciendo un sistema de coordenadas en la ubicación real de cada código.
A menudo resulta útil poder alinear un holograma con un objeto del mundo real o alinear varios dispositivos HoloLens con un conjunto común de coordenadas del mundo para que todos los usuarios puedan ver los mismos hologramas en la misma ubicación. Por ejemplo, en la escena de Unity, puede agregar un "póster" donde quiera anclar la escena (quizás un tablero de juego) y, a continuación, agregar hologramas sobre este o a su alrededor. A continuación, puede imprimir el póster, ponerlo en una mesa y ejecutar la herramienta de calibración/alineación, que moverá la versión holográfica del póster para que se alinee con su correspondiente versión física. Esto mueve todos los hologramas vinculados a la alineación correcta.
En este ejemplo, aprenderá a crear una aplicación de realidad mixta para HoloLens 2 mediante Azure Digital Twins y Unity, una plataforma 3D en tiempo real.
Los datos de sensores de entorno no estructurados que el dispositivo de realidad mixta captura se convierten en eficaces representaciones abstractas u holográficas del mundo físico que nos rodea.
Captura holográfica de realidad mixta
La captura de realidad mixta (MRC) captura la experiencia en primera persona de combinar el mundo real y el digital en una foto o un vídeo y permite compartir lo que ve con otros usuarios en tiempo real.
El modo de investigación se presentó en la primera generación de HoloLens para dar acceso a los sensores de claves en el dispositivo, especialmente para las aplicaciones de investigación que no están pensadas para la implementación. Las aplicaciones de ejemplo siguientes son ejemplos de acceso y grabación de secuencias de modo de investigación y el uso de los atributos intrinsic y extrinsic.
Holographic Remoting Player es una aplicación complementaria que se conecta a aplicaciones y juegos de PC que admiten el control remoto de holografías. El control remoto de holografías transmite contenido holográfico desde un equipo a su Microsoft HoloLens en tiempo real mediante una conexión Wi-Fi y es compatible con HoloLens (primera generación) y HoloLens 2.