Introducción al reconocimiento espacial: MRTK2

  • Artículo

Reconocimiento espacial

El sistema de reconocimiento espacial proporciona reconocimiento ambiental real en aplicaciones de realidad mixta. Cuando se introdujo en Microsoft HoloLens, Spatial Awareness proporcionó una colección de mallas, que representa la geometría del entorno, lo que permitió interacciones atractivas entre hologramas y el mundo real.

Nota

En este momento, Mixed Reality Toolkit no se distribuye con algoritmos de Spatial Understanding como originalmente empaquetados en HoloToolkit. La comprensión espacial generalmente implica transformar datos de Malla espacial para crear datos de malla simplificados o agrupados, como planos, paredes, pisos, techos, etc.

Introducción

La adición de compatibilidad con Spatial Awareness requiere dos componentes clave de Mixed Reality Toolkit: el sistema de reconocimiento espacial y un proveedor de plataforma compatible.

  1. Habilitación del sistema de reconocimiento espacial
  2. Registro y configuración de uno o varios observadores espaciales para proporcionar datos de malla
  3. Compilación e implementación en una plataforma que admita reconocimiento espacial

Habilitación del sistema de reconocimiento espacial

El sistema Spatial Awareness se administra mediante el objeto MixedRealityToolkit (u otro componente del registrador de servicios ). Siga los pasos que se indican a continuación para habilitar o deshabilitar el sistema de reconocimiento espacial en el perfil mixedRealityToolkit .

Mixed Reality Toolkit se incluye con algunos perfiles preconfigurados predeterminados. Algunos de ellos tienen habilitado el sistema de reconocimiento espacial O deshabilitado de forma predeterminada. La intención de esta configuración previa, especialmente para cuando está deshabilitada, es evitar la sobrecarga visual de calcular y representar las mallas.

Perfil Sistema habilitado de forma predeterminada
DefaultHoloLens1ConfigurationProfile (Assets/MRTK/SDK/Profiles/HoloLens1) False
DefaultHoloLens2ConfigurationProfile (Assets/MRTK/SDK/Profiles/HoloLens2) False
DefaultMixedRealityToolkitConfigurationProfile (Assets/MRTK/SDK/Profiles) True

  1. Seleccione el objeto MixedRealityToolkit en la jerarquía de escenas para abrirlo en el Panel inspector.

    Jerarquía de escena configurada por MRTK

  2. Vaya a la sección Spatial Awareness System (Sistema de reconocimiento espacial ) y active Enable Spatial Awareness System (Habilitar sistema de reconocimiento espacial).

    Habilitación del reconocimiento espacial

  3. Seleccione el tipo de implementación del sistema de reconocimiento espacial deseado. MixedRealitySpatialAwarenessSystem es el valor predeterminado proporcionado.

    Selección de la implementación del sistema de reconocimiento espacial

Registrar observadores

Los servicios de Mixed Reality Toolkit pueden tener servicios de proveedor de datos que complementan el servicio principal con controles de implementación y datos específicos de la plataforma. Un ejemplo de esto es el sistema de entrada de Mixed Reality que tiene varios proveedores de datos para obtener el controlador y otra información de entrada relacionada de varias API específicas de la plataforma.

El sistema de reconocimiento espacial es similar en que los proveedores de datos proporcionan al sistema datos de malla sobre el mundo real. El perfil de reconocimiento espacial debe tener al menos un observador espacial registrado. Los observadores espaciales suelen ser componentes específicos de la plataforma que actúan como proveedor para exponer varios tipos de datos de malla desde un punto de conexión específico de la plataforma (es decir, HoloLens).

  1. Abra o expanda el perfil del sistema de reconocimiento espacial

    Perfil del sistema de reconocimiento espacial

  2. Haga clic en el botón "Agregar observador espacial".

  3. Seleccione el tipo de implementación de Spatial Observer deseado.

    Seleccione la implementación del observador espacial.

  4. Modificar las propiedades de configuración en el observador según sea necesario

Nota

Los usuarios de DefaultMixedRealityToolkitConfigurationProfile (Assets/MRTK/SDK/Profiles) tendrán preconfigurado el sistema de reconocimiento espacial para la plataforma de Windows Mixed Reality que usa la WindowsMixedRealitySpatialMeshObserver clase .

Compilación e implementación

Una vez configurado el sistema de reconocimiento espacial con los observadores deseados, el proyecto se puede compilar e implementar en la plataforma de destino.

Importante

Si el destino es la plataforma Windows Mixed Reality (por ejemplo, HoloLens), es importante asegurarse de que la funcionalidad De percepción espacial está habilitada para usar el sistema de reconocimiento espacial en el dispositivo.

Advertencia

Algunas plataformas, como Microsoft HoloLens, proporcionan compatibilidad con la ejecución remota desde Unity. Esta característica permite el desarrollo y las pruebas rápidos sin necesidad del paso de compilación e implementación. Asegúrese de realizar pruebas de aceptación finales mediante una versión compilada e implementada de la aplicación, que se ejecuta en el hardware y la plataforma de destino.

Pasos siguientes

Después de seguir los procedimientos anteriores para habilitar el sistema de reconocimiento espacial, el sistema se puede configurar y controlar con más detalle.

Información para configurar observadores en el inspector:

Información para controlar y extender observadores a través del código:

Consulte también