Uso de Leap Motion y Ultraleap: MRTK2

  • Artículo

Se requiere un controlador de movimiento leap para usar este proveedor de datos.

El proveedor de datos Leap Motion permite el seguimiento de manos articulado para VR y podría ser útil para crear prototipos rápidos en el editor. El proveedor de datos se puede configurar para usar el controlador de movimiento leap montado en un auricular o colocarse en una cara de escritorio.

LeapMotionIntroGif

Este proveedor se puede usar en el editor y en el dispositivo mientras se encuentra en la plataforma independiente. También se puede usar en el editor mientras se encuentra en la plataforma para UWP, pero NO en una compilación para UWP.

Versión de MRTK Versiones de módulos de Leap Motion Unity compatibles
2.6.x 4.5.0, 4.5.1
2.7.0 - 2.7.2 4.5.0, 4.5.1, 4.6.0, 4.7.0, 4.7.1, 4.8.0
2.7.3 4.5.0, 4.5.1, 4.6.0, 4.7.0, 4.7.1, 4.8.0, 4.9.1 (consulte la nota siguiente)

Nota

Los módulos de Unity 4.9.1 requieren el servicio de seguimiento Gemelo 5.2 o superior. El complemento de Unity V4.9.1 solo se admite oficialmente en Unity 2019. Consulte las notas de la versión de 4.9.1.

Los módulos de Unity han cambiado el nombre del complemento de Unity en V5.0.0.

Versión de MRTK Versiones de complementos de Unity ultraleap compatibles
2.8.0 5.3.0 (consulte la nota siguiente)

Nota

Las versiones 5.0.0, 5.1.0 y 5.2.0 del complemento de Unity no se admiten en ninguna versión de MRTK. Se recomienda a los usuarios actualizar a la versión 5.3.0. Unity Plugin 5.3.0 requiere el servicio de seguimiento DeMinis 5.2 o superior.

Uso del seguimiento de manos de Leap Motion (by Ultraleap) en MRTK

  1. Importación de MRTK y los módulos de Leap Motion Unity/Complemento de Unity

    • Instale el software leap Motion Tracking más reciente para obtener el servicio de seguimiento si aún no está instalado.
    • Importe el paquete Microsoft.MixedReality.Toolkit.Foundation en el proyecto de Unity.
    • Descargue e importe la versión más reciente de los módulos de Leap Motion Unity o complemento de Unity en el proyecto.
      • Para módulos de Unity: solo importe el paquete Core en el proyecto.
      • Para el complemento de Unity: solo importa el paquete de seguimiento dentro del proyecto. Solo se admiten .unitypackages por ahora.

    Importante

    Unity ha quedado en desuso SelectionMode.OnlyUserModifiable después de Unity 2019.4.19, lo que produce el siguiente error procedente del script Hotkeys.cs ultraleap: Assets\Plugins\LeapMotion\Core\Editor\Hotkeys.cs(24,91): error CS0619: "SelectionMode.OnlyUserModifiable" está obsoleto: "OnlyUserModifiable" está obsoleto. En su lugar, use "Editable". (UnityUpgradeable):> editable'.

    Para resolver los problemas, cambie SelectionMode.OnlyUserModifiable a SelectionMode.Editable en el script Hotkeys.cs ubicado en Plugins/LeapMotion/Core/Editor/Hotkeys.cs.

  2. Integración de leap Motion Unity Modules /Unity Plugin con MRTK

    • Una vez que los módulos de Unity o el complemento de Unity estén en el proyecto, vaya a Mixed Reality>Herramientas>utilidades>Leap Motion>Integrar módulos de Leap Motion Unity.

    Nota

    La integración de los módulos de Unity en MRTK agrega 10 definiciones de ensamblado al proyecto y agrega referencias a la definición de ensamblado Microsoft.MixedReality.Toolkit.Providers.LeapMotion . Asegúrese de que Visual Studio esté cerrado.

    LeapMotionIntegration

  3. Adición del proveedor de datos Leap Motion

    • Cree una nueva escena de Unity
    • Para agregar MRTK a la escena, vaya a Mixed Reality Toolkit>Add to Scene (Agregar a escena) y Configure (Configurar)
    • Seleccione el objeto de juego MixedRealityToolkit en la jerarquía y seleccione Copiar y personalizar para clonar el perfil de realidad mixta predeterminado.

    LeapMotionProfileClone

    • Seleccione el perfil de configuración de entrada .

    Perfil de configuración de entrada 1

    • Seleccione Clonar en el perfil del sistema de entrada para habilitar la modificación.

    LeapMotionInputProfileClone

    • Abra la sección Proveedores de datos de entrada , seleccione Agregar proveedor de datos en la parte superior, se agregará un nuevo proveedor de datos al final de la lista. Abra el nuevo proveedor de datos y establezca el tipo en Microsoft.MixedReality.Toolkit.LeapMotion.Input > LeapMotionDeviceManager.

    Leap Add Data Provider

    • Seleccione Clonar para cambiar la configuración predeterminada de Leap Motion.

    LeapDataProviderPreClone

    • El proveedor de datos leap motion contiene la LeapControllerOrientation propiedad que es la ubicación del controlador de movimiento bisiesto. LeapControllerOrientation.Headset indica que el controlador está montado en un casco. LeapControllerOrientation.Desk indica que el controlador se coloca plano en el escritorio. El valor predeterminado se establece en LeapControllerOrientation.Headset.

    • Cada orientación del controlador contiene propiedades de desplazamiento:

      • Las propiedades de desplazamiento de orientación de auriculares reflejan las propiedades de desplazamiento en el componente LeapXRServiceProvider. LeapVRDeviceOffsetMode Tiene tres opciones: Default, Manual Head Offset y Transform. Si el modo de desplazamiento es Predeterminado, no se aplicará un desplazamiento al Controlador de movimiento bisiesto. El modo Desplazamiento manual de la cabeza permite la modificación de tres propiedades: LeapVRDeviceOffsetY, LeapVRDeviceOffsetZ y LeapVRDeviceTiltX. A continuación, los valores de propiedad de desplazamiento del eje se aplican a la colocación predeterminada del controlador. El modo de desplazamiento transformar contiene la LeapVRDeviceOrigin propiedad Transform que especifica un nuevo origen para el controlador de movimiento leap.

      • La orientación del escritorio contiene la LeapControllerOffset propiedad que define la posición de anclaje de las manos bisiestas del escritorio. El desplazamiento se calcula en relación con la posición principal de la cámara y el valor predeterminado es (0,-0,2, 0,35) para asegurarse de que las manos aparecen delante y en vista de la cámara.

        Nota

        Las propiedades de desplazamiento del perfil se aplican una vez cuando se inicia la aplicación. Para modificar los valores durante el tiempo de ejecución, obtenga el proveedor de servicios Leap Motion del Administrador de dispositivos Leap Motion:

        LeapMotionDeviceManager leapMotionDeviceManager = CoreServices.GetInputSystemDataProvider<LeapMotionDeviceManager>();
LeapXRServiceProvider leapXRServiceProvider = leapMotionDeviceManager.LeapMotionServiceProvider as LeapXRServiceProvider;

    • EnterPinchDistance y ExitPinchDistance son los umbrales de distancia para la detección de gestos de pulsación de aire/pellizco. El gesto de pellizcar se calcula midiendo la distancia entre la punta del dedo índice y la punta del pulgar. Para generar un en el evento de entrada inactiva, el valor predeterminado EnterPinchDistance se establece en 0.02. Para generar un en el evento de entrada (salir del pellizco), la distancia predeterminada entre la punta del dedo índice y la punta del pulgar es 0,05.

    LeapControllerOrientation: casco (valor predeterminado)

    LeapHeadsetGif

    LeapHeadsetInspector

    LeapControllerOrientation:Escritorio

    LeapDeskGif

    LeapDeskInspector

  4. Prueba del proveedor de datos leap motion

    • Después de agregar el proveedor de datos leap Motion al perfil del sistema de entrada, presione reproducir, mueva la mano delante del controlador de movimiento leap y debería ver la representación conjunta de la mano.

  5. Compilación del proyecto

Obtención de las articulaciones de la mano

La obtención de articulaciones mediante el proveedor de datos leap Motion es idéntica a la recuperación de articulaciones mano para una mano articulada de MRTK. Para obtener más información, vea Seguimiento de manos.

Con MRTK en una escena de unity y el proveedor de datos leap motion agregado como proveedor de datos de entrada en el perfil del sistema de entrada, cree un objeto de juego vacío y adjunte el siguiente script de ejemplo.

Este script es un ejemplo sencillo de cómo recuperar la posición de la articulación de la palma en una mano de movimiento bisiesto. Una esfera sigue a la mano izquierda leap mientras un cubo sigue a la mano derecha de Leap.

using Microsoft.MixedReality.Toolkit;
using Microsoft.MixedReality.Toolkit.Input;
using Microsoft.MixedReality.Toolkit.Utilities;
using System.Collections.Generic;
using UnityEngine;

public class LeapHandJoints : MonoBehaviour, IMixedRealityHandJointHandler
{
    private GameObject leftHandSphere;
    private GameObject rightHandCube;

    private void Start()
    {
        // Register the HandJointHandler as a global listener
        CoreServices.InputSystem.RegisterHandler<IMixedRealityHandJointHandler>(this);

        // Create a sphere to follow the left hand palm position
        leftHandSphere = GameObject.CreatePrimitive(PrimitiveType.Sphere);
        leftHandSphere.transform.localScale = Vector3.one * 0.03f;

        // Create a cube to follow the right hand palm position
        rightHandCube = GameObject.CreatePrimitive(PrimitiveType.Cube);
        rightHandCube.transform.localScale = Vector3.one * 0.03f;
    }

    public void OnHandJointsUpdated(InputEventData<IDictionary<TrackedHandJoint, MixedRealityPose>> eventData)
    {
        if (eventData.Handedness == Handedness.Left)
        {
            Vector3 leftHandPalmPosition = eventData.InputData[TrackedHandJoint.Palm].Position;
            leftHandSphere.transform.position = leftHandPalmPosition;
        }

        if (eventData.Handedness == Handedness.Right)
        {
            Vector3 rightHandPalmPosition = eventData.InputData[TrackedHandJoint.Palm].Position;
            rightHandCube.transform.position = rightHandPalmPosition;
        }
    }
}

Sugerencia de flujo de trabajo del editor de Unity

El uso del proveedor de datos leap motion no requiere cascos vr. Los cambios en una aplicación MRTK se pueden probar en el editor con las manos Leap sin auriculares.

Las manos leap motion aparecerán en el editor, sin un casco vr conectado. Si está LeapControllerOrientation establecido en Auriculares, el controlador Leap Motion tendrá que mantenerse por una mano con la cámara orientada hacia delante.

Nota

Si la cámara se mueve con teclas WASD en el editor y LeapControllerOrientation es Auriculares, las manos no seguirán la cámara. Las manos solo seguirán el movimiento de la cámara si se conecta un casco VR mientras LeapControllerOrientation se establece el auricular. Las manos Leap seguirán el movimiento de la cámara en el editor si LeapControllerOrientation está establecido en Desk.

Quitar Leap Motion del proyecto

  1. Vaya a los módulos Mixed Reality Toolkit>Leap MotionSeparate Leap Motion> Unity Modules
    • Deje que Unity se actualice como referencias en el archivo Microsoft.MixedReality.Toolkit.Providers.LeapMotion.asmdef en este paso.
  2. Cerrar Unity
  3. Cierre Visual Studio, si está abierto.
  4. Abra Explorador de archivos y vaya a la raíz del proyecto de Unity de MRTK.
    • Eliminar el directorio UnityProjectName/Library
    • Eliminar el directorio UnityProjectName/Assets/Plugins/LeapMotion
    • Elimine el archivo UnityProjectName/Assets/Plugins/LeapMotion.meta .
  5. Volver a abrir Unity

En Unity 2018.4, es posible que observe que los errores siguen estando en la consola después de eliminar la biblioteca y los recursos principales de Leap Motion Core. Si se registran errores después de volver a abrirse, reinicie Unity de nuevo.

Errores comunes

Leap Motion no se ha integrado con MRTK

Para probar si los módulos leap Motion Unity se han integrado con MRTK:

  • Vaya a Mixed Reality Toolkit > Utilities > Leap Motion Check Integration Status (Estado de integración de Leap Motion > Check).
    • Se mostrará una ventana emergente con un mensaje sobre si los módulos leap Motion Unity se han integrado con MRTK o no.
  • Si el mensaje indica que los recursos no se han integrado:
    • Asegúrese de que los módulos de Leap Motion Unity están en el proyecto.
    • Asegúrese de que se admite la versión agregada, consulte la tabla de la parte superior de la página para ver las versiones admitidas.
    • Pruebe Mixed Reality Toolkit > Utilities > Leap Motion Integrate Leap Motion > Unity Modules

Error al copiar ensamblado HLAPI multijugador

Al importar los recursos principales de Leap Motion Unity, este error podría registrarse:

Copying assembly from 'Temp/com.unity.multiplayer-hlapi.Runtime.dll' to 'Library/ScriptAssemblies/com.unity.multiplayer-hlapi.Runtime.dll' failed

Solución

  • Una solución a corto plazo consiste en reiniciar Unity. Consulte el problema 7761 para obtener más información.

Escena de ejemplo de movimiento bisiesto

La escena de ejemplo usa el perfil DefaultLeapMotionConfiguration y determina si el proyecto de Unity se ha configurado correctamente para usar el proveedor de datos Leap Motion.

La escena de ejemplo se encuentra en el paquete Microsoft.MixedReality.Toolkit.Examples del directorio MRTK/Examples/Demos/HandTracking/ .

Consulte también