Seguimiento de las manos en Unreal

El sistema de seguimiento de manos usa las palmas y los dedos de una persona como entrada. Los datos sobre la posición y rotación de cada dedo, toda la palma y los gestos de mano están disponibles. A partir de Unreal 4.26, el seguimiento de manos se basa en el complemento Unreal HeadMountedDisplay y usa una API común en todas las plataformas y dispositivos XR. La funcionalidad es la misma para los sistemas Windows Mixed Reality y OpenXR.

Posición de mano

La posición de mano permite realizar un seguimiento y usar las manos y los dedos de los usuarios como entrada, a las que se puede acceder tanto en Blueprints como en C++. La API de Unreal envía los datos como un sistema de coordenadas, con tics sincronizados con un motor de Unreal.

4.26

La jerarquía se describe mediante EHandKeypoint la enumeración :

Puede obtener todos estos datos de las manos de un usuario mediante la función Obtener datos del controlador de movimiento . Esa función devuelve una estructura XRMotionControllerData . A continuación se muestra un script de plano técnico de ejemplo que analiza la estructura XRMotionControllerData para obtener las ubicaciones de las articulaciones de mano y dibuja un sistema de coordenadas de depuración en la ubicación de cada articulación.

Es importante comprobar si la estructura es válida y que es una mano. De lo contrario, puede obtener un comportamiento indefinido en el acceso a posiciones, rotaciones y matrices de radio.

4.25

La EWMRHandKeypoint enumeración describe la jerarquía ósea de la mano. Puede encontrar cada punto de clave de mano que se muestra en los planos técnicos:

A continuación se muestra la enumeración completa de C++:

enum class EWMRHandKeypoint : uint8
{
	Palm,
	Wrist,
	ThumbMetacarpal,
	ThumbProximal,
	ThumbDistal,
	ThumbTip,
	IndexMetacarpal,
	IndexProximal,
	IndexIntermediate,
	IndexDistal,
	IndexTip,
	MiddleMetacarpal,
	MiddleProximal,
	MiddleIntermediate,
	MiddleDistal,
	MiddleTip,
	RingMetacarpal,
	RingProximal,
	RingIntermediate,
	RingDistal,
	RingTip,
	LittleMetacarpal,
	LittleProximal,
	LittleIntermediate,
	LittleDistal,
	LittleTip
};

Puede encontrar los valores numéricos de cada caso de enumeración en windows.Perception.Personas. Tabla HandJointKind.

Compatibilidad con el seguimiento de manos

Puede usar el seguimiento de manos en Blueprints agregando Supports Hand Tracking from Hand Tracking > Windows Mixed Reality:

Esta función devuelve true si se admite el seguimiento de manos en el dispositivo y false si el seguimiento de manos no está disponible.

C++:

Incluya WindowsMixedRealityHandTrackingFunctionLibrary.h.

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::SupportsHandTracking()

Obtención del seguimiento de manos

Puede usar GetHandJointTransform para devolver datos espaciales de la mano. Los datos actualizan cada fotograma, pero si se encuentra dentro de un marco, los valores devueltos se almacenan en caché. No se recomienda tener lógica pesada en esta función por motivos de rendimiento.

C++:

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::GetHandJointTransform(EControllerHand Hand, EWMRHandKeypoint Keypoint, FTransform& OutTransform, float& OutRadius)

Este es un desglose de los parámetros de función de GetHandJointTransform:

• Mano : puede ser los usuarios a la izquierda o a la derecha.
• Punto clave : el hueso de la mano.
• Transformación : coordenadas y orientación de la base del hueso. Puede solicitar la base del hueso siguiente para obtener los datos de transformación para el final de un hueso. Un hueso tip especial da fin de distal.
• **Radio: radio de la base del hueso.
• **Valor devuelto: true si se realiza el seguimiento de este fotograma, false si no se realiza el seguimiento del hueso.

Animación hand Live Link

Las posturas de mano se exponen a animación mediante el complemento Live Link.

Si los complementos Windows Mixed Reality y Live Link están habilitados:

1. Seleccione Window > Live Link para abrir la ventana del editor de Live Link.
2. Seleccione Origen y habilite Windows Mixed Reality origen de seguimiento de manos.

Después de habilitar el origen y abrir un recurso de animación, expanda la sección Animación de la pestaña Escena preliminar también vea opciones adicionales.

La jerarquía de animación de mano es la misma que en EWMRHandKeypoint. La animación se puede cambiar de destino mediante WindowsMixedRealityHandTrackingLiveLinkRemapAsset:

También se puede clasificar en subclases en el editor:

Malla de mano

Importante

La malla manual requiere OpenXR.

Se debe usar el complemento de Microsoft OpenXR (disponible en Unreal Marketplace o GitHub).

Malla de mano como geometría con seguimiento

Importante

La obtención de mallas de mano como geometría con seguimiento en OpenXR requiere llamar a Set Use Hand Mesh with Enabled Tracking Geometry (Establecer usar malla de mano con geometría de seguimiento habilitada).

Para habilitar ese modo, debe llamar a Set Use Hand Mesh with Enabled Tracking Geometry ( Establecer usar malla de mano con geometría de seguimiento habilitada):

Nota

No es posible habilitar ambos modos al mismo tiempo. Si habilita una, la otra se deshabilita automáticamente.

Acceso a datos de malla de mano

Para poder acceder a los datos de malla de mano, deberá hacer lo siguiente:

• Seleccione el recurso ARSessionConfig , expanda la configuración de AR Settings - World Mapping (Configuración de AR:> asignación mundial ) y active Generate Mesh Data from Tracked Geometry (Generar datos de malla a partir de geometría con seguimiento).

A continuación se muestran los parámetros de malla predeterminados:

1. Uso de datos de malla para la oclusión
2. Generar colisión para datos de malla
3. Generar malla de navegación para datos de malla
4. Representar datos de malla en Wireframe: parámetro de depuración que muestra la malla generada

Estos valores de parámetro se usan como valores predeterminados de malla de asignación espacial y malla de mano. Puede cambiarlos en cualquier momento en Planos técnicos o código para cualquier malla.

Referencia de API de C++

Use EEARObjectClassification para buscar valores de malla de mano en todos los objetos rastreables.

enum class EARObjectClassification : uint8
{
    // Other types
	HandMesh,
};

Se llama a los siguientes delegados cuando el sistema detecta cualquier objeto rastreable, incluida una malla de mano.

class FARSupportInterface
{
    public:
    // Other params
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableAdded)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableUpdated)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableRemoved)
};

Asegúrese de que los controladores delegados siguen la firma de función siguiente:

void UARHandMeshComponent::OnTrackableAdded(UARTrackedGeometry* Added)

Puede acceder a los datos de malla a través de UARTrackedGeometry::GetUnderlyingMesh:

UMRMeshComponent* UARTrackedGeometry::GetUnderlyingMesh()

Referencia de la API de plano técnico

Para trabajar con mallas de mano en planos técnicos:

1. Agregar un componente ARTrackableNotify a un actor de plano técnico

2. Vaya al panel Detalles y expanda la sección Eventos .

3. Sobrescribir en Agregar, actualizar o quitar geometría de seguimiento con los nodos siguientes en el gráfico de eventos:

Visualización de malla de mano en OpenXR

La manera recomendada de visualizar la malla manual es usar el complemento XRVisualization de Epic junto con el complemento Microsoft OpenXR.

A continuación, en el editor de planos técnicos, debe usar la función Set Use Hand Mesh del complemento Microsoft OpenXR con Enabled XRVisualization como parámetro:

Para administrar el proceso de representación, debe usar Render Motion Controller desde XRVisualization:

El resultado es:

Si necesita algo más complicado, como dibujar una malla de mano con un sombreador personalizado, debe obtener las mallas como geometría de seguimiento.

Rayos de las manos

La obtención de la posición de mano funciona para interacciones cercanas, como agarrar objetos o presionar botones. Sin embargo, a veces es necesario trabajar con hologramas que están lejos de los usuarios. Esto se puede lograr con rayos de mano, que se pueden usar como dispositivos apuntadores tanto en C++ como planos técnicos. Puede dibujar un rayo de la mano a un punto lejano y, con alguna ayuda del seguimiento de rayos de Unreal, seleccione un holograma que, de lo contrario, estaría fuera de alcance.

Importante

Dado que todos los resultados de la función cambian cada fotograma, todos se pueden llamar. Para obtener más información sobre las funciones puras e impures o invocables, consulte guid del usuario de Blueprint en las funciones.

4.26

Para obtener los datos de los rayos de mano, debe usar la función Obtener datos del controlador de movimiento de la sección anterior. La estructura devuelta contiene dos parámetros que puede usar para crear un rayo de mano: posición de objetivo y rotación de objetivo. Estos parámetros forman un rayo dirigido por el codo. Debe tomarlos y encontrar un holograma al que apunta.

A continuación se muestra un ejemplo de cómo determinar si un rayo de mano alcanza un widget y establece un resultado de acierto personalizado:

4.25

Para usar Rayos de mano en planos técnicos, busque cualquiera de las acciones en Windows Mixed Reality HMD:

Para acceder a ellos en C++, incluya WindowsMixedRealityFunctionLibrary.h en la parte superior del archivo de código de llamada.

Enumeración

También tiene acceso a los casos de entrada en EHMDInputControllerButtons, que se pueden usar en Blueprints:

Para el acceso en C++, use la EHMDInputControllerButtons clase enum:

enum class EHMDInputControllerButtons : uint8
{
	Select,
	Grasp,
//......
};

A continuación se muestra un desglose de los dos casos de enumeración aplicables:

• Seleccionar : evento Select desencadenado por el usuario.
  • Se desencadena en HoloLens 2 pulsando en el aire, la mirada y la confirmación, o diciendo "Seleccionar" con la entrada de voz habilitada.
• Grasp : evento De agarre desencadenado por el usuario.
  • Se desencadena en HoloLens 2 cerrando los dedos del usuario en un holograma.

Puede acceder al estado de seguimiento de la malla de mano en C++ a través de la EHMDTrackingStatus enumeración que se muestra a continuación:

enum class EHMDTrackingStatus : uint8
{
	NotTracked,
	//......
	Tracked
};

A continuación se muestra un desglose de los dos casos de enumeración aplicables:

• NotTracked : la mano no está visible
• Seguimiento: la mano está totalmente rastreada

Estructura

La estructura PointerPoseInfo puede proporcionarle información sobre los datos de la mano siguientes:

• Origen : origen de la mano
• Dirección : dirección de la mano
• Up – up vector de la mano
• Orientación : cuaternión de orientación
• Estado de seguimiento: estado de seguimiento actual

Puede acceder a la estructura PointerPoseInfo a través de Blueprints, como se muestra a continuación:

O con C++:

struct FPointerPoseInfo
{
	FVector Origin;
	FVector Direction;
	FVector Up;
	FQuat Orientation;
	EHMDTrackingStatus TrackingStatus;
};

Functions

Se puede llamar a todas las funciones enumeradas a continuación en cada fotograma, lo que permite la supervisión continua.

1. Obtener información de posición de puntero devuelve información completa sobre la dirección del rayo de mano en el marco actual.

Plan:

C++:

static FPointerPoseInfo UWindowsMixedRealityFunctionLibrary::GetPointerPoseInfo(EControllerHand hand);

2. Is Grasped devuelve true si la mano se capta en el marco actual.

Plan:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsGrasped(EControllerHand hand);

3. Es Select Pressed devuelve true si el usuario desencadenó Select en el marco actual.

Plan:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsSelectPressed(EControllerHand hand);

4. Is Button Clicked devuelve true si el evento o el botón se desencadena en el marco actual.

Plan:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsButtonClicked(EControllerHand hand, EHMDInputControllerButtons button);

5. Get Controller Tracking Status devuelve el estado de seguimiento en el marco actual.

Plan:

C++:

static EHMDTrackingStatus UWindowsMixedRealityFunctionLibrary::GetControllerTrackingStatus(EControllerHand hand);

Gestos

El HoloLens 2 realiza un seguimiento de los gestos espaciales, lo que significa que puede capturar esos gestos como entrada. El seguimiento de gestos se basa en un modelo de suscripción. Debe usar la función "Configurar gestos" para indicar al dispositivo qué gestos desea realizar. Puede encontrar más detalles sobre los gestos en el documento uso básico de HoloLens 2.

4.26

Windows Mixed Reality

A continuación, debe agregar código para suscribirse a los siguientes eventos:

OpenXR

En OpenXR, se realiza un seguimiento de los eventos de gestos a través de la canalización de entrada. Con la interacción con la mano, el dispositivo puede reconocer automáticamente gestos de pulsación y suspensión, pero no los demás. Se denominan Asignaciones de selección y agarre de OpenXRMsftHandInteraction. No es necesario habilitar la suscripción; debe declarar los eventos en Configuración del proyecto,Motor/Entrada, de la siguiente manera:

4.25

Puede encontrar la función Blueprint en en Windows Mixed Reality Entrada espacial y la función de C++ agregando WindowsMixedRealitySpatialInputFunctionLibrary.h en el archivo de código de llamada.

Enumeración

Plan:

C++:

enum class ESpatialInputAxisGestureType : uint8
{
	None = 0,
	Manipulation = 1,
	Navigation = 2,
	NavigationRails = 3
};

Función

Puede habilitar y deshabilitar la captura de gestos con la CaptureGestures función . Cuando un gesto habilitado desencadena eventos de entrada, la función devuelve true si la captura de gestos se realizó correctamente y false si se produce un error.

Plan:

C++:

static bool UWindowsMixedRealitySpatialInputFunctionLibrary::CaptureGestures(
	bool Tap = false,
	bool Hold = false,
	ESpatialInputAxisGestureType AxisGesture = ESpatialInputAxisGestureType::None,
	bool NavigationAxisX = true,
	bool NavigationAxisY = true,
	bool NavigationAxisZ = true);

Los siguientes son eventos clave, que puede encontrar en Blueprints y C++:

const FKey FSpatialInputKeys::TapGesture(TapGestureName);
const FKey FSpatialInputKeys::DoubleTapGesture(DoubleTapGestureName);
const FKey FSpatialInputKeys::HoldGesture(HoldGestureName);

const FKey FSpatialInputKeys::LeftTapGesture(LeftTapGestureName);
const FKey FSpatialInputKeys::LeftDoubleTapGesture(LeftDoubleTapGestureName);
const FKey FSpatialInputKeys::LeftHoldGesture(LeftHoldGestureName);

const FKey FSpatialInputKeys::RightTapGesture(RightTapGestureName);
const FKey FSpatialInputKeys::RightDoubleTapGesture(RightDoubleTapGestureName);
const FKey FSpatialInputKeys::RightHoldGesture(RightHoldGestureName);

const FKey FSpatialInputKeys::LeftManipulationGesture(LeftManipulationGestureName);
const FKey FSpatialInputKeys::LeftManipulationXGesture(LeftManipulationXGestureName);
const FKey FSpatialInputKeys::LeftManipulationYGesture(LeftManipulationYGestureName);
const FKey FSpatialInputKeys::LeftManipulationZGesture(LeftManipulationZGestureName);

const FKey FSpatialInputKeys::LeftNavigationGesture(LeftNavigationGestureName);
const FKey FSpatialInputKeys::LeftNavigationXGesture(LeftNavigationXGestureName);
const FKey FSpatialInputKeys::LeftNavigationYGesture(LeftNavigationYGestureName);
const FKey FSpatialInputKeys::LeftNavigationZGesture(LeftNavigationZGestureName);


const FKey FSpatialInputKeys::RightManipulationGesture(RightManipulationGestureName);
const FKey FSpatialInputKeys::RightManipulationXGesture(RightManipulationXGestureName);
const FKey FSpatialInputKeys::RightManipulationYGesture(RightManipulationYGestureName);
const FKey FSpatialInputKeys::RightManipulationZGesture(RightManipulationZGestureName);

const FKey FSpatialInputKeys::RightNavigationGesture(RightNavigationGestureName);
const FKey FSpatialInputKeys::RightNavigationXGesture(RightNavigationXGestureName);
const FKey FSpatialInputKeys::RightNavigationYGesture(RightNavigationYGestureName);
const FKey FSpatialInputKeys::RightNavigationZGesture(RightNavigationZGestureName);

Siguiente punto de control de desarrollo

Si sigue el recorrido de desarrollo de Unreal que hemos diseñado, significa que ya se encuentra en proceso de explorar los bloques de compilación principales de MRTK. Desde aquí, puede continuar con el siguiente bloque de compilación:

Anclajes espaciales locales

O bien puede saltar a las funcionalidades y las API de la plataforma de realidad mixta:

Cámara de HoloLens

Puede volver a los puntos de control de desarrollo de Unreal en cualquier momento.