Отслеживание рук в Unreal

Система отслеживания рук использует ладони и пальцы человека в качестве входных данных. Доступны данные о положении и повороте каждого пальца, всего ладоня и жестов рук. Начиная с Unreal 4.26 отслеживание рук основано на подключаемом модуле Unreal HeadMountedDisplay и использует общий API на всех платформах и устройствах XR. Функции одинаковы для систем Windows Смешанная реальность и OpenXR.

Поза руки

Поза руки позволяет отслеживать и использовать руки и пальцы пользователей в качестве входных данных, доступ к которым можно получить как в схеме, так и в C++. API Unreal отправляет данные в виде системы координат, с галками, синхронизированными с Unreal Engine.

4.26

Иерархия описывается перечислением EHandKeypoint :

Вы можете получить все эти данные из рук пользователя с помощью функции получения данных контроллера движения. Эта функция возвращает структуру XRMotionControllerData . Ниже приведен пример скрипта схемы, который анализирует структуру XRMotionControllerData, чтобы получить совместное расположение рук и рисует отладочную систему координат в расположении каждого сустава.

Важно проверка, если структура действительна и что это рука. В противном случае вы можете получить неопределенное поведение в доступе к позициям, поворотам и массивам радии.

4.25

Перечисление EWMRHandKeypoint описывает иерархию костей руки. Вы можете найти каждую точку ключа руки, указанную в схеме:

Ниже приведен полный перечисление C++ :

enum class EWMRHandKeypoint : uint8
{
	Palm,
	Wrist,
	ThumbMetacarpal,
	ThumbProximal,
	ThumbDistal,
	ThumbTip,
	IndexMetacarpal,
	IndexProximal,
	IndexIntermediate,
	IndexDistal,
	IndexTip,
	MiddleMetacarpal,
	MiddleProximal,
	MiddleIntermediate,
	MiddleDistal,
	MiddleTip,
	RingMetacarpal,
	RingProximal,
	RingIntermediate,
	RingDistal,
	RingTip,
	LittleMetacarpal,
	LittleProximal,
	LittleIntermediate,
	LittleDistal,
	LittleTip
};

Числовые значения для каждого регистра перечисления можно найти в Windows.Perception.Люди. Таблица HandJointKind.

Поддержка отслеживания рук

Вы можете использовать отслеживание рук в схемах, добавив поддержку отслеживания рук из Windows отслеживания > рук Смешанная реальность:

Эта функция возвращается true , если отслеживание рук поддерживается на устройстве и false если отслеживание рук недоступно.

C++:

Включить WindowsMixedRealityHandTrackingFunctionLibrary.h.

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::SupportsHandTracking()

Получение отслеживания рук

GetHandJointTransform можно использовать для возврата пространственных данных из руки. Данные обновляют каждый кадр, но если вы находитесь внутри кадра, возвращаемые значения кэшируются. Не рекомендуется иметь тяжелую логику в этой функции по соображениям производительности.

C++:

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::GetHandJointTransform(EControllerHand Hand, EWMRHandKeypoint Keypoint, FTransform& OutTransform, float& OutRadius)

Ниже приведена разбивка параметров функции GetHandJointTransform:

• Рука — может быть пользователем слева или правой рукой.
• Ключевой точкой — кости руки.
• Преобразование — координаты и ориентация основы кости. Вы можете запросить базу следующей кости, чтобы получить данные преобразования для конца кости. Специальная кость чаевых дает конец дистальности.
• **Radius — радиус основания кости.
• **Возвращаемое значение — true, если кости отслеживаются этот кадр, значение false, если кости не отслеживаются.

Анимация динамической связи с рукой

Позы рук предоставляются для анимации с помощью подключаемого модуля Live Link.

Если подключаемые модули Windows Смешанная реальность и Live Link включены:

1. Выберите окно "Прямая ссылка" > , чтобы открыть окно редактора live Link .
2. Выбор источника и включение источника отслеживания рук в Windows Смешанная реальность

После включения исходного ресурса и открытия ресурса анимации разверните раздел "Анимация " на вкладке "Предварительный просмотр сцены " также см. дополнительные параметры.

Иерархия анимации рук совпадает с иерархией EWMRHandKeypoint. Анимация может быть перенацеливается с помощью WindowsMixedRealityHandTrackingLiveLinkRemapAsset:

Он также может быть подклассен в редакторе:

Сетка рук

Внимание

Для сетки рук требуется OpenXR.

Необходимо использовать подключаемый модуль Microsoft OpenXR, доступный в Unreal Marketplace или GitHub.

Сетка рук в виде отслеживаемой геометрии

Внимание

Получение сетки рук в качестве отслеживаемой геометрии в OpenXR требует вызова set Use Hand Mesh with Enabled Tracking Geometry.

Чтобы включить этот режим, необходимо вызвать параметр Set Use Hand Mesh with Enabled Tracking Geometry:

Примечание.

Невозможно включить оба режима одновременно. Если включить его, другой автоматически отключается.

Доступ к данным сетки рук

Прежде чем получить доступ к данным сетки рук, вам потребуется:

• Выберите ресурс ARSessionConfig, разверните Параметры AR —> параметры сопоставления мира и проверка создать данные сетки из отслеживаемой геометрии.

Ниже приведены параметры сетки по умолчанию:

1. Использование данных сетки для Occlusion
2. Создание столкновения для данных сетки
3. Создание сетки навигации для данных сетки
4. Отрисовка данных сетки в Wireframe — параметр отладки, показывающий созданную сетку

Эти значения параметров используются в качестве сетки пространственного сопоставления и по умолчанию сетки рук. Их можно изменить в любое время в схеме или коде для любой сетки.

Справочник по API C++

Используется EEARObjectClassification для поиска значений сетки рук во всех отслеживаемых объектах.

enum class EARObjectClassification : uint8
{
    // Other types
	HandMesh,
};

Следующие делегаты вызываются, когда система обнаруживает любой отслеживаемый объект, включая сетку рук.

class FARSupportInterface
{
    public:
    // Other params
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableAdded)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableUpdated)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableRemoved)
};

Убедитесь, что обработчики делегатов следуют сигнатуре функции ниже:

void UARHandMeshComponent::OnTrackableAdded(UARTrackedGeometry* Added)

Вы можете получить доступ к данным сетки UARTrackedGeometry::GetUnderlyingMeshс помощью следующих методов:

UMRMeshComponent* UARTrackedGeometry::GetUnderlyingMesh()

Справочник по API схемы

Чтобы работать с сетками рук в схемах, выполните приведенные далее действия.

1. Добавление компонента ARTrackableNotify в субъект схемы

2. Перейдите на панель "Сведения" и разверните раздел "События ".

3. Перезапись при добавлении или обновлении или удалении отслеживаемой геометрии со следующими узлами в графе событий:

Визуализация сетки рук в OpenXR

Рекомендуемый способ визуализации сетки рук — использовать подключаемый модуль XRVisualization Epic вместе с подключаемым модулем Microsoft OpenXR.

Затем в редакторе схем следует использовать функцию Set Use Hand Mesh из подключаемого модуля Microsoft OpenXR с включенной XRVisualization в качестве параметра:

Для управления процессом отрисовки следует использовать контроллер движения отрисовки из XRVisualization:

Получаются такие результаты:

Если вам нужно что-либо более сложное, например рисование сетки рук с пользовательским шейдером, необходимо получить сетки в виде отслеживаемой геометрии.

Лучи рук

Получение позы рук работает для тесных взаимодействий, таких как захват объектов или нажатие кнопок. Однако иногда необходимо работать с голограммами, которые далеко от пользователей. Это можно сделать с помощью лучей рук, которые можно использовать в качестве указателей устройств как в C++, так и в схеме. Вы можете нарисовать луч от руки к далекой точке и, с некоторой помощью от Трассировки луча Unreal, выберите голограмму, которая в противном случае будет вне досягаемости.

Внимание

Так как все результаты функции изменяют каждый кадр, они все вызываются. Дополнительные сведения о чистых и небезопасных или вызываемых функциях см. в guid пользователя Blueprint для функций.

4.26

Чтобы получить данные для лучей рук, следует использовать функцию получения данных контроллера движения из предыдущего раздела. Возвращаемая структура содержит два параметра, которые можно использовать для создания луча руки — положение цели и поворот цели. Эти параметры формируют луч, направленный локотью. Их следует взять и найти голограмму, на которую указывает.

Ниже приведен пример определения того, попадает ли луч руки в мини-приложение и задает пользовательский результат попадания:

4.25

Чтобы использовать лучи рук в схеме, выполните поиск любого из действий в Windows Смешанная реальность HMD:

Чтобы получить доступ к ним в C++, добавьте WindowsMixedRealityFunctionLibrary.h в начало вызывающего файла кода.

Перечисление

У вас также есть доступ к входным случаям в EHMDInputControllerButtons, которые можно использовать в схеме:

Для доступа в C++используйте класс перечисления EHMDInputControllerButtons :

enum class EHMDInputControllerButtons : uint8
{
	Select,
	Grasp,
//......
};

Ниже приведена разбивка двух применимых случаев перечисления:

• Выберите — событие select с активированным пользователем.
  • Активируется в HoloLens 2 с помощью воздуха, касания, взгляда и фиксации, или говоря "Выбрать" с включенным голосовыми входными данными .
• Хватка — событие хватки активировало пользователем.
  • Активируется в HoloLens 2, закрывая пальцы пользователя на голограмме.

Вы можете получить доступ к состоянию отслеживания сетки рук в C++ с EHMDTrackingStatus помощью перечисления ниже:

enum class EHMDTrackingStatus : uint8
{
	NotTracked,
	//......
	Tracked
};

Ниже приведена разбивка двух применимых случаев перечисления:

• NotTracked - рука не видна
• Отслеживаемый - рука полностью отслеживается

Структура

Структуру PointerPoseInfo можно предоставить сведения о следующих данных:

• Происхождение — происхождение руки
• Направление — направление руки
• Вверх – вверх вектор руки
• Ориентация — кватернион ориентации
• Состояние отслеживания — текущее состояние отслеживания

Вы можете получить доступ к структуре PointerPoseInfo с помощью схем, как показано ниже:

Или с помощью C++:

struct FPointerPoseInfo
{
	FVector Origin;
	FVector Direction;
	FVector Up;
	FQuat Orientation;
	EHMDTrackingStatus TrackingStatus;
};

Функции

Все функции, перечисленные ниже, можно вызывать на каждом кадре, что обеспечивает непрерывный мониторинг.

1. Get Pointer Pose Info возвращает полные сведения о направлении луча руки в текущем кадре.

План:

C++:

static FPointerPoseInfo UWindowsMixedRealityFunctionLibrary::GetPointerPoseInfo(EControllerHand hand);

2. Возвращает значение true, если рука захвачена в текущем кадре.

План:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsGrasped(EControllerHand hand);

3. Значение Select Pressed возвращает значение true, если пользователь активировал выбор в текущем кадре.

План:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsSelectPressed(EControllerHand hand);

4. Значение "Нажатие кнопки" возвращает значение true, если событие или кнопка активируются в текущем кадре.

План:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsButtonClicked(EControllerHand hand, EHMDInputControllerButtons button);

5. Получение состояния отслеживания контроллера возвращает состояние отслеживания в текущем кадре.

План:

C++:

static EHMDTrackingStatus UWindowsMixedRealityFunctionLibrary::GetControllerTrackingStatus(EControllerHand hand);

Жесты

HoloLens 2 отслеживает пространственные жесты, что означает, что эти жесты можно записывать в качестве входных данных. Отслеживание жестов основано на модели подписки. Вы должны использовать функцию "Настройка жестов", чтобы указать устройству, какие жесты нужно отслеживать. Дополнительные сведения о жестах см. в документе holoLens 2 Basic Usage .

4.26

Windows Mixed Reality

Затем необходимо добавить код для подписки на следующие события:

OpenXR

В OpenXR события жестов отслеживаются через входной конвейер. С помощью взаимодействия с рукой устройство может автоматически распознавать жесты касания и удержания, но не другие. Они называются сопоставлениями OpenXRMsftHandInteraction Select и Grip. Вам не нужно включить подписку, следует объявить события в Project Параметры/Engine/Input, как показано ниже.

4.25

Функцию схемы можно найти в разделе Windows Смешанная реальность Пространственные входные данные и функцию C++, добавив WindowsMixedRealitySpatialInputFunctionLibrary.h в вызывающий файл кода.

Перечисление

План:

C++:

enum class ESpatialInputAxisGestureType : uint8
{
	None = 0,
	Manipulation = 1,
	Navigation = 2,
	NavigationRails = 3
};

Function

Вы можете включить и отключить захват жестов CaptureGestures с помощью функции. Если включенный жест запускает входные события, функция возвращается true , если захват жеста выполнен успешно, и false если возникает ошибка.

План:

C++:

static bool UWindowsMixedRealitySpatialInputFunctionLibrary::CaptureGestures(
	bool Tap = false,
	bool Hold = false,
	ESpatialInputAxisGestureType AxisGesture = ESpatialInputAxisGestureType::None,
	bool NavigationAxisX = true,
	bool NavigationAxisY = true,
	bool NavigationAxisZ = true);

Ниже приведены ключевые события, которые можно найти в схеме и C++:

const FKey FSpatialInputKeys::TapGesture(TapGestureName);
const FKey FSpatialInputKeys::DoubleTapGesture(DoubleTapGestureName);
const FKey FSpatialInputKeys::HoldGesture(HoldGestureName);

const FKey FSpatialInputKeys::LeftTapGesture(LeftTapGestureName);
const FKey FSpatialInputKeys::LeftDoubleTapGesture(LeftDoubleTapGestureName);
const FKey FSpatialInputKeys::LeftHoldGesture(LeftHoldGestureName);

const FKey FSpatialInputKeys::RightTapGesture(RightTapGestureName);
const FKey FSpatialInputKeys::RightDoubleTapGesture(RightDoubleTapGestureName);
const FKey FSpatialInputKeys::RightHoldGesture(RightHoldGestureName);

const FKey FSpatialInputKeys::LeftManipulationGesture(LeftManipulationGestureName);
const FKey FSpatialInputKeys::LeftManipulationXGesture(LeftManipulationXGestureName);
const FKey FSpatialInputKeys::LeftManipulationYGesture(LeftManipulationYGestureName);
const FKey FSpatialInputKeys::LeftManipulationZGesture(LeftManipulationZGestureName);

const FKey FSpatialInputKeys::LeftNavigationGesture(LeftNavigationGestureName);
const FKey FSpatialInputKeys::LeftNavigationXGesture(LeftNavigationXGestureName);
const FKey FSpatialInputKeys::LeftNavigationYGesture(LeftNavigationYGestureName);
const FKey FSpatialInputKeys::LeftNavigationZGesture(LeftNavigationZGestureName);


const FKey FSpatialInputKeys::RightManipulationGesture(RightManipulationGestureName);
const FKey FSpatialInputKeys::RightManipulationXGesture(RightManipulationXGestureName);
const FKey FSpatialInputKeys::RightManipulationYGesture(RightManipulationYGestureName);
const FKey FSpatialInputKeys::RightManipulationZGesture(RightManipulationZGestureName);

const FKey FSpatialInputKeys::RightNavigationGesture(RightNavigationGestureName);
const FKey FSpatialInputKeys::RightNavigationXGesture(RightNavigationXGestureName);
const FKey FSpatialInputKeys::RightNavigationYGesture(RightNavigationYGestureName);
const FKey FSpatialInputKeys::RightNavigationZGesture(RightNavigationZGestureName);

Следующий этап разработки

Если вы следуете изложенным нами инструкциям по разработке для Unreal, вы как раз прошли половину в изучении основных стандартных блоков MRTK. Отсюда вы можете перейти к следующему стандартному блоку:

Локальные пространственные привязки

Или перейдите к возможностям и API платформы смешанной реальности:

Камера HoloLens

Вы можете в любой момент вернуться к этапам разработки для Unreal.