Handtracking in Unreal

Das Handverfolgungssystem verwendet die Handflächen und Finger einer Person als Eingabe. Daten zur Position und Drehung jedes Fingers, der gesamten Handfläche und Handgesten sind verfügbar. Ab Unreal 4.26 basiert die Handverfolgung auf dem Unreal HeadMountedDisplay-Plug-In und verwendet eine gemeinsame API auf allen XR-Plattformen und Geräten. Die Funktionalität ist für Windows Mixed Reality- und OpenXR-Systeme identisch.

Handpose

Mithilfe der Hand-Pose können Sie die Hände und Finger Ihrer Benutzer als Eingabe nachverfolgen und verwenden, auf die sowohl in Blueprints als auch in C++ zugegriffen werden kann. Die Unreal-API sendet die Daten als Koordinatensystem, wobei Teilstriche mit dem Unreal Engine synchronisiert werden.

4.26

Die Hierarchie wird durch EHandKeypoint Enumeration beschrieben:

Mit der Get Motion Controller Data-Funktion können Sie alle diese Daten aus den Händen eines Benutzers abrufen. Diese Funktion gibt eine XRMotionControllerData-Struktur zurück. Nachfolgend finden Sie ein Beispiel-Blueprint-Skript, das die XRMotionControllerData-Struktur analysiert, um handgelenkte Speicherorte abzurufen und ein Debugkoordinatensystem an der Position der einzelnen Gelenke zu zeichnet.

Es ist wichtig zu überprüfen, ob die Struktur gültig ist und dass es sich um eine Hand handelt. Andernfalls erhalten Sie möglicherweise nicht definiertes Verhalten im Zugriff auf Positionen, Drehungen und Bogenradienarrays.

4.25

Die EWMRHandKeypoint Enumeration beschreibt die Knochenhierarchie der Hand. Sie finden jeden Handtastenpunkt, der in Ihren Blueprints aufgeführt ist:

Die vollständige C++-Enumeration ist unten aufgeführt:

enum class EWMRHandKeypoint : uint8
{
	Palm,
	Wrist,
	ThumbMetacarpal,
	ThumbProximal,
	ThumbDistal,
	ThumbTip,
	IndexMetacarpal,
	IndexProximal,
	IndexIntermediate,
	IndexDistal,
	IndexTip,
	MiddleMetacarpal,
	MiddleProximal,
	MiddleIntermediate,
	MiddleDistal,
	MiddleTip,
	RingMetacarpal,
	RingProximal,
	RingIntermediate,
	RingDistal,
	RingTip,
	LittleMetacarpal,
	LittleProximal,
	LittleIntermediate,
	LittleDistal,
	LittleTip
};

Sie finden die numerischen Werte für jeden Enumerationsfall im Windows.Perception.Personen. HandJointKind-Tabelle.

Unterstützen der Handverfolgung

Sie können hand tracking in Blueprints verwenden, indem Sie "Supports Hand Tracking" aus Hand Tracking > Windows Mixed Reality hinzufügen:

Diese Funktion gibt zurück true , wenn die Handverfolgung auf dem Gerät unterstützt wird und false die Handverfolgung nicht verfügbar ist.

C++:

Einschließen WindowsMixedRealityHandTrackingFunctionLibrary.h.

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::SupportsHandTracking()

Handverfolgung erhalten

Mit GetHandJointTransform können Sie räumliche Daten aus der Hand zurückgeben. Die Daten aktualisieren jeden Frame, aber wenn Sie sich in einem Frame befinden, werden die zurückgegebenen Werte zwischengespeichert. Es wird nicht empfohlen, aus Leistungsgründen eine schwere Logik in dieser Funktion zu haben.

C++:

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::GetHandJointTransform(EControllerHand Hand, EWMRHandKeypoint Keypoint, FTransform& OutTransform, float& OutRadius)

Hier ist eine Aufschlüsselung der Funktionsparameter von GetHandJointTransform:

• Hand – kann die Benutzer links oder rechts sein.
• Keypoint – der Knochen der Hand.
• Transformieren – Koordinaten und Ausrichtung der Knochenbasis. Sie können die Basis des nächsten Knochens anfordern, um die Transformationsdaten für das Ende eines Knochens abzurufen. Ein spezieller Spitzenknochen gibt das Ende des Distals.
• **Radius – Radius der Basis des Knochens.
• **Rückgabewert – true, wenn der Knochen diesen Frame nachverfolgt, false, wenn der Knochen nicht nachverfolgt wird.

Hand Live Link Animation

Handposen werden mithilfe des Live Link-Plug-Ins für Animation verfügbar gemacht.

Wenn die Plug-Ins für Windows Mixed Reality und Live Link aktiviert sind:

1. Wählen Sie "Fenster Live Link" > aus, um das Live Link-Editor-Fenster zu öffnen.
2. Quelle auswählen und Windows Mixed Reality Hand Tracking Source aktivieren

Nachdem Sie die Quelle aktiviert und eine Animationsressource geöffnet haben, erweitern Sie den Abschnitt "Animation " auf der Registerkarte "Vorschauszene " zu weiteren Optionen.

Die Handanimationshierarchie ist identisch mit in EWMRHandKeypoint. Animation kann mithilfe von WindowsMixedRealityHandTrackingLiveLinkRemapAsset retargeted werden:

Sie kann auch im Editor unterklassigt werden:

Handgitter

Wichtig

Handgitter erfordert OpenXR.

Das Microsoft OpenXR-Plug-In muss verwendet werden, verfügbar über den Unreal Marketplace oder über GitHub.

Handgitter als nachverfolgte Geometrie

Wichtig

Zum Abrufen von Handgittern als nachverfolgte Geometrie in OpenXR müssen Sie "Set Use Hand Mesh with Enabled Tracking Geometry" aufrufen.

Um diesen Modus zu aktivieren, sollten Sie "Handgitter verwenden" mit aktivierter Nachverfolgungsgeometrie aufrufen:

Hinweis

Es ist nicht möglich, dass beide Modi gleichzeitig aktiviert werden. Wenn Sie eins aktivieren, wird der andere automatisch deaktiviert.

Zugreifen auf Handgitterdaten

Bevor Sie auf Handgitterdaten zugreifen können, müssen Sie:

• Wählen Sie Ihre ARSessionConfig-Ressource aus, erweitern Sie die AR-Einstellungen –> World Mapping-Einstellungen, und aktivieren Sie "Gitterdaten aus nachverfolgter Geometrie generieren".

Nachfolgend sind die Standardgitterparameter aufgeführt:

1. Verwenden von Gitterdaten für Okklusion
2. Generieren von Kollisionen für Gitterdaten
3. Generieren von Navigationsgittern für Gitterdaten
4. Rendern von Gitterdaten in Wireframe – Debugparameter, der generiertes Gitter anzeigt

Diese Parameterwerte werden als Standardeinstellungen für räumliche Zuordnungsgitter und Handgitter verwendet. Sie können sie jederzeit in Blueprints oder Code für jedes Gitter ändern.

C++-API-Referenz

Wird verwendet EEARObjectClassification , um Handgitterwerte in allen nachverfolgbaren Objekten zu finden.

enum class EARObjectClassification : uint8
{
    // Other types
	HandMesh,
};

Die folgenden Stellvertretungen werden aufgerufen, wenn das System ein nachverfolgbares Objekt erkennt, einschließlich eines Handgitters.

class FARSupportInterface
{
    public:
    // Other params
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableAdded)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableUpdated)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableRemoved)
};

Stellen Sie sicher, dass die Stellvertretungshandler der folgenden Funktionssignatur folgen:

void UARHandMeshComponent::OnTrackableAdded(UARTrackedGeometry* Added)

Sie können über die Folgenden UARTrackedGeometry::GetUnderlyingMeshauf Gitterdaten zugreifen:

UMRMeshComponent* UARTrackedGeometry::GetUnderlyingMesh()

Blueprint-API-Referenz

So arbeiten Sie mit Handgittern in Blueprints:

1. Hinzufügen einer ARTrackableNotify-Komponente zu einem Blueprint-Akteur

2. Wechseln Sie zum Detailbereich , und erweitern Sie den Abschnitt "Ereignisse ".

3. Überschreiben Sie "On Add/Update/Remove Tracked Geometry" mit den folgenden Knoten in Ihrem Ereignisdiagramm:

Handgittervisualisierung in OpenXR

Die empfohlene Methode zum Visualisieren des Handgitters ist die Verwendung des XRVisualization-Plug-Ins von Epic zusammen mit dem Microsoft OpenXR-Plug-In.

Verwenden Sie dann im Blueprint-Editor die Funktion "Handgitter festlegen" aus dem Microsoft OpenXR-Plug-In mit "Enabled XRVisualization" als Parameter:

Um den Renderingprozess zu verwalten, sollten Sie Render Motion Controller aus XRVisualization verwenden:

Das Ergebnis:

Wenn Sie etwas komplizierter benötigen, z. B. das Zeichnen eines Handgitters mit einem benutzerdefinierten Shader, müssen Sie die Gitter als nachverfolgte Geometrie abrufen.

Handlichtstrahl

Das Abrufen von Handposen funktioniert für enge Interaktionen wie das Greifen von Objekten oder das Drücken von Tasten. Manchmal müssen Sie jedoch mit Hologrammen arbeiten, die weit von Ihren Benutzern entfernt sind. Dies kann mit Handstrahlen erreicht werden, die sowohl in C++ als auch in Blueprints als Zeigegeräte verwendet werden können. Sie können einen Strahl von Ihrer Hand bis zu einem weit entfernten Punkt zeichnen und mit hilfe von Unreal Ray Tracing ein Hologramm auswählen, das andernfalls nicht erreichbar wäre.

Wichtig

Da alle Funktionsergebnisse jeden Frame ändern, werden sie alle aufgerufen. Weitere Informationen zu reinen und unreinen oder aufrufbaren Funktionen finden Sie in der Blueprint-Benutzer-GUID für Funktionen.

4.26

Um die Daten für die Handstrahlen abzurufen, sollten Sie die Funktion "Bewegungscontroller-Daten abrufen" aus dem vorherigen Abschnitt verwenden. Die zurückgegebene Struktur enthält zwei Parameter, die Sie zum Erstellen eines Handstrahls verwenden können: Aim Position und Aim Rotation. Diese Parameter bilden einen Strahl, der von Ihrem Ellenbogen geleitet wird. Sie sollten sie nehmen und ein Hologramm finden, auf das verwiesen wird.

Im Folgenden finden Sie ein Beispiel für die Bestimmung, ob ein Handstrahl auf ein Widget trifft und ein benutzerdefiniertes Trefferergebnis festlegt:

4.25

Um Handstrahlen in Blueprints zu verwenden, suchen Sie nach einer der Aktionen unter Windows Mixed Reality HMD:

Um auf sie in C++ zuzugreifen, fügen Sie WindowsMixedRealityFunctionLibrary.h oben in die aufrufende Codedatei ein.

Enum

Sie haben auch Zugriff auf Eingabefälle unter EHMDInputControllerButtons, die in Blueprints verwendet werden können:

Verwenden Sie für den Zugriff in C++ die EHMDInputControllerButtons Enumerationsklasse:

enum class EHMDInputControllerButtons : uint8
{
	Select,
	Grasp,
//......
};

Nachfolgend finden Sie eine Aufschlüsselung der beiden anwendbaren Enumerationsfälle:

• Select - Vom Benutzer ausgelöstes Select-Ereignis.
  • Wird in HoloLens 2 durch Tippen, Anvisieren und Commit ausgelöst, oder indem Sie "Auswählen" mit aktivierter Spracheingabe sagen.
• Greif - Benutzer ausgelöstes Greifereignis.
  • Wird in HoloLens 2 ausgelöst, indem die Finger des Benutzers auf einem Hologramm geschlossen werden.

Sie können über die EHMDTrackingStatus unten gezeigte Enumeration auf den Tracking-Status Ihres Handgitters in C++ zugreifen:

enum class EHMDTrackingStatus : uint8
{
	NotTracked,
	//......
	Tracked
};

Nachfolgend finden Sie eine Aufschlüsselung der beiden anwendbaren Enumerationsfälle:

• NotTracked – die Hand ist nicht sichtbar
• Nachverfolgt – die Hand wird vollständig nachverfolgt.

Struktur

Die PointerPoseInfo-Struktur kann Ihnen Informationen zu den folgenden Daten geben:

• Ursprung – Ursprung der Hand
• Richtung – Richtung der Hand
• Up – Up-Vektor der Hand
• Ausrichtung – Orientierungsquaternion
• Nachverfolgungsstatus – aktueller Nachverfolgungsstatus

Sie können auf die PointerPoseInfo-Struktur über Blueprints zugreifen, wie unten dargestellt:

Oder mit C++:

struct FPointerPoseInfo
{
	FVector Origin;
	FVector Direction;
	FVector Up;
	FQuat Orientation;
	EHMDTrackingStatus TrackingStatus;
};

Functions

Alle unten aufgeführten Funktionen können für jeden Frame aufgerufen werden, der eine kontinuierliche Überwachung ermöglicht.

1. Abrufen von Pointer Pose Info gibt vollständige Informationen zur Handstrahlrichtung im aktuellen Frame zurück.

Blueprint:

C++:

static FPointerPoseInfo UWindowsMixedRealityFunctionLibrary::GetPointerPoseInfo(EControllerHand hand);

2. Is Grasped gibt wahr, wenn die Hand im aktuellen Rahmen erfasst wird.

Blueprint:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsGrasped(EControllerHand hand);

3. Is Select Pressed returns true if the user triggered Select in the current frame.

Blueprint:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsSelectPressed(EControllerHand hand);

4. Ist Button Clicked gibt true zurück, wenn das Ereignis oder die Schaltfläche im aktuellen Frame ausgelöst wird.

Blueprint:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsButtonClicked(EControllerHand hand, EHMDInputControllerButtons button);

5. Der Status "Controllerverfolgung abrufen" gibt den Nachverfolgungsstatus im aktuellen Frame zurück.

Blueprint:

C++:

static EHMDTrackingStatus UWindowsMixedRealityFunctionLibrary::GetControllerTrackingStatus(EControllerHand hand);

Gesten

Die HoloLens 2 verfolgt räumliche Gesten, was bedeutet, dass Sie diese Gesten als Eingabe erfassen können. Die Gestenverfolgung basiert auf einem Abonnementmodell. Verwenden Sie die Funktion "Gesten konfigurieren", um dem Gerät mitzuteilen, welche Gesten Sie nachverfolgen möchten. Weitere Details zu Gesten finden Sie im HoloLens 2 Basic Usage-Dokument .

4.26

Windows Mixed Reality

Anschließend sollten Sie Code hinzufügen, um die folgenden Ereignisse zu abonnieren:

OpenXR

In OpenXR werden Gestikereignisse über die Eingabepipeline nachverfolgt. Mithilfe der Handinteraktion kann das Gerät Gesten zum Tippen und Halten automatisch erkennen, aber nicht die anderen. Sie werden als OpenXRMsftHandInteraction Select- und Grip-Zuordnungen benannt. Sie müssen das Abonnement nicht aktivieren, sie sollten die Ereignisse in Project Einstellungen/Engine/Input wie folgt deklarieren:

4.25

Sie finden die Blueprint-Funktion unter Windows Mixed Reality Spatial Input und die C++-Funktion, indem Sie die aufrufende Codedatei hinzufügen WindowsMixedRealitySpatialInputFunctionLibrary.h .

Enum

Blueprint:

C++:

enum class ESpatialInputAxisGestureType : uint8
{
	None = 0,
	Manipulation = 1,
	Navigation = 2,
	NavigationRails = 3
};

Funktion

Sie können die Gestenerfassung mit der CaptureGestures Funktion aktivieren und deaktivieren. Wenn eine aktivierte Geste Eingabeereignisse auslöst, gibt die Funktion zurück true , ob die Gestenerfassung erfolgreich war, und false wenn ein Fehler auftritt.

Blueprint:

C++:

static bool UWindowsMixedRealitySpatialInputFunctionLibrary::CaptureGestures(
	bool Tap = false,
	bool Hold = false,
	ESpatialInputAxisGestureType AxisGesture = ESpatialInputAxisGestureType::None,
	bool NavigationAxisX = true,
	bool NavigationAxisY = true,
	bool NavigationAxisZ = true);

Im Folgenden finden Sie wichtige Ereignisse, die Sie in Blueprints und C++ finden:

const FKey FSpatialInputKeys::TapGesture(TapGestureName);
const FKey FSpatialInputKeys::DoubleTapGesture(DoubleTapGestureName);
const FKey FSpatialInputKeys::HoldGesture(HoldGestureName);

const FKey FSpatialInputKeys::LeftTapGesture(LeftTapGestureName);
const FKey FSpatialInputKeys::LeftDoubleTapGesture(LeftDoubleTapGestureName);
const FKey FSpatialInputKeys::LeftHoldGesture(LeftHoldGestureName);

const FKey FSpatialInputKeys::RightTapGesture(RightTapGestureName);
const FKey FSpatialInputKeys::RightDoubleTapGesture(RightDoubleTapGestureName);
const FKey FSpatialInputKeys::RightHoldGesture(RightHoldGestureName);

const FKey FSpatialInputKeys::LeftManipulationGesture(LeftManipulationGestureName);
const FKey FSpatialInputKeys::LeftManipulationXGesture(LeftManipulationXGestureName);
const FKey FSpatialInputKeys::LeftManipulationYGesture(LeftManipulationYGestureName);
const FKey FSpatialInputKeys::LeftManipulationZGesture(LeftManipulationZGestureName);

const FKey FSpatialInputKeys::LeftNavigationGesture(LeftNavigationGestureName);
const FKey FSpatialInputKeys::LeftNavigationXGesture(LeftNavigationXGestureName);
const FKey FSpatialInputKeys::LeftNavigationYGesture(LeftNavigationYGestureName);
const FKey FSpatialInputKeys::LeftNavigationZGesture(LeftNavigationZGestureName);


const FKey FSpatialInputKeys::RightManipulationGesture(RightManipulationGestureName);
const FKey FSpatialInputKeys::RightManipulationXGesture(RightManipulationXGestureName);
const FKey FSpatialInputKeys::RightManipulationYGesture(RightManipulationYGestureName);
const FKey FSpatialInputKeys::RightManipulationZGesture(RightManipulationZGestureName);

const FKey FSpatialInputKeys::RightNavigationGesture(RightNavigationGestureName);
const FKey FSpatialInputKeys::RightNavigationXGesture(RightNavigationXGestureName);
const FKey FSpatialInputKeys::RightNavigationYGesture(RightNavigationYGestureName);
const FKey FSpatialInputKeys::RightNavigationZGesture(RightNavigationZGestureName);

Nächster Entwicklungsprüfpunkt

Wenn Sie der Unreal-Entwicklungs-Journey folgen, die wir entworfen haben, befinden Sie sich mitten im Kennenlernen der MRTK-Grundbausteine. Von hier aus können Sie mit dem nächsten Baustein fortfahren:

Lokale Raumanker

Oder fahren Sie mit den Funktionen und APIs der Mixed Reality-Plattform fort:

HoloLens-Kamera

Sie können jederzeit zu den Prüfpunkten für die Unreal-Entwicklung zurückkehren.