Nativní interoperabilita hybridní reality v Unity

Článek
07/04/2024

Každá aplikace hybridní reality získá HolographicSpace předtím, než začne přijímat data z fotoaparátu a vykreslovat snímky. Modul se v Unity postará o tyto kroky, zpracovává holografické objekty a interně aktualizuje v rámci smyčky vykreslování.

V pokročilých scénářích ale možná budete muset získat přístup k podkladovým nativním objektům, jako je HolographicCamera a aktuální HolographicFrame.

WindowsMixedRealityUtilities

Obor názvů: Microsoft.MixedReality.Toolkit.WindowsMixedReality
Typ: WindowsMixedRealityUtilities

MRTK poskytuje již zařazované typy ve starší verzi WSA i XR SDK prostřednictvím třídy WindowsMixedRealityUtilities .

public static HolographicFrame CurrentHolographicFrame { get; }
public static SpatialCoordinateSystem SpatialCoordinateSystem { get; }
public static SpatialInteractionManager SpatialInteractionManager { get; }

WindowsMREnvironment

Obor názvů: UnityEngine.XR.WindowsMR
Typ: WindowsMREnvironment

Static WindowsMREnvironment třída poskytuje přístup k několika nativním ukazatelům.

public static IntPtr CurrentHolographicRenderFrame { get; } // Windows::Graphics::Holographic::IHolographicFrame
public static IntPtr HolographicSpace { get; } // Windows::Graphics::Holographic::IHolographicSpace
public static IntPtr OriginSpatialCoordinateSystem { get; } // Windows::Perception::Spatial::ISpatialCoordinateSystem

XRDevice

Obor názvů: UnityEngine.XR
Typ: XRDevice

Typ XRDevice umožňuje získat přístup k podkladovým nativním objektům pomocí metody GetNativePtr. Co GetNativePtr vrací, se liší mezi různými platformami. Na Univerzální platforma Windows při cílení na Windows Mixed Reality XRDevice.GetNativePtr vrátí ukazatel (IntPtr) na následující strukturu:

using System;
using System.Runtime.InteropServices;

[StructLayout(LayoutKind.Sequential)]
struct HolographicFrameNativeData
{
    public uint VersionNumber;
    public uint MaxNumberOfCameras;
    public IntPtr ISpatialCoordinateSystemPtr; // Windows::Perception::Spatial::ISpatialCoordinateSystem
    public IntPtr IHolographicFramePtr; // Windows::Graphics::Holographic::IHolographicFrame
    public IntPtr IHolographicCameraPtr; // Windows::Graphics::Holographic::IHolographicCamera
}

Můžete ho převést na HolographicFrameNativeData pomocí metody Marshal.PtrToStructure:

IntPtr nativePtr = UnityEngine.XR.XRDevice.GetNativePtr();
HolographicFrameNativeData hfd = Marshal.PtrToStructure<HolographicFrameNativeData>(nativePtr);

IHolographicCameraPtr je pole IntPtr marshaled as UnmanagedType.ByValArray s délkou rovna MaxNumberOfCameras

Zrušení ohraničení nativních ukazatelů

Po získání IntPtr jedné z výše uvedených metod (není potřeba pro MRTK) použijte následující fragmenty kódu k jejich zařazování do spravovaných objektů.

Pokud používáte Microsoft.Windows.MixedReality.DotNetWinRT, můžete pomocí metody sestavit spravovaný objekt z nativního FromNativePtr() ukazatele:

var worldOrigin = Microsoft.Windows.Perception.Spatial.SpatialCoordinateSystem.FromNativePtr(spatialCoordinateSystemPtr);

V opačném případě použijte Marshal.GetObjectForIUnknown() a přetypujte na požadovaný typ:

#if ENABLE_WINMD_SUPPORT
var worldOrigin = Marshal.GetObjectForIUnknown(spatialCoordinateSystemPtr) as Windows.Perception.Spatial.SpatialCoordinateSystem;
#endif

Převod mezi souřadnicovými systémy

Unity používá souřadnicový systém s levým rukou, zatímco rozhraní API pro vnímání systému Windows používají souřadnicové systémy s pravou rukou. K převodu mezi těmito dvěma konvencemi můžete použít následující pomocné rutiny:

namespace NumericsConversion
{
    public static class NumericsConversionExtensions
    {
        public static UnityEngine.Vector3 ToUnity(this System.Numerics.Vector3 v) => new UnityEngine.Vector3(v.X, v.Y, -v.Z);
        public static UnityEngine.Quaternion ToUnity(this System.Numerics.Quaternion q) => new UnityEngine.Quaternion(q.X, q.Y, -q.Z, -q.W);
        public static UnityEngine.Matrix4x4 ToUnity(this System.Numerics.Matrix4x4 m) => new UnityEngine.Matrix4x4(
            new Vector4( m.M11,  m.M12, -m.M13,  m.M14),
            new Vector4( m.M21,  m.M22, -m.M23,  m.M24),
            new Vector4(-m.M31, -m.M32,  m.M33, -m.M34),
            new Vector4( m.M41,  m.M42, -m.M43,  m.M44));

        public static System.Numerics.Vector3 ToSystem(this UnityEngine.Vector3 v) => new System.Numerics.Vector3(v.x, v.y, -v.z);
        public static System.Numerics.Quaternion ToSystem(this UnityEngine.Quaternion q) => new System.Numerics.Quaternion(q.x, q.y, -q.z, -q.w);
        public static System.Numerics.Matrix4x4 ToSystem(this UnityEngine.Matrix4x4 m) => new System.Numerics.Matrix4x4(
            m.m00,  m.m10, -m.m20,  m.m30,
            m.m01,  m.m11, -m.m21,  m.m31,
           -m.m02, -m.m12,  m.m22, -m.m32,
            m.m03,  m.m13, -m.m23,  m.m33);
    }
}

Použití nativních dat HolographicFrame

Poznámka:

Změna stavu nativních objektů přijatých prostřednictvím HolographicFrameNativeData může způsobit nepředvídatelné chování a vykreslování artefaktů, zejména pokud Unity také zdůvodní stejný stav. Neměli byste například volat HolographicFrame.UpdateCurrentPrediction nebo jinak predikci, kterou Unity vykresluje s tímto rámcem, nebude synchronizovaná s představou, kterou systém Windows očekává, což sníží stabilitu hologramu.

Pokud potřebujete přístup k nativním rozhraním pro účely vykreslování nebo ladění, použijte data z HolographicFrameNativeData v nativních modulech plug-in nebo kódu jazyka C#.

Tady je příklad, jak můžete pomocí HolographicFrameNativeData získat predikci aktuálního rámce pro čas foton pomocí rozšíření XR SDK.

using System;
using System.Runtime.InteropServices;

public static bool GetCurrentFrameDateTime(out DateTime frameDateTime)
{
#if ENABLE_WINMD_SUPPORT
    IntPtr holographicFramePtr = UnityEngine.XR.WindowsMR.WindowsMREnvironment.CurrentHolographicRenderFrame;

    if (holographicFramePtr != IntPtr.Zero)
    {
        var holographicFrame = Marshal.GetObjectForIUnknown(holographicFramePtr) as Windows.Graphics.Holographic.HolographicFrame;
        frameDateTime = holographicFrame.CurrentPrediction.Timestamp.TargetTime.DateTime;
        return true;
    }
#endif

    frameDateTime = DateTime.MinValue;
    return false;
}

Sdílet prostřednictvím