Собственное взаимодействие смешанной реальности в Unity

Статья
07/04/2024

Каждое приложение Смешанная реальность получает HolographicSpace перед началом получения данных камеры и кадров отрисовки. В Unity подсистема заботится об этих шагах, обрабатывая голографические объекты и внутренне обновляя в рамках цикла отрисовки.

Однако в сложных сценариях может потребоваться получить доступ к базовым собственным объектам, таким как HolographicCamera и текущий HolographicFrame.

WindowsMixedRealityUtilities

Пространство имен: Microsoft.MixedReality.Toolkit.WindowsMixedReality
Тип: WindowsMixedRealityUtilities

MRTK предоставляет уже маршалированные типы в устаревшем пакете SDK WSA и XR через класс WindowsMixedRealityUtilities .

public static HolographicFrame CurrentHolographicFrame { get; }
public static SpatialCoordinateSystem SpatialCoordinateSystem { get; }
public static SpatialInteractionManager SpatialInteractionManager { get; }

WindowsMREnvironment

Пространство имен: UnityEngine.XR.WindowsMR
Тип: WindowsMREnvironment

Статический класс WindowsMREnvironment предоставляет доступ к нескольким собственным указателям.

public static IntPtr CurrentHolographicRenderFrame { get; } // Windows::Graphics::Holographic::IHolographicFrame
public static IntPtr HolographicSpace { get; } // Windows::Graphics::Holographic::IHolographicSpace
public static IntPtr OriginSpatialCoordinateSystem { get; } // Windows::Perception::Spatial::ISpatialCoordinateSystem

XRDevice

Пространство имен: UnityEngine.XR
Тип: XRDevice

Тип XRDevice позволяет получить доступ к базовым собственным объектам с помощью метода GetNativePtr . Возвращаемая функция GetNativePtr зависит от разных платформ. В универсальная платформа Windows при выборе Windows Смешанная реальность XRDevice.GetNativePtr возвращает указатель (IntPtr) в следующую структуру:

using System;
using System.Runtime.InteropServices;

[StructLayout(LayoutKind.Sequential)]
struct HolographicFrameNativeData
{
    public uint VersionNumber;
    public uint MaxNumberOfCameras;
    public IntPtr ISpatialCoordinateSystemPtr; // Windows::Perception::Spatial::ISpatialCoordinateSystem
    public IntPtr IHolographicFramePtr; // Windows::Graphics::Holographic::IHolographicFrame
    public IntPtr IHolographicCameraPtr; // Windows::Graphics::Holographic::IHolographicCamera
}

Его можно преобразовать в HolographicFrameNativeData с помощью метода Marshal.PtrToStructure:

IntPtr nativePtr = UnityEngine.XR.XRDevice.GetNativePtr();
HolographicFrameNativeData hfd = Marshal.PtrToStructure<HolographicFrameNativeData>(nativePtr);

IHolographicCameraPtr — это массив маршалированных intPtr как UnmanagedType.ByValArray с длиной, равной MaxNumberOfCameras

Распаковка собственных указателей

После получения IntPtr одного из описанных выше методов (не требуется для MRTK), используйте следующие фрагменты кода для маршалирования их в управляемые объекты.

При использовании Microsoft.Windows.MixedReality.DotNetWinRT можно создать управляемый объект из собственного указателя с помощью FromNativePtr() метода:

var worldOrigin = Microsoft.Windows.Perception.Spatial.SpatialCoordinateSystem.FromNativePtr(spatialCoordinateSystemPtr);

В противном случае используйте Marshal.GetObjectForIUnknown() и приведение к нужному типу:

#if ENABLE_WINMD_SUPPORT
var worldOrigin = Marshal.GetObjectForIUnknown(spatialCoordinateSystemPtr) as Windows.Perception.Spatial.SpatialCoordinateSystem;
#endif

Преобразование между системами координат

Unity использует систему координат слева, в то время как API распознавания Windows используют системы координат правой руки. Для преобразования между этими двумя соглашениями можно использовать следующие вспомогательные средства:

namespace NumericsConversion
{
    public static class NumericsConversionExtensions
    {
        public static UnityEngine.Vector3 ToUnity(this System.Numerics.Vector3 v) => new UnityEngine.Vector3(v.X, v.Y, -v.Z);
        public static UnityEngine.Quaternion ToUnity(this System.Numerics.Quaternion q) => new UnityEngine.Quaternion(q.X, q.Y, -q.Z, -q.W);
        public static UnityEngine.Matrix4x4 ToUnity(this System.Numerics.Matrix4x4 m) => new UnityEngine.Matrix4x4(
            new Vector4( m.M11,  m.M12, -m.M13,  m.M14),
            new Vector4( m.M21,  m.M22, -m.M23,  m.M24),
            new Vector4(-m.M31, -m.M32,  m.M33, -m.M34),
            new Vector4( m.M41,  m.M42, -m.M43,  m.M44));

        public static System.Numerics.Vector3 ToSystem(this UnityEngine.Vector3 v) => new System.Numerics.Vector3(v.x, v.y, -v.z);
        public static System.Numerics.Quaternion ToSystem(this UnityEngine.Quaternion q) => new System.Numerics.Quaternion(q.x, q.y, -q.z, -q.w);
        public static System.Numerics.Matrix4x4 ToSystem(this UnityEngine.Matrix4x4 m) => new System.Numerics.Matrix4x4(
            m.m00,  m.m10, -m.m20,  m.m30,
            m.m01,  m.m11, -m.m21,  m.m31,
           -m.m02, -m.m12,  m.m22, -m.m32,
            m.m03,  m.m13, -m.m23,  m.m33);
    }
}

Использование собственных данных HolographicFrame

Примечание.

Изменение состояния собственных объектов, полученных через HolographicFrameNativeData, может привести к непредсказуемому поведению и отрисовке артефактов, особенно если Unity также причиняет такое же состояние. Например, не следует вызывать HolographicFrame.UpdateCurrentPrediction или другой прогноз позы, который Unity отрисовывает с этим кадром, будет не синхронизирован с ожидаемым представлением Windows, что приведет к снижению стабильности голограммы.

Если вам нужен доступ к собственным интерфейсам для отрисовки или отладки, используйте данные из HolographicFrameNativeData в собственных подключаемых модулях или коде C#.

Ниже приведен пример использования HolographicFrameNativeData для получения прогноза текущего кадра для времени фотона с помощью расширений пакета SDK XR.

using System;
using System.Runtime.InteropServices;

public static bool GetCurrentFrameDateTime(out DateTime frameDateTime)
{
#if ENABLE_WINMD_SUPPORT
    IntPtr holographicFramePtr = UnityEngine.XR.WindowsMR.WindowsMREnvironment.CurrentHolographicRenderFrame;

    if (holographicFramePtr != IntPtr.Zero)
    {
        var holographicFrame = Marshal.GetObjectForIUnknown(holographicFramePtr) as Windows.Graphics.Holographic.HolographicFrame;
        frameDateTime = holographicFrame.CurrentPrediction.Timestamp.TargetTime.DateTime;
        return true;
    }
#endif

    frameDateTime = DateTime.MinValue;
    return false;
}

Поделиться через