Unreal での HoloLens 写真/ビデオカメラ

[アーティクル]
2023-03-21

HoloLens のバイザーには写真と動画 (PV) 用のカメラが付いており、Mixed Reality キャプチャ (MRC) のためと、カメラフレームのピクセル座標から Unreal 空間内のオブジェクトを見つけるための両方に、使用することができます。

重要

Holographic Remoting では PV カメラはサポートされていませんが、お使いの PC に搭載のウェブカメラを使用して、HoloLens PV カメラの機能をシミュレートできます。

4.26
4.25

PV カメラのフィードの設定

重要

PV カメラは、Windows Mixed Reality と OpenXR 両方のプラグインに実装されています。ただし、OpenXR を使用するには Microsoft OpenXR プラグインをインストールする必要があります。また、Unreal 4.26 の OpenXR には制限があり、カメラは DirectX11 RHI で動作できます。この制限は、Unreal 4.27.1 以降で修正されています。

[プロジェクト設定] > [HoloLens] で、[Web カメラ] 機能を有効にします。

[Web カメラ] プロパティが強調表示されている HoloLens プロジェクト設定のスクリーンショット

"CamCapture" という名前の新しいアクターを作成し、カメラフィードをレンダリングするための平面を追加します。

平面が追加されたアクターのスクリーンショット

アクターをシーンに追加し、テクスチャオブジェクトパラメーターとテクスチャサンプルを使用して、CamTextureMaterial という名前の新しいマテリアルを作成します。テクスチャの RGB データを出力放射色に送信します。

マテリアルとテクスチャのサンプルのブループリント

PV カメラフィードのレンダリング

CamCapture ブループリントで、PV カメラをオンにします。

PV カメラがオンになっている ARCapture 切り替え関数のブループリント

CamTextureMaterial から動的なマテリアルインスタンスを作成し、このマテリアルをアクターの平面に割り当てます。

動的マテリアルインスタンス作成関数のブループリント

カメラフィードからテクスチャを取得し、有効な場合はそれを動的マテリアルに割り当てます。テクスチャが有効でない場合は、タイマーを開始し、タイムアウト後に再試行します。

動的マテリアルに割り当てられたカメラフィードテクスチャのブループリント

最後に、カメラ画像の縦横比で平面を拡大縮小します。

カメラ画像の縦横比に合わせて拡大縮小された平面のブループリント

ワールド空間でカメラの位置を検索する

HoloLens 2 のカメラは、デバイスの頭追跡から垂直方向にオフセットされます。オフセットを考慮するために、ワールド空間内のカメラの位置を調べる関数がいくつかあります。

GetPVCameraToWorldTransform を使用すると、PV カメラのワールド空間内の変換が取得されて、カメラのレンズに配置されます。

PVCamera からワールド空間への変換の取得関数のブループリント

GetWorldSpaceRayFromCameraPoint を使用すると、カメラフレーム内のピクセルの内容を調べるため、カメラのレンズから Unreal ワールド空間内のシーンに光線がキャストされます。

カメラポイントからのワールド空間の光線の取得のブループリント

GetPVCameraIntrinsics を使用すると、カメラの組み込み値が返されます。カメラフレームでコンピュータービジョン処理を行うときにそれを使用できます。

PVCamera 組み込み関数取得のブループリント

ワールド空間の特定のピクセル座標に存在するものを調べるには、ワールド空間光線でライントレースを使用します。

ワールド空間の特定のピクセル座標に存在するものを調べるために使用されているワールド空間光線のブループリント

ここでは、フレームの左上から ¼ のカメラス空間位置に向けて、カメラのレンズから 2 メートルの光線をキャストします。次に、ヒット結果を使用して、ワールド空間内のオブジェクトが存在する場所に何かをレンダリングします。

フレームの左上から 1/4 のカメラス空間位置に向けてカメラのレンズからキャストされる 2 メートルの光線のブループリント

空間マッピングを使用している場合、このヒット位置はカメラで見ているサーフェスと一致します。

C++ での PV カメラフィードのレンダリング

CamCapture という名前の新しい C++ アクターを作成します
プロジェクトの build.cs で、"AugmentedReality" を PublicDependencyModuleNames リストに追加します。

PublicDependencyModuleNames.AddRange(
    new string[] {
        "Core",
        "CoreUObject",
        "Engine",
        "InputCore",
        "AugmentedReality"
});

CamCapture.h で、ARBlueprintLibrary.h をインクルードします

#include "ARBlueprintLibrary.h"

また、メッシュとマテリアルのローカル変数を追加する必要があります。

private:
    UStaticMesh* StaticMesh;
    UStaticMeshComponent* StaticMeshComponent;
    UMaterialInstanceDynamic* DynamicMaterial;
    bool IsTextureParamSet = false;

CamCapture.cpp で、静的メッシュをシーンに追加するようにコンストラクターを更新します。

ACamCapture::ACamCapture()
{
    PrimaryActorTick.bCanEverTick = true;

    // Load a mesh from the engine to render the camera feed to.
    StaticMesh = LoadObject<UStaticMesh>(nullptr, TEXT("/Engine/EngineMeshes/Cube.Cube"), nullptr, LOAD_None, nullptr);

    // Create a static mesh component to render the static mesh
    StaticMeshComponent = CreateDefaultSubobject<UStaticMeshComponent>(TEXT("CameraPlane"));
    StaticMeshComponent->SetStaticMesh(StaticMesh);

    // Scale and add to the scene
    StaticMeshComponent->SetWorldScale3D(FVector(0.1f, 1, 1));
    this->SetRootComponent(StaticMeshComponent);
}

BeginPlay で、プロジェクトのカメラマテリアルから動的マテリアルのインスタンスを作成し、それを静的メッシュコンポーネントに適用して、HoloLens カメラを開始します。

エディターのコンテンツブラウザーで CamTextureMaterial を右クリックし、[参照のコピー] を選択して、CameraMatPath の文字列を取得します。

void ACamCapture::BeginPlay()
{
    Super::BeginPlay();

    // Create a dynamic material instance from the game's camera material.
    // Right-click on a material in the project and select "Copy Reference" to get this string.
    FString CameraMatPath("Material'/Game/Materials/CamTextureMaterial.CamTextureMaterial'");
    UMaterial* BaseMaterial = (UMaterial*)StaticLoadObject(UMaterial::StaticClass(), nullptr, *CameraMatPath, nullptr, LOAD_None, nullptr);
    DynamicMaterial = UMaterialInstanceDynamic::Create(BaseMaterial, this);

    // Use the dynamic material instance when rendering the camera mesh.
    StaticMeshComponent->SetMaterial(0, DynamicMaterial);

    // Start the webcam.
    UARBlueprintLibrary::ToggleARCapture(true, EARCaptureType::Camera);
}

Tick で、カメラからテクスチャを取得し、それを CamTextureMaterial マテリアルのテクスチャパラメーターに設定して、カメラフレームの縦横比で静的メッシュコンポーネントを拡大縮小します。

void ACamCapture::Tick(float DeltaTime)
{
    Super::Tick(DeltaTime);

    // Dynamic material instance only needs to be set once.
    if(IsTextureParamSet)
    {
        return;
    }

    // Get the texture from the camera.
    UARTexture* ARTexture = UARBlueprintLibrary::GetARTexture(EARTextureType::CameraImage);
    if(ARTexture != nullptr)
    {
        // Set the shader's texture parameter (named "Param") to the camera image.
        DynamicMaterial->SetTextureParameterValue("Param", ARTexture);
        IsTextureParamSet = true;

        // Get the camera instrincs
        FARCameraIntrinsics Intrinsics;
        UARBlueprintLibrary::GetCameraIntrinsics(Intrinsics);

        // Scale the camera mesh by the aspect ratio.
        float R = (float)Intrinsics.ImageResolution.X / (float)Intrinsics.ImageResolution.Y;
        StaticMeshComponent->SetWorldScale3D(FVector(0.1f, R, 1));
    }
}