사용자 지정 동영상 효과

이 문서에서는 비디오 스트림에 대한 사용자 지정 효과를 만들 수 있도록 IBasicVideoEffect 인터페이스를 구현하는 Windows 런타임 구성 요소를 만드는 방법을 설명합니다. 사용자 지정 효과는 디바이스의 카메라에 대한 액세스를 제공하는 MediaCapture 및 미디어 클립에서 복잡한 컴퍼지션을 만들 수 있는 MediaComposition을 비롯한 여러 Windows 런타임 API와 함께 사용할 수 있습니다.

앱에 사용자 지정 효과 추가

사용자 지정 비디오 효과는 IBasicVideoEffect 인터페이스를 구현하는 클래스에 정의됩니다. 이 클래스는 앱의 프로젝트에 직접 포함할 수 없습니다. 대신 Windows 런타임 구성 요소를 사용하여 비디오 효과 클래스를 호스트해야 합니다.

비디오 효과에 대한 Windows 런타임 구성 요소 추가

1. Microsoft Visual Studio에서 솔루션이 열려 있는 상태에서 파일 메뉴로 이동하여 추가->새 프로젝트를 선택합니다.
2. Windows 런타임 구성 요소(유니버설 Windows) 프로젝트 형식을 선택합니다.
3. 이 예제에서는 프로젝트 이름을 VideoEffectComponent로 지정합니다. 이 이름은 나중에 코드에서 참조됩니다.
4. 확인을 클릭합니다.
5. 프로젝트 템플릿은 Class1.cs 클래스를 만듭니다. 솔루션 탐색기에서 Class1.cs 아이콘을 마우스 오른쪽 단추로 클릭하고 이름 바꾸기를 선택합니다.
6. 파일의 이름을 ExampleVideoEffect.cs로 바꿉니다. Visual Studio는 모든 참조를 새 이름으로 업데이트할지 묻는 프롬프트를 표시합니다. 예를 클릭합니다.
7. ExampleVideoEffect.cs를 열고 클래스 정의를 업데이트하여 IBasicVideoEffect 인터페이스를 구현합니다.

public sealed class ExampleVideoEffect : IBasicVideoEffect

이 문서의 예제에 사용된 모든 형식에 액세스하려면 효과 클래스 파일에 다음 네임스페이스를 포함해야 합니다.

using Windows.Media.Effects;
using Windows.Media.MediaProperties;
using Windows.Foundation.Collections;
using Windows.Graphics.DirectX.Direct3D11;
using Windows.Graphics.Imaging;

소프트웨어 처리를 사용하여 IBasicVideoEffect 인터페이스 구현

비디오 효과는 IBasicVideoEffect 인터페이스의 모든 메서드와 속성을 구현해야 합니다. 이 섹션에서는 소프트웨어 처리를 사용하는 이 인터페이스의 간단한 구현을 안내합니다.

Close 메서드

효과가 종료될 때 시스템에서 클래스에서 Close 메서드를 호출합니다. 이 메서드를 사용하여 만든 모든 리소스를 삭제해야 합니다. 메서드에 대한 인수는 효과가 정상적으로 닫혔는지, 오류가 발생했는지 또는 효과가 필요한 인코딩 형식을 지원하지 않는지 여부를 알 수 있는 MediaEffectClosedReason입니다.

public void Close(MediaEffectClosedReason reason)
{
    // Dispose of effect resources
}

DiscardQueuedFrames 메서드

DiscardQueuedFrames 메서드는 효과를 다시 설정해야 할 때 호출됩니다. 이에 대한 일반적인 시나리오는 효과가 현재 프레임을 처리하는 데 사용할 이전에 처리된 프레임을 저장하는 경우입니다. 이 메서드가 호출되면 저장한 이전 프레임 집합을 삭제해야 합니다. 이 메서드는 누적된 비디오 프레임뿐만 아니라 이전 프레임과 관련된 상태를 다시 설정하는 데 사용할 수 있습니다.

private int frameCount;
public void DiscardQueuedFrames()
{
    frameCount = 0;
}

IsReadOnly 속성

IsReadOnly 속성을 사용하면 효과의 출력에 효과를 쓸지 시스템이 알 수 있습니다. 앱이 비디오 프레임을 수정하지 않는 경우(예: 비디오 프레임의 분석만 수행하는 효과) 이 속성을 true로 설정해야 합니다. 그러면 시스템에서 프레임 입력을 프레임 출력에 효율적으로 복사할 수 있습니다.

팁

IsReadOnly 속성이 true로 설정되면 시스템은 ProcessFrame이 호출되기 전에 입력 프레임을 출력 프레임에 복사합니다. IsReadOnly 속성을 true로 설정해도 ProcessFrame에서 효과의 출력 프레임에 쓸 수 없습니다.

public bool IsReadOnly { get { return false; } }

SetEncodingProperties 메서드

시스템은 효과에 대해 SetEncodingProperties를 호출하여 효과가 작동하는 비디오 스트림의 인코딩 속성을 알 수 있도록 합니다. 이 메서드는 하드웨어 렌더링에 사용되는 Direct3D 디바이스에 대한 참조도 제공합니다. 이 디바이스의 사용법은 이 문서의 뒷부분에 있는 하드웨어 처리 예제에 나와 있습니다.

private VideoEncodingProperties encodingProperties;
public void SetEncodingProperties(VideoEncodingProperties encodingProperties, IDirect3DDevice device)
{
    this.encodingProperties = encodingProperties;
}

SupportedEncodingProperties 속성

시스템에서는 SupportedEncodingProperties 속성을 검사 효과에서 지원되는 인코딩 속성을 결정합니다. 효과 소비자가 지정한 속성을 사용하여 비디오를 인코딩할 수 없는 경우 효과에 대해 Close를 호출하고 비디오 파이프라인에서 효과를 제거합니다.

public IReadOnlyList<VideoEncodingProperties> SupportedEncodingProperties
{            
    get
    {
        var encodingProperties = new VideoEncodingProperties();
        encodingProperties.Subtype = "ARGB32";
        return new List<VideoEncodingProperties>() { encodingProperties };

        // If the list is empty, the encoding type will be ARGB32.
        // return new List<VideoEncodingProperties>();
    }
}

참고 항목

SupportedEncodingProperties에서 VideoEncodingProperties 개체의 빈 목록을 반환하는 경우 시스템은 기본적으로 ARGB32 인코딩으로 설정됩니다.

 

SupportedMemoryTypes 속성

시스템은 SupportedMemoryTypes 속성을 검사 소프트웨어 메모리 또는 하드웨어(GPU) 메모리의 비디오 프레임에 액세스할지 여부를 결정합니다. MediaMemoryTypes.Cpu를 반환하면 SoftwareBitmap 개체의 이미지 데이터가 포함된 입력 및 출력 프레임이 효과에 전달됩니다. MediaMemoryTypes.Gpu를 반환하면 IDirect3DSurface 개체의 이미지 데이터가 포함된 입력 및 출력 프레임이 효과에 전달됩니다.

public MediaMemoryTypes SupportedMemoryTypes { get { return MediaMemoryTypes.Cpu; } }

참고 항목

MediaMemoryTypes.GpuAndCpu를 지정하는 경우 시스템은 GPU 또는 시스템 메모리를 사용하며, 이 중에서 파이프라인에 더 효율적입니다. 이 값을 사용하는 경우 ProcessFrame 메서드에서 검사 메서드에 전달된 SoftwareBitmap 또는 IDirect3DSurface에 데이터가 포함되어 있는지 확인하고 그에 따라 프레임을 처리해야 합니다.

 

TimeIndependent 속성

TimeIndependent 속성을 사용하면 효과에 균일한 타이밍이 필요하지 않은지 시스템이 알 수 있습니다. true로 설정하면 시스템에서 효과 성능을 향상시키는 최적화를 사용할 수 있습니다.

public bool TimeIndependent { get { return true; } }

SetProperties 메서드

SetProperties 메서드를 사용하면 효과를 사용하는 앱이 효과 매개 변수를 조정할 수 있습니다. 속성은 속성 이름 및 값의 IPropertySet 맵으로 전달됩니다.

private IPropertySet configuration;
public void SetProperties(IPropertySet configuration)
{
    this.configuration = configuration;
}

이 간단한 예제에서는 지정된 값에 따라 각 비디오 프레임의 픽셀을 흐리게 합니다. 속성이 선언되고 TryGetValue를 사용하여 호출 앱에서 설정한 값을 가져옵니다. 값이 설정되지 않은 경우 기본값 .5가 사용됩니다.

public double FadeValue
{
    get
    {
        object val;
        if (configuration != null && configuration.TryGetValue("FadeValue", out val))
        {
            return (double)val;
        }
        return .5;
    }
}

ProcessFrame 메서드

ProcessFrame 메서드는 효과가 비디오의 이미지 데이터를 수정하는 위치입니다. 이 메서드는 프레임당 한 번씩 호출되며 ProcessVideoFrameContext 개체에 전달됩니다. 이 개체에는 처리할 들어오는 프레임과 비디오 파이프라인의 나머지 부분에 전달될 이미지 데이터를 쓰는 출력 VideoFrame 개체가 포함된 입력 VideoFrame 개체가 포함됩니다. 이러한 각 VideoFrame 개체에는 SoftwareBitmap 속성과 Direct3DSurface 속성이 있지만 이 중 사용할 수 있는 개체는 SupportedMemoryTypes 속성에서 반환한 값에 따라 결정됩니다.

이 예제에서는 소프트웨어 처리를 사용하는 ProcessFrame 메서드의 간단한 구현을 보여줍니다. SoftwareBitmap 개체 작업에 대한 자세한 내용은 Imaging을 참조하세요. 하드웨어 처리를 사용하는 ProcessFrame 구현 예제는 이 문서의 뒷부분에 나와 있습니다.

SoftwareBitmap의 데이터 버퍼에 액세스하려면 COM interop이 필요하므로 효과 클래스 파일에 System.Runtime.InteropServices 네임스페이스를 포함해야 합니다.

using System.Runtime.InteropServices;

효과에 대한 네임스페이스 내에 다음 코드를 추가하여 이미지 버퍼에 액세스하기 위한 인터페이스를 가져옵니다.

[ComImport]
[Guid("5B0D3235-4DBA-4D44-865E-8F1D0E4FD04D")]
[InterfaceType(ComInterfaceType.InterfaceIsIUnknown)]
unsafe interface IMemoryBufferByteAccess
{
    void GetBuffer(out byte* buffer, out uint capacity);
}

참고 항목

이 기술은 관리되지 않는 네이티브 이미지 버퍼에 액세스하므로 안전하지 않은 코드를 허용하도록 프로젝트를 구성해야 합니다.

1. 솔루션 탐색기에서 VideoEffectComponent 프로젝트를 마우스 오른쪽 단추로 클릭하고 속성을 선택합니다.
2. 빌드 탭을 선택합니다.
3. 안전하지 않은 코드 허용 확인란을 선택합니다.

 

이제 ProcessFrame 메서드 구현을 추가할 수 있습니다. 먼저 이 메서드는 입력 및 출력 소프트웨어 비트맵 모두에서 BitmapBuffer 개체를 가져옵니다. 출력 프레임은 쓰기 및 읽기용 입력을 위해 열립니다. 다음으로, CreateReference를 호출하여 각 버퍼에 대해 IMemoryBufferReference를 가져옵니다. 그런 다음, IMemoryBufferReference 개체를 위에 정의된 COM interop 인터페이스인 IMemoryByteAccess로 캐스팅한 다음 GetBuffer를 호출하여 실제 데이터 버퍼를 가져옵니다.

이제 데이터 버퍼를 얻었으므로 입력 버퍼에서 읽고 출력 버퍼에 쓸 수 있습니다. 버퍼의 레이아웃은 버퍼의 너비, 보폭 및 초기 오프셋에 대한 정보를 제공하는 GetPlaneDescription을 호출하여 가져옵니다. 픽셀당 비트는 SetEncodingProperties 메서드를 사용하여 이전에 설정한 인코딩 속성에 의해 결정됩니다. 버퍼 형식 정보는 각 픽셀에 대한 버퍼에 대한 인덱스 찾기에 사용됩니다. 원본 버퍼의 픽셀 값은 대상 버퍼에 복사되며, 색 값은 이 효과에 대해 정의된 FadeValue 속성에 곱하여 지정된 양만큼 흐리게 표시됩니다.

public unsafe void ProcessFrame(ProcessVideoFrameContext context)
{
    using (BitmapBuffer buffer = context.InputFrame.SoftwareBitmap.LockBuffer(BitmapBufferAccessMode.Read))
    using (BitmapBuffer targetBuffer = context.OutputFrame.SoftwareBitmap.LockBuffer(BitmapBufferAccessMode.Write))
    {
        using (var reference = buffer.CreateReference())
        using (var targetReference = targetBuffer.CreateReference())
        {
            byte* dataInBytes;
            uint capacity;
            ((IMemoryBufferByteAccess)reference).GetBuffer(out dataInBytes, out capacity);

            byte* targetDataInBytes;
            uint targetCapacity;
            ((IMemoryBufferByteAccess)targetReference).GetBuffer(out targetDataInBytes, out targetCapacity);

            var fadeValue = FadeValue;

            // Fill-in the BGRA plane
            BitmapPlaneDescription bufferLayout = buffer.GetPlaneDescription(0);
            for (int i = 0; i < bufferLayout.Height; i++)
            {
                for (int j = 0; j < bufferLayout.Width; j++)
                {

                    byte value = (byte)((float)j / bufferLayout.Width * 255);

                    int bytesPerPixel = 4; 
                    if (encodingProperties.Subtype != "ARGB32")
                    {
                        // If you support other encodings, adjust index into the buffer accordingly
                    }
                    

                    int idx = bufferLayout.StartIndex + bufferLayout.Stride * i + bytesPerPixel * j;

                    targetDataInBytes[idx + 0] = (byte)(fadeValue * (float)dataInBytes[idx + 0]);
                    targetDataInBytes[idx + 1] = (byte)(fadeValue * (float)dataInBytes[idx + 1]);
                    targetDataInBytes[idx + 2] = (byte)(fadeValue * (float)dataInBytes[idx + 2]);
                    targetDataInBytes[idx + 3] = dataInBytes[idx + 3];
                }
            }
        }
    }
}

하드웨어 처리를 사용하여 IBasicVideoEffect 인터페이스 구현

GPU(하드웨어) 처리를 사용하여 사용자 지정 비디오 효과를 만드는 것은 위에서 설명한 대로 소프트웨어 처리를 사용하는 것과 거의 동일합니다. 이 섹션에서는 하드웨어 처리를 사용하는 효과의 몇 가지 차이점을 보여 줍니다. 이 예제에서는 Win2D Windows Runtime API를 사용합니다. Win2D 사용 방법에 대한 자세한 내용은 Win2D 설명서를 참조하세요.

다음 단계를 사용하여 이 문서의 시작 부분에 있는 앱에 사용자 지정 효과 추가 섹션에 설명된 대로 만든 프로젝트에 Win2D NuGet 패키지를 추가합니다.

효과 프로젝트에 Win2D NuGet 패키지를 추가하려면

1. 솔루션 탐색기에서 VideoEffectComponent 프로젝트를 마우스 오른쪽 단추로 클릭하고 NuGet 패키지 관리를 선택합니다.
2. 창 상단에서 찾아보기 탭을 선택합니다.
3. 검색 상자에 Win2D을 입력합니다.
4. Win2D.uwp를 선택한 다음 오른쪽 창에서 설치를 선택합니다.
5. 변경 내용 검토 대화 상자에 설치할 패키지가 표시됩니다. 확인을 클릭합니다.
6. 패키지 라이선스를 수락합니다.

기본 프로젝트 설정에 포함된 네임스페이스 외에도 Win2D에서 제공하는 다음 네임스페이스를 포함해야 합니다.

using Microsoft.Graphics.Canvas.Effects;
using Microsoft.Graphics.Canvas;

이 효과는 이미지 데이터에서 작동하기 위해 GPU 메모리를 사용하므로 SupportedMemoryTypes 속성에서 MediaMemoryTypes.Gpu를 반환해야 합니다.

public MediaMemoryTypes SupportedMemoryTypes { get { return MediaMemoryTypes.Gpu; } }

SupportedEncodingProperties 속성을 사용하여 효과가 지원할 인코딩 속성을 설정합니다. Win2D로 작업할 때 ARGB32 인코딩을 사용해야 합니다.

public IReadOnlyList<VideoEncodingProperties> SupportedEncodingProperties {
    get
    {
        var encodingProperties = new VideoEncodingProperties();
        encodingProperties.Subtype = "ARGB32";
        return new List<VideoEncodingProperties>() { encodingProperties };
    }
}

SetEncodingProperties 메서드를 사용하여 메서드에 전달된 IDirect3DDevice에서 새 Win2D CanvasDevice 개체를 만듭니다.

private CanvasDevice canvasDevice;
public void SetEncodingProperties(VideoEncodingProperties encodingProperties, IDirect3DDevice device)
{
    canvasDevice = CanvasDevice.CreateFromDirect3D11Device(device);
}

SetProperties 구현은 이전 소프트웨어 처리 예제와 동일합니다. 이 예제에서는 BlurAmount 속성을 사용하여 Win2D 흐림 효과를 구성합니다.

private IPropertySet configuration;
public void SetProperties(IPropertySet configuration)
{
    this.configuration = configuration;
}

public double BlurAmount
{
    get
    {
        object val;
        if (configuration != null && configuration.TryGetValue("BlurAmount", out val))
        {
            return (double)val;
        }
        return 3;
    }
}

마지막 단계는 이미지 데이터를 실제로 처리하는 ProcessFrame 메서드를 구현하는 것입니다.

Win2D API를 사용하면 입력 프레임의 Direct3DSurface 속성에서 CanvasBitmap이 만들어집니다. CanvasRenderTarget은 출력 프레임의 Direct3DSurface에서 만들어지고 CanvasDrawingSession은 이 렌더링 대상에서 만들어집니다. SetProperties를 통해 효과가 노출되는 BlurAmount 속성을 사용하여 새로운 Win2D GaussianBlurEffect가 초기화됩니다. 마지막으로 CanvasDrawingSession.DrawImage 메서드를 호출하여 흐림 효과를 사용하여 렌더링 대상에 입력 비트맵을 그립니다.

public void ProcessFrame(ProcessVideoFrameContext context)
{

    using (CanvasBitmap inputBitmap = CanvasBitmap.CreateFromDirect3D11Surface(canvasDevice, context.InputFrame.Direct3DSurface))
    using (CanvasRenderTarget renderTarget = CanvasRenderTarget.CreateFromDirect3D11Surface(canvasDevice, context.OutputFrame.Direct3DSurface))
    using (CanvasDrawingSession ds = renderTarget.CreateDrawingSession())
    {


        var gaussianBlurEffect = new GaussianBlurEffect
        {
            Source = inputBitmap,
            BlurAmount = (float)BlurAmount,
            Optimization = EffectOptimization.Speed
        };

        ds.DrawImage(gaussianBlurEffect);

    }
}

앱에 사용자 지정 효과 추가

앱에서 비디오 효과를 사용하려면 효과 프로젝트에 대한 참조를 앱에 추가해야 합니다.

1. 앱 프로젝트 아래의 솔루션 탐색기에서 프로젝트 References 노드를 마우스 오른쪽 버튼으로 클릭하고 Add reference를 선택합니다.
2. Projects 탭을 확장하고 Solution을 선택한 다음 효과 프로젝트 이름의 검사 상자를 선택합니다. 이 예의 경우, 이름은 VideoEffectComponent입니다.
3. 확인을 클릭합니다.

카메라 비디오 스트림에 사용자 지정 효과 추가

간단한 카메라 미리 보기 액세스 문서의 단계에 따라 카메라에서 간단한 미리 보기 스트림을 설정할 수 있습니다. 이러한 단계를 수행하면 카메라의 비디오 스트림에 액세스하는 데 사용되는 초기화된 MediaCapture 개체가 표시됩니다.

카메라 스트림에 사용자 지정 비디오 효과를 추가하려면 먼저 새 VideoEffectDefinition 개체를 만들어 효과의 네임스페이스 및 클래스 이름을 전달합니다. 다음으로 MediaCapture 개체의 AddVideoEffect 메서드를 호출하여 지정된 스트림에 효과를 추가합니다. 이 예제에서는 MediaStreamType.VideoPreview 값을 사용하여 효과를 미리 보기 스트림에 추가하도록 지정합니다. 앱에서 비디오 캡처를 지원하는 경우 MediaStreamType.VideoRecord를 사용하여 캡처 스트림에 효과를 추가할 수도 있습니다. AddVideoEffect는 사용자 지정 효과를 나타내는 IMediaExtension 개체를 반환합니다. SetProperties 메서드를 사용하여 효과에 대한 구성을 설정할 수 있습니다.

효과가 추가된 후 StartPreviewAsync가 호출되어 미리 보기 스트림을 시작합니다.

var videoEffectDefinition = new VideoEffectDefinition("VideoEffectComponent.ExampleVideoEffect");

IMediaExtension videoEffect =
   await mediaCapture.AddVideoEffectAsync(videoEffectDefinition, MediaStreamType.VideoPreview);

videoEffect.SetProperties(new PropertySet() { { "FadeValue", .25 } });

await mediaCapture.StartPreviewAsync();

MediaComposition에서 클립에 사용자 지정 효과 추가

비디오 클립에서 미디어 컴퍼지션을 만들기 위한 일반적인 지침은 미디어 컴퍼지션 및 편집을 참조하세요. 다음 코드 조각은 사용자 지정 비디오 효과를 사용하는 간단한 미디어 컴퍼지션을 만드는 방법을 보여줍니다. MediaClip 개체는 CreateFromFileAsync를 호출하고 FileOpenPicker를 사용하여 사용자가 선택한 비디오 파일을 전달하여 만들어지고 클립은 새 MediaComposition에 추가됩니다. 그런 다음, 효과의 네임스페이스 및 클래스 이름을 생성자에 전달하여 새 VideoEffectDefinition 개체를 만듭니다. 마지막으로 효과 정의가 MediaClip 개체의 VideoEffectDefinitions 컬렉션에 추가됩니다.

MediaComposition composition = new MediaComposition();
var clip = await MediaClip.CreateFromFileAsync(pickedFile);
composition.Clips.Add(clip);

var videoEffectDefinition = new VideoEffectDefinition("VideoEffectComponent.ExampleVideoEffect", new PropertySet() { { "FadeValue", .5 } });

clip.VideoEffectDefinitions.Add(videoEffectDefinition);

관련 항목

• 간단한 카메라 미리 보기 액세스
• 미디어 컴퍼지션 및 편집
• Win2D 설명서
• 미디어 재생