Media Foundation でのオーディオ/ビデオキャプチャ

[アーティクル]
06/13/2023

Microsoft Media Foundation では、オーディオとビデオのキャプチャがサポートされています。ビデオキャプチャデバイスは、UVC クラスドライバーを介してサポートされており、UVC 1.1 と互換性がある必要があります。オーディオキャプチャデバイスは、Windows Audio Session API (WASAPI) を介してサポートされています。

キャプチャデバイスは、メディアソースオブジェクトによって Media Foundation で表され、 IMFMediaSource インターフェイスが公開されます。ほとんどの場合、アプリケーションはこのインターフェイスを直接使用しませんが、ソースリーダーなどの上位レベルの API を使用してキャプチャデバイスを制御します。

キャプチャデバイスを列挙する

システム上のキャプチャデバイスを列挙するには、次の手順を実行します。

MFCreateAttributes 関数を呼び出して、属性ストアを作成します。

MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE属性を次のいずれかの値に設定します。

値	説明
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_GUID	オーディオキャプチャデバイスを列挙します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID	ビデオキャプチャデバイスを列挙します。

MFEnumDeviceSources 関数を呼び出します。この関数は、 IMFActivate ポインターの配列を割り当てます。各ポインターは、システム上の 1 つのデバイスのアクティブ化オブジェクトを表します。
IMFActivate::ActivateObject メソッドを呼び出して、アクティブ化オブジェクトの 1 つからメディアソースのインスタンスを作成します。

次の例では、列挙リスト内の最初のビデオキャプチャデバイスのメディアソースを作成します。

HRESULT CreateVideoCaptureDevice(IMFMediaSource **ppSource)
{
    *ppSource = NULL;

    UINT32 count = 0;

    IMFAttributes *pConfig = NULL;
    IMFActivate **ppDevices = NULL;

    // Create an attribute store to hold the search criteria.
    HRESULT hr = MFCreateAttributes(&pConfig, 1);

    // Request video capture devices.
    if (SUCCEEDED(hr))
    {
        hr = pConfig->SetGUID(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE, 
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID
            );
    }

    // Enumerate the devices,
    if (SUCCEEDED(hr))
    {
        hr = MFEnumDeviceSources(pConfig, &ppDevices, &count);
    }

    // Create a media source for the first device in the list.
    if (SUCCEEDED(hr))
    {
        if (count > 0)
        {
            hr = ppDevices[0]->ActivateObject(IID_PPV_ARGS(ppSource));
        }
        else
        {
            hr = MF_E_NOT_FOUND;
        }
    }

    for (DWORD i = 0; i < count; i++)
    {
        ppDevices[i]->Release();
    }
    CoTaskMemFree(ppDevices);
    return hr;
}

アクティブ化オブジェクトには、次のようなさまざまな属性のクエリを実行できます。

MF_DEVSOURCE_ATTRIBUTE_FRIENDLY_NAME属性には、デバイスの表示名が含まれています。表示名はユーザーに表示するのに適していますが、一意でない場合があります。
ビデオデバイスの場合、 MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK 属性にはデバイスへのシンボリックリンクが含まれます。シンボリックリンクは、システム上のデバイスを一意に識別しますが、読み取り可能な文字列ではありません。
オーディオデバイスの場合、 MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_ENDPOINT_ID 属性にはデバイスのオーディオエンドポイント ID が含まれます。オーディオエンドポイント ID はシンボリックリンクに似ています。システム上のデバイスを一意に識別しますが、読み取り可能な文字列ではありません。

次の例では、 IMFActivate ポインターの配列を取得し、各デバイスの表示名をデバッグウィンドウに出力します。

void DebugShowDeviceNames(IMFActivate **ppDevices, UINT count)
{
    for (DWORD i = 0; i < count; i++)
    {
        HRESULT hr = S_OK;
        WCHAR *szFriendlyName = NULL;
    
        // Try to get the display name.
        UINT32 cchName;
        hr = ppDevices[i]->GetAllocatedString(
            MF_DEVSOURCE_ATTRIBUTE_FRIENDLY_NAME,
            &szFriendlyName, &cchName);

        if (SUCCEEDED(hr))
        {
            OutputDebugString(szFriendlyName);
            OutputDebugString(L"\n");
        }
        CoTaskMemFree(szFriendlyName);
    }
}

ビデオデバイスのシンボリックリンクが既にわかっている場合は、デバイスのメディアソースを作成する別の方法があります。

MFCreateAttributes を呼び出して属性ストアを作成します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE属性を MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID に設定します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK属性をシンボリックリンクに設定します。
MFCreateDeviceSource または MFCreateDeviceSourceActivate 関数を呼び出します。前者は IMFMediaSource ポインターを返します。後者は、アクティブ化オブジェクトへの IMFActivate ポインターを返します。アクティブ化オブジェクトを使用して、ソースを作成できます。 (アクティブ化オブジェクトは別のプロセスにマーシャリングできるため、別のプロセスでソースを作成する場合に便利です。詳細については、「アクティブ化オブジェクト」を参照してください。

次の例では、ビデオデバイスのシンボリックリンクを取得し、メディアソースを作成します。

HRESULT CreateVideoCaptureDevice(PCWSTR *pszSymbolicLink, IMFMediaSource **ppSource)
{
    *ppSource = NULL;
    
    IMFAttributes *pAttributes = NULL;
    IMFMediaSource *pSource = NULL;

    HRESULT hr = MFCreateAttributes(&pAttributes, 2);

    // Set the device type to video.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetGUID(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID
            );
    }


    // Set the symbolic link.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetString(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK,
            (LPCWSTR)pszSymbolicLink
            );            
    }

    if (SUCCEEDED(hr))
    {
        hr = MFCreateDeviceSource(pAttributes, ppSource);
    }

    SafeRelease(&pAttributes);
    return hr;    
}

オーディオエンドポイント ID からオーディオデバイスを作成する同等の方法があります。

MFCreateAttributes を呼び出して属性ストアを作成します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE属性を MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_GUID に設定します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_ENDPOINT_ID属性をエンドポイント ID に設定します。
MFCreateDeviceSource または MFCreateDeviceSourceActivate 関数を呼び出します。

次の例では、オーディオエンドポイント ID を取得し、メディアソースを作成します。

HRESULT CreateAudioCaptureDevice(PCWSTR *pszEndPointID, IMFMediaSource **ppSource)
{
    *ppSource = NULL;
    
    IMFAttributes *pAttributes = NULL;
    IMFMediaSource *pSource = NULL;

    HRESULT hr = MFCreateAttributes(&pAttributes, 2);

    // Set the device type to audio.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetGUID(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_GUID
            );
    }

    // Set the endpoint ID.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetString(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_ENDPOINT_ID,
            (LPCWSTR)pszEndPointID
            ); 
    }

    if (SUCCEEDED(hr))
    {
        hr = MFCreateDeviceSource(pAttributes, ppSource);
    }

    SafeRelease(&pAttributes);
    return hr;    
}

キャプチャデバイスを使用する

キャプチャデバイスのメディアソースを作成した後、ソースリーダーを使用してデバイスからデータを取得します。ソースリーダーは、キャプチャオーディオデータまたはビデオフレームを含むメディアサンプルを提供します。次の手順は、アプリケーションのシナリオによって異なります。

ビデオプレビュー: Microsoft Direct3D または Direct2D を使用してビデオを表示します。
ファイルキャプチャ: シンクライターを使用してファイルをエンコードします。
オーディオプレビュー: WASAPI を使用します。

オーディオキャプチャとビデオキャプチャを組み合わせる場合は、 集約メディアソースを使用します。集約メディアソースには、メディアソースのコレクションが含まれており、すべてのストリームが 1 つのメディアソースオブジェクトに結合されます。集約メディアソースのインスタンスを作成するには、 MFCreateAggregateSource 関数を呼び出します。

キャプチャデバイスをシャットダウンする

キャプチャデバイスが不要になったら、MFCreateDeviceSource または IMFActivate::ActivateObject を呼び出して取得した IMFMediaSource オブジェクトで Shutdown を呼び出して、デバイスをシャットダウンする必要があります。 Shutdown の呼び出しに失敗すると、Shutdown が呼び出されるまでシステムが IMFMediaSource リソースへの参照を保持する可能性があるため、メモリリンクが発生する可能性があります。

if (g_pSource)
{
    g_pSource->Shutdown();
    g_pSource->Release();
    g_pSource = NULL;
}

キャプチャデバイスへのシンボリックリンクを含む文字列を割り当てた場合は、このオブジェクトも解放する必要があります。

    CoTaskMemFree(g_pwszSymbolicLink);
    g_pwszSymbolicLink = NULL;

    g_cchSymbolicLink = 0;

オーディオ/ビデオのキャプチャ

Media Foundation でのオーディオ/ビデオキャプチャ

キャプチャデバイスを列挙する

キャプチャデバイスを使用する

キャプチャデバイスをシャットダウンする

フィードバック

フィードバック

その他のリソース

その他のリソース

Media Foundation でのオーディオ/ビデオ キャプチャ

キャプチャ デバイスを列挙する

キャプチャ デバイスを使用する

キャプチャ デバイスをシャットダウンする

関連トピック

フィードバック

フィードバック

その他のリソース

その他のリソース

Media Foundation でのオーディオ/ビデオキャプチャ

キャプチャデバイスを列挙する

キャプチャデバイスを使用する

キャプチャデバイスをシャットダウンする