メディアファンデーションのオーディオ/ビデオキャプチャ

[アーティクル]
03/18/2024

Microsoft Media Foundation では、オーディオとビデオを取り込むことができます。ビデオキャプチャはデバイスに UVC クラスドライバーを使用することでサポートされるため、UVC 1.1 と互換性があることが必要です。オーディオキャプチャはデバイスに Windows Audio Session API (WASAPI) を使用することでサポートされます。

キャプチャデバイスは、Media Foundation 内で IMFMediaSource インターフェイスを公開するメディアソースオブジェクトによって表現されます。ほとんどのアプリケーションで、このインターフェイスは直接には使用されませんが、ソースリーダーなどの上位レベルの API が、キャプチャデバイスを制御するために使用されます。

キャプチャデバイスを列挙する

システム上のキャプチャデバイスを列挙するには、次の手順を実行します。

MFCreateAttributes 関数を呼び出して属性ストアを作成します。

MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE 属性を次のいずれかの値に設定します。

Value	説明
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_GUID	オーディオキャプチャデバイスを列挙します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID	ビデオキャプチャデバイスを列挙します。

MFEnumDeviceSources 関数を呼び出します。この関数によって、IMFActivate ポインターの配列が割り当てられます。各ポインターは、システム上の 1 つのデバイスをアクティブ化するオブジェクトを表します。
IMFActivate::ActivateObject メソッドを呼び出して、1 つのアクティブ化オブジェクトからメディアソースのインスタンスを作成します。

次の例では、列挙リストの最初のビデオキャプチャデバイスにメディアソースが作成されます。

HRESULT CreateVideoCaptureDevice(IMFMediaSource **ppSource)
{
    *ppSource = NULL;

    UINT32 count = 0;

    IMFAttributes *pConfig = NULL;
    IMFActivate **ppDevices = NULL;

    // Create an attribute store to hold the search criteria.
    HRESULT hr = MFCreateAttributes(&pConfig, 1);

    // Request video capture devices.
    if (SUCCEEDED(hr))
    {
        hr = pConfig->SetGUID(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE, 
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID
            );
    }

    // Enumerate the devices,
    if (SUCCEEDED(hr))
    {
        hr = MFEnumDeviceSources(pConfig, &ppDevices, &count);
    }

    // Create a media source for the first device in the list.
    if (SUCCEEDED(hr))
    {
        if (count > 0)
        {
            hr = ppDevices[0]->ActivateObject(IID_PPV_ARGS(ppSource));
        }
        else
        {
            hr = MF_E_NOT_FOUND;
        }
    }

    for (DWORD i = 0; i < count; i++)
    {
        ppDevices[i]->Release();
    }
    CoTaskMemFree(ppDevices);
    return hr;
}

次のようなさまざまな属性を持つアクティブ化オブジェクトに対してクエリを実行できます。

MF_DEVSOURCE_ATTRIBUTE_FRIENDLY_NAME 属性には、デバイスの表示名を定義します。表示名はユーザーにわかりやすい名前が使用されますが、一意ではない可能性があります。
ビデオデバイスの場合、MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK 属性にはデバイスへのシンボリックリンクが定義されます。シンボリックリンクではシステム上のデバイスを一意に識別できますが、読み取り可能な文字列ではありません。
オーディオデバイスの場合、 MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_ENDPOINT_ID 属性にはデバイスのオーディオエンドポイント ID が定義されます。オーディオエンドポイント ID はシンボリックリンクと同様に、システム上のデバイスを一意に識別しますが、読み取り可能な文字列ではありません。

次の例は、IMFActivate ポインターの配列を受け取り、各デバイスの表示名をデバッグウィンドウに出力します。

void DebugShowDeviceNames(IMFActivate **ppDevices, UINT count)
{
    for (DWORD i = 0; i < count; i++)
    {
        HRESULT hr = S_OK;
        WCHAR *szFriendlyName = NULL;
    
        // Try to get the display name.
        UINT32 cchName;
        hr = ppDevices[i]->GetAllocatedString(
            MF_DEVSOURCE_ATTRIBUTE_FRIENDLY_NAME,
            &szFriendlyName, &cchName);

        if (SUCCEEDED(hr))
        {
            OutputDebugString(szFriendlyName);
            OutputDebugString(L"\n");
        }
        CoTaskMemFree(szFriendlyName);
    }
}

ビデオデバイスのシンボリックリンクについて理解していれば、デバイスのメディアソースを別の方法で作成することもできます。

MFCreateAttributes を呼び出して、属性ストアを作成します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE 属性を MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID に設定します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK 属性をシンボリックリンクに設定します。
MFCreateDeviceSource 関数または MFCreateDeviceSourceActivate 関数を呼び出します。 MFCreateDeviceSource を呼び出すと、IMFMediaSource ポインターが返されます。 MFCreateDeviceSourceActivate を呼び出すと、IMFActivate ポインターがアクティブ化オブジェクトに返されます。アクティブ化オブジェクトを使用してソースを作成します。 (アクティブ化オブジェクトは別のプロセスにマーシャリングできるため、ソースを別のプロセスで作成する場合に便利です。詳細については、アクティブ化オブジェクトを参照してください。)

次の例は、ビデオデバイスのシンボリックリンクを受け取り、メディアソースを作成します。

HRESULT CreateVideoCaptureDevice(PCWSTR *pszSymbolicLink, IMFMediaSource **ppSource)
{
    *ppSource = NULL;
    
    IMFAttributes *pAttributes = NULL;
    IMFMediaSource *pSource = NULL;

    HRESULT hr = MFCreateAttributes(&pAttributes, 2);

    // Set the device type to video.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetGUID(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID
            );
    }


    // Set the symbolic link.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetString(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK,
            (LPCWSTR)pszSymbolicLink
            );            
    }

    if (SUCCEEDED(hr))
    {
        hr = MFCreateDeviceSource(pAttributes, ppSource);
    }

    SafeRelease(&pAttributes);
    return hr;    
}

同じように、オーディオデバイスもオーディオエンドポイント ID から作成できます。

MFCreateAttributes を呼び出して、属性ストアを作成します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE 属性を MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_GUID に設定します。
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_ENDPOINT_ID 属性をエンドポイント ID に設定します。
MFCreateDeviceSource 関数または MFCreateDeviceSourceActivate 関数を呼び出します。

次の例は、オーディオエンドポイント ID を受け取り、メディアソースを作成します。

HRESULT CreateAudioCaptureDevice(PCWSTR *pszEndPointID, IMFMediaSource **ppSource)
{
    *ppSource = NULL;
    
    IMFAttributes *pAttributes = NULL;
    IMFMediaSource *pSource = NULL;

    HRESULT hr = MFCreateAttributes(&pAttributes, 2);

    // Set the device type to audio.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetGUID(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_GUID
            );
    }

    // Set the endpoint ID.
    if (SUCCEEDED(hr))
    {
        hr = pAttributes->SetString(
            MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_AUDCAP_ENDPOINT_ID,
            (LPCWSTR)pszEndPointID
            ); 
    }

    if (SUCCEEDED(hr))
    {
        hr = MFCreateDeviceSource(pAttributes, ppSource);
    }

    SafeRelease(&pAttributes);
    return hr;    
}

キャプチャデバイスの使用

キャプチャデバイスのメディアソースを作成した後、ソースリーダーを使用してデバイスからデータを取得します。ソースリーダーでは、キャプチャしたオーディオデータやビデオフレームを含むメディアサンプルを取得できます。その次の手順はアプリケーションの種類によって異なります。

ビデオプレビュー: Microsoft Direct3D または Direct2D を使用してビデオを表示します。
ファイルキャプチャ: シンクライターを使用してファイルをエンコードします。
オーディオプレビュー: WASAPI を使用します。

オーディオキャプチャをビデオキャプチャと組み合わせる場合は、集約メディアソースを使用します。集約メディアソースには、メディアソースのコレクションが含まれており、1 つのメディアソースオブジェクトにすべてのストリームが結合されます。集約メディアソースのインスタンスを作成するには、MFCreateAggregateSource 関数を呼び出します。

キャプチャデバイスをシャットダウンします。

キャプチャデバイスが不要になった場合は、MFCreateDeviceSource または IMFActivate::ActivateObject を呼び出して取得した IMFMediaSource オブジェクトで Shutdown を呼び出してデバイスをシャットダウンする必要があります。 Shutdown の呼び出しが失敗しても、システムは Shutdown が呼び出されるまで IMFMediaSource の参照を続けるため、メモリリークが発生する可能性があります。

if (g_pSource)
{
    g_pSource->Shutdown();
    g_pSource->Release();
    g_pSource = NULL;
}

キャプチャデバイスへのシンボリックリンクを含む文字列を割り当てている場合は、このオブジェクトも解放してください。

    CoTaskMemFree(g_pwszSymbolicLink);
    g_pwszSymbolicLink = NULL;

    g_cchSymbolicLink = 0;

オーディオ/ビデオのキャプチャ

メディアファンデーションのオーディオ/ビデオキャプチャ

キャプチャデバイスを列挙する

キャプチャデバイスの使用

キャプチャデバイスをシャットダウンします。

フィードバック

フィードバック

その他のリソース

メディア ファンデーションのオーディオ/ビデオ キャプチャ

キャプチャ デバイスを列挙する

キャプチャ デバイスの使用

キャプチャ デバイスをシャット ダウンします。

関連トピック

フィードバック

フィードバック

その他のリソース

メディアファンデーションのオーディオ/ビデオキャプチャ

キャプチャデバイスを列挙する

キャプチャデバイスの使用

キャプチャデバイスをシャットダウンします。