MPEG デコーダの前処理変換

[アーティクル]
04/22/2010

レターボックスとパン-スキャン

4x3 イメージを作成するには、イメージの上下をパディングするか (レターボックスイメージと呼ばれる)、イメージの 4x3 部分を抽出する (パン-スキャンイメージと呼ばれる)。メニューとサブピクチャストリームは最終ビデオイメージの上にオーバーレイされる。16x9 アスペクト比のイメージは 4x3 変形フォーマットで保存される。変形 4x3 アスペクト比の 720x480 ソースビデオを 16x9 アスペクト比に引き延ばすと、元の 16x9 アスペクト比のイメージになる。

次に、各モードとそのハイライト領域を正しく表示する方法について記述する。

ワイドスクリーン : 出力ウィンドウの最大の 16x9 領域に引き延ばされたソースビデオ。ハイライト領域は 16x9 領域の内側に比例する。ブラックバーを上下または左右に追加して 16x9 領域を保持する必要がある。
パン-スキャン : 16x9 ビデオから MPEG2 ストリームで提供されている水平オフセットを使い、4x3 サブウィンドウを抽出する。4x3 サブウィンドウを出力クライアントウィンドウの最大の 4x3 領域に置く。ハイライト領域の座標は、4x3 出力ウィンドウに比例し、16x9 ソースビデオとは関係ない。ブラックバーを上下または左右に追加して 4x3 領域を保持する必要がある。
レターボックス : 出力ウィンドウの最大の 4x3 領域を計算する。ブラックバーを上下または左右に追加して 4x3 領域を保持する必要がある。変形 4x3 ソースビデオ (16x9 イメージを表す) は、4x3 領域内部の最大の 16x9 領域に置く。ブラックバーをサブウィンドウの上下に追加して 16x9 領域を保持する必要がある。ハイライト領域の座標は、4x3 領域に比例し、16x9 ソースビデオとは関係ない。ディスクで、16x9 領域の外ではあるが、4x3 ウィンドウの中にハイライト領域が表示されるように指定することが可能である。4x3 ビデオの場合は、ビデオを出力クライアントウィンドウの最大の 4x3 出力領域に表示する。ブラックバーを上下または左右に追加して 4x3 領域を保持する必要がある。

DVD ナビゲータと VMR を使った MPEG 前処理

現在、デコーダには FORMAT_MPEG2_VIDEO メディアタイプ (フォーマットブロックは MPEG2VIDEOINFO 構造体を指す) が渡される。出力ピンにデコーダは FORMAT_VideoInfo2 メディアタイプを生成する。そのフォーマットブロックは VIDEOINFOHEADER2 構造体を指す。VIDEOINFOHEADER2 の dwReserved フィールドは dwControls フラグに名前が変更される。新しい定義 (dvdmedia.h 内) は次のようになる。

typedef struct tagVIDEOINFOHEADER2 {
  RECT     rcSource;
  RECT     rcTarget;
  DWORD    dwBitRate;
  DWORD    dwBitErrorRate;
  REFERENCE_TIME   AvgTimePerFrame;
  DWORD   dwInterlaceFlags;   // AMINTERLACE_* 定義を使う。
                             // 未定義ビットが 0 ではない場合、接続を拒否する。
  DWORD   dwCopyProtectFlags; // AMCOPYPROTECT_* 定義を使う。
                             // 未定義ビットが 0 ではない場合、接続を拒否する。
  DWORD   dwPictAspectRatioX; // 画像のアスペクト比の X ディメンジョン。
                              // たとえば 16x9 表示の 16。
  DWORD   dwPictAspectRatioY; // 画像のアスペクト比の Y ディメンジョン。
                              // たとえば 16x9 表示の 9。
  union {
      DWORD dwControlFlags;   // AMCONTROL_* 定義を使う。
                              // 以降はこの値を使う。
      DWORD dwReserved1;    // 下位互換性のため。
                            //(必ず 0 にする。それ以外の場合、
                            // 接続は拒否される。)
    };
  DWORD     dwReserved2;  // 必ず 0 にする。それ以外の場合、接続は拒否される。
  BITMAPINFOHEADER    bmiHeader;
} VIDEOINFOHEADER2;

VIDEOINFOHEADER2.dwControlFlags には新しいビットが含まれる。

AMCONTROL_USED	0x00000001
AMCONTROL_PAD_TO_4x3	0x00000002
AMCONTROL_PAD_TO_16x9	0x00000004

AMCONTROL_USED は、これらの新しいフラグがサポートされているかどうかを確認するときに使う。ソースフィルタは AMCONTROL_USED フラグを設定し、QueryAccept(MediaType) がダウンストリームピンで成功しているかどうかを調べる必要がある。拒否された場合、AMCONTROL フラグは使えず、dwReserved1 は 0 に設定する必要がある。

AMCONTROL_PAD_TO_4x3 は、イメージをパディングし、4x3 領域に表示することを示す。

AMCONTROL_PAD_TO_16x9 は、イメージをパディングし、16x9 領域に表示することを示す。

デコーダはビットをそのままコピーするか、または処理する。デコーダ自体がレターボックス化する場合は、ピクセルアスペクト比を変更し、イメージをパディングして、対応する AMCONTROL_* ビットを削除する必要がある。

MPEG2VIDEOINFO.dwFlags には、コンテンツの表示方法を制御する 3 つのフラグを含まれている。

AMMPEG2_DoPanScan (0x00000001): このフラグを設定すると、MPEG-2 ビデオデコーダは picture_display_extension のパン-スキャンベクトルに基づき、出力イメージをトリミングし、画像のアスペクト比を 4x3 に変更する。このフラグでは、VMR は 16x9 サンプルを受け取らない。簡単な実装によって転送元矩形を変更し、左端が picture_display_extension のディスプレイオフセットに等しい、540 ワイドソース領域を示せる。
AMMPEG2_LetterboxAnalogOut (0x00000020): ハードウェアデコーダがこのストリームをビデオ出力 (通常はカード上の SVIDEO コネクタ) に表示するとき、4x3 ディスプレイに 16x9 サンプルを表示する規則が適用される。

ソフトウェアデコーダ (または VMR に送信される出力を生成するハードウェアデコーダ) には、イメージを処理するとき、次の 2 つのオプションがある。
1. 1) このフラグを無視し、VideoInfoHeader2 のコンテンツを VMR に渡す (サンプルでは、DVD ナビゲータにより AMCONTROL_PAD_TO_4x3 フラグがあらかじめ設定される)。VMR は、AMCONTROL_PAD_TO_4x3 フラグが設定された 16x9 ビデオサンプル、および 4x3 サブピクチャストリームを取得する。アプリケーションは、2 つのストリームの正規化した出力転送先矩形が同じ幅になるように設定する必要がある。
2. 2) イメージの上下をパディングし、イメージのアスペクト比を 4x3 に設定し (上記のレターボックスを参照すること)、VIDEOINFOHEADER2 から AMCONTROL_PAD_TO_4x3 ビットを削除して、変形ストリームを 4x3 イメージに変換する。
ビデオとサブピクチャストリームをブレンドする DirectXVA デコーダは、このフラグを処理する必要がある。ハードウェアがブレンドされたサブピクチャをスケールできない場合、デコーダは VMR がビデオとブレンドするように、別のサブピクチャストリームを生成する必要がある。
AMMPEG2_WidescreenAnalogOut (0x00000200): ハードウェアデコーダがこのストリームをビデオ出力 (通常はカード上の SVIDEO コネクタ) に表示する場合は、16x9 (変形) 表示を想定する。

ソフトウェアデコーダ (または VMR に送信される出力を生成するハードウェアデコーダ) には、変形イメージを処理するとき、次の 2 つのオプションがある。
1. このフラグを無視し、VideoInfoHeader2 のコンテンツを VMR にコピーする。AMCONTROL_PAD_TO_16x9 が設定されている場合、VMR は 4x3 イメージを 16x9 にパディングする。
2. 出力イメージを 16x9 イメージにパディングし、AMCONTROL_PAD_TO_16x9 ビットを削除する。

ほとんどのデコーダは GetMediaType を使って、入力ピンのメディアの変更を検出し、VIDEOINFOHEADER2 のコンテンツ (MPEG2INFOHEADER に含まれる) を出力ピンにコピーする。パン-スキャンビットのみを処理することが多い。

次のサンプルコードは、VIDEOINFOHEADER2 のコンテンツを入力ピンから出力ピンにコピーする方法を示している。

#include <dvdmedia.h>
HRESULT CopyMPeg2ToVideoInfoHeader2(CMediaSample* pInSample, CMediaSample* pOutSample)
{
    HRESULT hr = S_OK;
    // 入力サンプルのメディア タイプを調べる。
    AM_MEDIA_TYPE* pInType;
    if (pInSample->GetMediaType(&pInType) == S_OK) 
    {
        // MPEG2 ビデオ フォーマットであることを確認する。
        if ((pInType->formattype == FORMAT_MPEG2_VIDEO) &&
            (pInType->cbFormat >= sizeof(MPEG2VIDEOINFO)))
        {
            hr = S_OK; // CMediaType コンストラクタの hr を初期化する。
            CMediaType outType(*pInType, &hr);
            if (FAILED(hr))
            {
                DeleteMediaType( pInType );
                return hr;
            }

            // フォーマット タイプ GUID を設定する。
            outType.SetFormatType(&FORMAT_VideoInfo2);
                
            // VIDEOINFOHEADER 部分のみを含むようにフォーマット ブロックを切り詰める。
            MPEG2VIDEOINFO *pMPeg2Header = (MPEG2VIDEOINFO*)pInType->pbFormat;
            BYTE *pVIH = (BYTE*)&pMPeg2Header->hdr;
            hr = (outType.SetFormat(pVIH, sizeof(VIDEOINFOHEADER2)) ? S_OK : E_OUTOFMEMORY);
            if (SUCCEEDED(hr))
            {
                hr = pOutSample->SetMediaType(&outType);
            }
        } 
        else 
        {
            ASSERT(FALSE); // MPEG2 ヘッダーではない。
            hr = VFW_E_INVALIDMEDIATYPE;
        }
        DeleteMediaType( pInType );
    } 

    return hr;
}

次の方法で共有

MPEG デコーダの前処理変換

その他のリソース