メディアシンク

[アーティクル]
06/13/2023

メディアシンク は、メディアデータを受信するパイプラインオブジェクトです。メディアシンクは、1 つ以上のメディアストリームの宛先です。メディアシンクは、次の 2 つの一般的なカテゴリに分類されます。

レンダラーは、再生用のデータを表示するメディアシンクです。拡張ビデオレンダラー (EVR) はビデオフレームを表示し、オーディオレンダラーはサウンドカードまたはその他のオーディオデバイスを介してオーディオストリームを再生します。
アーカイブシンクは、ファイルまたはその他のストレージにデータを書き込むメディアシンクです。

メイン違いは、アーカイブシンクが一定の再生速度でデータを使用しないということです。代わりに、受け取ったデータをできるだけ早く書き込みます。

メディアシンクは、 IMFMediaSink インターフェイスを 公開します。各メディアシンクには、1 つ以上の ストリームシンクが含まれています。各ストリームシンクは、1 つのストリームからデータを受信します。ストリームシンクは、 IMFStreamSink インターフェイスを 公開します。通常、アプリケーションはメディアシンクを直接作成しません。代わりに、アプリケーションは、メディアセッションがシンクの作成に使用する 1 つ以上のアクティブ化オブジェクトを作成します。シンクに対する他のすべての操作はメディアセッションによって処理され、アプリケーションはメディアシンクまたはストリームシンクのメソッドを呼び出しません。アクティブ化オブジェクトの詳細については、「アクティブ化オブジェクト」を参照してください。

カスタムメディアシンクを作成する場合、またはメディアセッションなしでメディアシンクを直接使用する場合は、このトピックの残りの部分をお読みください。

ストリームシンク
プレゼンテーションクロック
ストリーム形式
データフロー
マーカー
状態の変更
終了処理中
シャットダウン
メディアシンクインターフェイス
ストリームシンクインターフェイス
Stream Sink イベント
関連トピック

ストリームシンク

メディアシンクには、固定数のストリームシンクを含めることができます。または、ストリームシンクの追加と削除をサポートすることもできます。固定数のストリームシンクがある場合、 IMFMediaSink::GetCharacteristics メソッドは MEDIASINK_FIXED_STREAMS フラグを返します。それ以外の場合は、ストリームシンクを追加および削除できます。新しいストリームシンクを追加するには、 IMFMediaSink::AddStreamSink を呼び出します。ストリームシンクを削除するには、 IMFMediaSink::RemoveStreamSink を呼び出します。 MEDIASINK_FIXED_STREAMS フラグは、メディアシンクでこれら 2 つのメソッドがサポートされていないことを示します。 (シンクの作成時に初期化パラメーターを設定するなど、ストリームの数を構成する他の方法がサポートされている場合があります)。ストリームシンクの一覧は順序付けされます。インデックス値で列挙するには、 IMFMediaSink::GetStreamSinkByIndex メソッドを呼び出します。

ストリームシンクにも識別子があります。ストリーム識別子はメディアシンク内で一意ですが、連続する必要はありません。メディアシンクによっては、ストリーム識別子にコンテンツに関連する意味がある場合があります。たとえば、アーカイブシンクは、ストリーム識別子をファイルヘッダーに書き込む場合があります。それ以外の場合は任意です。ストリームシンクを識別子で取得するには、 IMFMediaSink::GetStreamSinkById を呼び出します。

プレゼンテーションクロック

メディアシンクがサンプルを消費する速度は、プレゼンテーションクロックによって制御されます。メディアセッションは、プレゼンテーションクロックを選択し、メディアシンクの IMFMediaSink::SetPresentationClock メソッドを呼び出してメディアシンクに設定します。ストリーミングを開始するには、メディアシンクでプレゼンテーションクロックを設定する必要があります。すべてのメディアシンクを実行するには、プレゼンテーションクロックが必要です。メディアシンクは、次の 2 つの目的でプレゼンテーションクロックを使用します。

ストリーミングの開始または停止時に通知を受信する。メディアシンクは、すべてのメディアシンクが実装する必要がある IMFClockStateSink インターフェイスを介してこれらの通知を受け取ります。
サンプルをレンダリングするタイミングを決定します。メディアシンクは、新しいサンプルを受け取ると、サンプルからタイムスタンプを取得し、そのプレゼンテーション時にサンプルのレンダリングを試みます。

プレゼンテーションクロックは、プレゼンテーションタイムソースと呼ばれる別のオブジェクトからクロック時間を派生 させます。プレゼンテーション時間ソースは、 IMFPresentationTimeSource インターフェイスを 公開します。一部のメディアシンクでは、正確なクロックにアクセスできるため、このインターフェイスが公開されます。つまり、メディアシンクは、独自のクロックによって提供される時間に対してサンプルをスケジュールする可能性があります。ただし、メディアシンクでは、これが当てはまるとは想定できません。プレゼンテーションクロックがメディアシンク自体または他のクロックによって駆動されているかどうかに関係なく、プレゼンテーションクロックからの時刻を常に使用する必要があります。

メディアシンクがそれ自体以外のクロックとレートを一致させることができない場合、 GetCharacteristics メソッドは MEDIASINK_CANNOT_MATCH_CLOCK フラグを返します。このフラグが存在し、プレゼンテーションクロックで別のプレゼンテーションタイムソースが使用されている場合、メディアシンクのパフォーマンスが低下する可能性があります。たとえば、再生中に不具合が発生する可能性があります。

レートレス シンクは、サンプルのタイムスタンプを無視し、各サンプルが到着するとすぐにデータを使用するメディアシンクです。レートレスメディアシンクは 、GetCharacteristics メソッドからMEDIASINK_RATELESS フラグを返します。通常、このフラグはアーカイブシンクに適用されます。パイプライン内のすべてのメディアシンクがレートレスの場合、メディアセッションでは特別なレートなしのプレゼンテーションクロックが使用されます。このクロックは、シンクがサンプルを消費するのと同じくらい迅速に実行されます。

ストリーム形式

メディアシンクがサンプルを受け取る前に、クライアントはストリームシンクにメディアの種類を設定する必要があります。メディアの種類を設定するには、ストリームシンクの IMFStreamSink::GetMediaTypeHandler メソッドを 呼び出します。このメソッドは、 IMFMediaTypeHandler インターフェイスへのポインターを返します。このインターフェイスを使用して、優先メディアの種類の一覧を取得し、現在のメディアの種類を取得し、メディアの種類を設定します。

優先されるメディアの種類の一覧を取得するには、 IMFMediaTypeHandler::GetMediaTypeByIndex を呼び出します。推奨される型は、クライアントのヒントとして使用する必要があります。リストが不完全であるか、部分的なメディアタイプが含まれている可能性があります。部分メディア・タイプは、有効な形式を記述するために必要なすべての属性を持たないタイプです。たとえば、部分的なビデオの種類では、イメージの幅や高さではなく、色空間とビット深度を指定できます。部分的なオーディオの種類では、圧縮形式とサンプルレートを指定できますが、オーディオチャネルの数は指定できません。

ストリームシンクの現在のメディアの種類を取得するには、 IMFMediaTypeHandler::GetCurrentMediaType を呼び出します。ストリームシンクが最初に作成されるときに、既定のメディアの種類が既に設定されているか、クライアントがメディアの種類を設定するまでメディアの種類がない可能性があります。

メディアの種類を設定するには、 IMFMediaTypeHandler::SetCurrentMediaType を呼び出します。一部のストリームシンクでは、が設定された後の型の変更がサポートされない場合があります。そのため、メディアの種類を設定する前にテストすると便利です。メディアシンクが (型を設定せずに) メディアの種類を受け入れるかどうかをテストするには、 IMFMediaTypeHandler::IsMediaTypeSupported を呼び出します。

Data Flow

メディアシンクでは プルモデルが使用されます。つまり、ストリームシンクは必要に応じてデータを要求します。クライアントは、不具合を回避するためにタイムリーに応答する必要があります。

一部のメディアシンクでは 、事前登録がサポートされています。事前登録は、プレゼンテーションクロックが開始される前にメディアシンクにデータを提供するプロセスです。メディアシンクでプリロールがサポートされている場合、メディアシンクは IMFMediaSinkPreroll インターフェイスを公開し、 GetCharacteristics メソッドは MEDIASINK_CAN_PREROLL フラグを返します。事前登録により、プレゼンテーションクロックの開始時にメディアシンクで最初のサンプルを表示する準備が整います。メディアシンクでサポートされている場合は、再生中のグリッチやギャップを防ぐことができるため、クライアントは常に事前登録することをお勧めします。

メディアシンクへのデータフローは、次のように機能します。

クライアントは、メディアの種類とプレゼンテーションクロックを設定します。メディアシンクは、クロック状態の変更に関する通知を受け取るために、プレゼンテーションクロックに自身を登録します。
必要に応じて、クライアントは IMFMediaSinkPreroll を照会します。メディアシンクがこのインターフェイスを公開している場合、クライアントは IMFMediaSinkPreroll::NotifyPreroll を呼び出します。それ以外の場合、クライアントは手順 5 に進みます。
各ストリームシンクは、1 つ以上の MEStreamSinkRequestSample イベントを送信します。これらの各イベントに応答して、クライアントはそのストリームのデータの次のサンプルを取得し 、IMFStreamSink::P rocessSample を呼び出します。
各ストリームシンクは、十分なプリロールデータを受信すると、 MEStreamSinkPrerolled イベントを送信します。
クライアントは IMFPresentationClock::Start を呼び出してプレゼンテーションクロックを開始します。
プレゼンテーションクロックは、 IMFClockStateSink::OnClockStart を呼び出すことによって、クロックが開始されていることをメディアシンクに通知します。
より多くのデータを取得するために、各ストリームシンクは MEStreamSinkRequestSample イベントを送信します。これらの各イベントに応答して、クライアントは次のサンプルを取得し、 ProcessSample を呼び出します。この手順は、プレゼンテーションが終了するまで繰り返されます。

ほとんどのメディアシンクはサンプルを非同期的に処理するため、ストリームシンクは一度に複数のサンプル要求を送信できます。

ストリーミング中、クライアントはいつでも IMFStreamSink::P laceMarker と IMFStreamSink::Flush を呼び出すことができます。マーカーについては、次のセクションで説明します。フラッシュすると、キューに入っているがレンダリングされていないサンプルがストリームシンクによって削除されます。

マーカー

マーカーは、クライアントがストリーム内の特定のポイントを示す方法を提供します。マーカーは、次の情報で構成されます。

MFSTREAMSINK_MARKER_TYPE列挙体のメンバーとして定義されたマーカーの種類。
マーカーに関連付けられているデータ。データの意味は、マーカーの種類によって異なります。一部のマーカーの種類にはデータがありません。
クライアント独自の使用のためのオプションのデータ。

マーカーを配置するために、クライアントは IMFStreamSink::P laceMarker を呼び出します。ストリームシンクは 、PlaceMarker 呼び出しの前に受信したサンプルの処理を完了し、 MEStreamSinkMarker イベントを送信します。

ほとんどのメディアシンクでは、保留中のサンプルのキューが保持され、非同期的に処理されます。マーカーイベントはサンプル処理でシリアル化する必要があるため、メディアシンクはマーカーを同じキューに配置する必要があります。たとえば、クライアントが次のメソッド呼び出しを行うとします。

ProcessSample (サンプル #1)
ProcessSample (サンプル #2)
PlaceMarker (マーカー #1)
ProcessSample (サンプル #3)
PlaceMarker (マーカー #2)

この例では、ストリームシンクは、サンプル #2 を処理した後にマーカー #1 の MEStreamSinkMarker イベントを送信し、サンプル #3 を処理した後のマーカー #2 のイベントを送信する必要があります。

クライアントがストリームシンクをフラッシュすると、ストリームシンクはキューにあったマーカーを直ちに処理します。これらのイベントにE_ABORT状態コードを設定します。

一部のマーカーには、メディアシンクに関連する情報が含まれています。

MFSTREAMSINK_MARKER_TICK: ストリームにギャップがあることを示します。次のサンプルは不連続です。
MFSTREAMSINK_MARKER_ENDOFSEGMENT: セグメントの末尾またはストリームの末尾を示します。次のサンプル (ある場合) は不連続である可能性があります。
MFSTREAMSINK_MARKER_EVENT: イベントが含まれています。イベントの種類とメディアシンクの実装によっては、メディアシンクがイベントを処理したり、無視したりする場合があります。

State Changes (状態の変化)

メディアシンクには、メディアシンクの IMFClockStateSink インターフェイスを介して、プレゼンテーションクロックの状態の変化が通知されます。クライアントがプレゼンテーションクロックを設定すると、メディアシンクは IMFPresentationClock::AddClockStateSink を呼び出して、クロックからの通知に自身を登録します。次の表は、クロック状態の変化に応じてメディアシンクがどのように動作するかをまとめたものです。

クロック状態の変更	サンプル処理	マーカー処理
OnClockStart	タイムスタンプがクロック開始時刻以上のサンプルを処理します。	マーカーが処理される前にすべてのサンプルを受信したときに MEStreamSinkMarker イベントを送信します。
OnClockPause	メディアシンクは、一時停止中に ProcessSample に失敗する可能性があります。メディアシンクが一時停止中にサンプルを受け入れる場合は、クロックが再起動されるまでキューに入れる必要があります。一時停止中は、キューに登録されたサンプルを処理しないでください。	キューに入っているサンプルがある場合は、マーカーを同じキューに配置します。クロックが再起動したときにマーカーイベントを送信します。それ以外の場合は、マーカーイベントをすぐに送信します。
OnClockRestart	一時停止中にキューに入れられていたサンプルを処理し、 OnClockStart と同じように処理します。	キューに置かれているマーカー (サンプル処理でシリアル化) の MEStreamSinkMarker イベントを送信し、 OnClockStart と同じように処理します。
OnClockStop	キューに登録されているすべてのサンプルを削除します。 ProcessSample のそれ以上の呼び出しは失敗する可能性があります。	キューに登録されたマーカーイベントを送信します。 PlaceMarker の後続の呼び出しで、マーカーイベントをすぐに送信します。

さらに、ストリームシンクは、状態遷移が完了したときに次のイベントを送信する必要があります。

OnClockStart、 OnClockRestart: MEStreamSinkStarted イベント
OnClockPause: MEStreamSinkPaused イベント
OnClockStop: MEStreamSinkStopped イベント

終了処理中

一部のメディアシンクでは、最後のサンプルが配信された後に追加の処理手順が必要です。通常、この要件は、ヘッダーまたはインデックスをファイルに書き込む必要があるアーカイブシンクに適用されます。メディアシンクで最終的な処理が必要な場合は、 IMFFinalizableMediaSink インターフェイスが公開されます。

クライアントが最後のサンプルを提供した後、クライアントはこのインターフェイスに対してクエリを実行します。メディアシンクでインターフェイスがサポートされている場合、クライアント は IMFFinalizableMediaSink::BeginFinalize を呼び出して、最終的な処理を非同期的に実行します。このメソッドは、「非同期コールバックメソッド」で説明されている標準的な Media Foundation 非同期モデルに従います。メディアシンクは、クライアントが BeginFinalize を呼び出すと想定できます。 BeginFinalize の呼び出しに失敗すると、ファイルが正しく作成されない可能性があります。

シャットダウン

クライアントがメディアシンクを使用して完了すると、クライアントは IMFMediaSink::Shutdown を呼び出します。このメソッド内では、メディアシンクは循環参照数を中断する必要があります。通常、メディアシンクとストリームシンクの間には循環参照があります。

イベントキューヘルパーオブジェクトを使用して IMFMediaEventGenerator を実装する場合は、イベントキューで IMFMediaEventQueue::Shutdown を呼び出します。このメソッドは、イベントキューをシャットダウンし、現在イベントを待機している呼び出し元に通知します。

シャットダウン後、メディアシンク上のすべてのメソッドは、 IUnknown メソッドを除き、MF_E_SHUTDOWNを返します。