LearningModelSessionOptions.BatchSizeOverride プロパティ

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

編集

ターゲットモデルの定数バッチサイズオーバーライド値を指定する数値。

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

UInt32

unsigned int

uint32_t

Bind の呼び出しで期待されるモデル入力機能値の定数バッチサイズ。 BatchSizeOverride の既定値は 1 で、静的バッチサイズが 1 であることを示します。

BatchSizeOverride オプションを使用すると、モデルコンパイラは、LearningModelSession を設定するときに、一定のバッチサイズのパフォーマンス最適化を使用できます。

BatchSizeOverride オプションを設定すると、セッションのすべての入力で、指定された BatchSizeOverride 値と一致するようにバッチサイズが制限されます。

BatchSizeOverride = 0 は、モデルに存在するバッチサイズを変更せずに受け入れるべきであることを示します。

BatchSizeOverride> 0 は、モデルのバッチサイズをオーバーライドし、評価を最適化するために使用されるバッチサイズを示します。

モデルの評価が常に同じバッチサイズを使用して行われる場合は、 BatchSizeOverride を予想されるバッチサイズに設定することで、パフォーマンスを向上させることができます。

BatchSizeOverride パラメーターを設定すると、モデルの入力バッチサイズが一定のバッチサイズに制限され、モデルコンパイラの最適化が有効になり、Evaluate の呼び出しのランタイムパフォーマンスが向上します。

推論モデルが任意のバッチサイズを受け入れるように設計されている場合は、 BatchSizeOverride パラメーターを使用して、バッチ入力を一定のバッチサイズに制限できます。

ただし、推論モデルが一定のバッチサイズで設計されている場合、 BatchSizeOverride パラメーターは、モデルで定義されている定数バッチサイズと一致する必要があります。

ONNX モデルでは、DATA_BATCH ディメンションの表記を使用して、入力テンソル特徴のバッチディメンションが記述されます。これは、より一般的に使用されるテンソル形式表記 NCHW の N 次元に対応します。