LearningModelSessionOptions.BatchSizeOverride プロパティ

定義

名前空間:

Windows.AI.MachineLearning

ターゲット モデルの定数バッチ サイズオーバーライド値を指定する数値。

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

プロパティ値

UInt32

unsigned int

uint32_t

Bind の呼び出しで期待されるモデル入力機能値の定数バッチ サイズ。 BatchSizeOverride の既定値は 1 で、静的バッチ サイズが 1 であることを示します。

注釈

BatchSizeOverride オプションを使用すると、モデル コンパイラは、LearningModelSession を設定するときに、一定のバッチ サイズのパフォーマンス最適化を使用できます。

BatchSizeOverride オプションを設定すると、セッションのすべての入力で、指定された BatchSizeOverride 値と一致するようにバッチ サイズが制限されます。

BatchSizeOverride = 0 は、モデルに存在するバッチ サイズを変更せずに受け入れるべきであることを示します。

BatchSizeOverride> 0 は、モデルのバッチ サイズをオーバーライドし、評価を最適化するために使用されるバッチ サイズを示します。

モデルの評価が常に同じバッチ サイズを使用して行われる場合は、 BatchSizeOverride を予想されるバッチ サイズに設定することで、パフォーマンスを向上させることができます。

BatchSizeOverride パラメーターを設定すると、モデルの入力バッチ サイズが一定のバッチ サイズに制限され、モデル コンパイラの最適化が有効になり、Evaluate の呼び出しのランタイム パフォーマンスが向上します。

推論モデルが任意のバッチ サイズを受け入れるように設計されている場合は、 BatchSizeOverride パラメーターを使用して、バッチ入力を一定のバッチ サイズに制限できます。

ただし、推論モデルが一定のバッチ サイズで設計されている場合、 BatchSizeOverride パラメーターは、モデルで定義されている定数バッチ サイズと一致する必要があります。

ONNX モデルでは、DATA_BATCH ディメンションの表記を使用して、入力テンソル特徴のバッチ ディメンションが記述されます。 これは、より一般的に使用されるテンソル形式表記 NCHW の N 次元に対応します。