LearningModelSessionOptions.BatchSizeOverride 屬性

定義

命名空間:

Windows.AI.MachineLearning

數值，指定目標模型的常數批次大小覆寫值。

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

屬性值

UInt32

unsigned int

uint32_t

模型輸入的常數批次大小會呼叫 Bind所預期的特徵值。 BatchSizeOverride的預設值為 1，表示靜態批次大小為 1。

備註

BatchSizeOverride選項可讓模型編譯器在設定LearningModelSession時使用常數批次大小的效能優化。

藉由設定 BatchSizeOverride 選項，會話的所有輸入都會限制其批次大小，以符合指定的 BatchSizeOverride 值。

BatchSizeOverride = 0 表示應該接受模型中存在的批次大小，而不需變更。

BatchSizeOverride>0 表示將用來覆寫模型批次大小的批次大小，並將評估優化。

如果模型評估一律使用相同的批次大小進行，您可以將 BatchSizeOverride 設定為預期的批次大小，以改善效能。

設定 BatchSizeOverride 參數會將模型的輸入批次大小限制為常數批次大小，並啟用可改善呼叫 評估之執行時間效能的模型編譯器優化。

如果推斷模型設計為接受任何批次大小，則 BatchSizeOverride 參數可用來將批次輸入限制為固定批次大小。

不過，如果推斷模型是以常數批次大小設計， BatchSizeOverride 參數必須符合模型中定義的常數批次大小。

ONNX 模型會使用DATA_BATCH維度表示來描述輸入張量特徵的批次維度。 這會對應至較常用張量格式標記法 NCHW 中的 N 維度。