LearningModelSessionOptions.BatchSizeOverride Properti

Definisi

Ruang nama:

Windows.AI.MachineLearning

Nilai numerik yang menentukan nilai penggantian ukuran batch konstan untuk model target.

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

Nilai Properti

UInt32

unsigned int

uint32_t

Ukuran batch konstan untuk nilai fitur input model yang diharapkan oleh panggilan ke Bind. Nilai default untuk BatchSizeOverride adalah 1 yang menunjukkan ukuran batch statis 1.

Keterangan

Opsi BatchSizeOverride memungkinkan pengompilasi model untuk menggunakan pengoptimalan performa ukuran batch konstan saat menyiapkan LearningModelSession.

Dengan mengatur opsi BatchSizeOverride , semua input untuk sesi akan membatasi ukuran batch mereka agar sesuai dengan nilai BatchSizeOverride yang ditentukan.

BatchSizeOverride = 0 menunjukkan bahwa ukuran batch yang ada dalam model harus dihormati tanpa perubahan.

BatchSizeOverride> 0 menunjukkan ukuran batch yang akan digunakan untuk mengganti ukuran batch model dan mengoptimalkan evaluasi.

Jika evaluasi model selalu terjadi menggunakan ukuran batch yang sama, performa dapat ditingkatkan dengan mengatur BatchSizeOverride ke ukuran batch yang diharapkan.

Mengatur parameter BatchSizeOverride akan membatasi ukuran batch input model ke ukuran batch konstan, dan akan mengaktifkan pengoptimalan pengompilasi model yang dapat meningkatkan performa runtime panggilan ke Evaluasi.

Jika model inferensi dirancang untuk menerima ukuran batch apa pun, parameter BatchSizeOverride dapat digunakan untuk membatasi input batch ke ukuran batch konstanta.

Namun, jika model inferensi dirancang dengan ukuran batch konstan, parameter BatchSizeOverride harus cocok dengan ukuran batch konstan yang ditentukan dalam model.

Model ONNX menjelaskan dimensi batch fitur tensor input menggunakan penolakan dimensi DATA_BATCH. Ini sesuai dengan dimensi N dalam notasi format tensor yang lebih umum digunakan NCHW.