LearningModelSessionOptions.BatchSizeOverride Свойство

Определение

Пространство имен:

Windows.AI.MachineLearning

Числовое значение, указывающее значение переопределения постоянного размера пакета для целевой модели.

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

Значение свойства

UInt32

unsigned int

uint32_t

Постоянный размер пакета для входных данных модели значений признаков, ожидаемых при вызовах Bind. Значение по умолчанию для BatchSizeOverride будет равно 1, что указывает на статический размер пакета 1.

Комментарии

Параметр BatchSizeOverride позволяет компилятору модели использовать оптимизацию производительности постоянного размера пакета при настройке LearningModelSession.

Если задать параметры BatchSizeOverride , все входные данные для сеанса будут иметь ограниченные размеры пакетов в соответствии с указанным значением BatchSizeOverride .

Значение BatchSizeOverride = 0 указывает, что размер пакета в модели должен учитываться без изменений.

BatchSizeOverride> 0 указывает размер пакета, который будет использоваться для переопределения размера пакета модели и оптимизации вычислений.

Если оценки модели всегда выполняются с использованием одного и того же размера пакета, производительность можно повысить, установив для BatchSizeOverride ожидаемый размер пакета.

Задание параметра BatchSizeOverride ограничит размер входного пакета модели постоянным размером пакета и обеспечит оптимизацию компилятора модели, которая может повысить производительность выполнения вызовов Evaluate.

Если модель вывода предназначена для принятия любого размера пакета, параметр BatchSizeOverride можно использовать для ограничения пакетных входных данных постоянным размером пакета.

Однако если модель вывода разработана с константным размером пакета, параметр BatchSizeOverride должен соответствовать постоянному размеру пакета, определенному в модели.

Модели ONNX описывают пакетное измерение входных тензорных признаков с помощью денотации измерения DATA_BATCH. Это соответствует измерению N в более часто используемой нотации формата тензора NCHW.