LearningModelSessionOptions.BatchSizeOverride Propiedad

Definición

Espacio de nombres:

Windows.AI.MachineLearning

Valor numérico que especifica un valor de invalidación de tamaño de lote constante para el modelo de destino.

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

Valor de propiedad

UInt32

unsigned int

uint32_t

Tamaño de lote constante para los valores de características de entradas del modelo esperados por las llamadas a Bind. El valor predeterminado para BatchSizeOverride será 1 que indica un tamaño de lote estático de 1.

Comentarios

La opción BatchSizeOverride permite al compilador de modelos usar optimizaciones de rendimiento de tamaño de lote constantes al configurar LearningModelSession.

Al establecer las opciones de BatchSizeOverride , todas las entradas de la sesión tendrán sus tamaños de lote restringidos para que coincidan con el valor de BatchSizeOverride especificado.

Un BatchSizeOverride = 0 indica que se debe respetar el tamaño del lote presente en el modelo sin cambiar.

BatchSizeOverride> 0 indica el tamaño del lote que se usará para invalidar el tamaño del lote del modelo y optimizar las evaluaciones.

Si las evaluaciones del modelo siempre se producen con el mismo tamaño de lote, se puede mejorar el rendimiento estableciendo BatchSizeOverride en el tamaño de lote esperado.

Al establecer el parámetro BatchSizeOverride , se restringirá el tamaño del lote de entrada del modelo a un tamaño de lote constante y se habilitarán las optimizaciones del compilador de modelos que pueden mejorar el rendimiento en tiempo de ejecución de las llamadas a Evaluate.

Si el modelo de inferencia está diseñado para aceptar cualquier tamaño de lote, el parámetro BatchSizeOverride se puede usar para restringir las entradas por lotes a un tamaño de lote constante.

Sin embargo, si el modelo de inferencia está diseñado con un tamaño de lote constante, el parámetro BatchSizeOverride debe coincidir con el tamaño de lote constante definido en el modelo.

Los modelos ONNX describen la dimensión por lotes de las características de tensor de entrada mediante la denotación de dimensión de DATA_BATCH. Esto corresponde a la dimensión N en la notación de formato tensor más usado con más frecuencia NCHW.