LearningModelSessionOptions.BatchSizeOverride Propriedade

Definição

Namespace:

Windows.AI.MachineLearning

Um valor numérico que especifica um valor de substituição de tamanho de lote constante para o modelo de destino.

public:
 property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };

uint32_t BatchSizeOverride();

void BatchSizeOverride(uint32_t value);

public uint BatchSizeOverride { get; set; }

var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;

Public Property BatchSizeOverride As UInteger

Valor da propriedade

UInt32

unsigned int

uint32_t

O tamanho constante do lote para entradas de modelo apresenta valores de recurso esperados por chamadas para Bind. O valor padrão para BatchSizeOverride será 1, indicando um tamanho de lote estático de 1.

Comentários

A opção BatchSizeOverride permite que o compilador de modelo use otimizações de desempenho de tamanho de lote constantes ao configurar o LearningModelSession.

Ao definir as opções BatchSizeOverride , todas as entradas da sessão terão seus tamanhos de lote restritos para corresponder ao valor de BatchSizeOverride especificado.

Um BatchSizeOverride = 0 indica que o tamanho do lote presente no modelo deve ser respeitado sem alteração.

BatchSizeOverride> 0 indica o tamanho do lote que será usado para substituir o tamanho do lote do modelo e otimizar as avaliações.

Se as avaliações de modelo sempre acontecerem usando o mesmo tamanho de lote, o desempenho poderá ser melhorado definindo BatchSizeOverride como o tamanho esperado do lote.

Definir o parâmetro BatchSizeOverride restringirá o tamanho do lote de entrada do modelo a um tamanho de lote constante e habilitará otimizações do compilador de modelo que podem melhorar o desempenho de runtime das chamadas para Avaliar.

Se o modelo de inferência for projetado para aceitar qualquer tamanho de lote, o parâmetro BatchSizeOverride poderá ser usado para restringir entradas em lote a um tamanho de lote constante.

No entanto, se o modelo de inferência for projetado com um tamanho de lote constante, o parâmetro BatchSizeOverride deverá corresponder ao tamanho de lote constante definido no modelo.

Os modelos ONNX descrevem a dimensão em lote dos recursos de tensor de entrada usando a denotação de dimensão DATA_BATCH. Isso corresponde à dimensão N na notação de formato tensor mais comumente usada NCHW.