BpeTrainer Classe

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

O treinador bpe responsável por treinar o modelo Bpe.

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

Herança

Object

Trainer

BpeTrainer

Construtores

BpeTrainer()	Construa um novo objeto BpeTrainer usando os valores padrão.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Construa um novo objeto BpeTrainer.

Propriedades

ContinuingSubwordPrefix	Obtém o prefixo a ser usado para cada sub-palavra que não é um início de palavra.
EndOfWordSuffix	Obtém o sufixo a ser usado para cada sub-palavra que é um fim de palavra.
InitialAlphabet	Obtém a lista de caracteres a serem incluídos no alfabeto inicial, mesmo que não seja visto no conjunto de dados de treinamento. Se as cadeias de caracteres contiverem mais de um caractere, somente a primeira será mantida.
LimitAlphabet	Obtém o máximo de caracteres diferentes a serem mantidos no alfabeto.
MinFrequency	Obtém a frequência mínima que um par deve ter para ser mesclado.
Progress	Defina quando for necessário relatar o progresso durante o treinamento. (Herdado de Trainer)
SpecialTokens	Obtém a lista de tokens especiais que o modelo deve conhecer.
VocabSize	Obtém o tamanho do vocabulário final, incluindo todos os tokens e alfabeto.

Métodos

Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	Processe as sequências de entrada e alimente o resultado para o modelo.
Train(Model)	Execute o treinamento real e atualize o modelo de entrada com os novos vocabulários e mescla dados.