BpeTrainer Classe

Definizione

Spazio dei nomi:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacchetto:

Microsoft.ML.Tokenizers v0.21.1

Il formatore Bpe responsabile del training del modello Bpe.

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

Ereditarietà

Object

Trainer

BpeTrainer

Costruttori

BpeTrainer()	Costruire un nuovo oggetto BpeTrainer usando i valori predefiniti.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Costruire un nuovo oggetto BpeTrainer.

Proprietà

ContinuingSubwordPrefix	Ottiene il prefisso da utilizzare per ogni parola secondaria che non è un inizio di parola.
EndOfWordSuffix	Ottiene il suffisso da utilizzare per ogni parola secondaria che è una fine di parola.
InitialAlphabet	Ottiene l'elenco di caratteri da includere nell'alfabeto iniziale, anche se non visualizzato nel set di dati di training. Se le stringhe contengono più di un carattere, viene mantenuto solo il primo.
LimitAlphabet	Ottiene il numero massimo di caratteri diversi da mantenere nell'alfabeto.
MinFrequency	Ottiene la frequenza minima di cui deve essere unita una coppia.
Progress	Impostare quando è necessario segnalare lo stato di avanzamento durante il training. (Ereditato da Trainer)
SpecialTokens	Ottiene l'elenco di token speciali di cui il modello deve conoscere.
VocabSize	Ottiene le dimensioni del vocabolario finale, inclusi tutti i token e l'alfabeto.

Metodi

Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	Elaborare le sequenze di input e inserire il risultato nel modello.
Train(Model)	Eseguire il training effettivo e aggiornare il modello di input con i nuovi vocabolari e unisce i dati.