Tokenizer(Model, PreTokenizer, Normalizer) Konstruktor
Definice
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Vytvořte nový objekt Tokenizer.
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parametry
- model
- Model
Model, který používá tokenizátor.
- preTokenizer
- PreTokenizer
Volitelný pretokenizátor, který tokenizátor používá. Pokud má tento parametr hodnotu null, použije se prázdný preTokenizer.
- normalizer
- Normalizer
Volitelný normalizační nástroj, který používá tokenizátor.