Tokenizer(Model, PreTokenizer, Normalizer) Construtor
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Crie um novo objeto Tokenizer.
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parâmetros
- model
- Model
O Modelo em uso pelo Tokenizer.
- preTokenizer
- PreTokenizer
O PreTokenizer opcional em uso pelo Tokenizer. O PreTokenizer do WhiteSpace será usado se esse parâmetro for nulo.
- normalizer
- Normalizer
O Normalizador opcional em uso pelo Tokenizer.