Aracılığıyla paylaş


Tokenizer(Model, PreTokenizer, Normalizer) Oluşturucu

Tanım

Yeni bir Belirteç Oluşturucu nesnesi oluşturun.

public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.Tokenizer
Public Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)

Parametreler

model
Model

Belirteç Oluşturucu tarafından kullanılan Model.

preTokenizer
PreTokenizer

Tokenizer tarafından kullanılan isteğe bağlı PreTokenizer. Bu parametre null ise WhiteSpace PreTokenizer kullanılır.

normalizer
Normalizer

Tokenizer tarafından kullanılan isteğe bağlı Normalizer.

Şunlara uygulanır