Tokenizer(Model, PreTokenizer, Normalizer) Oluşturucu
Tanım
Önemli
Bazı bilgiler ürünün ön sürümüyle ilgilidir ve sürüm öncesinde önemli değişiklikler yapılmış olabilir. Burada verilen bilgilerle ilgili olarak Microsoft açık veya zımni hiçbir garanti vermez.
Yeni bir Belirteç Oluşturucu nesnesi oluşturun.
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parametreler
- model
- Model
Belirteç Oluşturucu tarafından kullanılan Model.
- preTokenizer
- PreTokenizer
Tokenizer tarafından kullanılan isteğe bağlı PreTokenizer. Bu parametre null ise WhiteSpace PreTokenizer kullanılır.
- normalizer
- Normalizer
Tokenizer tarafından kullanılan isteğe bağlı Normalizer.