Tokenizer Sınıf

Başvuru

Tanım

Ad Alanı:: Microsoft.ML.Tokenizers

Bütünleştirilmiş Kod:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v0.21.1

Önemli

Bazı bilgiler ürünün ön sürümüyle ilgilidir ve sürüm öncesinde önemli değişiklikler yapılmış olabilir. Burada verilen bilgilerle ilgili olarak Microsoft açık veya zımni hiçbir garanti vermez.

Belirteç Oluşturucu işlem hattı olarak çalışır. Bazı ham metinleri giriş olarak işler ve tokenizerResult nesnesinin çıkışını verir.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Devralma: Object
Tokenizer

Oluşturucular

Tokenizer(Model, PreTokenizer, Normalizer)

Yeni bir Belirteç Oluşturucu nesnesi oluşturun.

Özellikler

Decoder	Belirteç Oluşturucu tarafından kullanılan Kod Çözücü'leri alır veya ayarlar.
Model	Belirteç Oluşturucu tarafından kullanılan Modeli alır.
Normalizer	Tokenizer tarafından kullanılan Normalizer'i alır veya ayarlar.
PreTokenizer	Belirteç oluşturucu tarafından kullanılan PreTokenizer'i alır veya ayarlar.

Yöntemler

Decode(IEnumerable<Int32>, Boolean)	Verilen kimliklerin kodunu çözerek bir Dizeye geri dönün.
Decode(Int32, Boolean)	Kimliğin kodunu eşlenen belirteçle çözer.
Encode(String)	Giriş metnini nesneye kodlar; belirteçler listesi, belirteç kimlikleri, belirteçler uzaklık eşlemesi içerir.
IsValidChar(Char)	Belirteç Oluşturucu işlem hattı olarak çalışır. Bazı ham metinleri giriş olarak işler ve tokenizerResult nesnesinin çıkışını verir.
TrainFromFiles(Trainer, ReportProgress, String[])	Giriş dosyalarını kullanarak belirteç oluşturucu modelini eğitin.

Şunlara uygulanır