Aracılığıyla paylaş

Model Sınıf

  • Başvuru

Tanım

Ad Alanı:
Microsoft.ML.Tokenizers
Bütünleştirilmiş Kod:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.21.1

Belirteçleştirme sırasında kullanılan bir modeli temsil eder (BPE veya Word Parçası veya Tek Birimi gibi).

public abstract class Model
type Model = class
Public MustInherit Class Model
Devralma
Object
Model
Türetilmiş

Oluşturucular

Model()

Belirteçleştirme sırasında kullanılan bir modeli temsil eder (BPE veya Word Parçası veya Tek Birimi gibi).

Yöntemler

GetTrainer()

Modeli eğitmek için kullanılacak bir eğitmen nesnesi alır.
GetVocab()

Kimliklere sözlük eşleme belirteçlerini alır.
GetVocabSize()

Belirteçleri Kimliklerle eşleyen sözlük boyutunu alır.
IdToString(Int32, Boolean)

Belirteçleştirme sırasında kullanılan bir modeli temsil eder (BPE veya Word Parçası veya Tek Birimi gibi).
IdToToken(Int32, Boolean)

Belirteçli kimliği belirteçle eşleyin.
IsValidChar(Char)

Char belirteci belirteç oluşturucuda geçerliyse true değerini döndürür; aksi takdirde false döndürür.
Save(String, String)

Model verilerini kelime dağarcığına kaydedin ve dosyaları birleştirir.
Tokenize(String)

Bir dizi dizesini belirteç listesine belirteç haline getirmek.
TokenToId(String)

Belirteci belirteçli kimlikle eşleyin.

Şunlara uygulanır