Aracılığıyla paylaş

Token Sınıf

  • Başvuru

Tanım

Ad Alanı:
Microsoft.ML.Tokenizers
Bütünleştirilmiş Kod:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.21.1

Belirteç alt dizesini, belirteç alt dizesiyle ilişkili kimliği ve özgün dizeye uzaklık eşlemesini içeren belirteçleştirme işleminden üretilen belirteci temsil edin.

public sealed class Token
type Token = class
Public NotInheritable Class Token
Devralma
Object
Token

Oluşturucular

Token(Int32, String, ValueTuple<Int32,Int32>)

Belirteç değerini, Kimliği ve özgün dizeye uzaklık eşlemesini kullanarak yeni bir Belirteç nesnesi oluşturun.

Özellikler

Id

Belirteçle ilişkili Kimlik değerini alır veya ayarlar.
Offset

Özgün dizeye uzaklık eşlemesini alır veya ayarlar.
Value

Belirteç dizesi değerini alır veya ayarlar.

Şunlara uygulanır