Aracılığıyla paylaş

TokenizerResult Sınıf

  • Başvuru

Tanım

Ad Alanı:
Microsoft.ML.Tokenizers
Bütünleştirilmiş Kod:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.20.1

Kodlama, belirteç oluşturucunun çıkışını temsil eder.

public sealed class TokenizerResult
type TokenizerResult = class
Public NotInheritable Class TokenizerResult
Devralma
Object
TokenizerResult

Oluşturucular

TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)

TokenizerResult nesnesinin yeni bir nesnesini oluşturun.

Özellikler

Ids

Belirteç kimliklerinin listesini alır. Kimlikler, dil modelinin ana girişidir. Bunlar, bir LM'nin anladığı sayısal temsiller olan belirteç dizinleridir.
NormalizedString

Özgün dizenin normalleştirilmiş biçimini alır.
Offsets

Uzaklıkların listesini alır. Bu uzaklıklar giriş dizesini dilimlemenize ve böylece karşılık gelen belirteci üretmeye yol açan özgün bölümü almanıza olanak sağlar.
OffsetsMappedToOriginalString

Özgün dizenin normalleştirilmiş biçimini alır.
OriginalString

Özgün belirteçli dizeyi alır.
Tokens

Oluşturulan belirteçleri alır. Kimliklerin dize gösterimidir.

Şunlara uygulanır