Aracılığıyla paylaş

BpeDecoder Sınıf

  • Başvuru

Tanım

Ad Alanı:
Microsoft.ML.Tokenizers
Bütünleştirilmiş Kod:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.20.1

Tüm belirteçleri birleştirerek ve ardından sözcük sonlarını beyaz boşluklarla tanımlamak için kullanılan soneki değiştirerek Özgün BPE kodunun çözülmesine izin verir

public sealed class BpeDecoder : Microsoft.ML.Tokenizers.TokenizerDecoder
type BpeDecoder = class
    inherit TokenizerDecoder
Public NotInheritable Class BpeDecoder
Inherits TokenizerDecoder
Devralma
Object
TokenizerDecoder
BpeDecoder

Oluşturucular

BpeDecoder()

Yeni bir Bpe kod çözücü nesnesi oluşturma.
BpeDecoder(String)

Yeni bir Bpe kod çözücü nesnesi oluşturma.

Yöntemler

Decode(IEnumerable<String>)

Özgün BPE kodunu çözmek için tüm belirteçleri birleştirin ve ardından sözcüklerin sonunu beyaz boşluklarla tanımlamak için kullanılan soneki kullanın.

Şunlara uygulanır