Aracılığıyla paylaş

Tokenizer.Encode(String) Yöntem

  • Başvuru

Tanım

Ad Alanı:
Microsoft.ML.Tokenizers
Bütünleştirilmiş Kod:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.20.1

Giriş metnini nesneye kodlar; belirteçler listesi, belirteç kimlikleri, belirteçler uzaklık eşlemesi içerir.

public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);
member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResult
Public Function Encode (sequence As String) As TokenizerResult

Parametreler

sequence
String

Belirteç haline getirmek için metin.

Döndürülenler

TokenizerResult

Belirteç oluşturma sonucu belirteçler listesini, belirteç kimliklerini, belirteçlerin uzaklık eşlemesini içerir.

Şunlara uygulanır