Aracılığıyla paylaş

Model.Tokenize(String) Yöntem

  • Başvuru

Tanım

Ad Alanı:
Microsoft.ML.Tokenizers
Bütünleştirilmiş Kod:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.20.1

Bir dizi dizesini belirteç listesine belirteç haline getirmek.

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);
abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>
Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)

Parametreler

sequence
String

Belirteç haline getirmek için sıra.

Döndürülenler

IReadOnlyList<Token>

Sıralı belirteçleştirmeden oluşturulan belirteçlerin listesi.

Şunlara uygulanır