Sdílet prostřednictvím

PreTokenizer.PreTokenize(String) Metoda

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Rozdělí daný řetězec na více podřetězců na hranici slova a sleduje posuny uvedených podřetězců od původního řetězce.

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string sentence);
abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>
Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

Parametry

sentence
String

Řetězec, který se má rozdělit na tokeny.

Návraty

IReadOnlyList<Split>

Seznam rozdělení obsahujících tokeny a posuny tokenu k původnímu řetězci.

Platí pro