Sdílet prostřednictvím

WhiteSpace.PreTokenize(String) Metoda

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Rozdělí daný řetězec na několik podřetězců na hranici slova a sleduje posuny uvedených podřetězců od původního řetězce.

public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);
override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>
Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

Parametry

sentence
String

Řetězec, který se má rozdělit na tokeny.

Návraty

IReadOnlyList<Split>

Seznam rozdělení obsahujících tokeny a posun tokenů k původnímu řetězci.

Platí pro