Tokenizer.Encode(String) Metoda
Definice
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Zakóduje vstupní text do objektu, který obsahuje seznam tokenů, ID tokenů a mapování posunu tokenů.
public Microsoft.ML.Tokenizers.TokenizerResult Encode (string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParametry
- sequence
- String
Text, který se má tokenizovat.
Návraty
Výsledek tokenizace zahrnuje seznam tokenů, ID tokenů a mapování posunu tokenů.