Tokenizer.Encode(String) Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Codifica il testo di input per l'oggetto con l'elenco dei token, i token IDs, il mapping degli offset dei token.
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParametri
- sequence
- String
Testo da tokenizzare.
Restituisce
Il risultato della tokenizzazione include l'elenco dei token, i token IDs, il mapping degli offset dei token.