RobertaPreTokenizer Classe

Riferimento

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v0.21.1

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Pre-tokenizer per il tokenizzatore inglese Roberta.

public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer

type RobertaPreTokenizer = class
    inherit PreTokenizer

Public NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer

Ereditarietà: Object

PreTokenizer
RobertaPreTokenizer

Costruttori

RobertaPreTokenizer()

Pre-tokenizer per il tokenizzatore inglese Roberta.

Campi

Instance

Ottiene un'istanza singleton del pre-tokenizer Roberta.

Metodi

PreTokenize(String)

Suddivide la stringa specificata in più sottostringa al limite della parola, mantenendo traccia degli offset delle sottostringa indicate dalla stringa originale.

Si applica a