RobertaPreTokenizer Třída
Definice
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Pre-tokenizer pro Roberta English tokenizer.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Dědičnost
Konstruktory
| RobertaPreTokenizer() |
Pre-tokenizer pro Roberta English tokenizer. |
Pole
| Instance |
Získá jednoúčelovou instanci předběžného tokenizátoru Roberta. |
Metody
| PreTokenize(String) |
Rozdělí daný řetězec na více podřetězců na hranici slova a sleduje posuny uvedených podřetězců od původního řetězce. |