WhiteSpace Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
O pré-tokenizador que divide o texto no limite da palavra. A palavra é um conjunto de caracteres alfabéticos, numéricos e sublinhados.
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- Herança
Construtores
| WhiteSpace() |
O pré-tokenizador que divide o texto no limite da palavra. A palavra é um conjunto de caracteres alfabéticos, numéricos e sublinhados. |
Campos
| Instance |
Obtém uma instância singleton do pré-tokenizador do WhiteSpace. |
Métodos
| PreTokenize(String) |
Divide a cadeia de caracteres fornecida em várias subcadeias de caracteres no limite da palavra, mantendo o controle dos deslocamentos das subcadeias de caracteres da cadeia de caracteres original. |