PreTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Classe base para todas as classes pré-tokenizers. O PreTokenizer é responsável por realizar a etapa de pré-segmentação.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Herança
-
PreTokenizer
- Derivado
Construtores
| PreTokenizer() |
Classe base para todas as classes pré-tokenizers. O PreTokenizer é responsável por realizar a etapa de pré-segmentação. |
Métodos
| PreTokenize(String) |
Divide a cadeia de caracteres fornecida em várias subcadeias de caracteres no limite da palavra, mantendo o controle dos deslocamentos das subcadeias de caracteres ditas da cadeia de caracteres original. |