LexicalTokenizerName type
Define valores para LexicalTokenizerName.
<xref:KnownLexicalTokenizerName> pode ser utilizado alternadamente com LexicalTokenizerName, este enum contém os valores conhecidos que o serviço suporta.
Valores conhecidos suportados pelo serviço
clássico: tokenizador baseado em gramática adequado para processar a maioria dos documentos em linguagem europeia. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html
edgeNGram: tokeniza a entrada de uma extremidade em n-gramas dos tamanhos especificados. Veja https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html
keyword_v2: emite toda a entrada como um único token. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html
letra: divide o texto em não letras. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html
minúsculas: divide o texto em não letras e converte-o em minúsculas. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html
microsoft_language_tokenizer: divide o texto com regras específicas da linguagem.
microsoft_language_stemming_tokenizer: divide o texto através de regras específicas da linguagem e reduz as palavras aos formulários base.
nGram: tokeniza a entrada em n-gramas dos tamanhos especificados. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html
path_hierarchy_v2: Tokenizer para hierarquias semelhantes a caminhos. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html
padrão: Tokenizer que utiliza a correspondência de padrões regex para construir tokens distintos. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html
standard_v2: Analisador Lucene Padrão; Composto pelo tokenizador padrão, filtro em minúsculas e filtro de paragem. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html
uax_url_email: Tokenizes urls e e-mails como um token. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html
espaço em branco: divide o texto no espaço em branco. Veja http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html
type LexicalTokenizerName = string