你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
LexicalTokenizerName type
定义 LexicalTokenizerName 的值。
<xref:KnownLexicalTokenizerName> 可与 LexicalTokenizerName 互换使用，此枚举包含服务支持的已知值。
服务支持的已知值
经典：适用于处理大多数欧洲语言文档的基于语法的 tokenizer。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html
edgeNGram：将来自边缘的输入标记化为给定大小 (s) 的 n 个语法。 请参见https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html
keyword_v2：将整个输入作为单个令牌发出。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html
字母：将文本除以非字母。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html
小写：将文本除以非字母并将它们转换为小写。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html
microsoft_language_tokenizer：使用特定于语言的规则划分文本。
microsoft_language_stemming_tokenizer：使用特定于语言的规则划分文本，并将单词减少到其基本形式。
nGram：将输入标记为给定大小的 n-gram (s) 。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html
path_hierarchy_v2：路径式层次结构的 Tokenizer。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html
pattern：使用正则表达式模式匹配构造不同令牌的 Tokenizer。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html
standard_v2：标准 Lucene 分析器;由标准标记器、小写筛选器和停止筛选器组成。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html
uax_url_email：将 URL 和电子邮件作为一个令牌进行标记化。 请参见http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html
空格：在空白处划分文本。 请参阅http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html
type LexicalTokenizerName = string