LexicalTokenizer type
Содержит возможные варианты для токенизатора.
type LexicalTokenizer =
| ClassicTokenizer
| EdgeNGramTokenizer
| KeywordTokenizer
| MicrosoftLanguageTokenizer
| MicrosoftLanguageStemmingTokenizer
| NGramTokenizer
| PathHierarchyTokenizer
| PatternTokenizer
| LuceneStandardTokenizer
| UaxUrlEmailTokenizer