LexicalTokenizer type
Enthält die möglichen Fälle für Tokenizer.
type LexicalTokenizer =
| ClassicTokenizer
| EdgeNGramTokenizer
| KeywordTokenizer
| MicrosoftLanguageTokenizer
| MicrosoftLanguageStemmingTokenizer
| NGramTokenizer
| PathHierarchyTokenizer
| PatternTokenizer
| LuceneStandardTokenizer
| UaxUrlEmailTokenizer