| Classic
|
Tokenizer op basis van grammatica die geschikt is voor het verwerken van de meeste Europese documenten. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html
|
| EdgeNGram
|
Hiermee wordt de invoer van een rand omgezet in n-grammen van de opgegeven grootte(n). Zie https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html
|
| Keyword
|
Verzendt de volledige invoer als één token. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html
|
| Letter
|
Verdeelt tekst op niet-letters. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html
|
| Lowercase
|
Hiermee verdeelt u tekst op niet-letters en converteert u deze naar kleine letters. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html
|
| MicrosoftLanguageStemmingTokenizer
|
Verdeelt tekst met behulp van taalspecifieke regels en reduceert woorden tot de basisvormen.
|
| MicrosoftLanguageTokenizer
|
Verdeelt tekst met behulp van taalspecifieke regels.
|
| NGram
|
Hiermee wordt de invoer omgezet in n-grammen van de opgegeven grootte(n). Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html
|
| PathHierarchy
|
Tokenizer voor padachtige hiërarchieën. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html
|
| Pattern
|
Tokenizer die gebruikmaakt van regex-patroonkoppeling om afzonderlijke tokens te maken. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html
|
| Standard
|
Standard Lucene analyzer; Bestaat uit de standaardtokenizer, het filter in kleine letters en het stopfilter. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html
|
| UaxUrlEmail
|
Hiermee worden URL's en e-mailberichten als één token gebruikt. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html
|
| Whitespace
|
Hiermee verdeelt u tekst bij witruimte. Zie http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html
|