| Classic
|
Tokenizer berbasis tata bahasa yang cocok untuk memproses sebagian besar dokumen berbahasa Eropa. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html
|
| EdgeNGram
|
Tokenisasi input dari tepi ke dalam n-gram dari ukuran yang diberikan. Lihat https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html
|
| Keyword
|
Mengirimkan seluruh input sebagai token tunggal. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html
|
| Letter
|
Membagi teks pada non-huruf. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html
|
| Lowercase
|
Membagi teks pada non-huruf dan mengonversinya menjadi huruf kecil. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html
|
| MicrosoftLanguageStemmingTokenizer
|
Membagi teks menggunakan aturan khusus bahasa dan mengurangi kata-kata ke formulir dasarnya.
|
| MicrosoftLanguageTokenizer
|
Membagi teks menggunakan aturan spesifik bahasa.
|
| NGram
|
Tokenisasi input menjadi n-gram dari ukuran yang diberikan. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html
|
| PathHierarchy
|
Tokenizer untuk hierarki seperti jalur. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html
|
| Pattern
|
Tokenizer yang menggunakan pencocokan pola regex untuk membangun token yang berbeda. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html
|
| Standard
|
Penganalisis Lucene Standar; Terdiri dari tokenizer standar, filter huruf kecil, dan filter berhenti. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html
|
| UaxUrlEmail
|
Tokenisasi url dan email sebagai satu token. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html
|
| Whitespace
|
Membagi teks di spasi kosong. Lihat http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html
|